Architecture-Sensitive Supervised Fine-Tuning for Screen-Conditioned Action Prediction: A PiSAR Benchmark
تقدم هذه الورقة معيار PiSAR لتوضيح أنه في حين أن الضبط الدقيق الخاضع للإشراف على مجموعة بيانات إجراءات مشروطة بالشاشة مكونة من 12,929-توبل يعزز الأداء بشكل كبير للنماذج الأصغر مثل Qwen3-VL-8B، فإن وصفة التدريب نفسها تفشل في تحسين النماذج الأكبر الموجهة للاستنتاج مثل Gemma-4-26B، مما يكشف عن عدم تطابق حرج حساس للبنية بين استراتيجيات الضبط الدقيق وقدرات النموذج.
إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.
الصورة الكبيرة: سباق "المتخصص ضد العام"
تخيل أنك تحاول تعليم روبوت فهم لماذا يقوم إنسان بالنقر على الأزرار في شاشة هاتفه. تريد من الروبوت أن ينظر إلى لقطة شاشة، ويعرف من هو الشخص (على سبيل المثال: "أم مشغولة" أو "طالب مهتم بالتقنية")، ويخمن ما يفكر فيه أو ما سيفعله تالياً.
أجرى الباحثون سباقاً بين نوعين من الروبوتات:
"الخبير الشامل" (النماذج الرائدة - Frontier Models): هذه نماذج ذكاء اصطناعي ضخمة وذكية للغاية (مثل Claude Opus 4.7 و GPT-5.5) قرأت كل شيء تقريباً على الإنترنت. إنهم يشبهون أساتذة جامعة أكسفورد الذين يعرفون القليل عن كل شيء، لكنهم لم يتدربوا مسبقاً على هذه المهمة المحددة.
"المتخصص" (النماذج التي تم ضبطها بدقة - Fine-Tuned Models): هذه نماذج ذكاء اصطناعي أصغر وأرخص، خضعت لـ "معسكر تدريبي" محدد باستخدام 13,799 مثالاً من الواقع لأشخاص يتسوقون ويقيمون التطبيقات. إنهم يشبهون باريستا محترف (محضر قهوة) مخضرم صنع آلاف أكواب اللاتيه ويعرف تماماً كيف يتعامل مع طلب محدد.
الاختبار: تحدي "الارتباط بالشاشة"
ابتكر الباحثون اختباراً يسمى PiSAR. وهو عبة من 661 سيناريو محددًا.
المدخلات: صورة لشاشة هاتف + وصف للمستخدم (مثلاً: "رجل يبلغ من العمر 30 عاماً يحمل درجة الدكتوراه").
الهدف: يجب على الذكاء الاصطناعي كتابة جملة قصيرة تشرح ما يفكر فيه المستخدم أو ما يفعله ("التعليل" أو الـ rationale).
الدرجة: قاموا بقياس مدى قرب تخمين الذكاء الاصطناعي من فكر الإنسان الحقيقي باستخدام درجة "التشابه الدلالي" (من 0 إلى 1، حيث 1 هو التطابق التام).
النتائج: الفجوة الصادمة
كانت النتائج مفاجئة وواضحة:
النماذج العامة تعثرت: حتى أذكى وأغلى "أساتذة أكسفورد" (النماذج الرائدة) حصلوا على درجة تقارب 0.48 فقط. غالباً ما كانت إجاباتهم غامضة أو فاتهم جوهر الموضوع. لقد أصابوا الفكرة الصحيحة ربما بنسبة 45% من المرات، لكنهم نادراً ما استخدموا نفس الكلمات أو التفاصيل الدقيقة.
المتخصص اكتسح المنافسة: النموذج الأصغر، بعد معسكره التدريبي المحدد، حصل على درجة 0.78.
التشبيه: إذا كان "العام" يشبه سائحاً يحاول طلب الطعام بلغة أجنبية باستخدام كتاب عبارات، فإن "المتخصص" يشبه شخصاً محلياً نشأ في ذلك الحي.
الإحصائية: في الجزء الأصعب من الاختبار (الحصول على المعنى بدقة تامة)، نجح "المتخصص" بنسبة 79%، بينما نجحت "النماذج العامة" بنسبة 1-2% فقط. هذا فرق يتراوح بين 40 إلى 80 ضعفاً.
المفاجأة: الأمر لا يتعلق بالحجم فقط
حاول الباحثون إجراء تجربة ثانية لمعرفة ما إذا كان "الأكبر هو الأفضل دائماً". أخذوا نفس بيانات التدريب تماماً ونفس الوصفة تماماً وطبقوها على نموذج مختلف وأكبر بكثير (Gemma-4-26B).
النتيجة: فشل نموذج Gemma الكبير في التحسن. ظل عالقاً عند درجة 0.44، وكان أداؤه سيئاً تماماً مثل النماذج العامة غير المدربة.
التشبيه: تخيل أنك تحاول تعليم سيارة فورمولا 1 القيادة في طريق ترابي ضيق ومتعرج باستخدام نفس التعليمات التي استخدمتها لسيارة سيدان صغيرة. سيارة السباق معقدة جداً و"عنيدة" لدرجة أنها لا تستطيع الاستماع للتعليمات البسيطة؛ فهي تحاول دائماً القيادة كسيارة سباق بدلاً من سيارة سيدان.
الدرس المستفاد: الأمر لا يتعلق بحجم الدماغ، بل بمدى توافق "شخصية" الدماغ مع التدريب. النموذج الأصغر كان مرناً بما يكفي ليتعلم المهمة الجديدة، بينما كان النموذج الأكبر "ثابتاً في طباعه" (لقد تم ضبط تدريبه على أسلوب تفكير مختلف) وقاوم التعليمات الجديدة.
لماذا هذا مهم (وفقاً للورقة البحثية)
تقدم الورقة ثلاث ادعاءات رئيسية:
التخصص ينتصر: للمهام المحددة مثل التنبؤ بسلوك المستخدم على الشاشة، فإن نموذجاً صغيراً مدرباً جيداً يتفوق بمراحل على "عبقري عام" ضخم غير مدرب.
البنية التحتية (Architecture) مهمة: لا يمكنك مجرد إلقاء البيانات على أي نموذج ضخم وتوقع أن يعمل. إذا لم تتوافق "شخصية" النموذج الداخلية (الخبرة السابقة للتدريب) مع المهمة، فلن يتعلم، مهما أعطيته من بيانات.
الكفاءة: النموذج الصغير الفائز أسرع وأرخص في التشغيل من النماذج الضخمة، ومع ذلك فهو يؤدي المهمة بشكل أفضل بـ 40 مرة.
ملخص في جملة واحدة
تثبت الورقة أنه لفهم السلوك البشري على الشاشات، فإن روبوتاً صغيراً متخصصاً مدرباً على أمثلة واقعية هو "قارئ عقول" أفضل بكثير من كمبيوتر خارق ضخم وغير مدرب، بشرما اخترت الروبوت المناسب للتدريب في المقام الأول.
بيان المشكلة تتناول الورقة البحثية تحدي التنبؤ بسلوك المستخدم ومنطقه في السيناريوهات المشروطة بالشاشة (مثل استخدام تطبيقات الهاتف المحمول). وتحديدًا، تبحث الورقة فيما إذا كانت النماذج اللغوية البصرية (VLMs) الرائدة ذات القدرات الصفرية (zero-shot) قادرة على وصف نية المستخدم ومنطقه بشكل معقول عند تزويدها بلقطة شاشة وملف تعريف الشخصية، أم أن الضبط الدقيق الخاضع للإشراف (SFT) المخصص للمهمة ضروري لتحقيق دقة سلوكية عالية. ويفترض المؤلفون أنه بينما تمتلك النماذج الرائدة تدريبًا مسبقًا واسع النطاق وتأسيسًا متعدد الوسائط، إلا أنها قد تفتقر إلى "الصوت" المحدد وأنماط الاستدلال المطلوبة للمحاكاة الدقيقة لسلوكيات التسوق والتفاعل مع التطبيقات في العالم الحقيقي.
المنهجية تقدم الدراسة PiSAR (الشخصية، النية، الشاشة، الفعل، المنطق)، وهي مجموعة بيانات مملوكة تتكون من 12,931 زوجًا تم تجميعها من مراجعات متاجر التطبيقات العامة، وبيانات Pew American Trends Panel الديموغرافية، وآثار متسوقي OPeRA. يتبع بناء البيانات قاعدة "واقعي في 2 من 3 خانات"، مما يضمن ملاحظة اثنين على الأقل من المكونات الثلاثة الأساسية (الشاشة، الشخصية، المنطق) مباشرة من بشر حقيقيين بدلاً من توليدها اصطناعيًا.
يتضمن الإعداد التجريبي ما يلي:
تقسيم مجموعة البيانات: تُستخدم شريحة محجوزة للاختبار مكونة من 661 صفًا من PiSAR كمعيار للتقييم.
النماذج:
النماذج المرجعية للقدرات الصفرية (Frontier Zero-Shot Baselines): نماذج Claude Opus 4.7 و GPT-5.5، والتي تم تقييمها دون ضبط دقيق.
النماذج المضبوطة دقيقًا (Fine-Tuned Models): تم ضبط نموذجين باستخدام مسار SFT عبر تقنية LoRA (التكيف منخفض الرتبة) مدارة على منصة Fireworks:
Qwen3-VL-8B-Instruct: تم ضبطه على مزيجين من البيانات (OPeRA فقط: 4,014 صفًا؛ والمزيج المشترك: 13,796 صفًا).
Gemma-4-26B-A4B-IT (MoE): تم ضبطه على المجموعة المشتركة (13,796 صفًا) باستخدام نفس المعلمات الفائقة لنماذج Qwen.
مقاييس التقييم: يتم قياس الأداء على نفس الـ 661 صفًا باستخدام:
التشابه الدلالي (sem_sim): تشابه جيب التمام بين التضمينات النصية للمنطق المتوقع والمنطق الذهبي (المعيار الأساسي).
معدلات تجاوز العتبة (Threshold Pass Rates): النسبة المئوية للصفوف التي تتجاوز عتبات sem_sim محددة (0.3، 0.5، 0.7).
المساهمات الرئيسية
معيار PiSAR: معيار قياسي مرتكب على الشاشة للتنبؤ بالمنطق السلوكي، مما يسمح بالمقارنة المباشرة بين النماذج الرائدة ذات القدرات الصفرية والوكلاء المضبوطين دقيقًا.
نتائج الضبط الدقيق الحساس للبنية: توضح الورقة أن فعالية الـ SFT تعتمد بشكل كبير على "المنطلق السابق" (prior) لتدريب النموذج بعد التدريب الأولي. فقد حققت وصفة ضبط دقيق محددة (رتبة LoRA 16، 13 ألف مثال) طفرة هائلة في الأداء على نموذج 8B (Qwen)، لكنها فشلت في تحريك نموذج 26B (Gemma) المخصص للاستدلال إلى ما وراء مستوى النماذج الرائدة ذات القدرات الصفرية.
تشخيص عدم التطابق بين الوصفة والنموذج: حدد المؤلفون أن النماذج المخصصة للاستدلال والتي تمتلك منحى "المسودة أولًا" أو "سلسلة الأفكار" (chain-of-thought) تقاوم الإزاحة بواسطة وصفات SFT القياسية، مما يؤدي إلى "نزيف القوالب" (على سبيل المثال، إخراج علامات الاستدلال الداخلية بدلاً من المنطق النهائي) والأداء الضعيف في مهام المخرجات المباشرة.
النتائج
الضبط الدقيق مقابل النماذج الرائدة: حقق نموذج Qwen3-VL-8B-Instruct (المزيج المشترك) قيمة sem_sim بلغت 0.783، متفوقًا بشكل كبير على النماذج الرائدة ذات القدرات الصفرية (Claude Opus 4.7: 0.459؛ GPT-5.5: 0.482). ويمثل هذا فجوة مطلقة قدرها 0.30.
أداء إعادة الصياغة الصارمة: عند عتبة التشابه الصارمة sem_sim ≥ 0.7 ، تجاوز نموذج Qwen المضبوط دقيقًا 79% من صفوف الاختبار، بينما تجاوزت النماذج الرائدة 1-2% فقط.
حساسية النموذج الأساسي: أدت نفس البيانات والوصفة المطبقة على Gemma-4-26B-A4B-IT إلى تحقيق sem_sim قدره 0.441، مما وضعه في نفس نطاق أداء النماذج الرائدة ذات القدرات الصفرية.
تحليل نمط الفشل: أظهر نموذج Gemma "نزيفًا في تتبع الاستدلال"، حيث بدأت 4% من المخرجات بعلامات Markdown داخلية (مثل * Persona:، * Draft 1:) وفشلت في إنتاج إجابة نهائية، مما أدى إلى نسب طول قصوى (المتوسط 4.43، والحد الأقصى 457 ضعفًا) وزيادة في زمن الاستجابة.
تكوين البيانات: أدى رفع حجم بيانات التدريب من (OPeRA فقط - 4 آلاف صف) إلى (المزيج المشترك - 13 ألف صف) إلى تحسين أداء نموذج Qwen من 0.519 إلى 0.783، مع ملاحظة أكبر المكاسب في بيانات متجر التطبيقات.
الأهمية والادعاءات تزعم الورقة أنه بالنسبة لمحاكاة السلوك المشروط بالشاشة، فإن الضبط الدقيق ذو الصلة بالمجال لنموذج رؤية-لغة أساسي صغير ومباشر المخرجات يتفوق بشكل حاسم على توجيه (prompting) النماذج الرائدة المخصصة للاستدلال.
الكفاءة: يعمل نموذج 8B المضبط دقيقًا بزمن استجابة أقل من ثانية واحدة (0.79 ثانية كمتوسط)، وبتكلفة استدلال أقل بكثير من النماذج الرائدة، مع تحقيق دقة سلوكية أعلى بكثير.
الملاءمة البنيوية: تشير النتائج إلى أن القواعد الأساسية "المخصصة للاستدلال" (مثل Gemma-4-IT) قد تتطلب طرق ضبط دقيق أقوى (مثل رتبة LoRA أعلى، أو ضبط دقيق لكامل المعلمات) أو المزيد من البيانات. وعلى العكس من ذلك، فإن النماذج ذات منحى المخرجات المباشرة (مثل Qwen3-VL-Instruct) تستجيب بشدة لوصفات SFT القياسية.
قابلية التكرار: بينما تعتبر مجموعة بيانات PiSAR والأوزان ملكية خاصة، يقدم المؤلفون المنهجية الكاملة، وقواعد دمج البيانات، وتكوينات التدريب، مؤكدين أن "شكل" الرهان (10-20 ألف سجل من العالم الحقيقي + قاعدة 8B + LoTA SFT) هو المفتاح القابل للتكرر للنجاح، بدلاً من انتظار نماذج أكبر رائدة.
يصرح المؤلفون صراحةً بأنهم لا يدعون أن الضبط الدقيق أفضل عالميًا من التوجيه (prompting)، ولا أن Gemma نموذج "سيء". بدلاً من ذلك، يجادلون بأنه في هذه المهمة المحددة، فإن التفاعل بين وصفة SFT والمنطلق السابق للنموذج هو المتغير الحاسم، ويمكن لعدم التطابق هنا أن يجعل نموذج 26B المخصص للاستدلال أقل فعالية من نموذج 8B الذي حقق مكسبًا مطلقًا قدره 0.30 عبر الضبط الدقيق.