ملخص تقني: الاستدلال الكامن المتسق ذاتيًا (SCOLAR)

1. بيان المشكلة

بينما أثبت التوسع في "الحوسبة من أجل الأداء" (compute-for-performance) في النماذج اللغوية أن سلاسل التفكير (CoT) الأطول تحسن قدرات الاستدلال باستمرار، فإن تطبيق هذا المبدأ على نماذج الرؤية واللغة (VLMs) عبر الاستدلال البصري الكامن قد أسفر عن نتائج غير متوقعة. تعاني الطرق الحالية التي تُدخل تمثيلات بصرية كامنة وسيطة أثناء التوليد من تدهور منهجي في الأداء مع زيادة طول التسلسل الكامن.

حددت الورقة سببين جذريين لهذه الظاهرة، أطلقت عليهما اسم انهيار كسب المعلومات (Information Gain Collapse):

1. التبعية ذاتية التراجع (Autoregressive Dependency): في الاستدلال الكامن التقليدي، يتم توليد كل رمز (token) بناءً على الرمز السابق له. هذا يخلق سلسلة تبعية حيث تتلاشى المعلومات البصرية حتمًا مع انتشارها، مما يؤدي إلى تكرار الرموز اللاحقة للمعلومات الموجودة بالفعل بدلاً من تقديم محتوى دلالي جديد.
2. أهداف الإشراف عديمة المعنى (Meaningless Supervision Targets): تعتمد العديد من الطرق الحالية على تمثيلات صور مجمعة بكثافة (على سبيل المثال، $\ge 128\times$) كأهداف للإشراف. أوضح المؤلفون أن هذه الميزات المجمعة تعمل كـ "عناصر نائبة عديمة المعنى"، فهي لا تقدم أكثر من الضجيج وتفشل في توجيه الاستدلال البصري الفعال.

بناءً على ذلك، تصبح السلاسل الكامنة الطويلة في الطرق الحالية عبئًا بدلاً من كونها فائدة، مما يحد من إمكانية توسيع نطاق الاستدلاء البصري.

2. المنهجية: SCOLAR

لمعالجة انهيار كسب المعلومات، اقترح المؤلفون SCOLAR (الاستدلال الكامن المتسق ذاتيًا). الابتكار الجوهري هو التحول من نموذج توليد الكوامن ذاتي التراجع إلى نهج التوليد بضربة واحدة والمتسق ذاتيًا.

البنية الهيكلية

مبني على إطار العمل القياسي (ViT–Projector–LLM)، يقدم SCOLAR فرع detransformer خفيف الوزن:

• المدخلات: يأخذ الـ detransformer حالات الإخفاء لكامل التسلسل ($H$) الخاصة بالنموذج اللغوي الكبير (LLM) (بما في ذلك الاستدلال النصي ورمز التشغيل/trigger token) كمدخلات.
• الآلية: بدلاً من توليد الرموز الكامنة واحدًا تلو الآخر، يقوم الـ detransformer بتوليد تسلسل كامل من الرموز البصرية المساعدة ($A_0$) في تمريرة أمامية واحدة (single forward pass).
• الاتساق الذاتي: يتم تثبيت كل رمز مساعد مُولد بشكل مستقل في الفضاء الدلالي البصري الأصلي (دقة الإدخال). هذا يكسر سلسلة التبعية ذاتية التراجع، مما يضمن أن كل رمز يقدم معلومات بصرية حقيقية وغير مكررة.
• الدمج (Fusion): يتم دمج الرموز المساعدة مع الرموز البصرية الأصلية عبر إضافة متبقية محكومة ببوابة ($A = V + g(A_0)$)، حيث تتحكم آلية البوابة في قوة التعديل.

مسار التدريب

يستخدم SCOLAR استراتيجية ضبط دقيق مُشرف (SFT) مكونة من ثلاث مراحل، تليها تعزيز التعلم (RL) لحل عدم التطابق في التوزيع بين التدريب (باستخدام الصور المساعدة الحقيقية) والاستدلال (باستخدام الكوامن المولدة ذاتيًا):

1. المرحلة 1: التدريب المسبق للـ Detransformer: يتم تدريب الـ detransformer على إعادة بناء الفرق بين الصورة المدخلة والصورة المساعدة الحقيقية ($\Delta_{aux}$) باستخدام خسارة إعادة البناء. يظل العمود الفقي للنموذج اللغوي (LLM) مجمدًا خلال هذه المرحلة لمنع الانهيار الدلالي.
2. المرحلة 2: تعلم رمز التشغيل (Trigger Token): يتعلم النموذج كيفية اتخاذ القرار تلقائيًا متى يقوم بتنشيط الاستدلال الكامن. ويتحقق ذلك عبر التنبؤ بالرمز التالي (NTP) الموزون، حيث يتم فرض وزن خسارة أعلى على رمز التشغيل <auxiliary> لضمان تعلم النموذج استدعاء الآلية عند الضرورة.
3. المرحلة 3: الاستدلال المشترك مع تلاشي الإجبار للمعلم (Teacher-Forcing Annealing): يتعلم النموذج الاستدلال باستخدام الرموز المساعدة التي يولدها بنفسه. وللتخفيف من عدم تطابق التوزيع، تنتقل عملية التدريب تدريجيًا من استخدام الميزات المساعدة الحقيقية إلى الميزات المولدة ذاتيًا (تلاشي خطي من 1.0 إلى 0.0).
4. ALPO (تحسين سياسة الكوامن المساعدة): نظرًا لأن التضمينات المساعدة مستمرة ولا يمكن تحسينها مباشرة عبر تدرجات السياسة للرموز المنفصلة (مثل GRPO)، اقترح المؤلفون خوارزمية ALPO. تقوم هذه الطريقة بفصل الاستدلال البصري المستمر عن السياسة النصية المنفصلة. أثناء مرحلة التشغيل (rollout)، يتم توليد الكوامن المساعدة وتخزينها مؤقتًا؛ وأثناء تحديث الفاعل (actor update)، يتم حقنها كـ سياق ثابت، ويتم حساب تدرج السياسة فقط على الرموز النصية المنفصلة. يتضمن ذلك مكون مكافأة محدد ($r_{aux}$) يشجع على التنشيط الصحيح لرمز التشغيل <auxiliary>.

3. المساهمات الرئيسية

1. تحديد انهيار كسب المعلومات: قامت الورقة بتشخيص منهجي للسبب الجذري لتدهور الأداء في طرق الاستدلال البصري الكامن الحالية، وعزت ذلك إلى تلاشي المعلومات ذاتي التراجع واستخدام أهداف إشراف مجمعة بشكل مفرط.
2. إطار عمل SCOLAR: نموذج جديد بضربة واحدة يستخدم detransformer خفيف الوزن يولد رموزًا بصرية مساعدة مثبتة بشكل مستقل في الفضاء البصري الأصلي، مما يسمح باستدلال كامن قابل للتوسع حقًا.
3. استراتيجية التدريب: تطوير تدريب دقيق مُشرف ثلاثي المراحل مع تلاشي الإجبار للمعلم وخوارزمية ALPO المبتكرة للتعامل مع التحديات الفريدة لتحسين الفضاءات الكامنة المستمرة ضمن إطار سياسة الرموز المنفصلة.
4. التحقق التجريبي: تجارب واسعة النطاق أظهرت أن SCOLAR يمد طول سلسلة الـ CoT الكامنة المقبولة بأكثر من 30 ضعفًا مقارنة بالطرق السابقة مع تحسين الأداء.

4. النتائج التجريبية

قيم المؤلفون SCOLAR (المبني على خلفية Qwen2.5-VL-7B) مقابل النماذج مفتوحة المصدر الرائدة والأنظمة المملوكة (GPT-4o, GPT-5.2) عبر عدة اختبارات معيارية:

• الاستدلال في العالم الحقيقي: حقق SCOLAR أداءً رائدًا بين النماذج مفتوحة المصدر.
  • MME-RealWorld-Lite: تحسن بنسبة +14.12% عن النموذج الأساسي.
  • V*Bench: حقق 83.77%، متفوقًا على GPT-4o (67.50%) بأكثر من 16 نقطة مئوية.
  • HRBench4K/8K: مكاسب كبيرة في مهام الإدراك المكاني دقيقة التفاصيل.
• التعميم خارج التوزيع (OOD): في اختبار VisualPuzzles المعياري (الغائب تمامًا عن بيانات التدريب)، أظهر SCOLAR قدرة قوية على التعميم، خاصة في مهام الاستدلال المكاني والتماثلي، متفوقًا على النماذج الأخرى مفتوحة المصدر.
• توسع طول الكوامن (Latent Length Scaling):
  • Monet و LVR: تدهور الأداء بشكل منهجي مع زيادة طول الكوامن من 3 إلى 1000 رمز.
  • SCOLAR: تحسن الأداء باستمرار مع زيادة طول الكوان، ووصل ذروته عند الدقة الكاملة (بدون تجميع).
• تحليل كسب المعلومات: باستخدام بقايا الإسقاط المتعامد، أظهر المؤلفون أن SCOLAR يحافظ على كسب معلومات مرتفع (حوالي 10–30) عبر 1000 رمز، بينما ينهار كسب LVR إلى ما يقرب من الصفر بعد 10 رموز، ويتناقص كسب Monet بشكل رتيب.
• تجارب الحشو عديم المعنى: استبدال رموز SCOLAR الكامنة بحشو عديم المعنى تسبب في انخفاض كارثي في الأداء زاد مع طول التسلسل، مما أكد أن النموذج يعتمد على المحتوى الدلالي الحقيقي للرموز، وليس فقط على وجودها الهيكلي.

5. الأهمية والادعاءات

تدعي الورقة أن SCOLAR يحل بشكل أساسي مشكلة اختناق القابلية للتوسع في الاستدلال البصري الكامن. من خلال فصل توليد الرموز المساعدة عن التبعيات ذاتية التراجع، يثبت SCOLAR أن "السلاسل الأطول" في المجال البصري يمكن أن تؤدي بالفعل إلى "استدلال أفضل"، بشرما كانت الرموز تحمل دلالات بصرية حقيقية وغير متلاشية.

يؤكد المؤلفون أن SCOLAR يسد الفجوة بين النماذج الصغيرة مفتوحة المصدر والأنظمة الكبيرة المملوكة، مما يثبت أن نموذجًا بـ 7 مليارات معلمة مع توسيع كامن فعال يمكن أن يتفوق على النماذج المغلقة الأكبر حجمًا بكثير في اختبارات الاستدلال المعقدة. يتحدى هذا العمل الاعتماد السائد على الميزات المجمعة بكثافة والتوليد ذاتي التراجع في الاستدلال الكامن، مقترحًا اتجاهًا جديدًا للاستدلال متعدد الوسائط القابل للتوسع والمتسق ذاتيًا.

القيود المعلنة: تعتمد الطريقة الحالية على بيانات صورة (مدخل-مساعد) مزدوجة للإشراف، ولا يزال تحسين الـ detransformer في مرحلة RL ضمنيًا وليس صريحًا. اقتُرح عمل مستقبلي لاستكشاف الإعدادات غير الخاضعة للإشراف وإشارات التدرج الصريحة للمساحة البصرية المستمرة.