ملخص تقني: "أخفِ لترى": قناع بادئة الاستدلال لتعزيز التفكير المرتكز بصرياً في تقطير النماذج اللغوية البصرية (VLM)

بيان المشكلة

تساهم نهج "التفكير-الإجابة" (think-answer) الحديثة في النماذج اللغوية البصرية (VLMs)، مثل Qwen3-VL-Thinking، بشكل كبير في تعزيز أداء الاستدلال من خلال توليد خطوات استدلال وسيطة قبل الإجابة النهائية. ومع ذلك، فإن مسارات الاستدلال الطويلة هذه تفرض تكاليف حوسبة باهظة، مما يحد من نشرها في السيناريوهات ذات الموارد المحدودة. ويقدم "التقطير المعرفي" (Knowledge Distillation - KD) حلاً عبر نقل القدرات من النماذج المعلمة الكبيرة إلى النماذج الطالبة المدمجة.

يتمثل التحدي الحرج في تقطير نماذج الـ VLM التي تتبع نهج "التفكير-الإجابة" في النسيان البصري (visual forgetting). فبينما يقوم النموذج الطالب بتوليد مسار استدلال طويل، فإنه يميل إلى الاعتماد بشدة على بادئات الاستدلال النصية المتراكمة (البادئات النصية التي تم توليدها سابقاً) للتنبؤ بالرموز (tokens) التالية. غالباً ما تحتوي هذه البادئات على معلومات كافية لمحاكاة مسار النموذج المعلم دون الحاجة من الطالب إلى إعادة فحص المدخلات البصرية. ونتيجة لذلك، يتعلم الطالب تجاهل الأدلة البصرية، مما يؤدي إلى تدهور قدرات الاستدلال المرتكزة بصرياً. وتفشل طرق التقطير الحالية التي تنقل خرائط الانتباه البصري أو علاقات الرموز في معالجة هذا الميل المحدد للاختصار عبر الإشارات النصية.

المنهجية: تقطير القناع (Masking-KD)

يقترح المؤلفون Masking-KD، وهو إطار عمل جديد للتقطير مصمم لإجبار النموذج الطالب على ترسيخ استدلاله في الأدلة البصرية من خلال حجب أكثر الإشارات النصية تأثيراً بشكل متعمد.

الآلية الجوهرية

بدلاً من استخدام القناع السببي القياسي (الذي يسمح للطالب برؤية جميع الرموز السابقة)، يستخدم Masking-KD قناع بادئة استدلال بارز (salient reasoning-prefix mask). يقوم هذا القناع بحجب الوصول إلى كل من الرموز المستقبلية (السببية القياسية) وبادئات الاستدلال البارزة المحددة التي قد يعتمد عليها الطالب لمحاكاة المعلم. ومن خلال إزالة هذه الإشارات النصية عالية التأثير، يُجبر الطالب على استخدام الأدلة البصرية لتعويض المعلومات المفقودة.

يتكون إطار العمل من مكونين تكيفيين:

1. قناع بادئة الاستدلال البارزة على مستوى الرمز (Token-wise):

   • التحديد: قبل خطوة التقطير الرئيسية، يتم إجراء تمريرة أمامية مساعدة (auxiliary forward pass) للنموذج الطالب (تحت قناع سببي قياسي). تولد هذه التمريرة خريطة انتباه من الاستجابة إلى الاستجابة ($A^{resp}$)، والتي تكشف عن الرموز السابقة التي ينتبه إليها الطالب بشدة عند التنبؤ بالرمز الحالي.
   • الاختيار: لكل تنبؤ بالرمز التالي، تحدد الطريقة أكثر البادئات بروزاً (top-$\rho$) بناءً على أوزان الانتباه الخاصة بها. هذه هي الرموز التي توفر أقوى "اختصار" للوصة.
   • القناع: يتم حجب هذه البادئات البارزة المحددة (عن طريق ضبطها إلى $-\infty$ في لوغاريتمات الانتباه) أثناء خطوة تدريب التقطير الفعلية، مما يمنع الطالب من الانتباه إليها.

2. جدولة ميزانية القناع ذاتية الخطوات (Self-Paced Masking Budget Scheduling):

   • تختلف صعوبة تقطير كل رمز؛ فالرموز التي يسهل محاكاتها (انخفاض التباين بين المعلم والطالب) توفر إشارات تعلم ضعيفة إذا كان بإمكان الطالب ببساطة نسخ البادئة.
   • تحسب الطريقة تباعد KL العكسي على مستوى الرمز بين توزيعات المعلم والطالب خلال التمريرة الأمامية المساعدة.
   • يتم تعيين نسبة تراكمية عتبية ($\rho_n$) لكل رمز بشكل تكيفي بناءً على هذه الصعوبة. الرموز التي يسهل محاكاتها (انخفاض تباعد KL) تحصل على ميزانية قناع أعلى (يتم حجب المزيد من البادئات) لإجبار الطالب على الاعتماد على الإشارات البصرية. أما الرموز الأصعب في التعلم، فتتلقى قناعاً أقل لضمان استقرار التدريب.

هدف التدريب

يتم تدريب الطالب على تقليل تباعد KL العكسي بين التوزيع التنبئي الخاص به (تحت السياق المقنع) وتوزيع المعلم (تحت السياق الكامل). تُعرف دالة الخسارة كما يلي:
$$\mathcal{L}_{Distill} = \frac{1}{N} \sum_{n=1}^{N} \sum_{y \in \mathcal{V}} p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}}) \log \frac{p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}})}{p_t(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \mathbf{M})}$$
حيث أن $\tilde{\mathbf{M}}$ هو قناع بادئة الاستدلال البارزة و $\mathbf{M}$ هو القناع السببي القياسي.

المساهمات الرئيسية

1. إطار عمل Masking-KD: نموذج جديد للتقطير يعزز التفكير المرتكز بصرياً من خلال حجب بادئات الاستدلال البارزة، مما يجبر الطالب على استخدام الأدلة البصرية بدلاً من الاعتماد على الاختصارات النصية.
2. قناع بادئة الاستدلال التكيفي على مستوى الرمز: آلية تحدد وتحجب ديناميكياً أكثر بادئات الاستدلال تأثيراً لكل تنبؤ برمزي محدد، مع الإقرار بأن السياق الحرج يختلف عبر خطوات فك التشفير.
3. جدولة الميزانية ذاتية الخطوات: استراتيجية تكيفية تعدل شدة القناع بناءً على صعوبة التقطير (تباعد KL)، مما يضاعف إشارات التعلم للرموز سهلة المحاكاة.
4. التحقق التجريبي: تجارب واسعة النطاق تثبت أن هذا النهج يتفوق على طرق تقطير الـ VLM الحالية ونماذج التقطير الذاتي المرجعية.

النتائج التجريبية

قيم المؤلفون Masking-KD على اختبارات الاستدلال متعددة الوسائط، بما في ذلك Geometry-3K, MathVista, We-Math, MMK12, MathVerse, LogicVista, و MMMU-Pro.

• مكاسب الأداء: حقق Masking-KD نتائج هي الأفضل حالياً (state-of-the-art) عبر جميع أحجام النماذج (2B، 4B، و 8B). والجدير بالذكر أن النموذج المقطر بحجم 4B تجاوز المعلم غير المقطر بحجم 8B، كما أن النموذج بحجم 2B تفوق على المعلم غير المقطر بحجم 4B.
• المقارنة مع النماذج المرجعية: تفوقت الطريقة بشكل كبير على التقطير القياسي على مستوى الاستجابة، وكذلك على الطرق التي تنقل الأنماط البصرية صراحة (مثل LLaVA-KD، CompoDistill، و Align-TI).
• التقطير الذاتي: كان إطار العمل فعالاً في إعدادات التقطير الذاتي (حيث يعمل الطالب كمعلم لنفسه)، متفوقاً على طرق التقطير الذاتي الأخرى مثل OPSD.
• تحليل الانتباه البصري: أكدت التحليلات النوعية والكمية أن نماذج Masking-KD تحافظ على نسب انتباه بصري أعلى طوال عملية التوليد مقارنة بالنماذج المرجعية، مما يخفف بفعالية من ظاهرة "النسيان البصري". لوحظ أن النماذج تقوم بتنشيط مناطق الصورة ذات الصلة بقوة أكبر عند حجب الإشارات النصية.

الأهمية والادعاءات

يدعي البحث أن العقبة الرئيسية في تقطير نماذج "التفكير-الإجابة" في الـ VLM هي ميل الطالب لاستغلال الاختصارات النصية التي توفرها بادئات الاستدلال المتراكمة، مما يؤدي لتجاهل المدخلات البصرية.

تكمن أهمية Masking-KD في تحولها من النقل الصريح للمعرفة البصرية للمعلم (مثل خرائط الانتباه) إلى توجيه الطالب لتطوير عملية استدلال خاصة به مرتكزة بصرياً. فمن خلال "إخفاء" أكثر الإشارات النصية وضوحاً، تجبر الطريقة الطالب على "رؤية" الصورة لحل المشكلة. ويخلص المؤلفون إلى أن هذا النهج أكثر فعالية لتقطير الاستدلال في الـ VLM من الطرق السابقة التي تركز فقط على محاكاة الأنماط البصرية الداخلية، لأنه يعالج مباشرة السبب الجذري للنسيان البصري في مهام الاستدلال ذات السلسلة الطويلة.