ملخص تقني: التقطير في السياسة المباشرة ذو الميزة البصرية لنماذج الرؤية واللغة

1. بيان المشكلة

أثبت التقطير المعرفي في السياسة المباشرة (On-policy knowledge distillation) فعاليته في ضغط النماذج اللغوية الكبيرة (LLMs) عبر تدريب نموذج طالب لمطابقة توزيع مخرجات النموذج المعلم على مسارات توليده الخاصة. ومع ذلك، فإن تطبيق هذا النموذج على نماذج الرؤية واللغة (VLMs) يكشف عن عدم تطابق حرج: يعامل التقطير القياسي جميع الرموز (tokens) بشكل موحد، مما يؤدي إلى الفشل في التمييز بين الهياكل اللغوية المساندة والرموز التي تعتمد حقاً على أدلة بصرية دقيقة.

لاحظ المؤلفون أنه في معظم مسارات نماذج الرؤية واللغة، تعمل الغالبية العظمى من الرموز كقوالب لغوية أو هياكل استدلالية، بينما تعتمد نسبة ضئلة فقط على التفاصيل البصرية الدقيقة (مثل الأرقام المحددة في رسم بياني). يؤدي تقليل تباعد كولباك-ليبلر (KL divergence) القياسي إلى متوسط التدرجات عبر جميع الرموز بشكل موحد. ونتيجة لذلك، فإن إشارة الإشراف القوية الموجودة في الرموز القليلة ذات الأهمية البصرية يتم تخفيفها بواسطة الرموز اللغوية الوفيرة المحيطة بها. وبناءً على ذلك، بينما قد تتحسن دقة مخرجات الطالب، فإن اعتماده الأساسي على المدخلات البصرية لا يتقوى؛ حيث يتعلم الطالب محاكاة النص السطحي للمعلم دون تعلم الانتباه الفعلي للصورة.

2. المنهجية: التقطير في السياسة المباشرة ذو الميزة البصرية (VA-OPD)

لمعالجة هذا التخفيف، يقترح المؤلفون التقطير في السياسة المباشرة ذو الميزة البصرية (VA-OPD)، وهو أسلوب يحدد ويمنح الأولوية للرموز التي تتطلب تفاصيل بصرية دقيقة.

2.1 الميزة البصرية (VA)

الأداة التشخيصية الأساسية هي الميزة البصرية (VA)، وهي مقياس على مستوى الرمز يقيس مدى اعتماد المعلم على التفاصيل البصرية. لكل رمز $y_t$ في مسار تم توليده بواسطة الطالب، يتم حساب VA كفرق لوغاريتمي غير سالب بين درجة المعلم مع الصورة الأصلية ($v$) وصورة متدهورة ($\tilde{v}$) حيث تم تدمير التفاصيل الدقيقة (مثل التعرف الضوئي على الحروف OCR، أو الرموز الصغيرة) عبر خفض دقة الصورة:
$$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$$
تشير قيمة VA العالية إلى أن التنبؤ بالرمز يعتمد بشدة على التفاصيل البصرية الدقيقة، بينما تشير القيمة المنخفضة إلى أن الرمز يعتمد على الأوليات اللغوية أو الميزات البصرية العالمية القوية.

2.2 ملاحظات رئيسية

يكشف التحليل التجريبي لمسارات الطالب عن خاصيتين حرجتين:

1. الندرة: تتبع VA توزيعاً ذا ذيل ثقيل؛ حيث تحمل أعلى 10% من الرموز حوالي 93% من إجمالي كتلة VA.
2. تركيز الإشراف: يتسبب حجب خسارة KL على الرموز ذات VA العالية في انخفاض كبير في الدقة، بينما يكون حجب الرموز ذات VA المنخفضة أو الرموز العشوائية ذا تأثير ضئيل. وهذا يؤكد أن إشارة الإشراف البصري تتركز في أقلية صغيرة من الرموز.

2.3 هدف VA-OPD

يعدل VA-OPD هدف التقطير القياسي في السياسة المباشرة عبر تطبيق VA على مستويين لمنع تخفيف الإشارة:

• إعادة الوزن على مستوى المسار: لكل مجموعة من $K$ من المسارات المتماثلة المولدة لنفس المطالبة (prompt)، يتم تخصيص وزن ناعم لكل مسار بناءً على متوسط VA للمسار بالنسبة لأقرانه. المسارات ذات الاعتماد البصري الأعلى تساهم بشكل أكبر في التدرج.
• مجموعة KL على مستوى الرمز: داخل كل مسار، يتم فرز الرموز حسب VA وتقسيمها إلى مجموعة VA عالية (الجزء العلوي، مثلاً 20%) ومجموعة VA منخفضة (المتبقي). يتم حساب متوسط خسارة KL لكل رمز بشكل منفصل داخل كل مجموعة قبل جمعها. يضمن هذا أن مساهمة التدرج من رموز VA العالية الحرجة لا يتم تصغيرها بسبب طول التسلسل $T$.

تجمع دالة الخسية النهائية هذه المكونات:
$$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$$
حيث $w^{(k)}$ هو وزن المسار، و $\lambda$ يوازن بين مساهمات مجموعتي VA العالية والمنخفضة.

3. المساهمات الرئيسية

1. تحديد مشكلة التخفيف: أثبت المؤلفون أن التقطير القياسي في السياسة المباشرة لنماذج الرؤية واللغة يفشل في تقوية الاعتماد البصري لأن وزن KL الموحد يخفف إشارة الإشراف البصري المركزة الموجودة في أقلية صغيرة من الرموز.
2. تقديم الميزة البصرية (VA): اقترحوا VA كمقياس مضاد للواقع (counterfactual) بالنسبة للمعلم لقياس التبعية البصرية على مستوى الرمز دون الحاجة إلى تسميات توضيحية إضافية أو نماذج مكافأة.
3. إطار عمل VA-OPD: قدموا هدف تقطير يستخدم VA على مستويين (إعادة وزن المسار و KL المجموعي على مستوى الرمز) لتركيز إشارة التعلم على المواضع الحرجة بصرياً.
4. التحقق التجريبي: تم التحقق من المنهجية عبر ثلاثة أحجام للمعلم (4B, 8B, 32B)، ومجموعتي بيانات (Geometry3K, ViRL39K)، وثمانية اختبارات مرجعية، مما أظهر تحسناً مستمراً على الخطوط المرجعية القياسية.

4. النتائج التجريبية

قيم المؤلفون VA-OPD على عائلة Qwen3-VL (معلم 8B، طالب 2B) مدرب على Geometry3K، مع اختبارات تعميم على ViRL39K وأحجام مختلفة للمعلم.

• مكاسب الأداء: تفوق VA-OPD على التقطير القياسي (Standard OPD) في جميع الاختبارات الثمانية.
  • الاستدلال الرياضي: تحسن متوسط قدره +2.9 نقطة.
  • الفهم البصري: تحسن متوسط قدره +1.5 نقطة.
  • اختبارات محددة: لوحظت مكاسب ملحوية في HallusionBench (+2.5) و AI2D (+2.4)، وهي مهام تعتمد بشدة على التفاصيل البصرية الدقيقة. أما الاختبارات التي تسمح بالاختصارات النصية فقط (مثل MMStar) فقد أظهرت مكاسب أقل، وهو ما يتوافق مع تركيز المنهجية على التبعية البصرية.
• قوانين القياس (Scaling Laws): زادت مكاسب الأداء لـ VA-OPD مقارنة بـ Standard OPD بشكل رتيب مع كل من حجم المعلم (من 4B إلى 32B) وحجم مجموعة البيانات (من Geometry3K إلى ViRL39K)، مما يشير إلى أن العوامل تتراكم باستمرار.
• الاعتماد البصري: أثناء التدريب، ارتفع متوسط VA لمسارات الطالب بالتزامن مع دقة VA-OPD، بينما أظهر Standard OPD دقة متزايدة مع ثبات VA. يشير هذا إلى أن VA-OPD يحقق اعتماداً بصرياً حقيقياً بدلاً من مجرد محاكاة المخرجات.
• الكفاءة: حقق VA-OPD الدقة النهائية لـ Standard OPD بسرعة تقارب 3.0 أضعاف في وقت التنفيذ الفعلي ووصل إلى سقف أداء أعلى ضمن ميزانيات زمنية ثابتة.

5. الأهمية والادعاءات

يدعي البحث أن VA-OPD يمثل أول طريقة تدمج الاعتماد لكل رمز على التفاصيل البصرية الدقيقة مباشرة في هدف التقطير في السياسة المباشرة لنماذج الرؤية واللغة. وتكمن أهميته في:

• الآلية: يحل مشكلة "التخفيف" عبر فصل الرموز الحرجة بصرياً عن الهياكل اللغوية صراحةً أثناء عملية التقطير.
• الكفاءة: لا يتطلب تسميات إضافية، أو نماذج مكافأة، أو تغييرات في عملية توليد الطالب، بل يضيف فقط تمريرة واحدة إضافية للمعلم لكل مسار (مع تفاصيل بصرية متدهورة).
• القدرة على التعميم: تحسن المنهجية الأداء عبر أحجام نماذج ومجلدات بيانات متنوعة، مما يشير إلى أنها تعالج قصوراً جوهرياً في استراتيجيات تقطير نماذج الرؤية واللغة الحالية بدلاً من كونها مرتبطة ببيانات محددة.
• التحول النوعي: بخلاف طرق وقت الاستدلال التي تعدل فك التشفير، يقوم VA-OPD بتعديل الهدف التدريبي لضمان تعلم الطالب كيفية "قراءة" الصورة، كما يتضح من ظهور بؤر VA الساخنة على القيم العددية وميزات الرسم البياني في التصورات النوعية.

ظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن VA هو مقيض للتبعية البصرية بناءً على فرضيات المعلم المضادة للواقع وليس قياساً مباشراً لآليات الانتباه الداخلية، وأن المكاسب تظهر بوضوح أكبر في المهام كثيفة الاعتماد على الرؤية.