ملخص تقني: HEED - المحاذاة المتبقية الموزونة بالكثافة لتقطير نماذج الرؤية واللغة الهجينة

1. بيان المشكلة

يعد تقطير نماذج الرؤية واللغة الضخمة (VLMs) إلى بنيات هجينة فعالة (مثل دمج طبقات Mamba-2 الخطية مع طبقات الانتباه) نهجًا قياسيًا لتقليل تكاليف الاستدلال. ومع ذلك، فإن المعايير التجميعية الحالية تخفي نمط فشل حرجًا: فبينما غالبًا ما تحافظ النماذج الطلاب الهجينة على قدرات الاستدلال الواسعة، إلا أنها تعاني من انخفاض كبير في الأداء في المهام التي تتطلب إدراكًا بصريًا دقيقًا، مثل التعرف الضوئي على الحروف (OCR)، وفهم المستندات، وتحليل المخططات.

حدد المؤلفون أن عملية تقطير المعرفة (KD) القياسية تعامل جميع الرموز البصرية (tokens) بشكل موحد. في الصور عالية الدقة، تتكون معظم الرقع (patches) من خلفيات ناعمة (سماء، جدران) ذات كثافة معلومات منخفضة، بينما يحتوي جزء صغير منها على تفاصيل حاسمة (نصوص، حواف، حدود كائنات). تقوم عملية تقطير المعرفة القياسية بتخصيص حدود خسارة مفرطة لرقع الخلفية منخفضة المعلومات، مما يؤدي إلى الفشل في حماية الرقع ذات الكثافة العالية والمنتشرة الضرورية للإجابة على أسئلة محددة. ينتج عن ذلك "انهيار الإدراك الدقيق"، حيث يمكن للطالب وصف مشهد بشكل عام ولكنه يفشل في قراءة أرقام أو تسميات محددة داخله.

2. المنهجية: HEED

تعالج الطريقة المقترحة، HEED (المحاذاة المتبقية الموزونة بالكثافة)، هذا الخلل من خلال إعادة وزن خسارة التقطير بناءً على كثافة المعلومات المحلية للرقع البصرية.

2.1 الرؤية التشخيصية

من خلال التشخيص على مستوى الرموز، حدد المؤلفون موقع الفشل في مواضع محددة:

• الانجراف المتبقي (Residual Drift): تظهر أعلى 10% من الرقع التي تمتلك أعلى كثافة ميزات محلية (المعرفة من خلال عدم تشابه ميزات ViT من الجيران) انجرافًا متبقيًا أكبر بمقدار 3.6 ضعفًا عن المعلم مقارنة بأدنى 10%.
• حساسية الإجابة: يتسبب حجب هذه الرقع عالية الكثافة في انخفاض قدره 3.5 ضعف في درجة إجابة المعلم مقارنة بالرقع منخفضة الكثافة.
• القدرة التنبؤية: تعد الكثافة البصرية المحلية أقوى مؤشر للانجراف المتبقي، متفوقة على نوع الرمز (نص مقابل بصري)، وعمق الطبقة، وتركيز انتباه المعلم.

2.2 خوارزمية HEED

تنفذ HEED استراتيجية محاذاة متبقية موزونة بالكثافة دون تعديل بنية النموذج أو إضافة معاملات، وهي عملية لا تتطلب تعديلًا أثناء التدريب:

1. تقدير الكثافة: لكل رقعة بصرية $p$، يتم حساب درجة الكثافة $\rho(p)$ باستخدام عدم التشابه الذاتي لميزات ViT المجمدة ضمن جوار $3\times3$:
   $$\rho(p) = 1 - \frac{1}{|N(p)|} \sum_{q \in N(p)} \frac{v_p^\top v_q}{\|v_p\| \|v_q\|}$$
   تشير $\rho(p)$ العالية إلى رقعة مميزة محليًا (مثل النص، الحواف)؛ وتشير $\rho(p)$ المنخفضة إلى خلفية ناعمة.
2. الوزن: يتم تطبيع هذه الدرجات وتحويلها إلى أوزان خسارة $w(p)$ باستخدام رسم خرائط أسي مع معامل درجة حرارة $\tau$. تحصل الرموز النصية على تعزيز ثابت بناءً على متوسط الك كثافة البصرية للصورة.
3. المحاذاة المتبقية: بدلاً من محاذاة مخرجات الكتل لكل طبقة (محاذاة الحالة المخفية القياسية) أو استخدام أوزان موحدة، تقوم HEED بمحاذاة التدفقات المتبقية (residual streams) للمعلم والطالب. يتم وزن خسارة المحاذاة بواسطة درجات الكثافة:
   $$L_{HEED} = \frac{1}{|S^*|} \sum_{\ell \in S^*} \sum_{p=1}^{T} w(p) \| r_{\ell,p}^{\tilde{\theta}} - r_{\ell,p}^{\theta} \|_2^2$$
   يضمن هذا أن الطالب الهجين يعطي الأولوية للحفاظ على المعلومات في المواضع عالية الكثة أثناء عملية التقطير.

2.3 مسار التدريب

تتبع الطريقة جدول تقطير مكون من ثلاث مراحل:

• المرحلة 1 (الإحماء): محاذاة التدفقات المتبقية مع أوزان الانتباه المجمدة.
• المرحلة 2 (الكتلة الكاملة): تدريب كتل Mamba-2 كاملة مع محاذاة متبقية موزونة بالكثافة.
• المرحلة 3 (النهاية إلى النهاية): تقطير قائم على اللوجيت القياسي (تباعد KL + الإنتروبيا المتقاطعة).
  تختلف HEED عن الطرق المرجعية فقط في خسارة المحاذاة المستخدمة في المرحلتين 1 و2.

3. المساهمات الرئيسية

1. التشخيص: توضح الورقة أن تقطير VLM الهجين يفشل انتقائيًا في مهام الإدراك الدقيق (OCR، المستندات) مع الحفاظ على الاستدلال، وتُرجع ذلك إلى المعاملة الموحدة للرموز في تقطير المعرفة القياسي.
2. الآلية: تثبت أن المواضع البصرية عالية الكثافة (الميزات المميزة محليًا) هي المصدر الرئيسي للانجراف وهي الأكثر أهمية لإجابة المعلم. إعادة الوزن العشوائي لأي رقع عشوائية لا يحقق نفس الفائدة؛ يجب أن يستهدف الوزن تحديدًا المواضع عالية الكثافة.
3. الطريقة (HEED): تدخل خفيف الوزن وخالٍ من المعاملات يستخدم عدم التشابه الذاتي للرقع كوكيل للأهمية. إنه يحسن الأداء دون تغيير بنية الاستدلال أو إضافة تكاليف وقت الاستدلال.

4. النتائج التجريبية

أُجريت التجارب عن طريق تقطير Qwen3-VL-8B-Instruct إلى نموذج هجين بنسبة 3:1 (Mamba-2/Attention).

• مكاسب الأداء:
  • مقارنة بتقطير (End-to-end KD) القياسي، تحسن HEED نتيجة OCRBench v2 بمقدار 8.7 نقطة.
  • حققت زيادة متوسطة قدرها 5.13 نقطة عبر 10 معايير.
  • في مقارنة محكومة (تغيير وزن المحاذاة فقط من موحد إلى موزون بالكثافة)، استعادت HEED 4.7 نقطة في OCRBench v2 و 2.24 نقطة في متوسط الـ 10 معايير.
• الانتقائية: تتركز المكاسب في معايير الإدراك الدقيق (OCR، DocVQA، ChartQA)، بينما تظل معايير الاستدلال (MMMU-Pro، MMStar) مستقرة أو محسنة قليلاً.
• ما بعد التدريب: بعد إجراء SFT وDPO القياسي، يصل طالب HEED إلى أداء مستوى المعلم في متوسط الـ 10 معايير (78.79 مقابل 78.41) مع الحفاظ على كفاءة البنية الهجينة.
• الكفاءة: يحتفظ الطالب بملف كفاءة النموذج الهجين: إنتاجية قدرها 4.12× وتوفير في الذاكرة بنسبة 68% عند طول سياق 128 ألف مقارنة بالمعلم، دون أي تكلفة إضافية في وقت الاستدلال.
• المتانة: النتائج صالحة عبر بذور عشوائية مختلفة، ونماذج معلم مختلفة (InternVL-3.5، MiniCPM-V 4.5، GLM-4.6V)، وبنيات هجينة مختلفة (Gated DeltaNet).

5. الأهمية والادعاءات

تزعم الورقة أن HEED تعالج محدودية أساسية في ضغط المدخلات متعددة الوسائط غير المتجانسة في نماذج تسلسل هجينة ذات سعة ثابتة. المبدأ الأساسي هو أن خسائر التقطير لا ينبغي أن تعامل جميع الرموز بشكل موحد؛ بل يجب أن تعكس الأهمية المتفاوتة للرموز بناءً على كثافة معلوماتها المحلية.

يضع المؤلفون HEED كطريقة مكملة لطرق تقليل الرموز في وقت الاستدلال (مثل VisionZip، FastV). بينما تقلل تلك الطرق من عدد الرموز أثناء الاستدلال، تقوم HEED بتحسين إشارة التدريب لضمان تعلم النموذج كيفية الحفاظ على الرموز الأكثر أهمية أثناء التحول من معلم يعمل بآلية الانتباه الكامل إلى طالب هجين. تُقدم الطريقة كتدخل عملي ومنخفض التكلفة لاستعادة القدرات الدقيقة المفقودة دون المساس بمزايا الكفاءة للبنيات الهجينة.

القيود المعترف بها:

• الكثافة هي وكيل للأهمية، وليست مقياسًا عالميًا للبروز الدلالي؛ فهي تفضل النصوص والحواف ولكنها قد تكون أقل فعالية للمهام ذات الأنماط العالمية أو العدائية.
• تعتمد الطريقة على ميزات ViT المجمدة؛ وهي لا تدعي أنها إثبات سببي للانجراف بل هي تدخل تجريبي فعال للغاية.
• النتائج محددة لإعداد تحويل VLM الهجين المختبر؛ ولا يدعي المؤلفون التفوق المطلق (Pareto dominance) على نماذج الانتباه الكامل بشكل عام.