Beyond Next-Token Alignment: Distilling Multimodal Large Language Models via Token Interactions

ملخص تقني: ما وراء محاذاة التوكن التالي: تقطير النماذج اللغوية الكبيرة متعددة الوسائط عبر تفاعلات التوكنات

1. بيان المشكلة

يعيق نشر النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) ضخامة عدد معلماتها (parameters). وبينما يعد تقطير المعرفة (Knowledge Distillation - KD) حلاً قياسياً للضغط، تعاني طرق تقطير النماذج الللوغوية الكبيرة متعددة الوسائط الحالية من قصورين أساسيين:

• المحاذاة الساكنة للتوكن التالي (Static Next-Token Alignment): تركز الطرق الحالية بشكل أساسي على مطابقة توزيع مخرجات المعلم على تسلسلات ثابتة وحقيقية (ground-truth). وهذا يتجاهل التفاعلات الديناميكية بين التوكنات التي تقود الفهم والتوليد متعدد الوسائط.
• إهمال مرحلتي التفاعل الحرجتين:
  1. مرحلة التعبئة المسبقة (Prefilling Stage): تفشل الطرق الحالية في نمذجة كيفية توجيه التعليمات للنموذج لاستخراج معلومات بصرية محددة (تفاعل التعليمات-الرؤية).
  2. مرحلة فك التشفير (Decoding Stage): تعاني الطرق الحالية من انحياز التعرض (exposure bias)، حيث يؤدي التفاوت بين التدريب (المشروط على الحقيقة الأرضية) والاختبار (المشروط على التوكنات المولدة ذاتياً) إلى تراكم الأخطاء أثناء التوليد التكراري (تفاعل الاستجابة الداخلية).

2. المنهجية: إطار عمل Align-TI

يقترح المؤلفون Align-TI، وهو إطار عمل جديد لتقطير المعرفة ينمذج تفاعلات التوكنات صراحةً من خلال مكونين أساسيين:

أ. المحاذاة البصرية المدركة للتعليمات (IVA)
لمعالجة مرحلة التعبئة المسبقة، تهدف IVA إلى نقل قدرة المعلم على استخراج المعلومات البصرية ذات الصلة بالتعليمات.

• درجة صلة التعليمات (Instruction-Relevance Score - IRS): لتجنب إجبار الطالب على محاكاة توكنات بصرية زائدة أو منخفضة الفائدة، قدم المؤلفون مقي مقياس IRS. يقيس هذا المقياس مدى تغير خريطة الانتباه (attention map) في طبقة ما استجابةً لتعليمات مختلفة. ويتم اختيار الطبقة ذات أعلى درجة IRS باعتبارها الطبقة "الأكثر تركيزاً دلالياً".
• محاذاة المناطق البارزة (Salient Region Alignment): باستخدام أوزان الانتباه من الطبقة المثلى، تحسب IVA أوزان الأهمية للتوكنات البصرية. بعد ذلك، يتم الإشراف على الطالب لمحاذاة تمثيلات التوكنات البصرية الخاصة به تحديداً مع التركيز البصري المدرك للتعليمات لدى المعلم، بدلاً من إجراء محاذاة موحدة عبر جميع التوكنات البصرية.

ب. محاذاة احتمالية الانتقال (Transition Probability Alignment - TPA)
لمعالجة مرحلة فك التشفير والتخفيف من انحياز التعرض، تتجاوز TPA مجرد التنبؤ بالتوكن التالي لنمذجة ديناميكيات الانتقال من توكن إلى آخر.

• محاذاة مصفوفة الانتقال (Transition Matrix Alignment): بدلاً من مجرد مطابقة $P(y_k | \text{prefix})$، تقوم TPA بمحاذاة احتمالات الانتقال $P(y_{k+1} | y_k, \text{prefix})$. وهذا يوسع نطاق المحاذاة من $O(|V|)$ إلى $O(|V|^2)$ من المسارات.
• أخذ العينات في السياسة (On-Policy Sampling): للحفاظ على الكفاءة والفعالية، تقوم TPA بمحاذاة الانتقالات المشروطة على توزيع الطالب الخاص ($y_k \sim P_\theta^S$). وهذا يشجع الطالب على استكشاف مساحته التنبؤية الخاصة وتعلم كيفية التعافي من الأخطاء المحتملة.
• الحوسبة المتوازية (Parallelized Computation): لمنع العبء الحسابي الهائل لأخذ عينات من توكنات متعددة، صمم المؤلفون "قناع انتباه شريطي" (ribbon attention mask). يسمح هذا للنموذج بحساب مسارات سببية متعددة ومتوازية في تمريرة أمامية واحدة.

3. المساهمات الرئيسية

• منظور جديد للتقطير: ينقل التركيز في تقطير النماذج اللغوية الكبيرة متعددة الوسائط من مطابقة المخرجات الساكنة إلى التفاعلات الديناميكية على مستوى التوكن.
• الإشراف المدرك للتعليمات: يقدم مقياس IRS ومكون IVA لضمان النقل الفعال لقدرات الربط البصري (visual grounding).
• التخفيف من انحياز التعرض: يقدم TPA لمحاذاة المنطق التوليدي (احتمالات الانتقال)، مما يقلل بشكل كبير من فجوة تراكم الخطأ بين التدريب والاستدلال.
• تنفيذ فعال: يوفر استراتيجية تدريب متوازية تحقق أداءً عالياً مع عبء حسابي يمكن إدارته.

4. النتائج التجريبية

• أداء متفوق: يتفوق نموذج Align-TI-2B المقطر على نموذج LLaVA-1.5-7B الأكبر بكثير بنسبة 7.0% في المتوسط عبر الاختبارات المرجعية. كما يحقق نتائج قياسية جديدة للنماذج في نطاق 1-2 مليار معلمة.
• القوة (Robustness): تظهر الطريقة مكاسب كبيرة مقارنة بالتقطير التقليدي (تحسن نسبي قدره 2.6%) وتتفوق على النماذج المرجعية القائمة على خلط الخبراء (MoE) مثل LLaVA-MoD.
• نجاح دراسة الاستئصال (Ablation): تؤكد دراسات الاستئصال أن كلاً من IVA (تحسين التركيز البصري) و TPA (تحسين المنطق التوليدي) يساهمان بشكل كبير في الأداء النهائي.
• الكفاءة: يحقق Align-TI هذه المكاسب مع زيادة قدرها $1.4\times$ فقط في وقت التدريب مقارنة بالتقطير التقليدي، مما يجعله أكثر كفاءة من الطرق المتقدمة الأخرى مثل GKD.

5. الأهمية

يوفر هذا العمل مخططاً لتدريب نماذج لغوية كبيرة متعددة الوسائط ذات كفاءة في المعلمات لا تضحي بقدرات الاستنتاج أو الفهم. ومن خلال معالجة "فجوة التدريب والاختبار" الأساسية (انحياز التعرض) و"مشكلة التكرار" في التوكنات البصرية، يتيح Align-TI إنشاء نماذج مدمجة وعالية القدرة مناسبة للنشر على الأجهزة الطرفية ذات الموارد المحدودة، مما يعزز ديمقراطية الذكاء الاصطناعي متعدد الوسائط.