ملخص تقني: تقييم وتوجيه تفضيلات الأنماط في النماذج اللغوية الكبيرة متعددة الوسائط

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات استثنائية في معالجة البيانات غير المتجانسة (النصوص، الصور، الفيديو). ومع ذلك، لا تزال هناك فجوة حرجة في فهم ما إذا كانت هذه النماذج تُظهر تفضيلًا للنمط (modality preference)—أي ميل منهجي لتفضيل نمط واحد على آخر عند معالجة سياقات متعددة الوسائط متضاربة. غالبًا ما تعتمد طرق التقييم الحالية على عزل الأنماط (مثل اختبار المدخلات النصية فقط مقابل الصور فقط) أو الاعتماد على قيم شابلي (Shapley values)، والتي تفشل في عكس السيناريوهات الواقعية حيث تتواجد الأنماط معًا وقد تتعارض. علاوة على ذلك، ليس من الواضح ما إذا كانت هذه التفضيلات الجوهرية قابلة للتحكم أو ما إذا كانت ترتبط بالأداء في المهام اللاحقة.

المنهجية

1. معيار MC2

لتقييم تفضيل الأنماط بصرامة، قدم المؤلفون MC2 (Modality Context Conflict - صراع سياق النمط)، وهو معيار مصمم لإنشاء سيناريوهات مسيطر عليها من الأدلة المتضاربة.

• بناء البيانات: يتكونت مجموعة البيانات من 2,000 عينة عبر ثماني مهام (مثل العد، التعرف على السمات، تحليل المشاعر). وهي مستمدة من مجموعتي بيانات TDIUC وMS-COCO.
• آلية الصراع: لكل عينة، يتم بناء سياق بصري ($c_v$) وسياق نصي ($c_t$) لتقديم أدلة متناقضة فيما يتعلق بسؤال محدد ($q$).
• التحقق من الصحة: تضمن عملية البناء أن النماذج يمكنها فهم كلا النمطين بدقة في العزل (تحقيق دقة تزيد عن 95% في اختبارات النمط الواحد) قبل اختبار الصراع. هذا يلغي العوامل المربكة مثل ضعف الإدراك البصري أو انحياز المعرفة الداخلية.
• التوسيم (Annotation): يقوم إطار عمل شبه مؤتمت باستخدام نماذج لغوية كبيرة (DeepSeekV3، GPT-4o-mini) بتوليد إجابات مشتتة ونصوص متضاربة، يتبع ذلك تحقق بشري لضمان عدم الاتساق الدلالي بين الأنماط.

2. مقياس التقييم: نسبة الرؤية (Vision Ratio)

يعرف المؤلفون نسبة الرؤية لقياس التفضيل:
$$\text{Vision Ratio} = \frac{S_{\text{vision}}}{S_{\text{vision}} + S_{\text{text}}}$$
حيث تمثل $S$ نسبة العينات التي تتوافق فيها استجابة النموذج مع السياق البصري أو النصي، على التوالي. تشير النسبة التي تزيد عن 0.5 إلى تفضيل الرؤية، وأقل من 0.5 تشير إلى تفضيل النص.

3. تحليل الدوافع

تستقصي الدراسة العوامل التي تدفع هذه التفضيلات:

• أنماط الانتباه: يربط المؤلفون بين نسبة الرؤية ونسبة الانتباه (الانتباه البصري مقابل إجمالي الانتباه)، ويجدون أن توزيع الانتباه غير المتوازن هو ما يدفع التفضيل.
• الحجم والتدريب: تُظهر التجارب أن النماذج الأكبر حجمًا تُظهر عمومًا تفضيلات بصرية أقوى. بالإضافة إلى ذلك، فإن الضبط الدقيق (fine-tuning) باستخدام بيانات صراع متعددة الوسائط يغير التفضيلات، مما يشير إلى أن التعرض للسياقات المتضاربة أثناء التدريب يؤثر على هذه الانحيازات.

4. هندسة التمثيل للتوجيه (Representation Engineering for Steering)

بناءً على النتائج التي تشير إلى أن تفضيل النمط مشفر في التمثيلات الكامنة، يقترح المؤلفون طريقة توجيه خالية من التدريب:

• الاستقصاء (Probing): يتم استجواب النموذج بتعليمات لإعطاء الأولوية إما للرؤية أو للنص. يتم حساب الفرق في الحالات الخفية ($x^t_{i,\ell} - x^v_{i,\ell}$) عند الرمز الأخير عبر الطبقات لتحديد متجه اتجاه تفضيل النمط ($u^\ell_t$).
• اختيار الطبقة: يكشف التحليل أن الطبقات 20-23 (في نماذج مثل Qwen2.5VL) تُظهر أكثر إشارات التفضيل استقرارًا وأهمية.
• التوجيه (Steering): أثناء الاستنتاج، يتم إضافة متجه توجيه مُدرج ($s^\ell = w \cdot u^\ell$) إلى الحالات الخفية في الطبقة المختارة. يتم حساب الوزن $w$ لمحاذاة متوسط الاتجاه المستقصى مع التوزيع الأصلي، مما يضمن أن التدخل فعال دون تعطيل القدرات اللغوية.

النتائج الرئيسية

تفضيلات الأنماط في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)

• الانتشار: تُظهر جميع النماذج العشرين المختبرة تفضيلات واضحة للأنماط.
• انحياز النص: تُظهر معظم النماذج (مثل LLaVA1.5-7B) تفضيلًا نصيًا قويًا (نسبة رؤية ~13.4%)، مما يتماشى مع فرضية "الأسبقية اللغوية".
• التفضيل البصري: تُظهر نماذج مثل Qwen2.5VL وInternVL3 تفضيلًا بصريًا أقوى، والذي يزدادة مع حجم النموذج.
• الارتباط: يوجد ارتباط إيجابي قوي ($\rho = 0.964$) بين نسبة الرؤية وأداء الفهم البصري في الاختبارات المعيارية اللاحقة (مثل MathVista وTallyQA)، مما يشير إلى أن التفضيل هو مؤشر موثوق للقدرة.

فعالية التوجيه

نجحت طريقة هندسة التمثيل المقترحة في توجيه النماذج نحو النمط المطلوب دون الحاجة لضبط دقيق:

• أداء MC2: تتفوق الطريقة المقترحة على النماذج المرجعية (Zero-shot، تصميم التعليمات، Chain-of-Thought، Few-shot) في تعديل نسبة الرؤية. على سبيل المثال، أدى توجيه Qwen2.5VL-7B نحو النص إلى زيادة درجة توافق النص من 35.4% إلى 63.6%.
• المهام اللاحقة:
  • الاستدلال: تحسن الدقة في MathVista (62.3% مقابل 59.0% للمرجع) وفي TallyQA (76.6% مقابل 74.4%).
  • تخفيف الهلوسة: في اختبار PhD (تحديدًا الجزء المتعلق بالنصوص المضللة)، أدى التوجيه نحو الرؤية إلى تقليل الهلوسات الناتجة عن النصوص المتضاربة بشكل كبير.
  • الترجمة: في AmbigCaps (الترجمة الآلية متعددة الوسائط)، أدى التوجيه نحو النص إلى تحسين درجات BLEU من خلال تقليل الاعتماد على الإشارات البصرية الزائفة.

الآلية الداخلية

يؤكد تحليل الانتباه أن طريقة التوجيه تنجح في تغيير توزيع انتباه النموذج. فعند التوجيه نحو النص، يزدبت وزن الانتباه على الرموز النصية بشكل كبير (على سبيل المثال، من ~55% إلى ~83%) بينما ينخفض الانتباه البصي، مما يؤكد أن التدخل يعمل على مستوى التمثيل.

الأهمية والادعاءات

يدعي البحث ثلاثة مساهمات رئيسية:

1. إطار التقييم: يوفر تقديم MC2 أول معيار محكوم واسع النطاق لتقييم تفضيل الأنماط في MLLMs بشكل منهجي، مما يفصل التفضيل عن قدرات الفهم.
2. الرؤية في الفضاء الكامن: تكشف الدراسة أن تفضيلات الأنماط قابلة للتوجيه والتعرف عليها داخل التمثيلات الكامنة لـ MLLMs، مما يقدم منظورًا جديدًا لآليات الاستدلال متعدد الوسائط.
3. التحكم الخالي من التدريب: تتيح طريقة الاستقصاء والتوجيه المقترحة ضبطًا صريحًا وقابلًا للتحكم في تفضيل الأنماط دون بيانات إضافية أو ضبط دقيق. هذا يعزز الأداء في المهام اللاحقة حيث يكون الاعتماد على نمط معين أمرًا بالغ الأهمية (مثل تجنب الهلوسة الناجمة عن النص في الاستدلال البصري).

يخلص المؤلفون إلى أن فهم والتحكم في تفضيل الأنماط أمر ضروري لتطوير أنظمة متعددة الوسائط أكثر موثوقية ومتانة، خاصة في السيناريوهات التي توجد فيها معلومات متضاربة.