ملخص تقني: تشريح الديناميكيات الميكانيكية للتحكيم بين الأنماط (Modality Arbitration)

بيان المشكلة

تمتلك نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) القدرة على اتباع التعليمات متعددة الوسائط (MIF)، والتي تتطلب منها الاستفارية الانتقائية لأنماط محددة (مثل البصري مقابل النصي) بناءً على توجيهات المستخدم، لا سيالما عندما تقدم الأنماط معلومات متضاربة. وبينما يعد اتباع التعليمات متعددة الوسائط أمراً جوهرياً للتطبيقات الواقعية مثل التنقل في واجهات المستخدم الرسومية (GUI) والروبوتات المتجسدة، إلا أن آليات اتخاذ القرار الداخلية التي تحكم هذا "التحكيم بين الأنماط" تظل بمثابة "صندوق أسود". تركز معظم أبحاث التفسير الحالية بشكل كبير على الجوانب المتعلقة بالإدراك (الترميز واسترجاع المعلومات البصرية) أو الامتثال لتنسيق المخرجات، تاركةً ديناميكيات كيفية حل النماذج للنزاعات عبر الأنماط تحت تأثير التعليمات دون استكشاف كافٍ. هذا النقص في الفهم الميكانيكي يعيق تشخيص إخفاقات النماذج وضمان موثوقية السلوك.

المنهجية

يستقصي المؤلفون الآليات الداخلية لاتباع الأنماط من منظور تدفق المعلومات، باستخدام إطار تشخيصي مضبوط حيث تدعم السياقات البصرية والنصية إجابات متضاربة. تتكون المنهجية من ثلاث مراحل تحليلية رئيسية:

1. تحليل تعطيل الانتباه باستخدام INSSD:

   • يستخدم المؤلفون تحليل تعطيل الانتباه (Attention Knockout Analysis) لحجب مسارات الانتباه انتقائياً بين مجموعات الرموز (الرموز البصرية $X_{vision}$، السياق النصي $X_{ctx}$، رموز التعليمات $X_{inst}$، والرموز المولدة $X_g$).
   • لقياس تأثير هذه التدخلات مع كبح الضجيج الناتج عن الاختلافات غير المرتبطة بالمهمة، يقترح المؤلفون مقياس الانحراف الهيكلي الموقّع والمطبع (INSSD). يقيس هذا المقياس التحولات في الاحتمالية داخل الفضاء الفرعي للقرار الذي تشغله الأنماط المتوافقة مع التعليمات والأنماط المنافسة. يشير انخفاض INSSD السالب إلى أن مسار الانتباه المحجوب كان حاسماً للحفاظ على الامتثال للتعليمات.

2. تتبع القرار الكامن:

   • باستخدام تقنيات عدسة اللوجيت (Logit Lens)، يتتبع المؤلفون تطور المعتقدات الداخلية عبر الطبقات.
   • يقدمون معدل محاذاة القرار الكامن (LDAR) لقياس التزامن بين الحالة الداخلية لرموز التعليمات والمخرجات النهائية. يحدد هذا ما إذا كان قرار النمط قد تبلور داخل رموز التعليمات قبل الانتقال إلى الرموز المولدة.

3. الإسناد على مستوى المكونات والرؤوس:

   • تفكك الدراسة تعديل هامش التحكيم بين الأنماط ($\Delta S$) إلى مساهمات من طبقات الانتباه (Attention) و MLP باستخدام إسناد فرق اللوجيت.
   • يتم تحقيق قدر أكبر من التفصيل عبر تحليل رؤوس الانتباه (attention heads) الفردية لتحديد المجموعات الفرعية المتفرقة التي تقود عملية التحكيم.
   • التدخلات المستهدفة: يقوم المؤلفون بإجراء تدخلات سببية عبر الحجب (تصفير المخرجات) و التضخيم (توسيع المخرجات) لرؤوس انتباه محددة للتحقق من خصوصيتها الوظيفية.

المساهمات الرئيسية

1. تحديد رموز التعليمات كمرتكزات هيكلية: يثبت هذا العمل أن رموز التعليمات تعمل كموقع تجميع أساسي للإشارات عبر الأنماط. يكشف تحليل توجيه المعلومات أن المسارات من الإشارات النمطية إلى رموز التعليمات هي المكونات الأكثر حساسية لاتباع الأنماط، حيث تعمل كمركز لبلورة القرار.
2. آلية الانتقال عبر الطبقات: توضح الورقة وجود تصنيف وظيفي داخل بنية المحول (Transformer):
   • الطبقات الضحلة: تعمل كـ "مخزن مؤقت كامن"، حيث تقوم بنقل المعلومات غير المتمايزة حيث يتم تجميع الإشارات متعددة الوسائط دون فرض الاختيار.
   • الطبقات العميقة: تعمل كـ "محكّم نهائي"، حيث تختار تقوية الفضاء الفرعي المتوافق مع التعليمات لحل النزاعات بين الأنماط.
3. تخصص رؤوس الانتباه المتفرقة: تتم عملية التحكيم بواسطة مجموعة فرعية متفرقة للغاية من رؤوس الانتباه. وبينما تكون معظم الرؤوس متخصصة في نمط معين، توجد بعض الرؤوس "المشتركة".
4. التحقق عبر التدخل السببي: تظهر الدراسة أن حجب حوالي 5% فقط من الرؤوس الحرجة المحددة يؤدي إلى تدهور كبير في اتباع الأنماط مع الحفاظ على القدرات البصرية واللغوية العامة. وعلى العكس من ذلك، فإن التضخيم المستهدف لهذه الرؤوس يمكن أن يستعيد أداء اتباع الأنماط في العينات الفاشلة بنسبة تصل إلى ~60%.

النتائج

• توجيه المعلومات: يؤدي قطع مسارات الانتباه من الإشارات النمطية إلى الرموز المولدة ($X_{vision} \to X_g$) إلى تأثيرات هامشية. في المقابل، يؤدي قطع المسارات إلى رموز التعليمات ($X_{vision} \to X_{inst}$) إلى تحول سلبي حاد في INSSD، مما يؤكد أن رموز التعليمات هي موقع التقارب.
• بلورة القرار: يظهر تحليل LDAR أنه بينما تظهر الطبقات الضحلة محاذاة بمستوى الصدفة، تظهر الطبقات العميقة محاذاة تزيد عن 95% بين حالات رموز التعليمات والمخرجات النهائية، مما يشير إلى أن التحكيم يُحل داخل رموز التعليمات.
• الانتباه مقابل MLP: تظهر طبقات الانتباه باستمرار تحولاً إيجابياً في هامش التحكيم نحو قصد التعليمات، في حين لا تظهر طبقات MLP هذا السلوك المتسق، مما يشير إلى أن الانتباه هو المحرك الرئيسي للتعديل المتوافق مع التعليمات.
• فعالية التدخل:
  • الحجب: إزالة أفضل 40 رأساً تم تحديدها (حوالي 5% من الإجمالي) يخفض نسبة اتباع الأنماط (MFR) بنسبة ~60% ولكنه لا يؤثر بشكل كبير على المعايير العامة (VQA, MMLU, IFEval).
  • التضخيم: تضخيم هذه الرؤوس في حالات الفشل يستعيد ~60% من الأداء المفقود. ومع ذلك، فإن التضخيم المفرط (على سبيل المثال، معامل > 18) يؤدي في النهاية إلى زعزعة استقرار النموذج وانهيار الأداء.

الأهمية

تقدم الورقة تفسيراً ميكانيكياً لاتباع الأنماط، متجاوزةً مفهوم "الصندوق الأسود" لاتخاذ القرار في النماذج متعددة الوسائط. ومن خلال تحديد رموز التعليمات كمرتكزات هيكلية والكشف عن الانتقال من التخزين المؤقت إلى التحكيم المدفوع برؤوس انتباه متفرقة، يقدم هذا العمل عدسة جديدة لفهم استخدام المعلومات متعددة الوسائط.

يدعي المؤلفون أن هذه النتائج ترفد الجهود المستقبلية لـ:

1. تحسين استخدام الأدلة متعددة الوسائط: فهم المسارات المحددة يسمح بتدخلات أكثر استهدافاً لتعزيز كيفية دمج النماذج للأدلة المتضاربة.
2. تصميم بنيات فعالة: قد تؤدي الرؤى المتعلقة بتكامل السياق عبر وسيط التعليمات إلى استراتيجيات ضغط السياق وتصميمات معمارية تقلل من الحوسبة الزائدة في النماذج شاملة الأنماط (omni-modal models).
3. تعزيز السلامة والموثوقية: من خلال توضيح الأساس الهيكلي للتحكيم، يضع هذا العمل أساساً لتطوير ضمانات أكثر قوة للذكاء الاصطناعي ضد التداخل بين الأنماط والهلوسة.

تؤكد الدراسة على أن هذه الرؤى مستمدة من التشريح الميكانيكي والتدخل السببي، مما يوفر أساساً هيكلياً بدلاً من مجرد حلول فورية متعلقة بتطبيقات محددة.