Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention

تخيل عالماً تستطيع فيه الحواسيب الرؤية والقراءة في آن واحد. تُسمى هذه النماذج "نماذج اللغات الكبيرة متعددة الوسائط" (MLLMs). فكر فيها كطلاب أذكياء للغاية قرأوا كل كتاب في المكتبة، ويمتلكون أيضاً أعينًا يمكنها النظر إلى الصور. ولكن هناك لغز: عندما ينظر هؤلاء الطلاب إلى صورة ويقرأون سؤالاً عنها، كيف يمزجون الصورة مع الكلمات داخل عقولهم؟ هل ينظرون إلى الصورة بأكملها دفعة واحدة؟ أم يقرأون النص أولاً ثم يلقون نظرة خاطفة على الصورة؟ أم يفعلون شيئاً آخر تماماً؟

لفترة طويلة، كنا نعرف أن هذه النماذج يمكنها تقديم إجابات رائعة، لكننا لم نكن نعرف كيف تفعل ذلك داخل "عقولها" (التي تتكون من طبقات من الأكواد البرمجية). كان الأمر يشبه مشاهدة ساحر يُخرج أرنباً من قبعة دون رؤية الخدعة أبداً. فهم هذه العملية أمر بالغ الأهمية، لأننا إذا لم نكن نعرف كيف تعمل، فلن نتمكن من إصلاحها عندما يتشتت انتباهها أو تخترع حقائق من عندها. هذا البحث يشبه قصة بوليسية حيث يختلس المؤلفون النظر داخل قبعة الساحر ليروا بالضبط كيف يظهر الأرنب، طبقة تلو الأخرى.

العمل الاستقصائي: التلصص على عقل النموذج

قرر مؤلفو هذا البحث لعب لعبة "الغميضة" مع عقل الكمبيوتر لمعرفة أين يحدث السحر. لقد أخذوا عدة نماذج مختلفة من الـ MLLMs وبدأوا في إيقاف أجزاء من عقولها، طبقة تلو الأخرى، ليروا ماذا سيحدث. تخيل خط تجميع في مصنع حيث يقوم روبوت ببناء لعبة. إذا أوقفت الروبوت عند الخطوة 3، ستنهار اللعبة. إذا أوقفته عند الخطوة 20، فربما تكون اللعبة قد انتهت بالفعل. من خلال "حجب" (أو إيقاف) المعلومات البصرية في طبقات مختلفة، استطاع الباحثون معرفة المكان الذي يتوقف فيه الكمبيوتر عن النظر إلى الصورة ويبدأ في الاعتماد فقط على النص.

الاكتشاف الكبير: إنه ليس انزلاقاً تدريجياً
أكثر شيء مفاجئ وجدوه هو أن الكمبيوتر لا يمزج الصورة والكلمات بشكل متساوٍ من البداية إلى النهاية. الأمر ليس مثل سكب الحليب في القهوة حيث يمتزجان ببطء. بدلًا من ذلك، يحدث المزج في "محطات" محددة وحرجة على خط التجميع.

• المنطقة الحرجة: وجدوا أنه بالنسبة لمعظم النماذج، يحدث المزج الحقيقي في الطبقات المبكرة إلى المتوسطة (تقريباً الطبقات من 18 إلى 20). إذا قطعت الصورة قبل هذه المنطقة مباشرة، ينسى الكمبيوتر كل شيء عن الصورة ويفشل في الاختبار.
• ظاهرة "المراجعة": هنا يصبح الأمر مضحكاً. في بعض النماذج (مثل LLaVA-1.5 و LLaVA-Next)، بعد أن يعتقد الكمبيوتر أنه انتهى من المزج، ينظر فجأة إلى الصورة مرة أخرى! يطلق المؤلفون على هذا مرحلة "المراجعة". إنه يشبه طالباً ينهي امتحانه، يضع القلم، ثم يتذكر فجأة: "مهلاً، أحتاج إلى التحقق من الرسم التوضيحي مرة أخرى!" قبل تسليم الورقة.

المشكلة: الكمبيوتر يتشتت
أثناء التحقيق، لاحظ المؤلفون خللاً غريباً. حتى عندما كان الكمبيوتر ينظر إلى الجزء الصحيح من الصورة (مثل شعار على طائرة)، كان أيضاً يحدق بشدة في أجزاء غير مفيدة تماماً من الصورة، مثل السماء أو ذيل الطائرة. يسمون هذا "ضجيج الانتباه العالي".
تخيل أنك تحاول قراءة لوحة مكتوب عليها "LAPE" على طائرة. يجب أن تركز عيناك على الحروف. لكن هذا الكمبيوتر يستمر في التشتت بالغيوم خلف الطائرة، ويعطي الغيوم نفس القدر من الانتباه الذي يعطيه للحروف. يحدث هذا منذ البداية ويستمر، مما يربك النموذج.

الحل: "محدد" لا يحتاج لإعادة تدريب
لإصلاح هذا التشتت، اخترع المؤلفون حيلة ذكية لا تتطلب إعادة تعليم الكمبيوتر (وهو أمر مكلف وبطيء). يسمونها الانتباه التبايني (Contrastive Attention).
إليك كيف تعمل، باستخدام استعارة بسيطة:

1. لقطة "ما قبل": يأخذون صورة لما ينظر إليه الكمبيوتر في وقت مبكر من العملية (عندما يبدأ للتو في النظر إلى الصورة). في هذه المرحلة، ينظر الكمبيوتر إلى كل شيء، بما في ذلك الغيوم المشتتة.
2. لقطة "ما بعد": يأخذون صورة لما ينظر إليه الكمبيوتر في النهاية تماماً (عندما يكون مستعداً للإجابة). في هذه المرحلة، يجب أن يكون ينظر إلى الحروف.
3. الفرق: يقومون بطرح صورة "ما قبل" من صورة "ما بعد".
   • إذا كان الكمبيوتر ينظر إلى الغيوم في كلتا الصورتين، فإن الغيوم تلغي بعضها البعض (لأن الانتباه لم يتغير).
   • إذا بدأ الكمبيوتر في النظر إلى الحروف في صورة "ما بعد" ولكنه تجاهلها في صورة "ما قبل"، فإن الحروف ستبرز بوضوح!

هذا الفرق يخلق "محدداً" (Highlighter) يوضح بالضبط الأجزاء من الصورة التي تعلم الكمبيوتر التركيز عليها بسبب السؤال. يستخدم المؤلفون بعد ذلك هذا المحدد لقص الأجزاء المشتتة من الصورة وإعادة تغذية الأجزاء المهمة والمحددة فقط إلى الكمبيوتر في محاولة ثانية.

النتائج
عندما اختبروا هذه الطريقة الجديدة، أصبحت الحواسيب أفضل بكثير في الإجابة على الأسئلة. لم يحتاجوا إلى إعادة تدريب؛ كانوا يحتاجون فقط إلى دفعة بسيطة لتجاهل الضجيج.

• في مجموعة بيانات تسمى GQA، حسنت طريقتهم النتيجة من 66.03 إلى 69.40.
• في VQAv2، ارتفعت من 74.06 إلى 77.59.
• في TextVQA، قفزت من 57.21 إلى 59.86.

تظهر هذه الأرقام أنه بمجرد مساعدة الكمبيوتر على التركيز على الأشياء الصحيحة وتجاهل "الضجيج" (الغيوم المشتتة)، يمكنه فهم العالم بشكل أفضل قليلاً. يشير المؤلفون إلى أن هذه الطريقة تعمل لأنها تلتقط اللحظة التي ينتقل فيها انتباه الكمبيوتر من "النظر إلى كل شيء" إلى "النظر إلى ما يهم".

ما استبعدوه
أوضح المؤلفون أيضاً أن الأمر لا يتعلق بمجرد اختيار طبقة عشوائية للنظر إليها. لقد اختبروا اختيار طبقات من نهاية العملية أو من بدايتها دون أي قواعد، ولم تكن تلك النتائج جيدة. "النقطة المثالية" هي تحديداً الطبقات التي يبدأ فيها دمج المعلومات البصرية والنصية ولكنها لم تستقر تماماً بعد. كما أظهروا أن هذا ليس إصلاحاً لمرة واحدة؛ فهو يعمل عبر العديد من أنواع النماذ المختلفة والعديد من أنواع الأسئلة المختلفة.

باختصار، يعلمنا هذا البحث أن هذه الحواسيب فائقة الذكاء لديها "منطقة مزج" محددة حيث تجمع بين الرؤية والسمع، وهي أحياناً تتشتت بسبب ضجيج الخلفية. ومن خلال استخدام خدعة رياضية بسيطة لتسليط الضوء على التغييرات في تركيزها، يمكننا مساعدتها على تجاهل الضجيج وتقديم إجابات أفضل، وكل ذلك دون قضاء سنوات في تعليمها دروساً جديدة.