Direct Visual Grounding by Directing Attention of Visual Tokens

تخيل عالماً تستطيع فيه الحواسيب النظر إلى صورة والتحدث عنها، تماماً كما نتحدث أنا وأنت عن صورة على هواتفنا. هذا هو مجال نماذج الرؤية واللغة (VLMs)، وهو فرع من فروع الذكاء الاصطناعي يحاول سد الفجوة بين ما تراه الكاميرا وما يقوله البشر. فكر في هذه النماذج كأنها مترجمون فائقو الذكاء يأخذون الصورة، ويجزئونها إلى قطع أحجية رقمية صغيرة تسمى "الرموز البصرية" (visual tokens)، ثم يمزجونها مع الكلمات للإجابة على أسئلة مثل "ما لون القطة؟" أو "كم عدد التفاحات الموجودة؟".

لفترة طويلة، اعتقد العلماء أن هذه النماذج أصبحت جيدة جداً في هذا الأمر. لكن كان هناك لغز مزعج: أحياناً، حتى عندما تكون الإجابة صحيحة، يبدو أن الكمبيوتر يتجاهل الصورة تماماً. الأمر يشبه طالباً يؤدي اختباراً، يقرأ السؤال، ويلقي نظرة خاطفة على الرسم التوضيحي، ثم يجيب بناءً على ما يتذكره تماماً من الكتاب المدرسي، متناسياً تماماً النظر إلى الخطوط والأشكال المحددة أمامه مباشرة. السؤال الكبير الذي واجه الباحثين هو: لماذا يتوقف "عقل" الكمبيوتر عن الانتباه للمؤشرات البصرية عندما يحين وقت إعطاء الإجابة النهائية؟ تغوص هذه الورقة البحثية في هذا المشكل تحديداً، محاولةً اكتشاف ما إذا كان بإمكاننا تعليم نماذج الذكاء الاصطناعي هذه أن تنظر فعلياً إلى الأجزاء الصحيحة من الصورة عندما تتحدث.

---

المشكلة: "الشبح" في الآلة

تعرف على نموذج الرؤية واللغة. يمكنك التفكير فيه كإنسان آلي ثرثار قرأ مليون كتاب ونظر إلى مليون صورة. عندما تسأله سؤالاً حول صورة، يقوم بتفكيك الصورة إلى شبكة من المربعات الصغيرة (الرموز البصرية) ويمزجها مع الكلمات التي كتبتها.

إليك الجزء الغريب: وجدت الورقة البحثية أنه في اللحظات الأخيرة من التفكير، وقبل أن يكتب الروبوت إجابته مباشرة، غالباً ما يتوقف عن النظر إلى الصورة. الأمر يشبه طاهياً لديه كل المكونات على الطاولة، ولكن عندما يحين وقت تقديم الطبق، يقرر تجاهل الطعام ويخمن فقط كيف يجب أن يكون طعمه بناءً على وصفة حفظها عن ظهر قلب. اكتشف الباحثون أن "الانتباه" الذي يوليه الكمبيوتر لأهم أجزاء الصورة (مثل تقاطع خطين أو جسم معين) يكاد يكون صفراً. يبدو الأمر كما لو كانت الأدلة البصرية أشباحاً؛ موجودة في النظام، لكنها غير مرئية للجزء من الدماغ الذي يكتب الإجابة.

تجادل الورقة بأن الطريقة القياسية التي تُدرب بها هذه النماذج (والتي تسمى "التنبؤ بالرمز التالي" أو Next-Token Prediction) تشبه معلماً لا يكتفي فقط بتقييم المقال النهائي، بل لا يتفقد أبداً ما إذا كان الطالب قد نظر بالفعل إلى الصور المرجعية. يتعلم الكمبيوتر تخمين الكلمة التالية بشكل صحيح، لكنه لا يتعلم لماذا هي الكلمة الصحيحة أو أي جزء من الصورة جعلها كذلك.

الحل: "مؤشر ليزر" للانتباه

لإصلاح ذلك، ابتكر المؤلفون حيلة تدريبية ذكية تسمى خسارة انتباه KL (KLAL).

تخيل أنك تعلم كلباً كيف يجلب الكرة. في الطريقة القديمة، ستكتفي بقول "كلب جيد!" عندما يعيد الكرة، لكن الكلب قد يكون قد ركض عشوائياً وبالصدفة أمسك بالكرة. في الطريقة الجديدة التي تقترحها هذه الورقة، تستخدم مؤشر ليزر. في كل مرة ينظر فيها الكلب إلى الكرة، تسلط الضوء عليها وتقول: "نعم! انظر إلى هناك بالضبط!".

في عالم الكمبيوتر، "مؤشر الليزر" هو إشارة رياضية خاصة تجبر النموذج على تركيز انتباهه على بكسلات محددة من الصورة التي تهم الإجابة.

• إذا كان السؤال "كم مرة تتقاطع هذه الخطوط؟"، فإن مؤشر الليزر يسلط الضوء على النقاط الدقيقة حيث تتقاطع الخطوط.
• إذا كان السؤال "هل هذه العقدة متصلة بتلك؟"، فإن مؤشر الليزر يتتبع مسار الخط الذي يربطهما.

بعد ذلك، يتم معاقبة النموذج (عبر دالة خسارة) إذا نظر إلى أي مكان آخر. إنه بمثابة قولك للروبوت: "لا يمكنك مجرد تخمين الإجابة؛ عليك أن تثبت أنك تنظر إلى المكان الصحيح في الصورة".

ما وجدوه: من التخمين إلى الرؤية

اختبر الباحثون هذه الفكرة في بعض المهام الصعبة التي تتطلب استدلالاً بصرياً دقيقاً، مثل عد كم مرة تتقاطع خطوط متعرجة مع بعضها البعض، أو تتبع مسار عبر رسم بياني معقد لمعرفة ما إذا كانت نقطتان متصلتان. حتى أنهم ابتكروا لعبة جديدة تسمى "تتبع الخط" (Line Tracing) حيث يتعين على الكمبيوتر اتباع مسار عبر متاهة من النقاط.

إليك ما حدث عندما قاموا بتشغيل "مؤشر الليزر" (KLAL):

1. إجابات أفضل: حققت النماذج نتائج أفضل بكثير في المهام. على سبيل المثال، في مهمة "تقاطع الخطوط"، تحسنت دقة أحد النماذج من حوالي 47% إلى أكثر من 70% عند إضافة طريقة التدريب الجديدة هذه. وفي مهمة "الإشارة" (حيث يتعين على النموذج تحديد مكان جسم ما بدقة)، كان التحسن هائلاً، حيث قفز من تخمين قريب من العشوائية إلى إصابة الهدف في نصف الوقت تقرياً.
2. تركيز أفضل: الجزء الأكثر إثارة لم يكن مجرد الدرجة؛ بل كان كيفية تفكير النموذج. عندما نظر الباحثون في "خرائط الانتباه" الخاصة بالنموذج (والتي توضح أين ينظر الكمبيوتر)، رأوا تغييراً جذرياً. قبل التدريب الجديد، كان النموذج ينظر إلى أجزاء عشوائية من الصورة. بعد التدريب، أصبح انتباه النموذج مقيداً بشدة بنقاط التقاطع أو الجسم المحدد، تماماً كما ينظر الإنسان.
3. ذاكرة أقوى: وجدت الورقة أيضاً أن هذا التدريب لم يغير فقط مكان نظر النموذج؛ بل جعل الذاكرة الداخلية للكمبيوتر للصورة أقوى. أصبحت "الأوزان" الرقمية لأجزاء الصورة المهمة أثقل وأكثر وضوحاً، مما يعني أن النموذج "فهم" البيانات البصرية بشكل أفضل حقاً، وليس مجرد الكلمات.

الحكم النهائي

تشير الورقة إلى أن السبب في فشل هذه النماذج أحياناً في المهام البصرية البسيطة ليس لأنها ليست ذكية بما يكفي، بل لأنها لا تُعلّم كيف تنظر بشكل صحيح. من خلال إضافة إشارة "مؤشر ليزر" مباشرة أثناء التدريب، أجبروا النماذج على ربط كلماتهم مباشرة بالبكسلات التي تمثلها.

تظهر النتائج أن هذه الطريقة تعمل عبر أنواع مختلفة من النماذج، من النماذج مفتوحة المصدر إلى بعض أكبر الأنظمة التجارية للذكاء الاصطناعي. حتى أكثر النماذج التجارية تقدماً عانت في هذه المهام الهندسية المحددة حتى تم تطبيق هذه الطريقة. ويخلص المؤلفون إلى أنه إذا أردنا للذكاء الاصطناعي أن يفهم العالم حقاً، فلا يمكننا الاكتفاء بجعله يخمن؛ بل يجب علينا تعليمه أن ينتبه للأشياء الصحيحة، تماماً كما يوجه المعلم عين الطالب إلى الجزء الصحيح من الرسم التوضيحي.

باختصار، تثبت الورقة أنه عندما تجبر الذكاء الاصطناعي على النظر إلى الأدلة قبل أن يتحدث، فإنه يتوقف عن الهلوسة ويبدأ في الرؤية فعلياً.