Where To Look? : Causal Tracing of Vision Encoders in VLM

معضلة المحقق: كيف ترى عيون الذكاء الاصطناعي حقاً؟

تخيل أنك تحاول تعليم روبوت فهم العالم. تمنحه كاميرا وعقلاً، وتطلب منه وصف صورة لكلب. لسنوات، ذُهل العلماء بقدرة "نماذج الرؤية واللغة" (VLMs) هذه على القيام بذلك بدقة مذهلة. لكن ظل هناك سؤال ملحّ: كيف يفعلون ذلك حقاً؟ هل "يرون" الكلب فعلاً بالطريقة التي نراه بها، أم أنهم يكتفون بالتخمين بناءً على أدلة صغيرة وخفية؟

للإجابة على هذا، يستخدم الباحثون تقنية تسمى التتبع السببي (causal tracing). فكر في الأمر كسيناريو "ماذا لو" لدى المحقق. إذا أخذت معلومة محددة من عقل الروبوت واستبدلتها بمعلومة أخرى، هل تتغير الإجابة؟ إذا تغيرت الإجابة بشكل جذري، فهذا يعني أن تلك المعلة كانت "مهمة سببياً". عادةً، نفترض أنه إذا كان الروبوت يتحدث عن كلب، فإن الجزء الأهم في دماغه يجب أن يكون ينظر مباشرة إلى الكلب. ولكن ماذا لو كان الروبوت في الواقع ينظر إلى العشب، أو السماء، أو الظلال، ويقوم فقط بـ تخمين وجود الكلب؟ يغوص هذا البحث في ذلك الغموض، متسائلاً عما إذا كانت الأجزاء الأكثر أهمية في الذكاء الاصطناعي تنظر بالفعل إلى المكان الصحيح.

---

أين ننظر؟ التضليل العظيم للذكاء الاصطناعي

في هذه الدراسة، قرر الباحثون في مجموعة أبحاث LINGO لعب لعبة "أوجد الفروق" مع بعض أذكى نماذج الذكاء الاصطناعي في العالم. أرادوا معرفة: عندما يجيب الذكاء الاصطناعي على سؤال حول صورة، هل الجزء من دماغه الذي يقوم بالعمل الشاق ينظر بالفعل إلى الكائن المعني؟

لاكتشاف ذلك، استخدموا حيلة ذكية تسمى الترقيع التنشيطي (activation patching). تخيل أن دماغ الذكاء الاصطناعي عب mặt مصنع ضخم به آلاف العمال (يُطلق عليهم "الرموز" أو tokens) يمررون الملاحظات لبعضهم البعض عبر حزام ناقل.

1. التشغيل النظيف: يعرضون للذكاء الاصطناعي صورة واضحة وسؤالاً، مثل "أين السيدة ذات القميص الأزرق؟". يعطي الذكاء الاصطناعي درجة لمدى فهمه للصورة.
2. التشغيل الفاسد: يأخذون نفس الصورة ويضيفون إليها الكثير من الضجيج الساكن (مثل تحويل التلفاز إلى قناة مشوشة بالثلوج) بحيث يرتبك الذكاء الاصطناعي وتنخفض درجته.
3. التشغيل المرقّع: هذه هي الخطوة السحرية. يأخذون الصورة المشوشة "المربكة"، لكنهم يتسللون بملاحظة واحدة "نظيفة" من الصورة الأصلية إلى خط المصنع. إذا استعاد الذكاء الاصطناعي فجأة الإجابة وارتفعت الدرجة مرة أخرى، فإن ذلك الرمز المحدد كان هو "البطل".

ثم سأل الباحثون سؤالاً بسيطاً: هل جاء هذا الرمز البطل من جزء الصورة الذي يظهر فيه السيدة ذات القميص الأزرق؟ وللقياس، استخدموا أداة رياضية تسمى IoU (التقاطع فوق الاتحاد)، وهي مجرد طريقة معقدة للسؤال: "ما مدى تداخل هذه الملاحظة مع السيدة الفعلية؟"

الاكتشاف الصادم: الذكاء الاصطناعي ينظر في كل مكان إلا في المكان الصحيح

كانت النتائج تشبه اكتشاف أن صديقك المفضل يحل مسألة رياضية من خلال التحديق في السقف بدلاً من الأرقام.

اختبر الفريق كل شيء، بدءاً من نموذج CLIP الكلاسيكي وصولاً إلى العمالقة الحديثين الضخمين مثل DeepSeek-VL وQwen-2.5 وLLaVA. كانوا يتوقعون أن يجدوا أن الرموز الأكثر "سببية" (الأبطال) ستكون متجمعة فوق الكائن المستهدف مباشرة. بدلاً من ذلك، وجدوا ارتباطاً ضعيفاً، يكاد يكون معدوماً.

• الأرقام لا تكذب: في نموذج CLIP، كان الارتباط بين "كونه مهماً" و"كونه في المكان الصحيح" هو 0.062 فقط. وهذا يكاد يكون صفراً.
• النمط مستمر: حتى في النماذج الأكبر والأذكى، ظلت الأرقام منخفضة. بالنسبة لـ DeepSeek-VL، كان الارتباط 0.0531 ± 0.0334 مع نوع واحد من الضجيج و 0.0520 ± 0.0041 مع نوع آخر. وبالنسبة لـ Qwen-2.5، كان 0.0912 ± 0.0422.
• مفاجأة "التداخل الصفري": في مثال محدد، كان للرمز الذي كان له تأثير هائل على الإجابة (درجة سببية بلغت 0.718) تأثير ضئيل جداً على الكائن المستهدف (IoU قدره 0.049 فقط). كان الأمر كما لو أن الذكاء الاصطناعي حل اللغز من خلال النظر إلى الخلفية، وليس الموضوع الأساسي.

يشير المؤلفون إلى أن هذه النماذج بارعة للغاية في استخدام المعلومات المرئية، لكنها ليست بالضرورة متجذرة في الموقع المحدد لتلك المعلومات. قد تعتمد على شبكة "موزعة" من الأدلة — مثل لون السماء، أو ملمس الأرضية، أو الجو العام للمشهد — بدلاً من التركيز على الكائن المحدد.

هل الأكبر يعني الأفضل؟

قد تقول: "حسناً، ربما كانت النماذج القديمة والصغيرة سيئة في هذا، والنماذج الجديدة الخارقة قد أصلحت الأمر". لقد تحقق الباحثون من هذا أيضاً. نظروا في النماذج من عام 2023 وصولاً إلى أحدث إصدارات 2025.

النتيجة؟ لا. لم يتغير النمط. حتى النماذج الأكثر تقدماً، والتي يمكنها الإجابة على أسئلة معقدة واتباع التعليمات بدقة، لا تزال تظهر هذا الانفصال. يشير المؤلفون إلى أن مجرد حصول النموذج على درجة أعلى في اختبار ما لا يعني أنه طور "خريطة مكانية" أفضل للصورة. يبدو أن الأداء القوي لا يعني تلقائياً أن الذكاء الاصطناعي ينظر إلى المكان الصحيح؛ بل يعني فقط أنه بارع جداً في تخمين الإجابة الصحيحة باستخدام أي أدلة يمكنه العثور عليها.

اختبار "الخيط": هل يفهمون الأشكال؟

للتعمق أكثر، طرح الفريق سؤالاً مختلفاً: إذا أزلت "مظهر" جسم ما مع الحفاظ على شكله، فهل سيفهمه الذكاء الاصطناعي؟ استخدموا مهمة تتضمن خيوطاً (خطوطاً) حيث حافظوا على الهندسة (الشكل والاتصالات) ثابتة ولكن غيروا المظهر.

وجدوا أن النماذج تستغل الإشارات المرئية لفهم الهياكل المرئية. عندما تمت إزالة تلك الإشارات القائمة على المظهر، كافحت النماذج للحفاظ على فهمها للهيكل. يشير هذا إلى أن الذكاء الاصطناعي لا "يرى" الشكل حقاً بطريقة هيكلية عميقة مستقلة عن مظهره؛ بل يعتمد بشدة على تلك الحيل السطحية للمظهر لفهم الروابط. عندما تختفي تلك الحيل، يضيع الذكاء الاصطناعي.

ماذا يعني هذا للمستقبل

يختتم البحث برسالة واضحة، وإن كانت مقلقة قليلاً: هناك فجوة بين "الرؤية" و"الاستنتاج".

النماذج ليست معطلة، هي فقط تعمل بطريقة لم نتوقعها. إنهم يشبهون المحقق الذي يمكنه حل جريمة من خلال ملاحظة أن المشتبه به يرتدي دائماً قبعة حمراء، دون أن ينظر فعلياً إلى وجه المشتبه به. الأجزاء "السببية" من أدمغتهم تقوم بالعمل، لكنهم ليسوا بالضرورة ينظرون إلى الهدف.

يخطط المؤلفون الآن للنظر في المزيد من النماذج وأنواع مختلفة من بنيات الكاميرات لمعرفة ما إذا كان هذا قانوناً عالمياً لجميع نماذج الذكاء الاصطناعي الحديثة أم مجرد سمة خاصة بالنماذج التي اختبروها. في الوقت الحالي، يقترحون أنه لا ينبغي لنا افتراض أنه لمجرد أن الذكاء الاصطناعي يمكنه وصف صورة بشكل مثالي، فإنه "ينظر" فعلياً إلى الكائن بالطريقة التي نعتقد بها. قد يكون الذكاء الاصطناعي ينظر إلى الصورة بأكملها، ولكنه يفتقد النقطة المحددة التي تهمنا.