Foveated Probes Recover Localized Binding Information in Vision Foundation Models
تُثبت هذه الورقة أن العمى المكاني الظاهري لنماذج الرؤية التأسيسية المجمدة ناتج في المقام الأول عن قيود تضمينات الصور العالمية، وليس عن نقص في المعلومات المكانية، حيث ينجح استخراج معلومات بؤري خفيف الوزن في استعادة تفاصيل الربط الموضعية التي يحجبها التجميع العالمي.
تخيل أنك تحاول تعليم روبوت كيف يرى العالم. تمنحه مكتبة ضخمة من الصور وتتركه يدرسها حتى يصبح خبيراً في التعرف على "الأشياء". لكن هناك عقبة: عندما تسأل الروبوت سؤالاً، لا تسمح له بالنظر إلى الصورة بأكملها مرة أخرى. بدلاً من ذلك، تجبره على تضييق عينيه، ودمج كل شيء معاً، ثم يقدم لك ملخصاً واحداً ضبابياً. إذا أخطأ الروبوت في الإجابة، قد تفترض أنه لم يتعلم التفاصيل من الأساس. ولكن ماذا لو كانت التفاصيل موجودة بالفعل، لكنها كانت مخفية داخل ذلك الملخص الضبابي؟ هذا هو اللغز الذي يكمن في قلب الرؤية الحاسوبية الحديثة. لقد عكف العلماء على بناء "نماذج تأسيسية" — وهي عقول ذكاء اصطناعي فائقة الذكاء تدربت على ملايين الصور — وهي بارعة في قول "هذا كلب" أو "هذه سيارة". ومع ذلك، غالباً ما تعاني هذه النماذج مع الأسئلة الصعبة مثل: "أي من الكلبين يرتدي طوقاً أحمر؟" أو "هل المثلث الموجود على اليسار أحمر أم أزرق؟". لسنوات، افترض الباحثون أن هذه الإخفاقات تعني أن الذكاء الاصطناعي ببساطة لا يفهم كيفية ربط سمات محددة (مثل اللون والشكل) بأجسام محددة. وظنوا أن عقل الذكاء الاصطناعي كان "أعمى مكانياً" للغاية بحيث لا يستطيع تتبع العناصر الفردية في مشهد مزدحم.
قرر فريق من الباحثين من جامعة رايس وجامعة كوينزلاند اختبار هذا الافتراض بتجربة ذكية. طرحوا سؤالاً بسيطاً ولكنه عميق: هل المعلومات مفقودة حقاً من عقل الذكاء الاصطناعي، أم أنها تُفقد فقط بسبب كيفية طرحنا للسؤال؟ ولتحديد ذلك، أبقوا "عقل" الذكاء الاصطناعي (الجزء الذي يرى الصورة) ثابتاً وغير متغير تماماً. وبدلاً من تغيير الذكاء الاصطناعي، قاموا بتغيير "الميكروفون" الذي يستخدمونه للاستماع إليه. قارنوا بين الطريقة القياسية للاستماع (ملخص واحد ضبابي للصورة بأكملها) وبين طريقة "بؤرية" جديدة. فكر في هذه الطريقة الجديدة كأنك تمنح الذكاء الاصطناعي نظارات سحرية تسمح له بتكبير التركيز وتوجيه انتباهه إلى الجزء المحدد من الصورة ذي الصلة بالسؤال فقط، متجاهلاً ما تبقى.
كانت النتائج نقطة تحول جذري. عندما استخدم الباحثون نهج "الملخص الضبابي" القياسي، كان أداء الذكاء الاصطناعي سيئاً للغاية في المهام التي تتطلب منه تمييز أجسام محددة وسط حشد، حيث كان يصيب الإجابة الصحيحة غالباً عن طريق التخمين العشوائي فقط. بدا وكأنه أعمى تماماً عن التفاصيل. ومع ذلك، عندما انتقلوا إلى نهج "النظارات السحرية"، مما سمح للذكال الاصطناعي بالتركيز على البقعة الصحيمة قبل الإجابة، ارتفع أداؤه بشكل هائل. في اختبار تضمن مثلثاً أحمر مخبأً بين خمسين شكلاً آخر، نجحت الطريقة القياسية في الإجابة الصحيحة بنسبة 3.5% فقط، بينما نجحت الطريقة المركزة بنسبة 93.5% — وهو أداء يقارب قدرة البشر عند النظر إلى البقعة المحددة بالضبط.
يشير هذا إلى أن الذكاء الاصطناعي لم يكن "أعمى" في الواقع أو مفتقراً للمعلومات. كانت التفاصيل موجودة طوال الوقت، مخزنة في الأجزاء الصغيرة من الصورة التي عالجها الذكاء الاصطناعي. المشكلة كانت أن الطريقة القياسية لقراءة عقل الذكاء الاصطناعي كانت تشبه محاولة سماع همس في وسط إعصار؛ حيث غطت ضوضاء كل شيء آخر في الصورة على الإشارة المهمة. ومن خلال استخدام قراءة مركزة، أظهر الباحثون أن "رؤية" الذكاء الاصطناعي أكثر حدة مما كنا نعتقد، بشرط أن نمنحه وسيلة للنظر إلى الشيء الصحيح في الوقت الصحيح. هذا لا يعني أن الذكاء الاصطناعي مثالي بعد، لكنه يثبت أن الفشل لم يكن في "الرؤية"، بل كان في "الاستماع".
ملخص تقني: المجسات البؤرية (Foveated Probes) تستعيد المعلومات الترابطية الموضعية في نماذج الرؤية التأسيسية
بيان المشكلة
تُقيّم نماذج الرؤية التأسيسية (VFMs) في الغالب باستخدام تمثيل بصري عالمي واحد (مثل: رمز الفئة، أو المخرجات المجمعة، أو المتوسط العام للقيم). وبينما يعد هذا الأسلوب مريحًا لمهام المحاذاة بين الصور والنصوص، إلا أن هذه الواجهة تفرض غموضًا حرجًا عند فشل النماذج في المهام المكانية أو العلاقاتية أو مهام الربط: هل المعلومات ذات الصلة غائبة حقًا عن تمثيل المشفر المجمد، أم أنها فُقدت بسبب عملية التجميع (Readout) العالمية؟
توثق الأدبيات الحالية حالات الفشل في المطابقة التركيبية، وربط الصفات بالأشياء، والاستدلال المكاني الموضعي في نماذج مثل CLIP وSigLIP. وفي المقابل، تشير طرق التنبؤ الكثيف إلى أن رموز الرقع (Patch tokens) تحتفظ بمعلومات محلية مفيدة. وتفترض هذه الورقة وجود تمييز بين فشل التمثيل (حيث تكون المعلومة غائبة حقًا) والعمى المكاني على مستوى التجميع (حيث توجد المعلومة في رموز الرقع ولكنها تصبح غير قابلة للوصول بعد دمجها في متجه عالمي). ويجادل المؤلفون بأن التجميع العالمي يضعف الأدلة التي تغير التسميات الموضعية بينما يعرض "المجس" (Probe) لتباينات مزعجة ناتجة عن أشياء غير ذات صلة.
المنهجية
تعمل هذه الدراسة على عزل واجهة التجميع عبر إبقاء مشفر الرؤية مجمدًا وتغيير الآلية المستخدمة فقط لتجميع رموز الرقع لمهمة تصنيف لاحقة. لا يتم تحديث أي تدرجات (Gradients) لأبراج الرؤية أو النصوص.
بروتوكولات التجميع (Readout Protocols)
التجميع العالمي (النماذج المرجعية):
المتوسط العام للقيم (GAP): يقوم بمتوسط جميع رموز الرقع بشكل موحد.
رمز الملخص (Summary Token): يستخدم تمثيل الملخص المدرب مسبقًا (مثل رمز الفئة في CLIP).
السؤال فقط (مهام VLM): يستخدم تمثيل النص فقط لقياس المعرفة المسبقة.
التجميع البؤري (المقترح):
تجميع بالانتباه (Attention pooling) خفيف الوزن، يعتمد على استعلام واحد (Single-query) فوق رموز الرقع المجمدة.
يقوم الاستعلام q (الذي يتم تعلمه للمهام البصرية فقط أو يُشتق من تمثيل السؤال لمهام VLM) بتعيين درجات انتباه للرموز.
المخرج هو مجموع مرجح للرموز، حيث يختار الأدلة قبل الانهيار المكاني.
والأهم من ذلك، يتم تدريب هذا التجميع دون أي إشراف مكاني (لا توجد مربعات إحاطة)؛ فهو يتعلم اختيار الرموز بناءً على خسارة المهمة فقط.
التجميع المثالي (Oracle Readout):
يجمع الرموز حصريًا داخل منطقة مستهدفة محددة.
يعمل كمعيار تشخيصي علوي للتأكد مما إذا كانت المعلومة موجودة بالفعل في الرموز.
المقياس التشخيصي: نسبة الضجيج إلى الإشارة المضادة للواقع (NSR)
لقياس سبب فشل التجميع العالمي، قدم المؤلفون مقياس NSR، الذي يُحسب مباشرة على التمثيلات:
الإشارة (S): متوسط التغير المربع في التمثيل عند تعديل العامل المحدد للتسمية (مثل اللون أو الشكل المستهدف) عبر تجارب مضادة للواقع.
الضجيج (N): التباين في التمثيل عند تغيير محتويات المشهد غير ذات الصلة (المشتتات) مع بقاء التسمية ثابتة.
NSR: النسبة N/S. يشير الرقم المنخفض لـ NSR إلى أن التمثيل حساس للتسمية ومستقر ضد الضوضاء. بينما يشير الرقم المرتفع إلى أن التمثيل يهيمن عليه التباين غير ذي الصلة.
مهام التقييم
ربط اللون والشكل الاصطناعي (CSB): مهمة محكومة حيث يجب تحديد اقتران لون وشكل جسم مستهدف وسط مشتتات عدائية (Lures) تطابق إما اللون أو الشكل.
كشف الشكل المزدحم (CSD): نسخة من CSB خالية من اللون لاختبار ربط الشكل بدون إشارات لونية.
ربط اللون الموضعي المستمد من GQA (أي GQA):* مهمة صور طبيعية حيث تسأل أسئلة مزدوجة عن ألوان نموذجين مختلفين من نفس فئة الكائن داخل نفس الصورة.
النتائج الرئيسية
المهام الاصطناعية (CSB & CSD)
فجوة الأداء: تؤدي عمليات التجميع العالمي (GAP/Summary) أداءً يقترب من مستوى الصدفة في دقة التضاد المزدوج (حوالي 3.5% لـ CSB، حيث الصدفة هي 2.8%). في المقابل، يحقق التجميع البؤري 93.5%، مقتربًا من أداء النموذج المثالي (Oracle) البالغ 99.3%.
الحساسية للمشتتات: مع زيادة عدد المشتتات، تنخفض دقة التجميع العالمي بشكل رتيب، بينما تظل دقة التجميع البؤري قريبة من السقف الأعلى.
تحليل NSR: تظهر عمليات التجميع العالمي NSR مرتفعًا (7–15)، مما يعني أن تعديلات الضجيج تحرك التمثيل بمقدار 7 إلى 15 مرة أكثر من التعديلات التي تغير التسمية. أما التجميع البؤري فيحافظ على NSR منخفض (~0.3)، وهو مشابه للنموذج المثالي.
المشتتات العدائية: يتذبذب أداء التجميع العالمي بشكل حاد بناءً على تكوين المشتتات (على سبيل المثال، يرتفع مع مشتتات الشكل المستهدف، وينخفض مع مشتتات الشكل المقابل)، مما يشير إلى الاعتماد على إحصائيات المشهد. بينما يظل التجميع البؤري ثابتًا تجاه تكوين المشتتات.
مهمة الصور الطبيعية (GQA*)
الدقة المزدوجة: المتجهات العالمية المستقلة عن السؤال تحسن الأداء بشكل طفيف فقط فوق الأولويات المسبقة للسؤال فقط (حوالي 4% مقابل 2.3% للصدفة).
تأثير التجميع البؤري: يحقق التجميع البؤري المشروط بالسؤال دقة مزدوجة تبلغ 17.0%، أي ما يعادل 4 أضعاف أداء التجميع العالمي تقريبًا.
الفجوة مع النموذج المثالي: يصل النموذج المثالي إلى 33.0%، مما يشير إلى أنه بينما يستعيد التجميع البؤري إشارة كبيرة، فإن التمثيل المجمد لا يزال يحتوي على معلومات لونية إضافية خاصة بالكائنات لم يتم استردادها بالكامل بعد بواسطة المختار الخفيف الوزن.
المساهمات
صياغة مفهوم العمى المكاني على مستوى التجميع: حددت الورقة هذا الظاهرة وميزت بينها وبين الفشل الحقيقي في التمثيل، وقدمت مقياس NSR المضاد للواقع كأداة تشخيصية.
بروتوكول الاستقصاء البؤري (Foveated Probing): تقديم آلية تجميع بؤري بسيطة وقابلة للتعلم لاستعادة معلومات الربط الموضعية دون الحاجة لضبط المشفر (Fine-tuning) أو استخدام إشراف مكاني.
الأدلة التجريبية: إثبات أن الانهيار العالمي يمكن أن يجعل المعلومات المتاحة تبدو وكأنها غائبة. تظهر الدراسة أن المختار الخفيف يمكنه استعادة معظم الإشارة التي يمكن الوصول إليها من النموذج المثالي، مما يشير إلى أن "العمى المكاني" في النماذج المجمدة هو غالبًا نتاج لواجهة التجميع العالمي وليس نقصًا في المعلومات المكانية في رموز الرقع.
الأهمية والادعاءات
تخلص الورقة إلى أن السؤال "هل نماذج الرؤية المجمدة عمياء مكانياً؟" هو سؤال غير محدد بدقة؛ فالإجابة تعتمد كليًا على الواجهة المستخدمة للوصول إلى رموز الرقع.
إعادة تقييم حالات الفشل: لا ينبغي عزو حالات الفشل في المهام المكانية والتركيبية فورًا إلى نقص التمثيل في النموذج التأسيسي. بدلاً من ذلك، قد يكون السبب هو أن المعلومات قد تم إضعافها بواسطة التجميع العالمي.
مبدأ التقييم: قبل عزو الفشل الموضعي إلى التمثيل المتعلم، يجب على الباحثين اختبار ما إذا كان الاستنتاج سيصمد أمام عملية تجميع تحافظ على الرموز المكانية أو تصل إليها بشكل انتقائي.
القيود: يشير المؤلفون إلى أن المسبار البؤري هو تدخل تشخيصي، وليس بديلًا للبنى التي تمتلك تفاعلات غنية عبر الوسائط. تركز الدراسة على ربط الصفات الموضعية؛ وتوسيع هذه التشخيصات لتشمل المهام العلاقاتية الأخرى والبنى المختلفة هو عمل مستقبلي.
تشير النتائج إلى أنه بينما تعد التمثيلات العالمية ملخصات مفيدة، لا ينبغي الخلط بينها وبين حسابات كاملة لما تعرفه نموذج الرؤية المجمد حقًا.