ملخص تقني: التخصيص البصري للائتمان في الاستدلال المكاني متعدد الوسائط

بيان المشكلة

يتم تقييم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد في اختبارات الاستدلال المكاني (مثل VSR، GSR-COCO) باستخدام أسئلة مغلقة بنعم/لا. ومع ذلك، فإن مقاييس الدقة القياسية تخلط بين ظاهرتين متمايزتين: الإجابة الصحيحة بناءً على أدلة بصرية حقيقية، مقابل الإجابة الصحيحة نتيجة لأساليب نصية قوية (text priors)، أو انحيازات مجموعة البيانات، أو عادات اتباع التعليمات. قد يجيب النموذج بـ "نعم" على سؤال "هل التلفاز فوق القطة؟" بشكل صحيح، ومع ذلك قد لا تقدم الصورة دعماً لهذا القرار أكثر مما يفعل نص فقط أو صورة فارغة. تركز طرق إزالة الانحياز والتعارض (counterfactual) الحالية غالباً على تقليل الأولويات اللغوية أو تحسين الدقة الإجمالية، لكنها لا تدقق صراحةً ما إذا كان قرار مكاني محدد وثابت يتلقى دعماً "إضافياً" من الصورة مقارنةً بضوابط عدم وجود صورة، مع الحفاظ في الوقت نفسه على اتساق العلاقات.

المنهجية: تدقيق الائتمان البصري (VCA)

تقترح الورقة "تدقيق الائتمان البصري" (VCA)، وهو إطار عمل للتدقيق على مستوى القرار، خالٍ من التدريب، ويفصل نجاح الاختبار إلى ثلاثة مكونات: الصحة، والدعم الإضافي من الصورة، والاستجابة المتسقة مع العلاقة. يعمل VCA على واجهة ثنائية ثابتة (مثل نعم/لا) ويقوم بتجميد النموذج (MLLM)، محللاً هوامش الاحتمالية اللوجستية (log-likelihood margins) تحت سياقات متطابقة.

إطار التدقيق ثنائي المحاور

يحدد VCA تقديرين متميزين:

1. محور الدعم (الاعتماد النسبي على الصورة):

   • الهدف: تحديد ما إذا كانت الصورة الأصلية توفر دعماً لقرار النموذج المعلن أكثر من الضوابط النصية ($t$) أو الفارغة ($b$).
   • المقياس: يُعرف "فجوة اعتماد VCA" ($G^{\text{img}}_i$) بأنها الفرق بين الدعم المتوافق مع التنبؤ للصورة الأصلية ($r_{i,o}$) والحد الأقصى للدعم في ضوابط عدم وجود صورة ($\max(r_{i,t}, r_{i,b})$).
   • التعريف: يتم "ائتمان" القرار ($D_i=1$) إذا كان $G^{\text{img}}_i > 0$. ومن الأهمية بمكان أن هذا لا يتطلب من ضوابط عدم وجود صورة تفضيل الإجابة المعاكسة، بل يتطلب فقط أن تقدم الصورة دعماً "أكثر" من الضوابط.
   • التفكيك: يؤدي هذا إلى تفكيك دقة مكون من أربع خلايا:
     • D-CC (صحيح مع ائتمان الاعتماد): قرارات صحيحة مع ميزة دعم من الصورة.
     • C-U (صحيح ولكن غير مائتمن): قرارات صحيحة لا تقدم فيها الصورة أي ميزة على الضوابط النصية/الفارغة.
     • أخطاء مدعومة بالدعم (Support-Advantaged Errors): قرارات خاطئة قدمت فيها الصورة في الواقع دعماً أقوى من الضوابط (وهي فئة غالباً ما تخفيها المقاييس التي تعتمد على الحقيقة الأرضية فقط).
     • أخطاء غير مائتمنة (Uncredited Errors): أخطاء ليس لها ميزة دعم من الصورة.

2. محور التفاعل (اتساق العلاقة):

   • الهدف: تحديد ما إذا كان النموذج يميز العلاقة المكانية الحقيقية عن البدائل الخاطئة على بكسلات ثابتة.
   • المقياس: يقارن "تباين العلاقة الدلالية" (SRC) هامش استعلام العلاقة الحقيقية ($q_{r+}$) مقابل الحد الأقصى لهامش البدائل الخاطفة ($q_{r-}$).
   • الائتمان المزدوج (PairCredit): يقيس ما إذا كان الفصل الخاص بالصورة ($G_{\text{int}}$) يتجاوز الفصل الموجود في ضوابط عدم وجود صورة.
   • المشترك (Joint): هو اقتران يتطلب كلاً من اتساق العلاقة المطلق والاعتماد المزدوج.

التدخلات التشخيصية

للتحقق من هذه التقديرات ومعالجة قيود الضوابط الصفرية (التي لا يمكنها تحديد الاستجابة للعلاقة)، تستخدم الورقة:

• تبديل الصورة المتطابق: استبدال الصورة الأصلية بصورة أخرى غير مرتبطة ومحددة من نفس التقسيم لمعايرة مقياس D-CC.
• عامل مصدر الأدلة المتحكم فيه: تصميم $3 \times 3$ يغير الأدلة البصرية (تدعم العلاقة، تعارض العلاقة، محايدة) والأدلة النصية (تدعم، تعارض، محايدة) لعزل ما إذا كانت القرارات غير المائتمنة لا تزال تستجيب لتغيرات العلاقة البصرية.
• تعديلات مدققة بشرياً: مجموعة من 108 تعديلاً للصور الطبيعية المتوافقة هندسياً للتحقق من الارتباط بين التدخلات المتحكم فيها وتغيرات الصور الطبيعية.

المساهمات الرئيسية

1. تدقيق على مستوى القرار خالٍ من الملصقات: قدمت طريقة تخصص الائتمان للقرارات "المعلنة" دون الاعتماد على ملصقات الحقيقة الأرضية للتدقيق نفسه. هذا يستعيد الربح المتوافق مع الحقيقة في العناصر الصحيحة، ولكنه يتميز بقدرته على الاحتفاظ بـ "الأخطاء المدعومة بالدعم"، مما يوفر تفكيكاً كاملاً للدقة.
2. الفصل بين الدعم الهامشي والاستجابة للعلاقة: أثبتت أن الضوابط الصفرية (النص/الفارغ) لا يمكنها تحديد ما إذا كان النموذج يستجيب لعكس العلاقة. توضح الورقة أن القرار يمكن أن يكون "غير مائتمن" (لا يوجد ميزة دعم هامشية للصورة) ومع ذلك يظل "مستجيباً للعلاقة" (يتغير بشكل صحيح عند عكس العلاقة البصرية).
3. التحليل التجريبي الشامل: طُبق VCA على أربعة نماذج MLLM مفتوحة (Qwen, InternVL, LLaVA, Ministral) واختبارين (VSR, GSR-COCO)، باستخدام 1,800 مدخل لكل نموذج و108 تدقيق تعديل مستقل.

النتائج

• انتشار الصحة غير المائتمنة: عبر النماذج ومجموعات البيانات، تتراوح نسبة القرارات الصحيحة "غير المائتمنة" (C-U) بين 12.73% إلى 26.25%، مما يعني أن الصورة لم توفر دعماً إضافياً عن الضوابط النصية أو الفارغة.
• خصوصية الصورة: يقلل تبديل الصورة المتطابق من D-CC بمقدار 21.25 إلى 47.80 نقطة عبر جميع الجولات، مع فترات ثقة 95% تزيد تماماً عن الصفر. وهذا يؤكد أن ميزة الصورة الأصلية مرتبطة بمحتواها، وليس مجرد وجود أي صورة.
• الاستجابة للعلاقة في الحالات غير المائتمنة: من بين القرارات الصحيحة ولكن غير المائتمنة، لا تزال 81.57% إلى 100.00% من النماذج تستجيب بشكل صحيح لعكس العلاقة في الإعداد التجريبي. علاوة على ذلك، فإن 32.11% من هذه القرارات غير المائتمنة تغير إجابتها الثنائية بالفعل عند عكس العلاقة، مما يثبت أنها ليست مدفوعة بالنص فقط.
• الارتباط الطبيعي: في التعديلات الصورية الطبيعية المدققة بشرياً، نجحت نسبة 25.00% من القرارات (الصحيحة من المصدر ولكن غير المائتمنة) في التغير مع تغير الرؤية، مما يؤكد وجود حالات غير مائتمنة مستجيبة في الصور الطبيعية، وليس فقط في الرسوم الإجرائية.
• التفكيك: يكشف الإطار أن الدقة الإجمالية تحجب تبايناً كبيراً في كيفية استخدام النماذج للأدلة البصرية. على سبيل المثال، يحقق Qwen دقة 90.91% في GSR-COCO، ولكن 78.18% فقط من الأمثلة هي التي كانت صحيحة ومدعومة بالصورة معاً.

الأهمية والادعاءات

تدعي الورقة أن VCA يوفر تفكيكاً ضرورياً لنجاح الاختبار لا يمكن للدقة وحدها تقديمه.

• ما وراء الدقة: تجادل الورقة بأن "الصحة" و"الدعم البصري" هما بعدان مختلفان. يمكن للنموذج أن يكون دقيقاً ولكنه يعتمد على الأولويات (C-U)، أو يمكن أن يكون غير دقيق ولكنه يستخدم الأدلة البصرية بشكل صحيح (أخطاء مدعومة بالدعم).
• الصرامة المنهجية: من خلال فصل تقدير "الدعم الهامشي" عن تقدير "الاستجابة للعلاقة"، يتجنب VCA الخلط الموجود في طرق الضوابط الصفرية الحالية. وتوضح الورقة أن الضوابط الصفرية غير كافية لتحديد الاستجابة البصرية الخاصة بالعلاقة.
• المنفعة العملية: يعمل VCA كرفيق لما بعد التحليل (post-hoc) للدقة، حيث يقدم "تقريراً طباقياً" يساعد في تشخيص ما إذا كان التحسن في الاستدلال المكاني ناتجاً عن أدلة بصرية حقيقية أم عن أولويات إجابات أقوى. هو لا يدعي استبدال الدقة، بل يهدف إلى تحسين تفسير نجاح الاختبار.
• القيود: تشير المؤلفة بتواضع إلى أن VCA يقيس الدعم النسبي تحت ضوابط محددة مسبقاً، وليس المسارات السببية الداخلية أو الإسناد على مستوى البكسل. هو مصمم لواجهات الاختيار القسري الثابتة ولا يعالج مباشرة التوليد المفتوح غير المقيد.