Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

ملخص تقني: هل ترى النماذج اللغوية البصرية حقاً أم تكتفي بالقول فقط؟ كشف وهم إعادة الفحص البصري

بيان المشكلة
أظهرت النماذج اللغوية البصرية (VLMs) تقدماً ملحوظاً في الاستدلال متعدد الوسائط، لا سيال مع ظهور النماذج المعززة بالاستدلال التي تستخدم سلاسل التفكير الممتدة (CoT) وآليات التأمل الذاتي. ومن السلوكيات الشائعة لهذه النماذج توليد عبارات تأمل ذاتي مثل "انتظر، دعني أتحقق من الشكل مرة أخرى" أثناء عملية الاستدلال. وبينما تهدف هذه العبارات إلى الحد من الهلوسة الإدراكية وضمان الأمانة تجاه الصورة المدخلة، يظل هناك سؤال جوهري: هل تحفز هذه العبارات إعادة فحص بصري حقيقي، أم أنها مجرد أنماط لغوية متعلمة تفتقر إلى التجذر البصري الفعلي؟ إذا ادعت النماذج أنها تعيد فحص الصورة لكنها فشلت في اكتشاف التغييرات البصرية، فإن موثوقيتها في المجالات الحساسة للسلامة ستكون معرضة للخطر.

المنهجية: VISUALSWAP و VS-BENCH
للتحقيق في هذه الظاهرة، يقترح المؤلفون إطار عمل VISUALSWAP، وهو إطار تشخيصي مصمم لاستقصاء ما إذا كانت النماذج اللغوية البصرية تعيد بالفعل الانتباه إلى المدخلات البصرية أثناء التأمل الذاتي. يستخدم إطار العمل بروتوكولاً يتكون من مرحلتين:

1. الاستدلال القياسي: يولد النموذج سلسلة استدلال أولية ($R_a$) بناءً على صورة أصلية ($I_a$) وسؤال ($Q$).
2. استقصاء إعادة الفحص: يتم استبدال المدخل البصري بصورة أخرى ($I_b$) متميزة دلالياً ولكنها متشابهة بصرياً، مع الاحتفاظ بسياق الاستدلال المولد ($R_a$) وإلحاق مطالبة تأمل ذاتي (مثل: "انتظر، دعني أتحقق من الشكل مرة أخرى"). ثم يُطلب من النموذج مواصلة التوليد.

إذا كان النموذج يقوم بإعادة فحص بصري حقيقي، فيجب أن يكتشف التباين بين $I_b$ و $R_a$، ويحدث استدلاله، وينتج الإجابة الصحيحة لـ $I_b$. أما إذا فشل، فهذا يشير إلى "القصور الذاتي النصي"، حيث يعتمد النموذج على مسار الاستدلال السابق بدلاً من الدليل البصري الجديد.

ولدعم هذا التقييم، قام المؤلفون بتنسيق VS-BENCH، وهو معيار يتكون من 800 زوج من الصور المستمدة من MathVista و MathVerse و MathVision و MMMU-Pro. تم بناء هذه الأزواج لتتشارك في تشابه بصري عالي المستوى (التخطيط، الأسلوب) بينما تختلف في التفاصيل الدقيقة الحرجة للإجابة الصحيحة، مما يضمن بقاء السؤال صالحاً لكلتا الصورتين ولكنه يتطلب إجابات مختلفة.

المساهمات الرئيسية

1. إطار عمل VISUALSWAP: أداة تشخيصية مبدئية لتقييم أصالة إعادة الفحص البصري في النماذج اللغوية البصرية عن طريق التلاعب بالمدخلات البصرية أثناء عملية الاستدلال.
2. معيار VS-BENCH: مجموعة بيانات مكونة من 800 زوج من الصور المصممة بعناية لعزل قدرات إعادة الفحص البصري عن الإجابة العامة على الأسئلة البصرية.
3. التحليل الآلي: استقصاء آليات الانتباه الكامنة وراء الفشل، ومقارنة التأمل المولد ذاتياً مقابل تعليمات المستخدم الصريحة متعددة الأدوار.

النتائج التجريبية
قيم المؤلفون 15 نموذجاً عبر عائلات Qwen3-VL و Kimi-VL و ERNIE-VL، بما في ذلك نسخ "Instruct" و "Thinking". وتكشف النتائج عن نمط فشل حرج:

• فشل واسع النطاق: تفشل النماذج بشكل ساحق في اكتشاف استبدال الصور أثناء التأمل الذاتي. يصل تدهور الأداء ($\Delta = Acc_{base} - Acc_{probe}$) إلى 60% (على سبيل المثال، ينخفض ERNIE-4.5-VL-Thinking من 79.9% إلى 19.6%).
• نماذج "Thinking" هي الأكثر عرضة للخطر: على عكس المتوقع، تظهر نماذج "Thinking" ضعفاً أكبر بـ 3 مرات تقريباً من نظيراتها من فئة "Instruct". فعلى سبيل المثال، يعاني Qwen3-VL-32B-Thinking من انخفاض بنسبة 48.3% مقارنة بـ 17.9% لنسخة Instruct.
• زيادة الحجم لا تساعد: لا يؤدي زيادة حجم النموذج إلى تخفيف المشكلة؛ إذ غالباً ما تظهر النماذج الأكبر تدهوراً أكبر (على سبيل المثال، ينخفض Qwen3-VL-235B-Thinking بنسبة 54.6%).
• الاستعادة عبر تعليمات المستخدم: عندما يتم تحفيز التأمل بواسطة تعليمات مستخدم صريحة متعددة الأدوار (مثل "تحقق من الصورة مرة أخرى") بدلاً من النص المولد ذاتياً، يستعيد الأداء مستوياته القريبة من خط الأساس. وهذا يؤكد أن النماذج تمتلك القدرة الكامنة لمعالجة الصورة الجديدة ولكنها تفشل في تفعيلها ذاتياً.
• تحليل الانتباه: تكشف درجات الانتباه أن عبارات التأمل الذاتي لا تستثير سوى زيادة طفيفة في الانتباه لرموز (tokens) العناصر البصرية. في المقابل، تسبب تعليمات المستخدم الصريحة طفرة كبيرة في الانتباه البصري، مما يفسر فجوة الأداء.

الأهمية والادعاءات
خلصت الورقة إلى أن النماذج اللغوية البصرية الحالية تميل إلى "القول" بأنها تعيد فحص صورة ما دون أن "تراها" حقاً. تم تحديد هذه الظاهرة على أنها فشل في التحكم في الانتباه الذاتي وليس نقصاً في القدرة البصرية. ويرى المؤلفون أن سلاسل الاستدلال الممتدة تخلق قصوراً ذاتياً نصياً قوياً يفصل النموذج عن الدليل البصري أثناء عملية فك التشفير المستمرة.

تكمن أهمية هذا العمل في كشف قيد جوهري في نماذج "سلسلة التفكير" (CoT) الحالية في البيئات متعددة الوسائط: فهي تعطي الأولوية للتماسك النصي على حساب الاستيعاب البصري. وتشير النتائج إلى أن التأمل الذاتي، كما هو مطبق حالياً، قد لا يكون آلية موثوقة لتصحيح الهلوسة البصرية. وتفترض الورقة أن إعادة التجذر البصري الذاتي الحقيقي تتطلب آليات تتجاك مجرد المطالبات اللغوية البسيطة، مما يسلط الضوء على الحاجة إلى أبحاث مستقبلية لنماذج يمكنها مقاطعة مسارات استدلالها بفعالية لإعادة الاشتباك مع المدخلات البصرية. ويؤكد المؤلفون أن هذا يعد نتيجة تشخيصية لسلوك النموذج، وليس مقترحاً لخوارزمية تدريب جديدة، رغم ملاحظتهم أن التدخلات الخارجية (مثل المطالبة متعددة الأدوار) يمكن أن تنجح في استعادة التجذر البصري.