ملخص تقني: TRAPSBench: نماذج الرؤية واللغة تدرك ولكنها تفشل في التعبير عن الكفّ الإبستمي (المعرفي)

بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) تقدماً كبيراً في فهم الفيديو والاستدلال الفيزيائي. ومع ذلك، من أجل النشر في المجالات عالية المخاطر، فإن قدرة النموذج على إدراك متى تكون المعلومات الحسية غير كافية للتنبؤ الحتمي لا تقل أهمية عن قدرته على الإجابة بشكل صحيح. تفشل الاختبارات المرجعية الحالية التي تقيم الاستدلال الفيزيائي في اختبار الامتناع الانتقائي تحت ظروف نقص الأدلة. كما أن المقاييس الحالية غالباً ما تكافئ الامتناع العشوائي أو تتجاهل البعد الإبستمي (المعرفي) تماماً، مما يفشل في التمييز بين النموذج الذي يعرف أنه لا يعرف، وبين النموذج الذي يخمّن فحسب.

تعالج هذه الورقة الفجوة بين المعرفة الداخلية للنموذج حول عدم اليقين وبين التعبير الخارجي عن عدم اليقين هذا. وتحديداً، تبحث الورقة فيما إذا كانت نماذج الرؤية واللغة تستطيع داخلياً التمييز بين السيناريوهات الفيزيائية القابلة للإجابة وغير القابلة للإجابة، ولماذا تفشل في التعبير عن هذا التمييز في مخرجاتها التوليدية (Autoregressive).

المنهجية

1. الاختبار المرجعي TRAPSBench

قدم المؤلفون TRAPSBench (اختبار الكف في السيناريوهات الفيزيائية الغامضة)، وهو اختبار مرجعي للفيديو يتم توليده إجرائياً ويتكون من 1,404 زوجاً فيزيائياً متوافقاً.

• التوليد: باستخدام MuJoCo، ينشئ الاختبار فيديوهات "تحكم" (Control) حيث تكون النتال حتمية، وفيديوهات "فراغ" (Void) حيث يتم جعل النتيجة غير قابلة للحساب عبر تعديل مستهدف واحد.
• تصنيفات عدم اليقين:
  • الحجب (Occlusion): يتم حجب البيانات المرئية الرئيسية بواسطة حاجب معتم ($N=202$).
  • الحساسية الفوضوية (Chaotic Sensitivity): أنظمة حتمية ذات حساسية شديدة للظروف الأولية، يتم قطعها قبل الوصول إلى النتيجة ($N=500$).
  • الأسئلة سيئة الصياغة (Ill-Posed Questions): تُعاد استخدام فيديوهات التحكم، لكن السؤال يحتوي على فرضية خاطئة أو يسأل عن تفاصيل غير قابلة للملاحظة ($N=702$: 202 حجب بصري + 500 حرج فوضوي).
• التقييم: تقوم لوحة حكم نصية فقط (ثلاثة نماذج) بتقييم الاستجابات. بالنسبة لفيديوهات التحكم، تُقاس الصحة مقابل الحقيقة الأرضية لـ MuJoCo. أما بالنسبة لفيديوهات الفراغ، فيكتشف الحكم ما إذا كان النموذج قد امتنع عن الإجابة.

2. درجة المعايرة الإبستمية المعاقبة (PECS)

لتقييم الأداء، اقترح المؤلفون مقياس PECS، وهو مقياس ترابطي يُعرف بـ:
$$\text{PECS} = \text{Acc} \times \max(0, \text{AbsRec} - \text{FalseAbs})$$
حيث أن:

• Acc: الدقة في الفيديوهات القابلة للإجابة (التحكم).
• AbsRec: استدعاء الامتناع (الامتناع الصحيح في فيديوهات الفراغ).
• FalseAbs: الامتناع الخاطئ (الامتناع غير الصحيح في فيديوهات التحكم).
• الأهمية: يستخدم المقياس إحصائية يودن (Youden's J statistic) وهي ($\text{AbsRec} - \text{FalseAbs}$) لمعاقبة الاستراتيجيات غير المتمايزة. النموذج الذي يمتنع دائماً أو لا يمتنع أبداً يحصل على PECS يساوي 0. تتطلب الدرجات العالية كلاً من الدقة العالية في المهام القابلة للإجابة والامتناع الانتقائي في المهام غير القابلة للإجابة.

3. التحليل الميكانيكي

تستخدم الورقة تقنيتين لسبر التمثيلات الداخلية:

• الاستقصاء الخطي (Linear Probing): تدريب نماذج الانحدار اللوجستي على الحالات المخفية لنماذج VLMs مجمدة للتنبؤ بتصنيفات "الفراغ" مقابل "التحكم". هذا يختبر ما إذا كان النموذج يدمج (Encodes) هذا التمييز.
• توجيه التنشيط (Activation Steering): التلاعب السببي بالحالات المخفية عن طريق إضافة متجه "اتجاه الفراغ" ($v_\ell$) أثناء التوليد لاختبار ما إذا كان التمثيل يتحكم سببياً في سلوك الامتناع.

المساهمات الرئيسية

1. TRAPSBench و PECS: اختبار مرجعي واسع النطاق ومقياس قوي مصمم خصيصاً لتقييم المعايرة الإبستمية في فهم الفيديو، مما يلغي الاستراتيجيات المتدهورة مثل "الامتناع الدائم" أو "عدم الامتناع أبداً".
2. فجوة التمثيل والمخرجات: تثبت الورقة أن نماذج VLMs تدمج داخلياً عدم اليقين الإبستمي ولكنها تفشل في التعبير عنه. ويظهر ذلك من خلال:
   • التوجيه الموجه (Guided Prompting): التعليمات الصريحة للامتناع ("أنا لا أعرف") تفتح القدرات الكامنة، مما يحسن استدعاء الامتناع بشكل كبير دون التضحية بالدقة.
   • الاستقصاء الخيدي: تنجح المستقصيات في فك تشفير إشارة القابلية للإجابة من الحالات المخفية بدقة AUROC عالية (تصل إلى 0.91) عبر مجالات الفيزياء، حتى في العينات التي تهلوس فيها النماذج بثقة.
   • توجيه التنشيط: يؤكد حقن اتجاه "الفراغ" أن هذه الإشارة سببية؛ حيث يؤدي إضافة اتجاه الفراغ إلى الحالات المخفية إلى فرض الامتناع في عينات التحكم ويقلل منه في عينات الفراغ.
3. تباين أوجه الفشل:
   • البصري مقابل النصي: تكتشف النماذج الاستحالة النصية (الأسئلة سيئة الصياغة) بمعدل 4 أضعاف اكتشافها للفجوات المعلوماتية البصرية.
   • تأثيرات الاستدلال: لا يحسن "سلسلة الأفكار" (CoT) المعايرة بشكل موحد. في بعض النماذج (مثل Qwen3-VL Think)، تعبر مسارات الاستدلال عن الشك ولكن يتم تجاوزها لاحقاً من قبل المخرج النهائي، مما يؤدي إلى زيادة الهلوسة مقارنة بالنسخ التي لا تستخدم التفكير.
4. التحليل الميكانيكي السببي: تختلف هندسة إشارة "الفراغ" حسب المجال. توجهات عائلة الحجب (Occlusion) ترمز إلى إشارة عامة للمجال مفادها "المعلومات مفقودة" وتنتقل عبر الوسائط والمجالات. أما توجهات عائلة الفوضى فهي خاصة بالمجال وتقترب من التعامد، مما يشير إلى أن الشفافية الإبستمية تحكم قابلية الانتقال.

النتائج

• الكف التلقائي ضعيف: عبر 16 نموذجاً من VLMs من خمس عائلات (Gemini, Qwen, GPT-5, Gemma, LLaVA)، فإن PECS التلقائي منخفض. أفضل PECS تلقائي هو 0.292 (Gemini 2.5 Flash). تظهر معظم النماذج ميلاً قوياً للإجابة بغض النظر عن جودة الأدلة.
• التوجيه الموجه يطلق الكوامن: تعليمات التوجيه الصريحة للامتناع تزيد من استدعاء الامتناع بمتوسط 1.9 ضعفاً عبر نماذج الفيديو الأصلية، مع تحسن ملحوظ في PECS (على سبيل المثال، يصل Gemini 3.1 Pro R-Low إلى 0.568). ومع ذلك، حتى مع التوجيه، لا تصل النماذج إلى التشبع، مما يشير إلى وجود اختناق مستمر.
• الدمج الداخلي مقابل قمع المخرجات:
  • تحقق المستقصيات الخطية AUROC يصل إلى 0.91 في الانتقال عبر مجموعات البيانات، مما يثبت أن النموذج "يعرف" أن النتيجة غير معروفة.
  • والأهم من ذلك، أن هذه الإشارة تستمر حتى عند تقييدها بالعينات التي "هلوست" فيها النماذج (فشلت في الامتناع) تحت التوجيه القياسي.
  • يؤكد توجيه التنشيط أن هذه الإشارة سببية: إضافة اتجاه الفراغ إلى الحالات المخفية يفرض الامتناع.
• بوابة التوجيه (Prompt Gating): في Qwen3-VL-8B، يفرض التوجيه القياسي قيداً أحادي الاتجاه ضد الامتناع. بينما يمكن للتوجيه أن يفرض الهلوسة (قمع الامتناع) تحت التوجيه القياسي، إلا أنه لا يمكنه حث النموذج على الامتناع إلا عند استخدام التوجيه "الموجه". هذا يشير إلى أن الاختناق هو بوابة في مرحلة المخرجات، وليس نقصاً في التمثيل الداخلي.
• الاستدلال والهلوسة: يكشف تحليل أنماط الهلوسة أن 87-99% من حالات الفشل تتضمن فرضيات مهلوسة (اختلاق ملاحظات بصرية). في Qwen3-VL Think، غالباً ما يعبر مسار الاستدلال عن الشك، لكن المخرج النهائي يتجاوز ذلك لتقديم إجابة واثقة ومختلقة.

الأهمية والادعاءات

تدعي الورقة أن الاختناق الأساسي لنشر نماذج VLMs الموثوقة في الاستدلال الفيزيائي هو تعبيري، وليس إدراكياً.

• فجوة التمثيل والمخرجات: تمتلك نماذج VLMs الإشارات الإبستمية الداخلية المطلوبة للتمييز بين السيناريوهات القابلة للإجابة وغير القابلة للإجابة. يكمن الفشل في عملية التوليد التكرارية (Autoregressive)، التي تقمع هذه الإشارات لصالح إجابات سلسة وحازمة.
• خصوصية الوسائط: الفجوة أكثر وضوحاً لعدم اليقين البصري مقارنة بعدم اليقين النصي. النماذج أفضل بكثير في اكتشاف الاستحالة الدلالية (النص) من الفجوات المعلوماتية الفيزيائية (الفيديو).
• ضرورة التدخل: من المرجح أن إغلاق هذه الفجوة يتطلب تدخلات في مرحلة المخرجات (مثل قيود فك التشفير، أو التوجيه، أو أهداف تدريب متخصصة) بدلاً من مجرد زيادة حجم النموذج أو تحسين الإدراك البصري.
• القابلية للتعميم: تتكرر النتائج عبر ثلاث عائلات من النماذج مفتوحة الأوزان (Qwen, Gemma, LLaVA) دون وجود خطوط تدريب مشتركة، مما يشير إلى أن هذه خاصية أساسية لهياكل نماذج VLMs الحالية وليست نتاج صدفة في نموذج معين.

يخلص المؤلفون إلى أن TRAPSBench يوفر أداة ضرورية لتقييم وتحسين المعايرة الإبستمية لأنظمة الذكاء الاصطناعي، مؤكدين أن "معرفة متى لا يجب الإجابة" تظل تحدياً حاسماً وغير محلول للوكلاء المستقلين.