World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models

ملخص تقني: النماذج العالمية في الكلمات

بيان المشكلة
يتم نشر نماذج الرؤية واللغة (VLMs) بشكل متزايد للإجابة على أسئلة حول المشاهد الفيزيائية، ومع ذلك تعتمد مقاييس التقييم القياسية فقط على دقة الإجابة النهائية ($I, q \mapsto a$). يؤدي هذا النهج إلى اختزال أخطاء الاستدلال الوسيطة — مثل سوء إدراك الأشياء، أو التمثيل الخاطئ للحالات الفيزيائية، أو التنبؤ بانتقالات مستحيلة — في درجة ثنائية واحدة. وبناءً على ذلك، قد يختار النموذج الخيار الصحيح من متعدد بينما يؤكد حالة عالمية غير صالحة فيزيائياً (على سبيل المثال، تسارع جسم ضد صافي القوة). هذه "التناقضات الخفية" تمثل مشكلة خاصة عندما تعمل نماذج الرؤية واللغة كواجهات للتخطيط، أو الروبوتات، أو الاستدلال العلمي، حيث قد تعمل الأدوات اللاحقة بناءً على هذه الالتزامات المتناقضة.

المنهجية: النماذج العالمية في الكلمات (WMW)
يقدم المؤلفون إطار عمل WORLD MODELS IN WORDS، الذي ينقل التقييم من تسجيل النقاط القائم على الإجابة فقط إلى تدقيق الالتزامات الفيزيائية التي يعبر عنها النموذج لغوياً.

• صيغة التتبع (Trace Formalism): بدلاً من الإجابة المباشرة، يتم توجيه النماذج لتوليد تتبع محدد النوع $\tau = (s_0, \Delta s, s_1, a)$:
  • $s_0$: الحالة الفيزيائية الأولية (الكيانات، السمات، القوى، العلاقات).
  • $\Delta s$: الانتقال المتوقع أو القاعدة الفيزيائية.
  • $s_1$: الحالة الناتجة.
  • $a$: الإجابة النهائية.
    يتم هيكلة التتبع بصيغة JSON لتمكين التحليل والتحقق.
• المُحقِّق الهجين (Hybrid Verifier): يقوم مُحقِّق حتمي وقابل للفحص بالتحقق من التتبع مقابل أربعة معايير:
  1. صحة المخطط (Schema Validity): هيكل JSON وأنواع البيانات الصحيحة.
  2. تأسيس الحالة (State Grounding): الاتساق مع الأدلة البصرية والبيانات الوصفية.
  3. اتساق الانتقال (Transition Consistency): الالتزام بالقوانين الفيزيائية (مثل توافق القوة مع التسارع، والترتيب الزمني).
  4. إخلاص الإجابة للتتبع (Answer-Trace Faithfulness): التوافق بين الحالة المستمدة والإجابة النهائية.
• تصنيف الفشل (Failure Taxonomy): يصنف النظام الأخطاء إلى تسميات محددة: الكائن، الحالة، العلاقة، القوة، الانتقال، التدخل، الزمن، الوحدة/المقياس، والإخلاص.
• WMW-TRACEBANK: مورد محكوم يتم إصداره مع الورقة البحثية يحتوي على:
  • 200 سيناريو اصطناعي عبر 17 عائلة فيزيائية (الميكانيكا، السوائل، الدوائر، البصريات، إلخ).
  • 3,200 زوج من التفضيلات التباينية (تتبعات صالحة مقابل تتبعات غير صالحة تم تعديلها بحد أدنى).
  • كود المُحقِّق، إرشادات التدقيق، ومخرجات النماذج.

المساهمات الرئيسية

1. صيغة التتبع: بروتوكول لتقييم الاستدلال الفيزيائي لنماذج الرؤية واللغة كالتزامات انتقال حالة قابلة للتدقيق بدلاً من سلاسل نصية للإجابات.
2. عقود المُحقِّق والمقاييس: تعريفات لفصل أخطاء استخراج الحالة، وأخطاء الانتقال، والتناقضات الخفية (حيث تكون الإجابة صحيحة ولكن التتبع غير صالح).
3. إصدار مجموعة البيانات: WMW-TRACEBANK، التي توفر تتبعات اصطناعية صالحة وأزواج تفضيل.
4. تصنيف الفشل والتدقيق: تقييم بشري للمُحقِّق على 400 تتبع طبقي، مع الإبلاغ عن الدقة، والاستدعاء، والاتفاق بين المحللين.
5. بروتوكول التدخل: إثبات أن إعادة التصنيف الموجهة بالمُحقِّق وتحسين التفضيل على مستوى التتبع يمكن أن يحسن الاتساق الفيزيائي دون التضحية بدقة الإجابة.

النتائج التجريبية
قيم المؤلفون 7 نماذج رؤية ولغة (بما في ذلك Claude Opus 4.7، وGPT-5.5، وGPT-4o، ونماذج مفتوحة المصدر مثل Qwen2.5-VL وInternVL3) على أمثلة محكومة وخارجية.

• التناقض الخفي (RQ1): تحجب دقة الإجابة النهائية أخطاءً فيزيائية كبيرة. عبر جميع النماذج، كانت 18% إلى 42% من الإجابات الصحيحة مدعومة بتتبعات غير صالحة فيزيائياً. بالنسبة للنماذج متوسطة المستوى، اعتمد أكثر من 30% من الإجابات "الصحيحة" على استدلال فيزيائي غير صالح.
• تحليل عنق الزجاجة (RQ2): خطوة الانتقال ($\Delta s$) هي عنق الزجاجة الرئيسي لمعظم النماذج. حتى عند تزويدها بحالات أولية ذهبية (صحيحة تماماً)، فقدت نماذج مثل GPT-4o ما نسبته 19 نقطة مئوية من الدقة عند التنبؤ بالتغيير الفيزيائي. أظهرت النماذج المغلقة الأقوى (مثل Claude Opus 4.7) تأثيراً معايرياً حيث أدت الحالات الذهبية إلى تعطيل عمليات التحقق من الاتساق الداخلي لديها.
• موثوقية المُحقِّق (RQ3): حقق المُحقِّق الهجين اتفاقاً عالياً مع التدقيق البشري لسمات الحالة (F1=0.82)، والانتقال (F1=0.78)، والإخلاص (F1=0.91).
• فعالية التدخل (RQ4):
  • إعادة التصنيف (Reranking): اختيار أفضل تتبع من بين $k=8$ عينات حسن من صحة التتبع بمقدار 4-7 نقاط مئوية.
  • تحسين التفضيل (Preference Tuning): أدى تدريب Qwen2.5-VL-7B باستخدام تحسين التفضيل المباشر (DPO) على أزواج التفضيلات إلى تقليل التناقض الخفي بنسبة 41% نسبياً (من 42% إلى 25%) مع تحسين طفيف في دقة الإجابة (+2pp).

الأهمية والادعاءات
تجادل الورقة بأن WORLD MODELS IN WORDS ليست مجرد اختبار فيزيائي آخر، بل هي بروتوكول قابل لإعادة الاستخدام لتدقيق ما إذا كان العالم الفيزيائي الذي تعبر عنه نماذج الرؤية واللغة متسقاً. يدعي المؤلفون أن:

• الإجابات الصحيحة ذات التتبعات غير الصالحة ليست مجرد أخطاء تنسيق غير ضارة؛ بل تمثل التزامات متناقضة يمكن أن تضلل الأنظمة التعليمية أو التخطيطية أو العلمية.
• يكشف الإطار أن التنبؤ بالانتقال هو نمط فشل مهيمن ومتميز عن الإدراك البصري.
• التدخلات الموجهة بالمُحقِّق (إعادة التصنيف وتحسين التفضيل) يمكن أن تقلل بفعالية من التناقضات الخفية، مما يشير إلى مسار نحو وحدات استدلال فيزيائي أكثر موثوقية.

يحافظ المؤلفون على موقف متواضع، مع الإقرار بحدود مثل إمكانية ملاحظة التتبعات (وهي التزامات يراها المستخدم، وليست قراءات مباشرة للإدراك الكامن)، وتغطية المُحقِّق (الذي يعتمد على افتراضات صريحة للغموض في العالم الحقيقي)، وإمكانية فرط ملاءمة النماذج (overfitting) لنماذج الاضطراب. كما صرحوا بوضوح أن مجموعة البيانات ليست شهادة سلامة للتطبيقات عالية الخطورة.