ملخص تقني: LogicGaze

بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs) كفاءة في توليد سرديات متسقة هيكلياً وانسيابية للمهام متعددة الوسائط المعقدة. ومع ذلك، توجد فجوة موثوقية حرجة: غالباً ما تفشل هذه النماذج في ربط سلاسل استدلالها بالأدلة البصرية الفعلية. بدلاً من ذلك، تعتمد بشكل متكرر على الأولويات اللغوية القوية والاحتمالات النصية الإحصائية، مما يؤدي إلى "الهلوسة" حيث تكون القفزات المنطقية الوسيطة مدفوعة بالاستدلالات الهيكلية للنمذجة اللغوية بدلاً من الإدراك البصري المرتكز. كما أن المعايير التقليدية، مثل مهام الوصف أو التعليق الثابت، غالباً ما تفشل في اكتشاف أوضاع الفشل هذه لأن المعقولية اللغوية السطحية يمكن أن تخفي غياب الفهم البصري الحقيقي. هناك حاجة إلى إطار تقييم صارم يعمل على فصل الاحتمالية اللغوية عن التحقق البصري بشكل صريح، لا سيما في السيناريوهات المتتابعة ومتعددة الخطوات.

المنهجية

يقدم المؤلفون LogicGaze، وهو إطار عمل معياري مصمم لاستجواب ما إذا كانت نماذج الرؤية واللغة (VLMs) قادرة على التحقق من صحة السلاسل السببية المتتابعة مقابل المدخلات البصرية. تعتمد المنهجية على ثلاث ركائز أساسية:

1. تنسيق البيانات وحقن الواقع المضاد

تم بناء LogicGaze من مصدرين أساسيين:

• بيانات الفيديو: 40,000 مقطع من ShareGPT4Video.
• بيانات الصور: مجموعة مختارة بعناية تضم حوالي 5,000 صورة من Flickr30k.

يكمن الابتكار الجوهري في نمذجة كل حالة كسلسلة سببية مهيكلة تتكون من ثلاث مراحل: المقدمة (Antecedent) ← رد الفعل (Reaction) ← النتيجة (Consequence). ولاختبار التجذر البصري، يقوم إطار العمل بتخليق اضطرابات واقع مضاد (Counterfactual Perturbations). هذه الاضطرابات متسقة لغوياً ومنطقية، لكنها غير صالحة بصرياً (على سبيل المثال، الإشارة إلى أشياء غير موجودة في المشهد أو اقتراح علاقات غير مثبتة). هذا يجبر النموذج على مراجعة خطوات الاستدلال مع المدخلات البصرية بدلاً من الاعتماد على الأولويات اللغوية.

2. بروتوكول التقييم الثلاثي

يقيم المعيار نماذج الرؤية واللغة عبر ثلاث مهام متميزة:

• التحقق من السببية (Causal Validation): مهمة اختيار من متعدد حيث يجب على النموذج تحديد التسلسل السببي الصحيح الوحيد المستند إلى البيانات البصرية من بين عدة خيارات، والتمييز بين السلاسل الدقيقة والزائفة.
• توليد السرد المتجذر (Grounded Narrative Synthesis): مهمة توليد مفتوحة تتطلب من النموذج بناء سلسلة استدلال تسلسلية متماسكة ترتكز حصرياً على الحقائق البصرية. يتم قياس الأداء باستخدام مقاييس BLEU وROUGE مقابل التسلسلات المرجعية المتحقق منها.
• رفض الاضطراب (Perturbation Rejection): مهمة سلامة ومتانة حيث يُعرض على النموذج تسلسلات أحداث غير مدعومة أو متناقضة، ويجب عليه تحديدها ورفضها صراحةً باعتبارها غير صالحة، بدلاً من محاولة تبريرها. هذا يختبر قدرة النموذج على "معرفة المجهول".

3. ضمان الجودة

تفرض عملية إنشاء مجموعة البيانات قابلية إعادة الإنتاج الصارمة من خلال:

• تطهير آلي لمخرجات النماذج لإزالة العيوب التنسيقية.
• التحقق من بناء الجمل (Syntactical validation) لهياكل JSON.
• التدقيق اليدوي لعينة عشوائية بنسبة 10%، مما حقق اتفاقاً بين المدققين بنسبة 96%.
• مخططات توجيه (Prompting schemas) معيارية لضمان مخرجات مهيكلة موحدة.

المساهمات الرئيسية

1. نمذجة السلسلة السببية: تقديم تمثيل ثلاثي المراحل (المقدمة، رد الفعل، النتيجة) الذي يركز على التقدم الزمني والمنطق الوسيط، متجاوزاً مجرد تعداد الأشياء الثابتة.
2. الواقع المضاد المتجذر بصرياً: نشر بدائل سليمة لغوياً ولكنها غير صالحة بصرياً لعزل الانحياز اللغوي واختبار الاعتماد على الإدراك البثري الفعلي بشكل صريح.
3. بروتوكول التنسيق الصارم: مسار معياري يدمج فحوصات الاتساق الآلية مع التحقق البشري لتقليل ضجيج التدوين وضمان سلامة البيانات.

النتائج التجريبية

تم تقييم إطار العمل على ستة معايير دقيقة للأسئلة مفتوحة المجال ومتعددة الخطوات (PopQA, TriviaQA, ARC-Challenge, OpenBookQA, HotquQA, 2WikiMultihopQA) باستخدام نماذج أساسية متنوعة، بما في ذلك Qwen2.5-7B وLLaMA3-8B.

• الأداء: تفوق LogicGaze باستمرار على كل من خطوط الأساس القياسية (Zero-shot/SFT) وأنظمة التوليد المعزز بالاسترجاع (RAG) المتقدمة (مثل Self-RAG, RankRAG, IterDRAG).
  • في نموذج Qwen2.5-7B، حقق LogicGaze نتائج رائدة (SOTA)، محققاً تحسناً في الدقة بمدى يتراوح بين +0.6% إلى +1.9% عن أقوى خطوط الأساس (على سبيل المثال، 68.4% في PopQA مقابل 66.5% لـ IterDRAG).
  • في نموذج LLaMA3-8B، لوحظت تحسينات مماثلة، حيث تجاوز LogicGaze جميع خطوط أساس الاسترجاء المعزز (على سبيل المثال، 73.8% في TriviaQA مقابل 71.9% لـ IterDRAG).
• الكفاءة: أظهر LogicGaze كفاءة حوسبية فائقة مقارنة بأنظمة RAG متعددة المراحل. فقد حقق أدنى زمن انتقال (Latency) للنهاية إلى النهاية (2.10 ثانية) وتطلب نافذة سياق دنيا (5.4 ألف توكن)، مما يجعله قابلاً للتطبيق في العالم الحقيقي.
• دراسات الاستئصال (Ablation Studies): كشف تحليل عمق الاسترجاع ($k$) والوزن التبايني ($\lambda$) أن الأداء الأمثل يتحقق عند $k=10$ و $\lambda=0.3$. إن انخفاض $k$ يخاطر بإغفال الأدلة الحرجة، بينما يؤدي ارتفاع $k$ إلى إدخال الضجيج. وبالمثل، فإن زيادة $\lambda$ يحسن محاذاة الأدلة حتى 0.3، لكن الوزن الزائد (0.5) يؤدي إلى تراجع طفيف في الأداء بسبب الإفراط في معاقبة الحالات المعقدة.

الأهمية والادعاءات

يفترض البحث أن LogicGaze يوفر منهجية مستهدفة لقياس وتخفيف الخطر الحرج المتمثل في "تخليق المعلومات" (Confabulation) في الاستدلال متعدد الوسائط. ومن خلال إجبار النماذج على التحقق من صحة السلاسل السببية المتتابعة مقابل الأدلة البصرية، يكشف المعيار عن نقاط ضعف كبيرة في نماذج الرؤية واللغة (VLMs) الحديثة التي تغفلها المقاييس التقليدية. ويدعي المؤلفون أن LogicGaze يدعو إلى تطوير أنظمة استدلال متعددة الوسائط قوية وموثوقة. جميع الموارد، بما في ذلك مجموعة البيانات وكود التقييم، متاحة للجمهور في مستودع مجهول الهوية لدعم قابلية إعادة الإنتاج.