ملخص تقني: تشخيص أنماط الفشل في التعاون القائم على الحالة المشتركة للوكلاء البصريين المقيدين بالموارد

بيان المشكلة

تعتمد أنظمة الاستدلال البصري النمطية بشكل متزايد على الذاكرة العاملة المشتركة (مثل "السبورات البيضاء" أو مساحات العمل الجانبية) لتمثيل الحالات الوسيطة خارجياً، مما يسمح للنماذج ذات السعة المحدودة بتفكيك الاستعلامات المعقدة إلى خطوات يمكن التحقق منها. ومع ذلك، فإن فعالية هذا النموذج تظل غير مثبتة تحت الأنظمة المقيدة بالموارد، وتحديداً عند استخدام متعلمين ضعفاء (نماذج تتراوح بارامتراتها بين 4 إلى 8 مليار بارامتر) مع ميزانيات حوسبة صارمة.

الفرضية المركزية لهذا العمل هي أنه في مثل هذه الإعدادات منخفضة السعة، يعمل حلقة التعاون ليس كمخزن ذاكرة موثوق، بل كقناة اتصال مشوبة بالضجيج. فكل دور تفاعلي إضافي يتسبب في تكاليف حوسبية خطية مع إدخال مخاطر تراكم الضجيج، حيث يتم "تصلب" الملاحظات الوسيطة غير المستندة إلى دليل لتصبح أدلة خاطئة، أو انزياح السياسة (Policy Drift)، حيث ينزاح النموذج نحو مخرجات غير محددة بدقة. ويجادل البحث بأنه بدون تدقيق صارم للسلامة، تظل ديناميكيات فشل تطور الحالة الوسيطة في هذه الأنظمة غير مستكشفة بعمق.

المنهجية: إطار عمل CoSee

للتحقيق في هذه الحدود، قدم المؤلفون CoSee، وهو إطار عمل للتدقيق وبروتوكول تعاون مصمم لقياس فائدة السياق المشترك تحت قيود النماذج الصغيرة.

1. صياغة حلقة الاستدلال

تتم صياغة المشكلة كعملية اتخاذ قرار متسلسلة حيث يولد نموذج لغة بصرية $M_\theta$ إجابة $a$ مشروطة بمدخل بصري $I$ واستعلام $q$، بوساطة سلسلة من الحالات الكامنة المنفصلة (السبورة، $B_{1:T}$). يعامل الإطار مسار الاستدلال كأثر احتمالي $\tau = (I, q, B_{1:T}, \hat{a})$.

2. بروتوكولات التجريب

تقارن الدراسة ثلاثة بروتوكولات استدلال متميزة تحت مطالبات (prompts) وحدود فك ترميز متطابقة تماماً (الحد الأقصى 32 رمزاً جديداً لكل استدعاء، $T=3$ خطوات):

• الاستدلال المباشر (الأساس المرجعي): توليد في دور واحد دون تتبع الحالة الوسيطة.
• التحسين التكراري مفتوح الحلقة:
  • وكيل واحد: يقوم وكيل واحد بتحديث السبورة بشكل متكرر.
  • وكيل مزدوج (الماسح والمدقق): دوران مشتقان من نفس الهيكل الأساسي يعملان في أدوار متبادلة (أحدهما يقترح الأدلة، والآخر يقوم بالتحسين أو التفنيد).
• الانتقال المحكوم بالبوابة (السبورة المتحقق منها): آلية بوابة شرطية حيث تقوم دالة تحقق $V_\phi$ (يتم تمثيلها بنفس الهيكل الأساسي) بتصفية مدخلات السبورة المقترحة. فقط المدخلات المصنفة كـ "مدعومة" يتم إلحاقها بالسبورة؛ أما غير ذلك فيتم استبعادها. يعمل هذا كعنق زجاجة للمعلومات لمنع انتشار الضجيج.

3. إعداد التقييم

• الهياكل الأساسية (Backbones): تستخدم التجارب نماذج من فئة 4B–8B: Qwen3-VL-4B/8B-Instruct، وPhi-4-multimodal-instruct، وGemma-3-4B-it.
• الاختبارات المرجعية: ثلاثة توزيعات تمثل أنماط فشل متميزة:
  • SlideVQA: استرجاع متعدد الصفحات (نظام عالي الاستدعاء).
  • ChartQAPro: استدلال كمي مع اضطرابات عدائية (نظام عالي الدقة).
  • VQAonline: تركيب مفتوح النهايات من بيانات الويب (نظام حساس للسياسة).
• المقاييس: بالإضافة إلى "المطابقة التامة" (EM) و"المطابقة المرنة"، يستخدم المؤلفون تسجيلاً قوياً للتنسيق (لعزل الهلوسة عن أخطاء التنسيق) وF1 المدرك للسياسة (لاكتشاف انهيار التغطية). والأهم من ذلك، أنهم فرضوا سياسة "عدم الاستبعاد" في التسجيل، حيث تُحتسب المخرجات المشوهة أو المسربة كإخفاقات لمعاقبة عدم استقرار البروتوكول.
• تحليل التكلفة: يتم تقييم الأداء مقابل التكلفة الحوسبية باستخدام جبهات باريتو للتكلفة-الدقة، والتي ترسم الفائدة (الدقة) مقابل إجمالي الرموز المولدة.

النتائج الرئيسية

يكشف الاستقصاء التجريبي عن مفارقة كفاءة متميزة: الاستخدام الساذج للذاكرة المشتركة غالباً ما يؤدي إلى تدهور الأداء بدلاً من تحسينه بالنسبة للمتعلمين الضعفاء.

1. العوائد السلبية على الحوسبة

عبر جميع الهياكل الأساسية وثلاث مجموعات البيانات، غالباً ما تظهر بروتوكولات التعاون متعدد الوكلاء والسبورة الواحدة مفتوحة الحلقة أداءً أقل من خط الأساس المباشر ذو الدور الواحد.

• ChartQAPro و VQAonline: أظهر التعاون الساذج انخفاضات ذات دلالة إحصائية في الأداء. وترتبط الحوسبة الإضافية (الرموز) سلباً بالدقة، مما يضع هذه الأساليب في ربع "المنفعة السلبية" في جبهة باريتو.
• SlideVQA: بينما تظهر مهام الاسترجاع مكاسب طفيفة أو محايدة، إلا أنها لا تظهر التدهور الشديد الملاحظ في مهام الاستدلال المكثف، مما يشير إلى أن نمط الفشل خاص بسلاسل الاستدلال وليس بمجرد استرجاع الأدلة.

2. أنماط الفشل المحددة

تعزل التشخيصات على مستوى الأثر (trace-level) آليتين مهيمنتين تقودان هذا التدهور:

• تعزيز الضجيج (ChartQAPro): في الاستدلال الكمي، تُكتب الملاحظات الوسيطة غير المستندة إلى دليل (مثل قراءة خاطئة لأسطورة الرسم البياني) في السبورة، ومن ثم تُعامل كأدلة حقيقية من قبل المجيب النهائي. هذا يخلق حلقة تغذية راجعة إيجابية حيث يتم "تصلب" أخطاء الإدراك المبكرة لتصبح هي الإجابة النهائية.
• انهيار السياسة (VQAonline): في التركيب مفتوح النهايات، يؤدي وجود السياق الوسيط إلى إزاحة في التوزيع. ينهار النموذج نحو استجابات مقتضبة للغاية (بالانتقال من فئات 17-32 رمزاً إلى فئات 0-16 رمزاً)، مما يؤدي إلى نقص شديد في تغطية مكونات الإجابة المطلوبة. وهذا اعتماد متعلم على ملخص السبورة وليس نتيجة لتقليص عدد الرموز.

3. دور التحقق

يُظهر التحكم في السبورة المتحقق منها (Verified-Board) أن العائق ليس قدرة الاستدلال، بل دقة التواصل. إن إدخال بوابة تحقق بسيطة (فحص الدعم/التفنيد) يستعيد معظم الانخفاض في الأداء على ChartQAPro، مما يوقف انتشار الخطأ بفعالية. وهذا يؤكد أن التحقق الخفيف هو الشرط الأدنى الضروري للنمو الموثوق في هذا النظام.

الأهمية والمساهمات

يقدم البحث ثلاث مساهمات رئيسية لفهم الوكلاء البصريين النمطيين:

1. إطار تدقيق رسمي (CoSee): يوفر بروتوكولاً صارماً لتتبع تدفق المعلومات وسلامتها في أنظمة VQA النمطية، مما يتيح تحقيقاً منهجياً في حدود تعاون المتعلمين الضعفاء.
2. تصنيف آليات الفشل: يضع تصنيفاً لأنماط الفشل المهيمنة — وتحديداً تعزيز الضجيج وانهيار السياسة — موضحاً أن مساحات العمل المشتركة الساذجة يمكن أن تضخم الهلوسة بدلاً من حلها.
3. مبادئ التصميم للوكلاء المقيدين بالموارد: تتحدى النتائج الحدس القائل بأن "التفكير على الورق" يحسن الاستدلال بطبيعته. بدلاً من ذلك، يجادل البحث بأنه بالنسبة لنماذج 4B–8B، يكمن العائق في دقة التواصل، وليس في عمق الاستدلال. ويفترض أن التصميم الموثوق للأنظمة النمطية يتطلب ضوابط مغلقة الحلقة (انتقالات محكومة بالبوابة) واختناقات معلوماتية مستندة إلى أدلة لمنع ديناميكا حرارية انتشار الخطأ، بدلاً من مجرد نشر أدوار مفتوحة الحلقة.

في الختام، يشير العمل إلى أنه بالنسبة للوكلاء المقيدين بالموارد، فإن زيادة الحوسبة أثناء الاختبار دون آليات تحقق صريحة تؤدي إلى عوائد متناقصة أو سلبية. إن الطريق نحو وكلاء نمطيين موثوقين يكمن في هندسة آليات تصفّي الضجيج من المصدر، مما يضمن أن الحالة المشتركة تعمل كدعم استدلال صحيح وليس كقناة مشوبة بالضجيج.