ملخص تقني: الموثق الموجه: الاستدلال متعدد الوسائط التعاوني عبر الإشراف الديناميكي على العمليات

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) إمكانات كبيرة في مهام الاستدلال المعقدة، لا سيما عند تعزيزها بالتعلم المعزز (RL). ومع ذلك، فإن نماذج التعلم المعزز السائدة، مثل تحسين السياسة النسبي للمجموعات (GRPO)، تعتمد عادةً على استراتيجيات التدفق المنفردة (solitary rollout strategies). في هذه الإعدادات القياسية، يقوم النموذج بتوليد سلاسل استدلال كاملة بشكل مستقل، ويتلقى إشارات التحسين فقط عند اكتمال المسار.

هذا النقص في الإشراف البيني يخلق ثغرة حرجة: انتشار الخطأ (error propagation). حيث تؤدي الانحرافات المنطقية المبكرة أو الهلوسات في عملية الاستدلال إلى فشل متسلسل لا يمكن إصلاحه، مما يؤدي إلى نتائج غير صحيحة. وبناءً على ذلك، تصبح إشارة التعلم المقدمة من المكافآت النهائية المتفرقة ضوضائية وغير فعالة، حيث يتم معاقبة النموذج على النتيجة النهائية دون توجيهه لتصحيح الخطوات البينية. وتجادل الورقة بأن هذا التوليد مفتوح الحلقة (open-loop generation) غير كافٍ للاستدلال متعدد الخطوات عالي المخاطر المطلوب في مجالات مثل الرياضيات والهندسة.

2. المنهجية

يقترح المؤلفون إطار عمل الموثق الموجه (Guided Verifier)، الذي يعيد تعريف الاستدلال متعدد الوسائط كعملية تعاونية ثنائية الوكيل (dual-agent process). بدلاً من نموذج واحد يعمل في عزلة، يقدم إطار العمل تفاعلاً ديناميكياً بين نموذج السياسة (Policy Model) (الحلال/المنفذ) والموثق الموجه (Guided Verifier) (المساعد/الموجه) أثناء عملية التدفق (inference rollout).

تتكون المنهجية من ثلاث مراحل متميزة:

المرحلة 1: خط إنتاج تركيب بيانات CoRe

لتدريب موثق قادر على اكتشاف وتصحيح الأخطاء، عالج المؤلفون ندرة الأمثلة السلبية على مستوى العملية في مجموعات البيانات القياسية. قاموا بتطوير خط إنتاج متخصص لتركيب البيانات يستهدف الهلوسة متعددة الوسائط:

• محاكاة الحوار: قاموا بمحاكاة تفاعلات متعددة الأدوار بين "الحلال" (المستخدم) و"الموجه" (الموثق) تحت بروتوكول "التوجيه والتصحيح".
• تسجيل الهلوسة: باستخدام GPT-4o كمرجع مثالي (oracle)، قاموا بتعيين تسميات صلاحية ثنائية للخطوات البينية عبر التسجيل القائم على أخذ العينات.
• التصفية: تقوم عملية التصفية باختيار المسارات عالية الجودة، مما يضمن أن الإجابة النهائية صحيحة مع الحفاظ على ديناميكيات تصحيح الخطأ البينية.
• النتيجة: ينتج عن ذلك مجموعة بيانات CoRe، التي تحتوي على حوالي 2,800 مسار مع إشارات إشراف كثيفة لكل خطوة (حوالي 26 ألف خطوة)، معززة بتعليقات الهلوسة.

المرحلة 2: الضبط الدقيق الخاضع للإشراف للموثق الموجه (SFT)

يتم إجراء ضبط دقيق لنموذج متعدد الوسائط خفيف الوزن (Qwen3-VL-8B-Instruct) على مجموعة بيانات CoRe. الهدف هو تحويل النموذج إلى موثق موجه ($V_\phi$) قادر على:

• مراقبة خطوة الاستدلال الحالية للسياسة.
• اكتشاف التناقضات والهلوسات.
• تقديم إشارات توجيه اتجاهية ($g_t$) لتوجيه السياسة مرة أخرى إلى المسارات الصالحة.
• إخراج درجة الهلوسة والنقد.

المرحلة 3: خوارزمية Guided-GRPO

تدمج المرحلة النهائية الموثق الموجه (المجمد) في حلقة تدريب التعلم المعزز لنموذج السياسة ($\pi_\theta$).

• التدفق مغلق الحلقة (Closed-Loop Rollout): على عكس GRPO القياسي، يعد التدفق نظاماً مغلق الحلقة. في كل خطوة $t$، تولد السياسة جزءاً استدلالياً $o_t$، والذي يتم فحصه فوراً من قبل الموثق. يخرج الموثق إشارة توجيه $g_t$ (تحتوي على النقد والدرجة)، والتي تُلحق بالسياق للخطوة التالية للسياسة.
• المكافأة المركبة: دالة المكافأة $R(\tau)$ هي مجموع مرجح لثلاثة مكونات:
  1. الصحة ($r_{acc}$): مطابقة ثنائية مع الحقيقة الأرضية (الوزن 0.8).
  2. عقوبة الهلوسة ($r_{ver}$): مشتقة من اكتشاف الموثق للهلوسات أثناء التدفق (الوزن 0.1).
  3. الامتثال للتنسيق ($r_{fmt}$): ضمان تنسيق XML وLaTeX الصحيح (الوزن 0.1).
• التحسين: يتم حساب الميزة (advantage) بالنسبة للمكافآت المركبة للمجموعة، مما يعاقب المسارات التي تتطلب تصحيحاً مفرطاً أو تفشل في التقارب.

الرؤية النظرية: تفترض الورقة أنه بينما يتبع تراكم الخطأ في الحلقة المفتوحة الصيغة $(1-\epsilon)^T$، فإن إطار العمل الموجه مغلق الحلقة يقلل معدل الخطأ الفعال إلى $(1-\epsilon\delta)^T$، حيث $\delta$ هو معدل فشل الموثق. وهذا نظرياً يثبط انتشار الخطأ بشكل أسي.

3. المساهمات الرئيسية

1. إطار عمل الموثق الموجه: إطار عمل موحد للتعلم المعزز حيث يتفاعل موثق خفيف الوزن ديناميكياً مع السياسة أثناء التدفق، محولاً التعلم من الاستكشاف غير الموجه إلى نظام ملاحة مغلق الحلقة وموجه.
2. خط إنتاج تركيب بيانات CoRe: خط إنتاج مبتكر مصمم خصيصاً لتوليد أمثلة سلبية على مستوى العملية (الهلوسة والتصحيح) لتدريب موثقات قوية. أصدر المؤلفون مجموعة بيانات CoRe (حوالي 3 آلاف مثال عالي الجودة).
3. خوارما خوارزمية Guided-GRPO: تعديل لخوارزمية GRPO يدمج إشارات التحقق الديناميكية في حساب الميزة وعملية التدفق، مما يسمح للسياسة بالتعلم من التصحيحات البينية.
4. التحقق التجريبي: تجارب واسعة النطية تثبت أن نموذجاً بـ 8 مليارات معلمة يستخدم هذا الإطار يمكنه تحقيق أداء رائد (SOTA)، متفوقاً على النماذج مفتوحة المصدر الأكبر حجماً ومنافساً للأنظمة المملوكة (proprietary systems).

4. النتائج التجريبية

تم تقييم إطار العمل على ثلاث اختبارات تحدي: MathVista، وMathVerse، وMMMU.

• مكاسب الأداء: تفوق نهج Guided-GRPO (باستخدام نموذج 8B) بشكل كبير على نماذج Qwen3-VL-8B الأساسية ونماذج GRPO القياسية.
  • في MathVerse، حقق دقة إجمالية بلغت 51.07%، متفوقاً على النموذج الأساسي (46.83%) ومنافساً للنماذج المملوكة مثل GPT-4o (48.88%) وGemini-2.5-Pro (50.76%).
  • في MathVista، وصل إلى 77.88%، متفوقاً على النموذج الأساسي (67.31%) والنماذج المفتوحة الأكبر مثل Vision-R1-32B (75.00%).
  • في MMMU، حقق 72.11%، متجاوزاً النموذج الأساسي (62.44%) والنماذج المرجعية الأكبر مثل QVQ-72B (65.33%).
• القابلية للتوسع: كانت الفوائد متسقة عبر أحجام النماذج (4B و8B)، مما يؤكد أن النهج يعالج القيود الأساسية للنماذج ذات التوليد الذاتي (autoregressive) وليس مجرد نتاج لعدد معين من المعلمات.
• فعالية الموثق: أظهرت التجارب أن الموثق المتخصص الذي تم ضبطه دقيقاً (SFT) باستخدام CoRe تفوق بشكل كبير على استخدام نموذج السياسة نفسه كموثق (التحقق الذاتي - Self-Verification)، مما يثبت أن قدرة التصحيح هي قدرة متعارضة (orthogonal) تتطلب تخصيصاً معيناً.
• الكفاءة: رغم التكاليف الإضافية للتفاعل بين الوكيلين، قلل الموثق المتخصص من عدد جولات التفاعل واستهلاك الرموز (tokens) مقارنة بالتحقق الساذج، محققاً حدود باريتو (Pareto frontier) متفوقة بين الدقة والتكلفة الحسابية.

5. الأهمية والادعاءات

تدعي الورقة أن إطار عمل الموثق الموجه يعيد تشكيل مشهد التحسين للاستدلال متعدد الوسائط بشكل جذري. فمن خلال الانتقال من التوليد مفتوح الحلقة إلى نظام تعاوني مغلق الحلقة، ينجح الأسلوب في التخفيف من انتشار الخطأ الذي يعاني منه تدريب التعلم المعزز القياسي.

يؤكد المؤلفون على ما يلي:

• الإشراف البيني أمر بالغ الأهمية: المكافآت النهائية المتفرقة غير كافية للاستدلال المعقد؛ لذا فإن الإشراف الديناميكي خطوة بخطوة ضروري لمنع الانحرافات المنطقية المبكرة من التحول إلى فشل شامل.
• التدريب المتخصص مطلوب: قدرة التحقق لا تظهر بشكل طبيعي من تحسين الاستدلال العام؛ بل تتطلب الموثقات تدريباً خاصاً على السلبيات على مستوى العملية (مجموعة بيانات CoRe) لتكون فعالة.
• الكفاءة عبر التعاون: تخصيص الحوسبة للاستدلال التعاوني والتحقق الدينماكي أكثر كفاءة في استهلاك الموارد من التوسع الأعمى في معلمات النموذج، مما يسمح للنماذج الأصغر (8B) بمنافسة الأنظمة المملوكة الأكبر بكثير.

يضع هذا العمل معياراً جديداً للاستدلال متعدد الوسائل القائم على التعلم المعزز، موضحاً أن نموذج "التوجيه والتصحيح" يمكن أن ينتج قدرات استدلال قوية وعالية الأداء للنماذج اللغوية الكبيرة متعددة الوسائط.