ReGround: Restoring Visual Grounding in Multi-Step Reasoning through Self-Diagnosis and Visual Re-Examination

ملخص تقني: ReGround

بيان المشكلة

تعاني نماذج الرؤية واللغة (VLMs) بشكل متكرر من تدهور التجذر البصري (visual grounding decay) أثناء عمليات الاستدلال متعددة الخطوات. فكلما طالت سلاسل الاستدلال، تزداد اعتمادية النموذج على الأولويات اللغوية (language priors) بينما يتضاءل انتباهه لرموز الصورة (image tokens). وقد حدد المؤلفون بصمة ثابتة لهذا التدهور: عبر 2,510 عينة تمت إعادة فحصها، ينخفض اعتلال الإنتروبيا (attention entropy) لرموز الصورة بشكل كبير خلال جولة الاستدلال الأولى (Round 1)، ولا ينجح في التعافي دون تدخل.

بينما وثقت الأعمال السابقة هذا التدهور، لا تزال هناك فجوة حرجة: فمجرد إعادة حقن الأدلة البصرية لا يضمن التصحيح. وتفترض الورقة أن الجودة التشخيصية (diagnostic quality) هي العامل الحاسم؛ فبدون تشخيص ذاتي مستهدف، يمكن أن تؤدي إعادة الفحص البصري إلى "الشك الضار" (harmful second-guessing)، حيث يتجاوز النموذج الإجابات الصحيحة أو يفشل في التعافي من الأخطاء. وعلى العكس من ذلك، تتطلب إعادة الفحص الفعالة كلاً من إعادة حقن الصورة وإشارة تشخيصية هادفة ومستهدفة.

المنهجية: إطار عمل ReGround

ReGround هو إطار عمل مكون من مرحلتين، لا يعتمد على الأدوات (tool-free)، مصمم لتعليم نماذج الرؤية واللغة كيفية تشخيص فشل التجذر ذاتياً وإعادة فحص الأدلة البصرية بشكل انتقائي. وهو لا يتطلب تعديلات معمارية أو أدوات خارجية (مثل أدوات القص أو التكبير).

المرحلة 1: الضبط الدقيق الخاضع للإشراف للبداية الباردة (SFT)

يبني إطار العمل مجموعة بيانات تدريبية متخصصة باستخدام سياسة محفز إعادة الفحص المتسلسل والتشخيص الذاتي البصري:

1. سياسة محفز إعادة الفحص (Re-examination Trigger Policy): لا تتطلب جميع العينات إعادة الفحص. يقوم النظام بتصفية الاستجابات الأولية من خلال ثلاث خطوات:

   • هل الإجابة صحيحة؟ إذا كانت الإجابة خاطئة، يتم تفعيل إعادة الفحص بشكل غير مشروط.
   • هل هي مجذرة (Grounded)؟ إذا كانت الإجابة صحيحة، يقوم نموذج حكم (Qwen2.5-VL-72B) بتقييم ما إذا كان الاستدلال مجذراً حقاً باستخدام أربعة معايير: تغطية السمات البصرية، استبعاد البدائل، غياب التحوط (hedging)، والارتكاز البصري. الإجابات الصحيحة ولكن غير المجذرة تستدعي إعادة الفحص.
   • هل هي قابلة للتحقق؟ يتم تطبيق محفز عشوائي ($\epsilon$) على الإجابات الصحيحة والمجذرة لتعليم النموذج أن إعادة الفحص يمكن أن تعمل أيضاً كوسيلة للتحقق.
   • عدم إعادة التأسيس (No-ReGround): العينات التي تجتاز جميع الفحوصات دون محفز عشوائي يتم الاحتفاظ بها كمسارات أحادية الدور لمنع الإفراط في التفعيل.

2. التشخيص الذاتي البصري وإعادة الحقن: بمجرد التفعيل، يولد النظام إشارة تشخيصية داخل وسم <reground>. تُستخدم ثلاثة أنماط لإعادة حقن المعلومات:

   • التصحيح (Correction): يحدد نقاط سوء الإدراك البصري المحتملة لتوجيه الانتباه.
   • التجذير (Grounding): يجبر النموذج على ربط اللغة التأملية بإحداثيات مكانية أو عناصر ملموسة دون الكشف عن الإجابة.
   • التحقق (Verification): يعيد حقن الصورة بشكل شمولي للتحقق من السلسلة المنطقية.

3. تعزيز القدرات (Capability Bootstrapping): أثناء بناء البيانات، يقوم متغير أقوى (مثل 72B) بتوليد الإشارات التشخيصية. ويتعلم نموذج السياسة (مثل 7B) توليد هذه الإشارات ذاتياً أثناء الـ SFT. ويتم التخلص من المتغير الأقوى بعد التدريب.

4. تنسيق المسار (Trajectory Formatting): يتم تنسيق البيانات في قالب متعدد الأدوار: الاستدلال الأولي $\leftarrow$ <reground> (التشخيص + إعادة الحقن) $\leftarrow$ الاستدلال المنقح $\leftarrow$ الإجابة النهائية.

المرحلة 2: التعلم المعزز (GRPO)

يتم صقل السياسة باستخدام تحسين السياسة النسبي للمجموعات (GRPO) مع دالة مكافأة غير متماثلة لمعايرة سلوك التفعيل:

• مكافأة إعادة التجذير ($R_{reg}$): تكافئ الوجود الهيكلي لنطاق <reground> صالح.
• مكافأة الدقة ($R_{acc}$): تكافئ الإجابات النهائية الصحيحة ولكنها تتضمن حداً تفاعلياً سالباً. هذا يعاقب الفائدة الهامشية للصحة إذا قام النموذج بتفعيل إعادة الفحص دون داعٍ، مما يمنع التخمين الأعمى.
• عقوبة التنسيق ($R_{form}$): تعاقب أخطاء الصياغة (syntax errors).

يخلق تشكيل المكافأة هذا توزيعاً غير متماثل: أعلى مكافأة تذهب للتعافي الناجح (إعادة التجذير + الإجابة الصحيحة)، بينما يتم معاقبة "الفشل الأعمى" (لا إعادة تجذير + إجابة خاطئة). هذا يشجع النموذج على تعلم متى يعيد الفحص وكيف يستخدم إعادة الفحص بفعالية.

المساهمات الرئيسية

1. الدليل التجريبي على التدهور والتعافي: يوضح المؤلفون أن إنتروبيا الانتباه تضيق في 98.0% من خطوات الاستدلال ولكنها تتعافى بعد إعادة الحقن البصري في 9 حالات من أصل 100 (94.4%).
2. الجودة التشخيصية كعنق زجاجة: تثبت الورقة أن إعادة الفحص العام يمكن أن يضعف الأداء، بينما يستعيد التشخيص الذاتي المستهدف من 79 إلى 90% من المكاسب التي توفرها إشارة النموذج الأقوى (الأوراكل).
3. تحليل سياسة التفعيل: تكشف الدراسة أن الإفراط في التفعيل يضر بالإجابات الصحيحة، بينما يؤدي التفعيل المتحفظ إلى تفويت مكاسب يمكن استردادها. السياسة المتوازنة ضرورية.
4. إطار عمل عملي لا يتطلب أدوات: يحسن ReGround الأداء عبر عدة اختبارات معيارية دون أدوات خارجية أو تغييرات معمارية، معتمداً فقط على إعادة الحقن البصري والتشخيص الذاتي.

النتائج التجريبية

أجريت التجارب على ثمانية اختبارات معيارية (بما في ذلك MathVista، MathVision، MathVerse، HallusionBench، MMBench، إلخ) باستخدام خلفيتين لـ VLM وهما (Qwen2.5-VL-7B و Qwen3-VL-8B).

• مكاسب الأداء: في Qwen2.5-VL-7B، حقق ReGround أفضل أداء في خمسة من أصل ثمانية اختبارات معيارية، مع تحسينات كبيرة في مهام الاستدلال الرياضي (على سبيل المثال، +3.8 في MathVista، +4.5 في MathVerse) وزيادة كبيرة قدرها +6.8 في HallusionBench (الذي يستهدف الهلوسة البصرية).
• النقل عبر الخلفيات (Cross-Backbone Transfer): أدى تطبيق نفس وصفة التدريب على Qwen3-VL-8B إلى تحقيق مكاسب متسقة عبر جميع الاختبارات الثمانية دون الحاجة لإعادة ضبط المعلمات الفائقة.
• الكفاءة: يتسبب ReGround في عبء إضافي متوسط أثناء الاستدمام (1.62 ضعف إجمالي الرموز، 1.76 ضعف زمن الاستجابة) مقارنة بالنموذج الأساسي، ولكنه يتفوق على النماذج المعززة بالأدوات مثل Thyme في كل من السرعة والدقة.
• دراسات الاستئصال (Ablation Studies):
  • الآلية: إعادة الحقن البصري أمر ضروري؛ إذ لا تحقق عملية التأمل النصي فقط مكاسب تذكر.
  • تكوين البيانات: إزالة عينات "No-ReGround" ترفع معدل التفعيل إلى حوالي 85% وتؤدي إلى تدهور الدقة، مما يؤكد الحاجة إلى الأمثلة السلبية.
  • جودة الإشارات: الإشارات العامة (مثل "انظر مرة أخرى") يمكن أن تضر بالأداء. التشخيص الذاتي المستهدف هو المتغير الرئيسي.

الأهمية والادعاءات

تدعي الورقة أن الجودة التشخيصية، وليس مجرد فعل إعادة فحص الأدلة البصرية، هي العامل المركزي في نجاح التصحيح الذاتي البصري. يثبت ReGround أن نماذج VLM يمكنها تعلم تحديد متى فقدت التجذير البصري وما هي الأدلة المحددة التي يجب مراجعتها ذاتياً، بشرط أن يتم تدريبها باستخدام إشارات تشخيصية عالية الجودة وسياسة تفعيل متوازنة.

يضع المؤلفون ReGround كآلية تكميلية لا تتطلب أدوات، تعالج نمط الفشل المحدد المتمثل في "انحراف التجذير البصري" في الاستدلال متعدد الخطوات. ومن خلال عزل تأثير التوجيه التشخيصي عن تنسيق إعادة الفحص، تشير الورقة إلى أن التحسينات المستقبلية في الاستدلال المجذر يجب أن تركز على تعزيز قدرة النموذج على التشخيص الذاتي واستهداف أدلة بصرية محددة، بدلاً من الاعتماد فقط على الأدوات الخارجية أو زيادة حجم النماذج.