ملخص تقني: MARS – تطبيع الميزة أحادي المرساة للاستدلال البصري متعدد المصادر

بيان المشكلة

بينما حقق التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) تقدماً في الاستدلال البصري، لا تزال الأساليب الحالية تواجه صعوبات عند معالجة المدخلات متعددة المصادر (مثل: RGB، الأشعة تحت الحمراء، العمق، الرؤية متعددة الزوايا). تتعامل النهج الحالية مع البيانات متعددة المصادر كعملية تراكم بسيطة للمعلومات، وتعمل تحت افتراض أن "رؤية المزيد تعني معرفة أكثر". ومع ذلك، تحدد هذه الورقة البحثية قيداً حرجاً: عندما تختلف المصادر بشكل كبير في الخصائص الفيزيائية والدلالية، يمكن للدمج الساذج أن يؤدي إلى حدوث تداخل أو ضجيج بدلاً من تحقيق كسب في المعلومات.

في السيناريوهات التي يمتلك فيها أحد المصادر إشارة مهيمنة وموثوقة (مثل الأشعة تحت الحمراء في ظروف الإضاءة المنخفضة) بينما تكون المصادر الأخرى متدهورة أو غير ذات ص relevance، تفشل أطر عمل RLVR القياسية غالباً في التمييز بين الدمج المفيد والتضارب الضار. وبناءً على ذلك، يمكن أن يتدهور أداء الاستدلال متعدد المصادر إلى ما دون مستوى الاستدلال القوي أحادي المصدر. تفتقر أطر العمل الحالية إلى آليات صريحة لنمذجة التفاعل الديناميكي بين المصادر أو لقياس ما إذا كان دمج مصدر إضافي يحقق كسباً إيجابياً في المعلومات بالنسبة لخط الأساس أحادي المصدر.

المنهجية: MARS

لمعالجة هذه التحديات، يقترح المؤلفون إطار عمل MARS (تطبيع الميزة أحادي المرساة للاستدلال متعدد المصادر). يعامل هذا الإطار كل نمط بصري كمصدر معلومات مستقل، ويقوم بنمذجة الكسب في المعلومات الناتج عن الدمج متعدد المصادر بشكل صريح.

الآلية الجوهرية

الابتكار المركزي لـ MARS هو استخدام مكافآت المصدر الواحد كمرساة ديناميكية لتطبيع مزايا المسارات (rollouts) متعددة المصادر أثناء تدريب RLVR.

1. توليد المسارات المزدوجة: لكل حالة تدريب (سؤال $q$ وعدة صور $i$)، يقوم نموذج السياسة $\pi_\theta$ بتوليد نوعين من المسارات:

   • المسارات متعددة المصادر ($G_{multi}$): يعالج النموذج جميع الصور المتاحة بشكل مشترك.
   • المسارات أحادية المصدر ($G_{mono}$): يعالج النموذج كل صورة على حدة مقترنة بالمدخل النصي.

2. التطبيع الهجين للميزة: بدلاً من حساب إحصائيات الميزة حصرياً من المسارات متعددة المصادر، يقوم MARS بحساب المتوسط والانحراف المعياري الهجين باستخدام اتحاد مكافآت المصدر الواحد والمسارات متعددة المصادر ($G_{multi} \cup G_{mono}$). تُحسب الميزة $A_j$ للمسار متعدد المصادر كما يلي:
   $$A_j^{hy} = \frac{r(q, i, o_j^{multi}) - \text{mean}(G_{multi} \cup G_{mono})}{\text{std}(G_{multi} \cup G_{mono})}$$

3. التنظيم التكيفي:

   • كبح التضارب: إذا كان مصدر معين مهيمناً وأدى الدمج متعدد المصادر إلى إدخال ضجيج (مما نتج عنه مكافآت أقل من مرساة المصدر الواحد)، فإن إحصائيات التطبيع ستتحول لكبح إشارة المصدر المتضارب، مما يوجه النموذج نحو سلوك المصدر الواحد الأكثر موثوقية.
   • تأكيد الترويج: إذا أدى الدمج متعدد المصادر إلى مكافأة أعلى من خط الأساس أحادي المصدر (مما يشير إلى كسب حقيقي في المعلومات)، فإن الخوارزمية تشجع الاستكشاف بما يتجاوز إشارات المصدر الواحد، مما يحدد فعلياً "الكسب في المعلومات متعدد المصادر".

الأساس النظري

يقدم المؤلفون تحليلاً نظرياً لدعم الطريقة:

• عدم الانحياز: تضمن الخوارزم_المقترحة أن توقع تقدير التدرج يظل مكافئاً للتحسين القياسي في السياسة (on-policy optimization)، مما يضمن عدم إدخال أي انحياز.
• تفكيك التدرج: يُظهر أن تحديث التدرج يكافئ تعظيم مكافأة المصدر المتعدد القياسية بالإضافة إلى حد تنظيم يعتمد على الكسب في المعلومات متعدد المصادر ($\Delta IG$). يمثل هذا الحد الفرق بين المكافآت المتوقعة للمسارات متعددة المصادر وأحادية المصدر. يشير $\Delta IG$ السالب إلى تضارب الأنماط، بينما تشير القيمة الموجبة إلى الترويج المتبادل.

المساهمات الرئيسية

1. تحديد قيد جوهري: تكشف الورقة أن الاستدلال البصري الحالي متعدد المصادر يمكن أن يتدهور بشكل منهجي في الأداء بسبب تداخل الأنماط غير المنمذج، مما يتحدى الافتراض بأن المزيد من المدخلات يعني دائماً معرفة أفضل.
2. إطار عمل مبتكر (MARS): صمم المؤلفون طريقة تقدم مكافآت المصدر الواحد كمرساة لقياس الكسب في المعلومات كمياً أثناء تطبيع الميزة. وهذا يتيح التنظيم التكيفي لمختلف المصادر دون الحاجة إلى إعادة تصميم معماري أو تصحيح خارج السياسة (off-policy).
3. التحقق التجريبي: أظهرت التجارب الواسعة عبر مجموعات بيانات متنوعة (العمق، الأشعة تحت الحمراء، الرؤية متعددة الزوايا، والنصوص الغنية) وخوارزميات RL متنوعة (GRPO, DAPO) تحسينات مستمرة في الأداء.

النتائج التجريبية

قيم المؤلفون MARS في أربع مهام متعددة المصادر باستخدام نماذج Qwen2.5-VL-3B و 7B. وتشمل النت Cook الرئيسية ما يلي:

• مكاسب الأداء: حقق MARS تحسينات كبيرة مقارنة بطرق RLVR الأساسية. وتحديداً، حقق مكاسب في الأداء بنسبة 3.2% و 4.9% في المتوسط عبر أطر عمل GRPO و DAPO، على التوالي، في مقياس الاستدلال متعدد المصادر.
• تحسينات مهام محددة: لوحظت مكاسب ملحوظة في مجموعات بيانات الأشعة تحت الحمراء (3.8%) والرؤية متعددة الزوايا (7.0%).
• المتانة: أظهرت الطريقة متانة فائقة ضد التدهور البصري (الضوضاء الغاوسية، ضبابية الحركة، الانسداد)، حيث حافظت على دقة عالية في حين عانت النماذج الأساسية من انخفاض في الأداء.
• الكفاءة: تتطلب الطرح نموذج سياسة واحداً فقط وتولد عينات المصدر الواحد عن طريق تعديل المدخلات، مما يتجنب عبء تخزين إعادة تشغيل الخبرة أو التصحيح خارج السياسة. التكاليف الحسابية متوسطة، حيث ينبع الفائدة الرئيسية من آلية المرساة بدلاً من زيادة حجم المسارات.
• التحليل النوعي: أظهرت دراسات الحالة أن MARS نجح في إعطاء الأولوية للمصادر المعلوماتية (مثل الأشعة تحت الحمراء في الإضاءة المنخفضة) وقمع المصادر غير ذات الصلة أو الضوضائية (مثل صور العمق البيضاء تماماً)، مما يؤدي إلى استدلال وتأسيس (grounding) أكثر دقة مقارنة بـ GRPO القياسي.

الأهمية والادعاءات

تدعي الورقة أن MARS يقدم حلاً عاماً وفعالاً لتحسين أداء الاستدلال البصري في سيناريوهات تعدد المصادر. من خلال نمذجة التفاعل الديناميكي بين المصادر وقياس الكسب في المعلومات صراحة، تحل الطريقة الصراع بين "رؤية المزيد" و"معرفة المزيد".

يؤكد المؤلفون أن نهجهم:

• لا يعتمد على أطر تدريب محددة (متوافق مع GRPO و DAPO).
• لا يتطلب تغييرات معمارية في النموذج الأساسي.
• يوفر طريقة مبدئية للتعامل مع تضارب الأنماط والترويج، مما يؤدي إلى مسارات تحسين أكثر استقراراً وقابلية للتفسير.
• يثبت أن الاستفادة الديناميكية من مكافآت المصدر الواحد كمرساة توجه النماذج بفعالية للتركيز على المصادر المعلوماتية مع قمع الضجيج، مما يؤكد أن الاستدلال الفعال متعدد المصادر يتطلب التمييز بين الكسب في المعلومات والتداخل.