ملخص تقني: تحسين متانة التعميم لتعلم التعزيز ذو المكافآت القابلة للتحقق متعدد الوسائط (Multimodal RLVR)

1. بيان المشكلة

تتناول الورقة البحثية فجوة متانة المطالبات (prompt-robustness gap) في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) التي تم ضبطها بدقة عبر التعلم التعزيزي ذو المكافآت القابلة للتحقق (RLVR). وبينما يعمل RLVR على تحسين الدقة بشكل كبير في المعايير القياسية من خلال التحسين مقابل إشارات حتمية (مثل مطابقة التعبيرات النمطية regex أو التحقق الرمزي)، فإن هذه المكاسب تتسم بالهشاشة. لاحظ المؤلفون أن مجرد إعادة صياغة السؤال أو تغيير قالب المطالبة (prompt template) يمكن أن يؤدي إلى تدهور حاد في الأداء، مما يجعل النماذج غير موثوقة للنشر في الحالات عالية الخطورة (مثل الأسئلة والأجوبة البصرية الطبية أو القانونية).

حدد المؤلفون سببين جذريين ضمن هدف RLVR القياسي:

1. تشابك المكافأة (Reward Entanglement): تعمل الموثقات الثنائية القياسية (على سبيل المثال، $V = V_f \cdot V_c$) على دمج الامتثال للتنسيق ($V_f$) مع الصحة الدلالية ($V_c$). لا يمكن للمكافأة الصفرية التمييز بين نموذج فشل في فهم المهمة وآخر فشل فقط في اتباع تنسيق المخرجات. يؤدي هذا إلى فقدان تباين المكافأة المعلوماتي، خاصة عندما يكون الامتثال للتنسيق مرتفعًا، مما يتسبب في انحياز إشارة التدرج نحو سلوكيات محددة بالقوالب بدلاً من الاستدلال العام.
2. الاعتماد على المطالبة (Prompt Dependency): يعمل RLVR القياسي على التحسين فوق توزيع تدريب ثابت ($P_{train}$). يوضح التحليل النظري (Proposition B.5) أن هذا الهدف غير قابل للتعريف (non-identifiable): فالسياسات التي تؤدي بشكل مثالي على قوالب التدريب ولكنها تفشل في المطالبات المكافئة دلاليًا وغير المرئية يمكن أن تحقق نفس مكافأة التدريب. وبناءً على ذلك، يتعلم النموذج استغلال قوالب مطالبات محددة بدلاً من تعلم استدلال ثابت تجاه المطالبات (prompt-invariant reasoning).

2. المنهجية: RLVR المتوافق مع المطالبات (PIRL)

لمعالجة هذه المشكلات، يقترح المؤلفون RLVR المتوافق مع المطالبات (PIRL)، والذي يطبق شرطين تصميميين: تفكيك المكافأة (C1) والتحكم في الثبات (C2).

2.1. المكافأة الثلاثية الديناميكية (DTR)

لتحقيق تفكيك المكافأة، يستبدل PIRL الموثق الثنائي القياسي بـ مكافأة ثلاثية ديناميكية:
$$R = R_t + \alpha_{rew} R_s$$

• $R_t$ (الموثق الثلاثي المدرك للتنسيق): يخصص $+1$ للإجابة الصحيحة بالتنسيق الصحيح، و $0$للإجابة الخاطئة بالتنسيق الصحيح، و$-1$ لفشل التنسيق. هذا يفصل الامتثال للتنسيق عن الصحة الدلالية.
• $R_s$ (الدرجة الدلالية): درجة دلالية محدودة (مشتقة من مقيّر NLI) توفر تباينًا داخل فئات التنسيق. حتى لو كان التنسيق صحيحًا، يمكن لـ $R_s$ التمييز بين درجات الصحة الدلالية.
• تطبيع الميزة المفكك (DAN): لمنع توسع الدرجة الدلالية من الهيمنة على الإشارة الثلاثية أثناء التطبيع الجماعي، يقترح المؤلفون إجراء z-scoring لـ $R_t$ و $R_s$ بشكل منفصل داخل كل مجموعة تدفق (rollout group) قبل دمجهما.

2.2. خصم فضاء التضمين وتنظيم الاتساق

لتحقيق التحكم في الثبات، يقدم PIRL حلقة تدريب تنافسية:

• الوكيل الخصم (Adversarial Agent): يقوم الخصم بإدخال اضطرابات على تضمينات رموز التعليمات (instruction token embeddings) ضمن كرة $\ell_2$ محدودة ($\|\delta\|_2 \le \epsilon_{emb}$). هذا يحاكي أسوأ حالات إعادة صياغة التعليمات دون تغيير المدخلات البصرية أو الإجابة الصحيحة. يهدف الخصم إلى تقليل مكافأة DTR المتوقعة للسياسة.
• تنظيم الاتساق (Consistency Regularization): لضمان عدم انهيار السياسة تحت هذه الاضطرابات، يتم إضافة فقدان الاتساق. يقلل هذا الفقدان من تباعد كولباك - ليبلر (KL divergence) بين توزيعات الرموز للسياسة تحت المطالبة النظيفة والمطالبة الخصمية (المضطربة). يعمل هذا كبديل قابل للتطبيق لفرض الثبات على مستوى الإجابة عبر الفئة المكافئة دلاليًا.

2.3. هدف التدريب

يجمع الهدف الإجمالي بين فقدان GRPO المقطوع (باستخدام ميزات DAN-normalized من DTR) مع عقوبة الاتساق:
$$\min_{\theta} \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \left[ \mathcal{L}^{DAN}_{G}(\pi_\theta, \bar{q}; R_t, R_s) + \lambda \mathcal{L}_{cons}(\theta; \mathbf{x}, \bar{\phi}) \right]$$
حيث تمثل $\bar{q}$ العينات الخصمية المجمدة المولدة عبر الصعود المسقط (projected ascent).

3. المساهمات الرئيسية

1. تحديد فجوة متانة المطالبات: تكشف الورقة رسميًا أن RLVR القياسي يؤدي إلى الإفراط في التخصيص (overfitting) على تنسيقات المطالبات، مما يخلق فجوة حيث يتدهور أداء النماذج عند استخدام مطالبات معاد صياغتها رغم الدقة العالية في التدريب.
2. الصياغة النظرية: يصيغ المؤلفون متانة المطالبة كتحسين فوق الفئات المكافئة دلاليًا. ويثبتون أن المكافآت الثنائية القياسية تسبب انحيازًا في تباين المكافأة وأن هدف التدريب يعاني من عدم القابلية للتعريف فيما يتعلق بالسياسات الثابتة تجاه المطالبات.
3. إطار عمل PIRL: يقترحون طريقة ملموسة (PIRL) تنفذ تفكيك المكافأة عبر DTR والتحكم في الثبات عبر خصم فضاء التضمين وتنظيم الاتساق.
4. التحقق التجريبي: أظهرت التجارب المكثفة عبر معايير VQA الخاصة بالامتحانات، والطب، والقانون أن PIRL يقلل بشكل كبير من انخفاض الأداء تحت اختبار الإجهاد مقارنة بـ GRPO وGRPO-MT.

4. النتائج التجريبية

قيم المؤلفون PIRL على Qwen2.5-VL-7B و Qwen3-VL-8B عبر ثلاثة مجالات:

• اختبار إجهاد القوالب (T-Stress): تم اختبار النماذج على مطالبات ذات أعداد متفاوتة من القوالب غير المرئية ($N=1$ إلى $15$).
  • أظهر GRPO القياسي تدهورًا كبيرًا (على سبيل المثال، $\Delta T \approx -4.4\%$ في MathVista لنموذج Qwen2.5).
  • حافظ PIRL على الاستقرار، وغالبًا ما أظهر انخفاضات إيجابية أو ضئيلة (على سبيل المثال، $\Delta T \approx +0.3\%$ في MathVista).
  • تفوق PIRL على خط الأساس Multi-Template (GRPO-MT)، الذي عالج المشكلة جزئيًا فقط.
• التقييم الديناميكي (D-Test): باستخدام طفرات قائمة على العمليات (إعادة الصياغة، تغيير التخطيط، إلخ).
  • حقق PIRL باستمرار أصغر متوسط انخفاض في الأداء عبر جميع المعايير مقارنة بـ GRPO وGRGRPO-MT.
  • في المجالات عالية الخطورة (الطب والقانون)، حافظ PIRP على الدقة حيث تدهور GRPO بشكل كبير (على سبيل المثال، في PathVQA، انخفض GRPO بنسبة $-6.7\%$ بينما انخفض PIRL بنسبة $-0.8\%$ فقط).
• دراسات الاستئصال (Ablation Studies): حقق تكوين PIRL الكامل (MT + ADV + DTR) أفضل النتائج. وبينما لم يحدد الاستئصال بشكل قاطع الضرورة الفردية لـ DTR أو الخصم بما يتجاوز خط الأساس متعدد القوالب في جميع المقاييس، إلا أن الجمع بينهما وفر الأداء الأكثر متانة دون تكلفة ملحوظة.

5. الأهمية والادعاءات

تدعي الورقة أن PIRL يستعيد متانة نماذج RLVR المعدلة لتصل إلى مستوى يضاهي أو يتفوق على النموذج الأساسي، مما يغلق فعليًا فجوة متانة المطالبات.

• الموثوقية: تعد هذه الطريقة مهمة بشكل خاص للمجالات عالية الخطورة (الطب، القانون) حيث تجعل عدم قدرة النموذج على التعامل مع التعليمات المعاد صياغتها من غير الموثوق به بغض النظر عن دقته الخام.
• الآلية: توضح هذه الدراسة أن هشاشة RLVR ليست قصورًا متأصلًا في التعلم التعزيزي، بل هي نتيجة لتعقيد المكافأة ومحدودية تغطية التدريب. من خلال فصل التنسيق عن الدلالات وفرض الثبات، يتعلم النموذج التعميم عبر الفئة المكافلة دلاليًا بدلاً من حفظ القوالب.
• التواضع: يقر المؤلفون بأن المتانة لا تضمن الصحة (فالنموذج المستقر يمكن أن يظل مخطئًا بثقة تامة) وأن هدف الثبات الخاص بهم هو تبسيط قابل للتطبيق للتعامل مع الفئة المكافلة دلاليًا (بالعمل في فضاء التضمين بدلاً من فضاء الرموز المنفصل). ويضعون PIRL كطريقة لدعم، وليس استبدال، الحكم البشري الخبير في المجالات الحرجة.