ملخص تقني: Soft-SVeRL: التعلم المعزز بالتحقق الذاتي مع المكافآت المرنة

بيان المشكلة

حقق التعلم المعزز من خلال المكافآت القابلة للتحقق (RLVR) نجاحاً كبيراً في مجالات مثل الرياضيات وتوليد الكود، حيث يمكن تحديد الصحة عبر فحوصات رمزية حتمية أو اختبارات الوحدة. ومع ذلك، تفتقر العديد من المهام الحرجة، لا سيما اتباع التعليمات المعقدة، إلى إجابات مرجعية دقيقة أو معايير ثنائية (نجاح/فشل). في هذه السيناريوهات، غالباً ما تحتوي المطالبات (prompts) على متطلبات متعددة (مثل: التنسيق، تضمين كلمات مفتاحية، حدود الطول) حيث قد تستوفي الاستجابة بعض المتطلات دون غيرها.

تواجه النهج الحالية مشكلتين رئيسيتين في هذا الإطار "القابل للتحقق جزئياً":

1. الإشراف المتناثر (Sparse Supervision): المكافآت الثنائية (الكل أو لا شيء) لا توفر أي إشارة تدرج (gradient signal) للاستجابات التي تنجح جزئياً.
2. الأحكام الشمولية الضوضائية (Noisy Holistic Judgments): الموثقات الشمولية المتعلمة (نماذج LLM التي تحكم على الاستجابة بأكملها) تضغط المتطلبات المتعددة في قرار واحد ضوضائي، مما يفشل في الكشف عن المتطلبات المحددة التي تم استيفاؤها أو التي تم انتهاكها.

التحدي المركزي هو كيفية تدريب النماذج اللغوية عبر التعلم المعزز عندما تكون الصحة جزئية، وضوضائية، ويصعب تحديدها دون الوصول إلى "أوراكل" (oracle) مثالي قائم على القواعد أثناء التدريب.

المنهجية

تقدم الورقة البحثية Soft-RLVR ومتغيرها للتحقق الذاتي، Soft-SVeRL، لمعالجة هذه التحديات.

1. Soft-RLVR: المكافآت المرنة القائمة على قوائم التحقق

يقوم Soft-RLVR بتفكيك إشارة المكافأة عن طريق تحويل المطالبة $x$ إلى قائمة تحقق من معايير ذرية قابلة للتحقق $C(x) = \{c_1, \dots, c_K\}$.

• التفكيك (Decomposition): يقوم نموذج LLM بتوليد قائمة تحقق من معايير (نعم/لا) بناءً على المطالبة.
• التحقق على مستوى البند (Item-Level Verification): يقوم موثق متعلم $\rho_\phi$ (نموذج LLM) بتقييم كل استجابة $y$ مقابل كل معيار $c_k$ بشكل فردي، منتجاً حكماً ثنائياً.
• حساب المكافأة المرنة (Soft Reward Calculation): المكافأة النهائية هي نسبة العناصر المستوفاة:
  $$R_{soft}(x, y) = \frac{1}{K} \sum_{k=1}^K \rho_\phi(x, y, c_k)$$
  هذا يحول الإشراف المتناثر إلى إشارة كثيفة ومتدرجة تكافئ التقدم الجزئي.

التحليل النظري (المقايضة بين الانحياز والتباين):
يصيغ المؤلفون المقايضة بين فوائد التفكيك ومخاطر الائتمان الجزئي.

• تقليل التباين (Variance Reduction): يؤدي متوسط أحكام مستويات البنود الـ $K$ إلى تقليل تباين المكافأة مقارنة بالحكم الشمولي الواحد، بشرط ألا تكون أخطاء مستوى البند مترابطة بقوة.
• إدخال الانحياز (Bias Introduction): يمنح الائتمان الجزئي مكافآت غير صفرية للاستجابات غير المكتملة، مما قد يحيد هدف التدريب بعيداً عن النجاح الصارم.
• شروط التحسن: تشتق الورقة شروطاً كافية (النظرية 1) والتي بموجبها يؤدي التحقق عبر قائمة التحقق إلى تقليل خطأ التربيع المتوسط (MSE) في مُقدّر تدرج السياسة (policy gradient estimator) مقارنة بالتحقق الشمولي. وبشكل محدد، يكون التحقق عبر قائمة التحقق مفيداً عندما يتجاوز تقليل التباين الناتج عن التفكيك الانحياز الناتج عن الائتمان الجزئي، وعندما تكون حساسية مستوى البند على الأقل بنفس مستوى الحساسية الشمولية.

2. Soft-SVeRL: التحقق الذاتي مع التثبيت

يوسع Soft-SVeRL نطاق Soft-RLVR إلى إطار التحقق الذاتي حيث يعمل نموذج السياسة $\pi_\theta$ أيضاً كالموثق ($\phi = \theta$). هذا يلغي الحاجة إلى نموذج مكافأة منفصل عبر الإنترنت، ولكنه يقدم "وضع الانهيار" (collapse mode).

مشكلة الانهيار (The Collapse Problem):
في التحقق الذاتي، يمكن للنموذج زيادة المكافأة المقاسة ليس عبر توليد استجابات أفضل، بل عبر جعل الموثق الخاص به أكثر تساهلاً (انهيار "دائماً نعم"). تحدد الورقة آليتين تقودان لهذا:

1. الارتباطات المسبقة (Correlated Priors): يتشارك المولد والموثق في التحيزات الاستقرائية، مما يجعل الموثق مفرط الثقة في مخرجات المولد الخاصة به.
2. اقتران التدرج (Gradient Coupling): التحديثات التي تجعل الموثق أكثر تساهلاً تزيد مباشرة من إشارة المكافأة، مما يخلق حلقة تغذية راجعة تؤدي إلى تدهور أداء المهمة.

آليات التثبيت (Stabilization Mechanisms):
لمنع الانهيار، يقدم Soft-SVeRL ثلاثة مكونات تثبيت:

1. التحقق المتكرر (Repeated Verification): أخذ عينات من مسارات الموثق المتعددة ($J$ من الأصوات) لكل بند لحساب معدل النجاح التجريبي، مما يقلل الضوضاء.
2. التدريب المشترك للموثق (Verifier Co-training): يتم تدريب النموذج المشترك كموثق على خليط من:
   • البيانات الذهبية (Gold Data): أمثلة مصنفة من مخزن ثابت لتثبيت تعريف الموثق للصحة.
   • بيانات إعادة التشغيل (Replay Data): عينات من السياسة الحالية (on-policy) تم وسمها ذاتياً بناءً على معدل النجاح التجريبي، مما يعرض الموثق لأنماط الفشل الحالية للمولد.
3. عقوبة مكافحة الانهيار (Anti-Collapse Penalty/Partition Penalty): حد عقوبة محدد يُطبق على مجموعة فرعية من سياقات "الفشل" حيث أنتج الموثق أصواتاً مختلطة (بعضها "نعم" وبعضها "لا") على استجابة لم تنجح بصرامة. هذا يمنع النموذج من تضخيم تنبؤات "نعم" بشكل موحد على عيناته.

الهدف المشترك هو:
$$J(\theta) = J_{gen}(\theta) + \lambda_v J_{ver}(\theta) - \lambda_p J_{part}(\theta)$$

المساهمات الرئيسية

1. إطار عمل Soft-RLVR: نهج جديد للتعلم المعزز في المهام القابلة للتحقق جزئياً، يستخدم مكافآت مدروسة قائمة على قوائم التحقق لتحويل الإشراف الثنائي (نجاح/فشل) إلى تغذية راجعة متدرجة على مستوى البنود.
2. التوصيف النظري: تحليل رسمي للمقايضة بين الانحياز والتباين في التحقق عبر قوائم التحقق، وتحديد الشروط التي يوفر فيها التحقق المفكك إشارة تدريب أكثر موثوقية من الحكم الشمولي.
3. Soft-SVeRL ومكافحة الانهيار: تقديم متغير للتعلم المعزز للتحقق الذاتي وتحديد وضع انهيار "دائماً نعم". تقترح الورقة وتثبت فعالية تقنيات تثبيت محددة (التدريب المشترك مع البيانات الذهبية وبيانات إعادة التشغيل، وعقوبات مكافحة الانهيار) لتمكين التحقق الذاتي الفعال.
4. التحقق التجريبي: إثبات أن مكافآت قائمة التحقق المتعلمة يمكن أن تحسن اتباع التعليمات بشكل كبير دون الوصول إلى حقيقة أرضية (ground truth) قائمة على القواعد أثناء التدريب، وأن جودة كل من الموثق وجودة قائمة التحقق هما محددان حاسمان لأداء المهام اللاحقة.

النتائج التجريبية

قيم المؤلفون نهجهم باستخدام نموذج Command R7B على معيار IFEval (مجموعة بيانات من المطالبات ذات القيود القابلة للتحقق) ومعايير رياضية خارج النطاق (MATH500, AIME 2024/2025).

• مكاسب اتباع التعليمات: أدى Soft-RLVR باستخدام موثقات LLM خارجية (GPT-OSS-20B و 120B) إلى تحسين درجات IFEval بمقدار +10.3 و +11.1 نقطة على التوالي (من خط أساس قدره 73.89 إلى 84.20/85.00). تم تحقيق ذلك باستخدام مكافآت قائمة التحقق المتعلمة فقط، دون إشارات تدريب قائمة على القواعد.
• نقل المجال (Domain Transfer): رغم التدريب حصرياً على بيانات اتباع التعليمات، أظهر النموذج تحسناً في المعايير الرياضية (مثل +2.6 نقطة في MATH500)، مما يشير إلى انتقال إيجابي دون نسيان كارثي.
• جودة الموثق وقائمة التحقق: أكدت دراسات الاستئصال (ablation studies) أن جودة مولد قائمة التحقق وجودة نموذج الموثق تؤثران بشكل كبير على نتائج RL اللاحقة. الموثقات الأقوى وقوائم التحقق الأعلى جودة (الأقرب إلى الحقيقة الأرضية) حققت نتائج أفضل.
• استقرار التحقق الذاتي: أدى التحقق الذاتي الساذج إلى انخفاض في الأداء (انخفض IFEval من 73.89 إلى 55.1). ومع ذلك، فإن تطبيق وصفة تثبيت Soft-SVeRL الكاملة (التدريب المشترك، إعادة التشغيل، وعقوبة مكافحة الانهيار) استعاد الأداء، محققاً مكسباً متواضعاً قدره +0.88 نقطة فوق خط الأساس (74.77 مقابل 73.89).
• قائمة التحقق مقابل الحكم الشمولي: تفوق التحقق القائم على قائمة التحقق على التحقق الشمولي، خاصة عند استخدام موثقات أكثر ضوضاء (GPT-OSS-20B)، مما يتوافق مع التنبؤ النظري بأن التفكيك يقلل التباين بفعالية أكبر عندما تكون الأحكام الفردية ضوضائية.

الأهمية والادعاءات

تدعي الورقة أن Soft-RLVR يقدم مساراً قابلاً للتطبيق لتوسيع نطاق RLVR إلى ما وراء المجالات ذات الموثقات الدقيقة (مثل الرياضيات والكود) ليشمل مهام اتباع التعليمات المعقدة والقابلة للتحقق جزئياً. ومن خلال تفكيك المطالبات إلى معايير ذرية واستخدام موثقات متعلمة، يولد إطار العمل إشارات مكافأة كثيفة تلتقط التقدم الجزئي.

يؤكد المؤلفون أنه بينما تعتبر مكافآت قائمة التحقق قوية، إلا أنها ليست حلاً سحرياً؛ ففعاليتها تعتمد بشدة على جودة تفكيك قائمة التحقق وعلى تحديد الموثق. علاوة على ذلك، يسلط العمل الضوء على أن التحقق الذاتي أمر غير بسيط وعرضة لتضخم المكافأة دون آليات تثبيت صريحة. يثبت إطار Soft-SVeRL المقترح أن التحقق الذاتي ممكن ولكنه يتطلب تصميماً معمارياً دقيقاً (التدريب المشترك وعقوبات مكافحة الانهيار) لمنع النموذج من التلاعب بإشارة المكافأة الخاصة به.

يضع هذا العمل نفسه كجسر بين موثوقية التحقق الرمزي ومرونة الحكام المتعلمين (LLM judges)، مما يتيح تدريب التعلم المعزز في الإعدادات التي لا يوجد فيها إجابة مرجعية واحدة.