ملخص تقني: من RLVR إلى RLSVR

1. بيان المشكلة

أدى التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) إلى تقدم كبير في النماذج اللغوية الكبيرة (LLMs) الموجهة نحو الاستدلال في المجالات ذات النتائج الحتمية، مثل الرياضيات والبرمجة. في هذه الإعدادات، يمكن للمُحقِّق $V(x, y)$ أن يتحقق بشكل حتمي مما إذا كان المخرج $y$ صحيحًا بناءً على المدخل $x$، مما يوفر إشرافًا غير منحاز، وغير محدود، ومنخفض التكلفة.

ومع ذلك، يظل RLVR غير قابل للتطبيق إلى حد كبير على المهام مفتوحة النهايات (مثل الكتابة الإبداعية، تلخيص النصوص، والاستدلال العام) حيث تكون الصحة موضوعية وتفتقر إلى حقيقة أرضية حتمية. تعتمد النهج الحالية لسد هذه الفجوة على:

• إشارات التفضيل المتعلمة (مثل RLHF و DPO)، والتي تتطلب تعليقات بشرية مكلفة.
• النماذج الوسيطة (مثل LLM-as-a-Judge، وآليات المكافأة الذاتية)، والتي تُدخل تحيزًا في التقييم، وتتقيد بقدرات النموذج "القاضي"، وتتكبد تكاليف استدلال كبيرة.

التحدي الجوهري هو أن هذه الطرق تحاول تقريب هدف جودة غير قابل للتحقق $Q(x, y)$ بشكل مباشر، بدلاً من بناء إشارة قابلة للتحقق من البيانات نفسها.

2. المنهجية: RLSVR و SpyRL

تقترح الورقة البحثية التعلم التعزيزي مع المكافآت ذاتية التحقق (RLSVR)، وهو نموذج يوسع مبادئ التعلم الخاضع للإشراف الذاتي (بناء مهام تمهيدية بملصقات مُولدة تلقائيًا) إلى مجال RLVR. يقوم RLSVR بتحويل مهمة مفتوحة النهايات إلى بيئة وسيطة تكون فيها المكافآت ذاتية التحقق—مستمدة من القواعد الداخلية للبيئة ونتائج التفاعل بدلاً من القضاة الخارجيين.

2.1 إطار عمل RLSVR

يعمل RLSVR من خلال تحويل المهمة $\Phi$ التي تربط المهمة المستهدفة $(D, \tau)$ ببيئة وسيطة $E$:

1. حقن المتغير الكامن: تقوم البيئة بأخذ عينة من مدخل $x$ ومتغير كامن $z$ (مثل هوية مخفية أو حالة مضطربة)، وتسجيل $z$ كحقيقة أرضية.
2. تنفيذ المهمة المشروط: يقوم الوكلاء بتنفيذ المهمة المستهدفة بناءً على ملاحظات مستمدة من $(x, z)$.
3. التفاعل القابل للتحقق: تطرح البيئة سؤالاً حول $z$ يجب الإجابة عليه باستخدام مخرجات المهمة. ومن الأهمية بمكان أن الإجابة بشكل صحيح تعتمد على جودة المخرجات.
4. المكافأة القائمة على القواعد: يتم حساب المكافأة عن طريق فحص نتيجة التفاعل مقابل $z$ المسجل، مما لا يتطلب مُحقِّقًا خارجيًا.

2.2 SpyRL: تجسيد عبر اللعب الذاتي غير المتماثل للمعلومات

قام المؤلفون بتجسيد RLSVR من خلال SpyRL (التعلم التعزيزي للعب الذاتي)، وهو إطار عمل متعدد الوكلاء مستوحى من لعبة التخمين الاجتماعي Who Is the Spy? (من هو الجاسوس؟).

آليات اللعبة:

• الوكلاء: تتكون مجموعة من $n$ من الوكلاء من $n-1$ من "المدنيين" وجاسوس واحد.
• عدم تماثل المعلومات:
  • المدنيون: يتلقون مدخل المهمة الكامل $x$.
  • الجاسوس: يتلقى نسخة متدهورة $g(x)$ (مثل نطاق مستمر من النص المحجوب أو المزال)، مما يخلق عجزًا في المعلومات.
• مرحلة الأداء: يولد جميع الوكلاء مخرجات $y_i$ للمهمة المستهدفة (مثل التلخيص، الكتابة الإبداعية، أو الاستدلال الرياضي) بناءً على ملاحظاتهم الخاصة.
• مرحلة الكشف: يقوم الوكلاء بتحليل جميع المخرجات والتصويت لتحديد الجاسوس.
• إشارة المكافأة:
  • مكافأة الكشف ($R_D$): قابلة للتحقق حتميًا. إذا صوت الوكيل لصالح مؤشر الجاسوس الصحيح $u$، فإنه يحصل على مكافأة إيجابية؛ وإلا فإنه يحصل على صفر.
  • مكافأة الأداء ($R_P$): مشتقة من نتائج التصويت. يتلقى الجاسوس مكافأة سلبية تتناسب مع عدد الأصوات التي يتلقاها (الاشتباه)، بينما يتلقى المدنيون مكافآت بناءً على قيد صفر مجموع بالنسبة لمتوسط المجموعة.
  • المواءمة: المخرجات التي تفشل في إخفاء عجز المعلومات (أي المخرجات ذات الجودة المنخفضة) تجذب المزيد من الأصوات، مما يؤدي إلى مكافآت أقل. وبالتالي، يتم تحويل "الجودة" غير القابلة للتحقق إلى مشكلة "تعرف على الهوية" قابلة للتحقق.

استراتيجية التحسين:
يستخدم SpyRL التحسين التناوبي بين سياسة الأداء ($\pi^P_\theta$) وسياسة الكشف ($\pi^D_\phi$).

• تقدير ميزة الدور (RAE): لمعالجة عدم التوازن الهيكلي حيث يواجه الجواسوس بطبيعة الحال مهامًا أصعب، يقوم RAE بمعايرة المكافآت عن طريق طرح خطوط أساس خاصة بكل دور، مما يضمن أن إشارة التدرج تعكس الأداء بالنسبة لصعوبة الدور بدلاً من مقدار المكافأة المطلقة.
• التحديثات التناوبية: ينتقل النظام بين تحسين المؤدين (لتوليد مخرجات أفضل وأكثر خداعًا) والمكتشفين (لتحسين تحديد نقاط الضعف). هذا يمنع ركود السياسة والوصول إلى التوازن المحلي الشائع في اللعب الذاتي الثابت.

3. المساهمات الرئيسية

1. نموذج RLSVR: اقتراح التعلم التعزيزي مع المكافآت ذاتية التحقق، الذي يدمج مبادئ التعلم الخاضع للإشراف الذاتي في RLVR لتمكين التدريب القابل للتوسع للمهام مفتوحة النهايات دون مُحقِّقين خارجيين.
2. إطار عمل SpyRL: تقديم SpyRL، وهو طريقة لعب ذاتي غير متماثلة المعلومات تعيد صياغة التوليد مفتوح النهايات كلعبة تخمين اجتماعي متعددة الوكلاء، مما ينتج مكافآت قابلة للتحقق من خلال استدلال الهوية القائم على القواعد.
3. التحقق التجريبي: تقييم شامل عبر التلخيص، الكتابة الإبداعية، والاستدلال الرياضي، مما يثبت أن SpyRL يتفوق على طرق التحسين الذاتي الحالية (R-Zero، Absolute Zero) في المهام غير القابلة للتحقق مع الحفاظ على أو تحسين الأداء في مهام الاستدلال القابلة للتحقق.
4. التعميم: أدلة على أن النهج يعمم على التلخيص الخاص بالمجالات (الأوراق العلمية) وينقل القدرات عبر المهام (على سبيل المثال، النماذج المدربة على التلخيص تتحسن في الكتابة الإبداعية).

4. النتائج التجريبية

قيم المؤلفون SpyRL على نماذج Qwen3-4B و Qwen3-8B عبر ثلاثة مجالات:

• المهام غير القابلة للتحقق (التلخيص والكتابة الإبداعية):

  • التلخيص: حقق SpyRL أعلى درجات ROUGE-L عبر خمسة معايير (GovReport، Multi-News، إلخ). على سبيل المثال، في GovReport مع Qwen3-4B، حسن SpyRL درجة ROUGE-L من 33.2 (Absolute Zero) إلى 36.7. في اختبارات A/B الزوجية ضد النماذج المرجعية، فاز SpyRL في غالبية المقارنات (على سبيل المثال، معدل فوز 74.6% في GovReport).
  • الكتابة الإبداعية: تفوق SpyRL بشكل كبير على النماذج المرجعية في تقييمات GPT-4o الزوجية عبر أبعاد مثل الجدة، العاطفة، والتماسك. في WritingPrompts، حقق SpyRL معدل فوز 84.3% ضد النموذج الأساسي غير المدرب و 78.9% ضد R-Zero.
  • الارتباط: أظهر التحليل وجود ارتباط إيجابي قوي بين عدد أصوات الاشتباه المستلمة وانخفاض جودة المخرجات (المصنفة بواسطة GPT-4o)، مما يؤكد أن المكافأة القائمة على التصويت تتماشى مع أداء المهمة الفعلي.

• المهام القابلة للتحقق (الاستدلال الرياضي):

  • تفوق SpyRL باستمرار على النماذج المرجعية في سبعة معايير (GSM8K، Math500، AIME 24/25، Minerva، MMLU-Pro، GPQA-D).
  • في Qwen3-8B، حسن SpyRL دقة Math500 إلى 81.2% (مقابل 78.4% لـ R-Zero) و AIME 25 إلى 23.3% (مقابل 14.2% لـ R-Zero).

• كفاءة التكلفة:

  • على عكس نماذج Rubric-as-Reward (RaR) التي تتكبد ما بين 200 إلى 900 دولار من تكاليف المُحقِّق لكل تجربة، لا يتطلب SpyRL أي مُحقِّق خارجي، بل يعتمد فقط على القواعد الداخلية للعبة.

• دراسات الاستئصال (Ablation Studies):

  • التحسين التناوبي: ضروري للأداء؛ حيث أدى التدريب المشترك إلى تدهور (على سبيل المثال، انخفضت دقة Math500 من 68.2% إلى 53.1%).
  • حجم المجموعة: أدى زيادة اللاعبين من 3 إلى 5 إلى تحقيق أكبر المكاسب؛ وأظهر التوسع الإضافي عوائد متناقصة.
  • RAE: أدى إزالة تقدير ميزة الدور إلى انخفاض كبير في الأداء، مما يؤكد ضرورة معايرة عدم تماثل المعلومات.

5. الأهمية والادعاءات

تدعي الورقة أن القابلية للتحقق ليست بالضرورة صفة جوهرية للمهمة ولكن يمكن هندستها من خلال تحويل المهمة. من خلال تحويل تقييم الجودة مفتوح النهايات إلى مشكلة معرفة هوية قابلة للتحقق، يُمكّن SpyRL من التحسين الذاتي القابل للتوسع والخالي من المُحقِّق للمهارات العامة مفتوحة النهايات.

يجادل المؤلفون بأن نهجهم يعالج الاختناق الأساسي لـ RLVR في المجالات غير الحتمية:

• يقضي على الاعتماد على التفضيلات البشرية المنحازة أو قضاة LLM المكلفين.
• يوفر إشارة مكافأة مستقرة وقائمة على القواعد مستمدة من البيئة نفسها.
• يثبت أن اللعب الذاتي ليس مقتصرًا على المجالات القابلة للتحقق بطبيعتها (مثل الرياضيات/البرمجة) بل يمكن توسيعه ليشمل المهام الإبداعية والتوليدية من خلال تصميم البيئة المناسب.

تشير النتائج إلى أن تحويل المهمة يمكن أن يوسع قدرات التحسين الذاتي القائمة على RLVR بعيدًا عن حدودها الحالية، مما يوفر مسارًا لتدريب قدرات LLM مفتوحة النهايات دون إشراف بشري.