ملخص تقني: التحكم في معدل نجاح التمرير عبر أخذ عينات البادئة (Prefix Sampling)

1. بيان المشكلة

في التعلم المعزز ذو المكافأة الثنائية القابل للتحقق (RLVR)، مثل هندسة البرمجيات (SWE-bench) والاستدلال الرياضي، تعتمد طرق تدرج السياسة عبر الإنترنت (online policy-gradient) مثل "تحسين السياسة النسبية للمجموعات" (GRPO) على أخذ عينات من مجموعات مسارات التمرير (rollout trajectories) لتوليد إشارات تعلم تباينية. ومع ذلك، تظهر عدم كفاءة كبيرة عندما تظهر هذه المجموعات المختارة معدلات نجاح منحازة (على سبيل المثال، جميعها ناجحة أو جميعها فاشلة، أو نسب غير متوازنة بشدة مثل 1/8 أو 7/8).

في هذه الأنظمة المنحازة، توفر المكافآت الثنائية إشارات تباينية ضعيفة. وتحديداً:

• المجموعات الفاشلة كلياً (0/N) أو الناجحة كلياً (N/N): يتم استبعادها عادةً بواسطة خوارزميات تصفية المجموعات (مثل GRPO أو DAPO) لأنها لا تقدم أي إشارة ميزة نسبية.
• المجموعات المنحازة (مثل 1/8 أو 7/8): التي تنجو من عملية التصفية، لا تزال توفر إشارات تعلم دون المستوى الأمثل مقارنة بالمجموعات المتوازنة.
• هدر الحوسبة: يستهلك توليد هذه المسارات غير المعلوماتية موارد حوسبية هائلة ووقت تنفيذ طويل دون تحقيق فوائد تدريبية متناسبة.

تحاول الطرق الحالية التخفيف من ذلك من خلال التصفية الضمنية، أو أخذ العينات الديناميكي، أو حقن توجيه خارجي (تلميحات، بادئات أوراكل، أو آثار المعلم). ومع ذلك، تفشل هذه النهج غالباً في التحكم صراحةً في معدل نجاح المجموعات المستبقاة نحو النظام الأكثر معلوماتية، أو أنها تغير ميزانية الموارد والبروتوكول من خلال إدخال بيانات خارجية.

2. المنهجية: أخذ عينات البادئة (Prefix Sampling - PS)

يقترح المؤلفون التحكم في معدل نجاح التمرير (Rollout-PRC) كهدف صريح، حيث حددوا معدل نجاح بنسبة 50% كنقطة تشغيل مثالية للتعلم المعزز ذو المكافأة الثنائية. ثم قدموا أخذ عينات البادئة (PS)، وهو إطار عمل ثنائي الاتجاه يوجه مجموعات التمرير المنحازة نحو نظام الـ 50% هذا دون الحاجة إلى بيانات خارجية أو تغيير ميزانية التمرير.

2.1 الأساس النظري: لماذا 50%؟

يثبت البحث أن معدل نجاح بنسبة 50% ($p=0.5$) يعظم أربعة مقاييس متكاملة لقوة إشارة التعلم:

1. إنتروبيا المكافأة: تعظم المحتوى المعلوماتي للنتائج الثنائية.
2. احتمالية البقاء: تعظم احتمال بقاء المجموعة في عملية تصفية المجموعات (أي ألا تكون كلها فشلاً أو كلها نجاحاً).
3. طاقة ميزة RLOO: تعظم تباين تقديرات ميزة "ترك الواحد" (Leave-One-Out) تحت نظام GRPO.
4. الأزواج التباينية: تعظم عدد أزواج (النجاح–الفشل) المتاحة للتعلم التبايني داخل المجموعة.

2.2 إطار عمل أخذ عينات البادئة (PS)

يعمل أخذ عينات البادئة عن طريق إعادة تشغيل بادئات المسارات لضبط صعوبة الاستمرارية للمجموعات المنحازة:

• للمجموعات "الصعبة" (معدل نجاح منخفض، مثل 1/8 أو 2/8): يختار النظام مساراً ناجحاً من نفس الدفعة (أو بادئة محفوظة) ويعيد تشغيل بادئته. يعمل هذا بمثابة "بداية قوية"، حيث يوفر للسياسة الحالية حلاً جزئياً صحيحاً للاستمرار منه، مما يزيد من احتمالية الإكمال الناجح.
• للمجموعات "السهلة" (معدل نجاح مرتفع، مثل 6/8 أو 7/8): يختار النظام مساراً فاشلاً ويعيد تشغيل بادئته. يعمل هذا بمثابة "عائق"، حيث يجبر السياسة على التنقل في مسار صعب فشلت فيه سابقاً، مما يزيد من احتمالية الفشل ويخلق إشارة تباينية.

2.3 التنفيذ في البيئات ذات الحالة (Stateful Environments)

ابتكار رئيسي لـ PS هو قدرته على العمل في بيئات الوكيل ذات الحالة (مثل وكلاء البرمجة الذين يستخدمون الأدوات والتفاعل مع البيئة):

• إعادة التشغيل عبر التنفيذ (Replay-through-Execution): بدلاً من مجرد دمج النصوص، يقوم النظام بإعادة بناء حالة الوكيل (الكود، سجل المحادثة، مخرجات الأدوات، حالة البيئة) عن طريق تمرير استجابات البادئة المحفوظة عبر محلل الإجراءات القياسي ومنفذ البيئة.
• قناع البادئة (Prefix Masking): لضمان بقاء تحديد المسؤولية (credit assignment) ضمن السياسة (on-policy)، يتم وضع قناع (masking) لجميع الرموز (tokens) في البادئة المعاد تشغيلها. يقتصر التحسين فقط على رموز الاستمرارية التي تولدها السياسة الحالية. هذا يمنع النموذج من تلقي الفضل مقابل إجراءات لم يولدها، بينما لا يزال يستفيد من الحالة المعاد بناؤها.
• التحكم التكيفي: يحافظ متحكم تكيفي على متوسط متحرك أسي (EMA) لمعدل نجاح إعادة التمرير لكل "وعاء" من الانحياز (1/8، 2/8، 6/8، 7/8). ويقوم ديناميكياً بضبط نسبة البادئة (طول البادئة المراد إعادة تشغيلها) لتوجيه معدل نجاح كل وعاء نحو الهدف 0.5.

3. المساهمات الرئيسية

1. صياغة Rollout-PRC: يحدد البحث ويصيغ التحكم في معدل النجاح كهدف كفاءة مبدئي للتعلم المعزز ذي المكافأة الثنائية، ويثبت أن معدل نجاح 50% يعظم إنتروبيا المكافأة، وطاقة الميزة، والبنية التباينية.
2. خوارزمية أخذ عينات البادئة (PS): إطار عمل ثنائي الاتجاه يستخدم بادئات مولدة ذاتياً (بدون أو راكل خارجي) لتوجيه المجموعات المنحازة. وهي تدعم بشكل فريد بيئات الوكيل ذات الحالة عبر "إعادة التشغيل عبر التنفيذ" وقناع البادئة.
3. التحقق التجريبي: تم إثبات ذلك عبر مقاييس متعددة (من Qwen3-4B إلى 32B) وفي مجالات (SWE-bench و AIME 2025)، مما يظهر أن PS يحقق أداء مستوى الأساس في خطوات أقل ويقدم تسريعاً كبيراً في الوقت الفعلي.

4. النتائج التجريبية

قيم المؤلفون PS على SWE-bench Verified (التعلم المعزز الوكيل) و AIME 2025 (الاستدلال الرياضي) باستخدام نماذج Qwen3 (4B, 8B, 14B, 32B).

4.1 أداء الاختبارات المعيارية

• SWE-bench Verified:
  • Qwen3-14B: وصل إلى ذروة أداء الأساس (0.273) عند الخطوة 170 (مقابل 300 للأساس) وحقق ذروة جديدة قدرها 0.295 (+4.7 نقطة مئوية).
  • Qwen3-32B: وصل إلى ذروة الأساس عند الخطوة 290 (مقابل 410) وحقق ذروة قدرها 0.422 (+5.4 نقطة مئوية).
• AIME 2025:
  • Qwen3-4B: وصل إلى ذروة الأساس عند الخطوة 140 (مقابل 230) مع زيادة قدرها +7.3 نقطة مئوية.
  • Qwen3-8B: وصل إلى ذروة الأساس عند الخطوة 190 (مقابل 260) مع زيادة قدرها +10.8 نقطة مئوية.

4.2 الكفاءة والتسريع

• التسريع من البداية إلى النهاية: قدم PS تسريعاً بمقدار 2.01× لـ Qwen3-14B و 1.55× لـ Qwen3-32B.
• كفاءة التدريب: انخفض عدد خطوات التدريب للوصول إلى درجة المهمة العادية للأساس بمقدار 1.51× إلى 1.92× عبر النماذج.
• المجموعات الصالحة: زاد عدد مجموعات التمرير الصالحة (غير المتدهورة) لكل دفعة بشكل كبير (على سبيل المثال، من 25.9 إلى 36.7 لـ 14B)، مما يشير إلى استخدام أكثر كفاءة لميزانية التمرير.
• وقت التنفيذ (Wall-Clock Time): في عمليات SWE ذات الحالة، قلل إعادة تشغيل البادئة من وقت التنفيذ لكل خطوة من خلال إعادة استخدام الحالات المعاد بناؤها بدلاً من إعادة توليد البادئات، مما ساهم في التسريع الإجمالي.

4.3 دراسات الاستئصال (Ablation Studies)

أكدت دراسات الاستئصال على تجربة الرياضيات لـ 4B تفكيك المكاسب:

• إعادة التشغيل (Replay): المحرك الرئيسي لسرعة التقارب (تسريع بمقدار 1.61× مع إعادة تشغيل ثابتة).
• التحكم التكيفي: ضروري لإبقاء معدلات نجاح إعادة التمرير قريبة من 0.5؛ حيث أدت النسب الثابتة إلى معدلات نجاح دون المستوى (مثل 0.36 أو 0.65) وتقارب أبطأ.
• التغطية ثنائية الاتجاه: التحكم في كلا الوعاءين (السهل والصعب) ضروري؛ حيث أدى التحكم في الوعاءات الصعبة فقط إلى مكاسب أقل بكثير.

5. الأهمية والادعاءات

يدعي البحث أن أخذ عينات البادئة (Prefix Sampling) يقدم طريقة فعالة من حيث الموارد ومنضبطة لتحسين تدريب RLVR ذي المكافأة الثنائية دون الاعتماد على إشراف خارجي أو زيادة ميزانيات الحوسبة.

• الآلية: تُعزى المكاسب إلى توجيه المجموعات المنحازة، الناجحة جزئياً، نحو نظام الـ 50% عالي الإشارة، وبالتالي زيادة إنتروبيا المكافأة والأزواج التباينية.
• القدرة على التعامل مع الحالة: على عكس الطرق السابقة التي تعتمد على دمج النصوص فقط، ينجح PS في إعادة بناء بيئات الوكيل ذات الحالة (الكود، الأدوات، التاريخ) من خلال إعادة تشغيل التنفيذ، مما يجعله قابلاً للتطبيق في المهام الوكيلية المعقدة.
• التواضع في الادعاء: يذكر المؤلفون صراحةً أن ادعاءاتهم محصورة في RLVR ذي المكافأة الثنائية مع التمرير المجموعاتي. هم لا يدعون أن 50% هي المثلى لجميع تصميمات المناهج أو أن الطريقة تلغي الحاجة إلى بيانات متنوعة؛ بل هي تحسن استخدام ميزانية التمرير الحالية. تُقدم الطريقة كـ "متحكم جاهز للتركيب" (drop-in controller) متوافق مع خطوط أنابيب GRPO++.

باختملام، يوضح البحث أنه من خلال الإدارة النشطة لمعدل نجاح مجموعات التمرير لاستهداف 50%، يمكن تسريع تدريب أنظمة RL الوكيلية بشكل كبير مع الحفاظ على الأداء النهائي أو تحسينه، وكل ذلك ضمن نفس القيود الحوسبية المعتادة.