💻 computer science

Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards

تقدم هذه الورقة البحثية VIP، وهي استراتيجية تخصيص تنبؤي معلوماتي للتباين (Variance-Informed Predictive allocation) تعمل على تحسين توزيع عمليات التدحرج (rollout distribution) عبر مطالبات التدريب ديناميكيًا باستخدام تقدير التباين القائم على العمليات الغاوسية لتقليل تباين التدرج وتحسين كفاءة أخذ العينات بشكل كبير في التعلم التعزيزي عبر الإنترنت مع مكافآت قابلة للتحقق.

المؤلفون الأصليون: Hieu Trung Nguyen, Bao Nguyen, Wenao Ma, Yuzhi Zhao, Ruifeng She, Viet Anh Nguyen

نُشر 2026-03-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hieu Trung Nguyen, Bao Nguyen, Wenao Ma, Yuzhi Zhao, Ruifeng She, Viet Anh Nguyen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يحاول تدريب طالب عبقري لكنه يفتقر للخبرة (الذكاء الاصطناعي) لحل مسائل رياضية معقدة أو استخدام أدوات مثل محركات البحث. لديك قدر محدود من "وقت الحصة" (الميزانية الحسابية) ومجموعة من أسئلة التدريب.

في الماضي، كانت الطريقة القياسية (المسماة GRPO) تعامل كل سؤال بنفس الطريقة تماماً. كنت تقول: "حسناً، لكل سؤال في هذه المجموعة، يُسمح للطالب بمحاولة حله 16 مرة".

المشكلة:
هذا الأمر غير فعال للغاية.

سهل جداً: بعض الأسئلة بسيطة لدرجة أن الطالب يحلها بشكل صحيح من المحاولة الأولى. جعل الطالب يحاول 16 مرة أخرى هو إضاعة للوقت.
صعب جداً: بعض الأسेंلة مستحيلة بالنسبة لمستوى الطالب الحالي، مهما حاول، سيخطئ فيها في كل مرة. إضاعة 16 محاولة هنا هي أيضاً إضاعة للوقت.
مناسب تماماً: الأسئلة التي تكون "تحدياً ولكنها قابلة للحل" هي التي يتعلم منها الطالب أكثر. لكن الطريقة القديمة لم تكن تعرف ماهية هذه الأسئلة، لذا كانت توزع "المحاولات" بالتساوي على الجميع.

الحل: VIP (التخصيص التنبؤي القائم على التباين)
يقدم المؤلفون استراتيجية جديدة تسمى VIP. فكر في VIP كمساعد تدريس ذكي وبديهي يراقب الطالب عن كثب ويعدل خطة الدرس في الوقت الفعلي.

إليك كيف يعمل VIP، باستخدام تشبيه بسيط:

1. "الكرة البلورية" (العملية الغاوسية - Gaussian Process)

قبل أن يبدأ الطالب مجموعة جديدة من الأسئلة، يستخدم VIP "كرة بلورية" (نموذج رياضي يسمى العملية الغاوسية) للتنبؤ باحتمالية نجاح الطالب في كل سؤال محدد.

ينظر إلى أداء الطالب السابق.
ينظر إلى مدى تشابه الأسين الجديدة مع الأسئلة القديمة.
يتنبأ: "هذا السؤال غالباً سهل جداً (نسبة نجاح 99%)، وهذا صعب جداً (نسبة نجاح 1%)، وهذا هو المستوى المثالي (نسبة نجاح 50%)".

2. "مدير الميزانية" (التحسين - Optimization)

الآن، يمتلك VIP عدداً محدداً من "المحاولات" (rollouts) لإنفاقها على الفصل بأكمله. بدلاً من إعطاء الجميع 16 محاولة، يعمل VIP كمدير ميزانية محنك:

الأسئلة السهلة: "أنت جيد في هذا بالفعل. سأعطيك 3 محاولات فقط للتأكد من معرفتك به". (توفير الموارد!)
الأسئلة المستحيلة: "هذا حالياً خارج نطاق قدراتك. سأعطيك 3 محاولات فقط لترى ما إذا كنت ستنجح بالصدفة، لكنني لن أضيع مزيداً من الوقت". (توفير الموارد!)
الأسئلة "المناسبة تماماً": "هنا تتعلم! سأعطيك 25 محاولة حتى تتمكن من استكشاف طرق مختلفة للحل وإتقان المفهوم حقاً". (تعظيم التعلم!)

3. الهدف: تقليل "الضجيج"

بلغة الذكاء الاصطنا oil، الهدف هو تقليل التباين (أو "الضجيج").

إذا خمنت عشوائياً في سؤال سهل، فإن إجابتك لا تعلمك أي شيء جديد.
إذا خمنت عشوائياً في سؤال صعب، فإن إجابتك ليست سوى ضجيج.
ولكن إذا ركزت طاقتك على الأسئلة "غير المؤكدة" (التي يكون الطالب فيها على الحافة)، فإن كل محاولة توفر إشارة واضحة وعالية الجودة ليتعلم منها الذكاء الاصطناعي.

لماذا يعد هذا أمراً مهماً؟

تظهر الورقة البحثية أنه باستخدام VIP، يتعلم الذكاء الاصطناعي بسرعة أكبر وبشكل أفضل باستخدام نفس القدر من قوة الكمبيوتر.

التشبيه: تخيل أن لديك دلواً من الماء (قوتك الحسابية). الطريقة القديمة كانت تصب الماء بالتساوي فوق حقل كامل، مما يترك بعض البقع جافة وبعضها غارقاً. أما VIP فيعمل كبستاني يعرف بالضبط النباتات العطشى ويصب الماء هناك فقط، مما يؤدي إلى حديقة أكثر صحة باستخدام نفس كمية الماء.

باختصار:
يتوقف VIP عن معاملة جميع مشاكل تدريب الذكاء الاصطناعي على أنها بنفس الصعوبة. إنه يستخدم نظام تنبؤ ذكي لمعرفة أي المشكلات هي الأكثر قيمة للتعلم في الوقت الحالي، ويصب معظم القوة الحسابية على تلك المشكلات تحديداً. والنتيجة هي ذكاء اصطناعي أكثر ذكاءً يتم تدريبه في وقت أقل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التخصيص التكيفي لعمليات الـ Rollout في التعلم المعزز عبر الإنترنت مع المكافآت القابلة للتحقق" (VIP)، المنشورة في ICLR 2026.

1. بيان المشكلة

في مجال التعلم المعزز مع المكافآت القابلة للتحقق (RLVR)، مثل تحسين السياسة النسبي للمجموعات (GRPO) ومتغيراته (RLOO، Dr. GRPO)، غالبًا ما تتعطل كفاءة التدريب بسبب التكلفة الحسابية لتوليد عدة "عمليات rollout" (استجابات مرشحة) لكل مطالبة (prompt) تدريبية.

القصور الحالي: تتبع الطرق الموجودة عادةً تخصيصًا ثابتًا ومتساويًا لعدد عمليات الـ rollout (على سبيل المثال، $n=16$ ) لكل مطالبة في دفعة التدريب.
الخلل: يفترض هذا التخصيص المتساوي أن جميع المطالبات متساوية في الأهمية المعلوماتية. ومع ذلك، فإن المطالبات التي تمتلك فيها النماذج احتمالية نجاح عالية جدًا أو منخفضة جدًا تساهم بشكل ضئيل في إشارة التدرج (تباين منخفض)، بينما تساهم المطالبات ذات احتمالات النجاح المتوسطة بشكل كبير. التخصيص المتساوي يهدر الميزانية الحسابية على المطالبات "السهلة" أو "المستحيلة"، ويخصص موارد غير كافية للمطالبات "الصعبة" ولكن القابلة للتعلم.
الهدف: تطوير استراتيجية مبدئية لتخصيص ميزانية حسابية ثابتة (إجمالي عمليات الـ rollout) عبر دفعة من المطالبات لـ تقليل توقع تباين التدرج (expected gradient variance) لتحديث السياسة، وبالتالي تعظيم كفاءة أخذ العينات.

2. المنهجية: VIP (التنبؤ القائم على التباين)

يقترح المؤلفون VIP، وهو إطار عمل يجمع بين تحليل تباين التدرج النظري واستراتيجية التخصيص التنبؤية. يعمل سير العمل في مرحلتين رئيسيتين لكل دورة تدريبية:

أ. التحليل النظري لتباين التدرج

تستنتج الورقة أولاً العلاقة بين تباين التدرج لخوارزميات التعلم المعزز القائمة على المجموعات واحتمالية النجاح ( $p$ ) للمطالبة.

Dr. GRPO: يتناسب تباين مُقدّر التدرج لمطالبة باحتمالية نجاح $p$ وعدد عمليات rollout يبلغ $n$ مع $\frac{n-1}{n^2} p(1-p)$ .
RLOO: يتناسب التباين مع $\frac{1}{n-1} p(1-p)$ .
الرؤية الجوهرية: يصل التباين إلى ذروته عندما تكون $p \approx 0.5$ (المطالبات غير المؤكدة) ويصل إلى أدنى مستوياته عندما تكون $p \approx 0$ أو $p \approx 1$ (المطالبات المؤكدة). لتقليل إجمالي تباين الدفعة، يجب على النظام تخصيص المزيد من عمليات الـ rollout للمطالبات التي تقترب فيها $p$ من 0.5، وأقل للمطالبات القريبة من 0 أو 1.

ب. النمذجة التنبؤية (العملية الغاوسية - Gaussian Process)

بما أن احتمالية النجاح الحقيقية $p$ غير معروفة قبل توليد عمليات الـ rollout، يستخدم VIP عملية غاوسية (GP) لتقديرها.

المدخلات: تمثيلات المطالبة (embeddings) (مثل sentence transformer).
النموذج: دالة كامنة $g(x)$ تنمذج لوغاريتم النسب الفردية (log-odds) للنجاح، حيث $p = \text{sigmoid}(g(x))$ .
التحديثات المتكررة: تحافظ العملية الغاوسية (GP) على توزيع خلفي (posterior distribution) للاحتمالات الناجحة. ومع تدريب النموذج ومراقبة نتائج (مكافآت) الـ rollout الجديدة، تقوم الـ GP بتحديث اعتقادها (المتوسط والتباين) لجميع المطالبات في مجموعة البيانات، مما يتكيف مع السياسة المتطورة $\pi_\theta$ .
الميزة: بخلاف الاستدلالات البسيطة (مثل المتوسطات المتحركة)، تلتقط الـ GP بنية التشابه بين المطالبات وتتعامل مع الطبيعة غير المستقرة لعملية التدريب (حيث تتغير $p$ مع تحسن النموذج).

ج. التخصيص التكيفي للميزانية (التحسين المحدب)

بمجرد أن تتنبأ الـ GP باحتمالية النجاح $\hat{p}_q$ لكل مطالبة $q$ في الدفعة الحالية، يحل VIP مسألة تحسين لتحديد عدد عمليات الـ rollout الأمثل $n_q$ لكل مطالبة.

الهدف: تقليل مجموع تباينات التدرج المتوقعة عبر الدفعة.
القيود:
- الميزانية الإجمالية: $\sum n_q = C$ (إجمالي عمليات الـ rollout الثابتة).
- الحدود: $L \le n_q \le U$ (الحد الأدنى والأقصى لعمليات الـ rollout لكل مطالبة لضمان الاستقرار ومنع الإفراط في التخصيص).
الحل: يثبت المؤلفون أن التخفيف المستمر (continuous relaxation) لهذه المسألة هو مسألة محدبة. وقد اشتقوا حلاً دقيقاً باستخدام مضاعفات لاجرانج (طريقة التنصيف/bisection method)، واقترحوا استدلال تقريب جشع (greedy rounding heuristic) لتحويل الحل المستمر إلى تخصيص صحيح (integer allocation) يلبي قيد الميزانية الصارم.

3. المساهمات الرئيسية

تحليل تباين التدرج: اشتقاق دقيق لتباين التدرج لـ Dr. GRPO وRLOO، مما يؤسس رابطاً رياضياً مباشراً بين التباين، وعدد عمليات الـ rollout، واحتمالية النجاح.
التنبؤ القائم على التباين: تقديم إطار عمل يعتمد على الـ GP للتنبؤ باحتمالات نجاح المطالبات ديناميكياً، مع الاستفادة من تمثيلات المطالبات والتحديثات البايزية المتكررة للتعامل مع ديناميكيات التدريب غير المستقرة.
خوارزمية التخصيص الأمثل: تطوير خوارزمية فعالة لحل مسألة التحسين المحدب المقيدة لتخصيص عمليات الـ rollout، مما يوفر حلولاً دقيقة للتخفيفات المستمرة واستدلالاً عملياً للقيود الصحيحة.
التحقق التجريبي: تجارب واسعة النطاق تثبت أن VIP يتفوق باستمرار على استراتيجيات التخصيص الموحدة والاستدلالية عبر العديد من الاختبارات المرجعية وأحجام النماذج المختلفة.

4. النتائج التجريبية

قيم المؤلفون VIP في مهام الاستدلال الرياضي (DAPO-MATH-17k، مقيمة عبر AIME2024/2025) والاستدلال المدعم بالأدوات (MuSiQue، Bamboogle) باستخدام نماذج أساسية متنوعة (Qwen2.5-Math-1.5B/7B، Llama-3.2-3B).

مكاسب الأداء:
- الاستدلال الرياضي: حسن VIP باستمرار مقاييس Pass@32 وMean@32. على سبيل المثال، في نموذج Qwen2.5-Math-1.5B مع ميزانية قدرها $8 \times Q$ ، أدى RLOO+VIP إلى تحسين Pass@32 بنسبة +12.3% مقارنة بـ RLOO القياسي.
- الاستدلال المدعم بالأدوات: في اختبار Bamboogle، رفع Dr. GRPO+VIP مقياس التطابق التام (EM) من 20% إلى 23.2%، مع تحسين جودة الاسترجاع (F1@5 وPrecision@5) في الوقت نفسه.
- الحساسية لحجم النموذج: كانت المكاسب النسبية أكثر وضوحاً في النماذج الأصغر (1.5B، 3B)، مما يشير إلى أن VIP يساعد النماذج الأضعف على استخدام ميزانية الـ rollout بشكل أكثر فعالية.
الكفاءة: التكلفة الحسابية للتنبؤ بالـ GP والتحسين ضئيلة (تضيف فقط ~0.8% إلى 1.1% إلى وقت التدريب الإجمالي)، حيث يتم تخزين حسابات النواة (kernel) مؤقتاً وعملية التحسين سريعة.
دراسات الاستبعاد (Ablation Studies): أدى إزالة متنبئ الـ GP (استبداله بـ Ridge Regression) أو المستخلص التكيفي (استبداله باستدلالات عكس الدقة/التباين) إلى انخفاض كبير في الأداء، مما يؤكد أن كلاً من التنبؤ المدرك لعدم اليقين والتخصيص المعتمد على تقليل التباين ضروريان.

5. الأهمية

كفاءة الموارد: يعالج VIP التكلفة الحسابية العالية لـ RLVR من خلال ضمان أن كل رمز (token) يتم توليده يساهم بأقصى قدر ممكن في إشارة التعلم. هذا أمر بالغ الأهمية لتوسيع نطاق تدريب RL للنماذج والبيانات الأكبر حيث تمثل الحوسبة عائقاً أساسياً.
نهج مبدئي: على عكس طرق "تعلم المناهج" (curriculum learning) أو الطرق القائمة على "الصعوبة" التي تعتمد على استدلالات أو أخذ عينات مسبقة، يوفر VIP طريقة مؤسسة نظرياً لتقليل تباين التدرج، مما يحسن مباشرة استقرار وسرعة التقارب.
القدرة على التعميم: إطار العمل مستقل عن النموذج ومتوافق مع مختلف خوارزميات التعلم المعزز القائمة على المجموعات (GRPO، RLOO، Dr. GRPO) ويمكن توسيعه ليشمل إعدادات المكافأة المستمرة.
التأثير المستقبلي: يمهد هذا العمل الطريق لخطوط إنتاج تدريب أكثر تكيفاً وكفاءة في استخدام الموارد للنماذج اللغوية الكبيرة (LLMs)، مما قد يقلل من البصمة الكربونية وتكلفة محاذاة النماذج مع النوايا البشرية أو المهام المعقدة.