🤖 AI

Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning

تقترح الورقة البحثية VIGOR، وهي طريقة لتخصيص التدفق عبر الإنترنت موجهة بالتباين، تقوم بتوزيع ميزانية توليد ثابتة ديناميكيًا على الأمثلة ذات تباين المكافأة الأعلى، مما يقلل بشكل كبير من التكاليف الحسابية ويحسن الاستقرار مع تحقيق أداء متفوق في مهام الاستدلال الرياضي والبرمجة مقارنة بـ GRPO القياسي.

المؤلفون الأصليون: Heyang Jiang, Henry Liu, Baharan Mirzasoleiman

نُشر 2026-07-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Heyang Jiang, Henry Liu, Baharan Mirzasoleiman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جداً، ولكنه مشتت الذهن قليلاً، كيف يحل الألغاز المعقدة مثل المسائل الرياضية أو كتابة أكواد الكمبيوتر. لا يمكنك الجلوس هناك وشرح كل خطوة؛ بدلاً من ذلك، تترك الروبوت يحاول، وعندما يصل إلى إجابة صحيحة، تعطيه "تحية حارة" (مكافأة). وعندما يخطئ، تقول له بلطف "حاول مرة أخرى". هذه العملية تسمى "التعلم التعزيزي" (Reinforcement Learning). يستمر الروبوت في تجربة طرق مختلفة لحل المشكلة، ومع مرور الوقت، يتعلم أي المسارات تؤدي إلى التحيات الحارة وأيها يؤدي إلى طريق مسدود.

ولكن، هناك عقبة. لكي يتعلم الروبوت بفعالية، يحتاج إلى تجربة الكثير من المسارات المختلفة. إذا جرب مساراً أو اثنين فقط، فقد يحالفه الحظ ويظن أن مساراً سيئاً هو في الواقع مسار جيد. ولكن إذا جرب آلاف المسارات، فسيكون ذلك هدراً هائلاً للوقت والكهرباء، خاصة وأن معظم تلك المسارات مملة أو عديمة الفائدة. الأمر يشبه مطالبة طالب بكتابة 100 مقال ليتعلم الكتابة، بينما 90 منها مجرد خربشات لا تعلمه أي شيء جديد. السؤال الكبير للعلماء هو: كيف نجعل الروبوت يجرب العدد الصحيح من المسارات دون إضاعة الطاقة على المسارات المملة؟

هنا يأتي دور طريقة جديدة تسمى VIGOR. فكر في عملية تعلم الروبوت كأنها لعبة "ساخن وبارد". في الطريقة القديمة (التي تسمى GRPO)، كان الروبوت يحاول عشوائياً نفس عدد التخمينات لكل لغز، بغض النظر عما إذا كان اللغز سهلاً أم صعباً. كان الأمر يشبه معلماً يعطي جميع الطلاب نفس القدر من الواجبات المنزلية، حتى لو كان بعضهم يعرف الإجابة بالفعل والبعض الآخر تائه تماماً.

أدرك الباحثون وراء VIGOR أن المعلومات الأكثر فائدة تأتي من اللحظات التي يكون فيها الروبوت "غير متأكد". إذا حاول الروبوت حل مسألة رياضية وحصل على مزيج من الإجابات الصحيحة والخاطئة، فإن هذا "التباين" (أو الاختلاف) هو إشارة إلى أنه يتعلم شيئاً مهماً. ولكن إذا حصل على نفس الإجابة الخاطئة في كل مرة، أو نفس الإجابة الصحيحة في كل مرة، فهو يضيع الوقت فحسب.

تغير VIGOR قواعد اللعبة من خلال العمل كمدرب ذكي يراقب محاولات الروبوت الأولى. بدلاً من إعطاء كل لغز عدداً ثابتاً من المحاولات، تبدأ VIGOR بالسماح للروبوت بتقديم تخمينين فقط في كل شيء. ثم تنظر في النتائج:

إذا حصل الروبوت على نفس الإجابة في كل مرة (تباين منخفض)، يقول المدرب: "حسناً، لقد فهمنا، فلننتقل لما بعده".
إذا كانت إجابات الروبوت مشتتة وفي كل مكان (تباين عالٍ)، يقول المدرب: "هذا اللغز صعب! دعونا نعطيه المزيد من المحاولات لفهمه".

تقوم الطريقة بعد ذلك بصب "طاقة التخمين" (العمليات/rollouts) فقط في الألغاز التي تسبب أكبر قدر من الارتباك، بينما تتجاهل تلك السهلة جداً أو المعطلة تماماً بحيث لا يمكن التعلم منها. إنه يشبه لعبة فيديو تقوم بإنتاج أعداء أكثر صعوبة فقط للاعب الذي يعاني، بدلاً من جعل المستويات السهلة أصعب لمجرد ملء الوقت.

تظهر الورقة البحثية أن هذا النهج يغير قواعد اللعبة. فباستخدام هذه الاستراتيجية "الموجهة بالتباين"، يصل الروبوت إلى نفس مستوى المهارة باستخدام عدد أقل بكثير من التخمينات. في المسائل الرياضية، وصلت VIGOR إلى دقة الهدف باستخدام عدد أقل من التخمينات بمقدار 2.3 مرة مقارنة بالطريقة القياسية. وفي مهام البرمجة، وصلت إلى نفس معدل النجاح باستخدام عدد أقل بمقدار 1.49 مرة، بل وحسنت معدل النجاح النهائي بمقدار 3.4 نقطة.

يشير المؤلفون إلى أن هذا ليس مجرد تعديل بسيط؛ بل هو تحول جذري في كيفية تعليم الذكاء الاصطنا-للتفكير. لقد قاسوا هذه النتائج عبر أحجام مختلفة من نماذج الذكاء الاصطناعي ووجدوا أن VIGOR تتعلم باستمرار بشكل أسرع وأكثر كفاءة. إنها تثبت أنك لست بحاجة إلى إلقاء المزيد من القوة الحوسبية على المشكلة لحلها؛ بل تحتاج فقط إلى أن تكون أذكى في مكان إنفاق هذه القوة. ومن خلال التركيز فقط على لحظات عدم اليقين، تساعد VIGOR الذكاء الاصطناعي على تعلم التفكير بشكل أكثر فعالية، محولةً عملية التجربة والخطأ الفوضوية إلى رحلة اكتشاف مركزة وفعالة.

ملخص تقني: VIGOR – تخصيص التدحرج عبر الإنترنت الموجه بالتباين

1. بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) نموذجاً مهيمناً لتعزيز قدرات الاستنتاج لدى النماذج اللغوية الكبيرة (LLMs)، حيث يمثل تحسين المجموعة النسبي للسياسة (GRPO) أحد أبرز تطبيقاته. ومع ذلك، يواجه GRPO تحديات كبيرة في الكفاءة والاستقرار:

عنق زجاجة حوسبي: يعتمد GRPO على توليد عدد ثابت وكبير من عمليات التدحرج (rollouts) لسلسلة الأفكاء (CoT) لكل مطالبة (prompt). ويكشف التحليل التجريبي في الورقة أن توليد التدحرج يستهلك ما لا يقل عن 50% من إجمالي وقت التدريب، وهو يتوسع خطياً مع عدد عمليات التدحرج.
عدم تطابق المعلوماتية: جزء كبير من عمليات التدحرج المولدة غير معلوماتية، وغالباً ما تظهر تبايناً ضئيلاً أو معدوماً في المكافأة داخل المجموعة الواحدة. هذه العينات تساهم بإشارات تدرج (gradient signals) ضئيلة، مما يهدر الموارد الحوسبية.
عدم كفاءة الحلول الحالية: الاستراتيجيات الحالية لتحسين الكفاءة إما تولد عمليات تدحرج مفرطة لتصفية المطالبات الصعبة (مما يسبب عبئاً عالياً) أو تعتمد على الإشارات التاريخية لتصفية البيانات في مراحل تدريب لاحقة. تفشل هذه النهج في إعطاء الأولوية للأمثلة المعلوماتية خلال المراحل الأولى من التدريب، والتي حددها المؤلفون بأنها بالغة الأهمية لتحقيق مكاسب الأداء النهائية.

2. المنهجية: VIGOR

يقترح المؤلفون تخصيص التدحرج عبر الإنترنت الموجه بالتباين (VIGOR)، وهو إطار عمل تكراري لاختيار البيانات مصمم لتخصيص ميزانيات التدحرج بشكل تكيفي دون تعديل هدف تدريب GRPO الأساسي.

الرؤية النظرية الجوهرية

تستند الطريقة إلى ملاحظة نظرية تتعلق بحجم تدرج GRPO. في ظل إعداد المكافأة الثنائية (الشائع في RLVR)، يثبت المؤلفون أن حجم إشارة التدرج يتم التحكم فيه مباشرة من خلال تباين المكافأة داخل المجموعة ( $\sigma$ ). وتحديداً، يتم الحد من معيار التدرج بـ $M\sigma$ ، حيث $M$ هو حد على تدرجات نسبة الأهمية. وهذا يعني أن المطالبات ذات التباين العالي توفر أقوى إشارات التعلم، بينما المطالبات ذات التباين الصفري (حيث تتلقى جميع عمليات التدحرج نفس المكافأة) لا توفر أي إشارة تدرج.

الإطار الخوارزمي

على عكس GRPO القياسي، الذي يخصص عدداً ثابتاً من عمليات التدحرج ( $G$ ) لكل مطالبة في تمريرة واحدة، يعمل VIGOR بشكل تكراري داخل كل خطوة تدريب:

التهيئة: لمجموعة من المطالبات، يبدأ VIGOR بميزانية تدحرج أولية صغيرة ( $m_0$ ) لجميع الأمثلة.
التحسين التكراري: عبر $T$ $T$ من دورات التحسين:
- التوليد: يتم توليد عمليات تدحرج جديدة للمجموعة الفرعية النشطة حالياً من المطالبات.
- تقدير التباين: يتم حساب درجة المنفعة لكل مطالبة باعتبارها تباين مكافآت عمليات التدحرج المتراكمة لها.
- الاختيار: يتم الاحتفاظ بأعلى نسبة $\alpha$ من المطالبات ذات التباين الأعلى للمرحلة التالية.
- توسيع الميزانية: يتم ضرب ميزانية التدحرج للمطالبات المحتفظ بها في عامل توسيع $\gamma$ ( $m_{t+1} = \gamma m_t$ ).
التحديث: بمجرد استنفاد إجمالي الميزانية أو اكتمال الدورات، تُستخدم جميع عمليات التدحرج المتراكمة لحساب المزايا وتحديث السياسة عبر GRPO القياسي.

تتركز هذه العملية بفعالية الموارد الحوسبية على المطالبات "الصعبة" أو "غير المؤكدة" (عالية التباين) مع التخلص من المطالبات منخفضة القيمة مبكراً، مما يتجنب تكلفة توليد عمليات تدحرج كاملة للعينات غير المعلوماتية.

التسريع النظري

استنتج المؤلفون نسبة تسريع مغلقة الصيغة لـ VIGOR مقارنة بـ GRPO. بافتراض أن تباين المكافأة على مستوى المطالبة يتبع توزيع باريتو (ذو ذيل ثقيل)، فإن نسبة أزمنة التدريب ( $\tau_{GRPO} / \tau_{VIGOR}$ ) تنمو مع عدد جولات التحسين $T$ . يشير هذا إلى أن مكاسب الكفاءة في VIGOR مضمونة نظرياً وتزداد مع قيام عملية التدريب بتدقيق تركيزها على المجموعة الفرعية الأكثر معلوماتية من البيانات.

3. المساهمات الرئيسية

تحديد التباين كإشارة: تثبت الورقة أن تباين المكافأة هو وسيط مباشر لحجم التدرج في GRPO، مما يوفر أساساً نظرياً للاختيار الموجه بالتباين.
خوارزمية VIGOR: استراتيجية مبتكرة لتخصيص التدحرج عبر الإنترنت، تقوم بنقل الحوسبة ديناميكياً نحو المطالبات عالية التباين دون الحاجة إلى نماذج مساعدة، أو بيانات تاريخية، أو تعديلات على هدف GRPO.
التحليل النظري: اشتقاق نسبة تسريع التقارب التي تثبت تفوق VIGOR على التخصيص الموحد، خاصة تحت توزيعات التباين ذات الذيل الثقيل الشائعة في مهام الاستنتاج.
التحقق التجريبي الشامل: تجارب واسعة النطاق عبر مهام الاستنتاج الرياضي والبرمجي باستخدام مقاييس نماذج متعددة (Qwen2.5-1.5B/3B/7B, Phi-4-Mini, Qwen3-8B).

4. النتائج التجريبية

قيم المؤلفون VIGOR مقابل GRPO القياسي والأساليب المتقدمة (GRESO, RL-ZVP, PODS) على ستة معايير للاستنتاج الرياضي وLiveCodeBench v6.

الاستنتاج الرياضي:
- يصل VIGOR إلى الدقة المستهدفة باستخدام ما يصل إلى 2.3 ضعف أقل من عمليات التدحرج مقارنة بـ GRPO وGRESO وRL-ZVP (تحديداً على Qwen2.5-3B).
- في المقارنات المتكافئة من حيث عدد عمليات التدحجم، يحقق VIGOR أفضل متوسط درجات عبر جميع مقاييس النماذج الأربعة المختبرة.
- حتى عند مقارنته بـ GRESO-g (الذي يستخدم ضعف ميزانية التدحرج تقريباً)، يحقق VIGOR درجات متوسطة أعلى في معظم المعايير.
البرمجة (LiveCodeBench v6):
- على Qwen3-8B، يصل VIGOR إلى معدل التمريرة الكاملة لـ GRPO باستخدام 1.49 ضعف أقل من عمليات التدحرج (انخفاض بنسبة 32.9%).
- يحسن VIGOR متوسط معدل اجتياز الاختبار بمقدار 3.4 نقطة مئوية (من 63.4% إلى 66.8%) مقارنة بـ GRPO.
الكفاءة والعبء الإضافي:
- تظهر قياسات وقت التشغيل الفعلي (Wall-clock time) أن VIGOR لا يفرض أي عبء زمني إضافي مقارنة بـ GRPO الأساسي عند نفس ميزانية التدحرج.
- يعد VIGOR أسرع بكثير من GRESO، الذي يتطلب توليد عمليات تدحرج إضافية للتصفية.
- تؤكد دراسات الاستئصال (Ablation studies) أن الاختيار القائم على التباين يتفوق على الاختيار العشوائي والاختيار القائم على الصعوبة، مما يؤكد الدوافع النظرية.

5. الأهمية والادعاءات

تدعي الورقة أن VIGOR يوفر آلية بسيطة وفعالة لتحسين كفاءة تدريب RLVR. تكمن أهميته في:

التحسين في المراحل المبكرة: من خلال تخصيص الموارد بشكل تكيفي بناءً على إشارات التباين عبر الإنترنت، يضمن VIGOR أن مراحل التدريب الحرجة الأولى تستخدم الحوسبة على الأمثلة الأكثر معلوماتية، مما يعالج قصوراً رئيسياً في الطرق المعتمدة على التاريخ.
الحفاظ على النموذج: على عكس الطرق التي تغير هدف التدريب أو تتطلب إشارات مساعدة معقدة، يعمل VIGOR ضمن إطار GRPO القياسي، مما يجعله سهل التكامل.
القابلية للتوسع: أظهرت الطريقة أداءً قوياً عبر أحجام نماذج ومجالات مهام مختلفة (الرياضيات والبرمجة)، مما يشير إلى أن توليد التدحرج التكراري الموجه بالتباين هو استراتيجية قابلة للتعميم لكفاءة الحوسبة في الاستنتاج.

يخلص المؤلفون إلى أن VIGOR يمثل اتجاهاً واعداً لتوسيع نطاق RLVR، مما يمكن النماذج من تحقيق أداء أعلى بميزانيات حوسبية أقل بكثير.