Actor-Curator: Co-adaptive Curriculum Learning via Policy-Improvement Bandits for RL Post-Training

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ACTOR-CURATOR: Co-adaptive Curriculum Learning via Policy-Improvement Bandits for Scalable RL Post-Training."

١. بيان المشكلة

يعتمد تدريب ما بعد التعلم المعزز (RL post-training) للنماذج اللغوية الكبيرة (LLMs) بشكل كبير على اختيار مسائل التدريب من مجموعات بيانات ضخمة وغير متجانسة. ويؤثر اختيار البيانات بشكل كبير على استقرار التدريب، وكفاءة العينات، والأداء النهائي.

• التحديات:

  • الحجم والتنوع: مجموعات البيانات ضخمة جداً بحيث لا يمكن تنسيقها يدوياً أو عبر الإحصائيات الجدولية.

  • عدم الاستقرار (Non-Stationarity): تتغير فائدة المسألة مع تحسن السياسة (الممثل/Actor)؛ فالمسألة التي تُعتبر "صعبة" لنموذج ضعيف قد تصبح "سهلة" لنموذج قوي.

  • التغذية الراجعة الجزئية: يراقب النظام فقط المكافآت للمسائل المختارة، وليس لكامل مجموعة البيانات، مما يخلق مقايضة كلاسيكية بين الاستكشاف والاستغلال (exploration-exploitation trade-off).

  • هشاشة الطرق الحالية: يعتمد التعلم المنهجي (Curriculum Learning) التقليدي على تسميات صعوبة يدوية، أو حاويات ثابتة، أو إشارات استدلالية (مثل متوسط التفوق المطلق)، وهي طرق تفشل في التعميم أو التكيف مع ديناميكيات السياسة المتطورة.

المشكلة الجوهرية هي تصميم استراتيجية اختيار بيانات تلقائية وتكيفية تختار ديناميكياً المسائل التي يجب أن يتدرب عليها النموذج اللغوي الكبير في كل تكرار، وذلك لتعظيم الأداء العام في مرحلة ما بعد التدريب دون تدخل بشري.

٢. المنهجية: ACTOR-CURATOR

يقترح المؤلفون إطار عمل ACTOR-CURATOR (AC)، وهو إطار يعمل على تدريب مشترك لكل من الممثل (Actor) (النموذج اللغوي الكبير الذي يتم تحسينه) والمنسق (Curator) (شبكة عصبية تختار بيانات التدريب).

المفهوم الجوهري

يعامل إطار العمل اختيار المسائل كـ مشكلة "بانديت" (Bandit) عشوائية غير مستقرة. يتعلم المنسق تخصيص الاحتمالات للمسائل بناءً على مساهمتها المتوقعة في تحسين السياسة، بدلاً من مقاييس الصعوبة الثابتة.

المكونات الرئيسية

1. إشارة تعلم تحسين السياسة:

   • بدلاً من استخدام الاستدلالات مثل "التفوق المطلق"، يشتق AC إشارة مبدئية تعتمد على هوية فرق الأداء (Kakade & Langford, 2002).
   • تُعرَّف فائدة المسألة $x$ بأنها مساهمتها الهامشية في المكافأة المتوقعة تحت توزيع التقييم:
     $$u_x^t = p_X(x) \mathbb{E}_{y \sim \pi_t} \left[ \frac{\pi_{t+1}(y|x)}{\pi_t(y|x)} A_{\pi_t}(y|x) \right]$$
   • هذه الإشارة واعية بالممثل (actor-aware)، مما يعني أنها تقيس مباشرة مدى مساعدة مسألة معينة للسياسة الحالية في التحسن.

2. النزول المتدرج المرآتي العشوائي عبر الإنترنت (OSMD):

   • يتم تحسين المنسق باستخدام OSMD، وهو خوارزمية "بانديت" مصممة للبيئات غير المستقرة ذات التغذية الراجعة الجزئية.
   • الهدف: تقليل الندم (Regret) مقابل أفضل تسلسل لتوزيعات اختيار المسائل في الماضي.
   • قاعدة التحديث: يقوم المنسق بتحديث توزيعه $p_t$ بناءً على تغذية "البانديت" الراجعة (الفائدة المقدرة) باستخدام منظم إنتروبيا سالبة:
     $$p_{t+1} \leftarrow \arg \min_{p} \{ -\eta \langle p, \hat{U}_t \rangle + \text{KL}(p \| p_t) \}$$

3. أخذ العينات على مرحلتين لضمان القابلية للتوسع:

   • أخذ عينات مباشرة من توزيع على ملايين المسائل أمر غير ممكن تقنياً.
   • المرحلة ١: يتم أخذ عينة من دفعة مرشحة $\tilde{X}_t$ من توزيع اقتراح ثابت (على سبيل المثال، توزيع منتظم).
   • المرحلة ٢: يقوم المنسق بإعادة وزن هذه الدفعة المرشحة الأصغر لاختيار دفعة التدريب النهائية $X_t$.
   • يُستخدم مُقدِّر غير متحيز لتصحيح احتمالات أخذ العينات على مرحلتين، مما يضمن تعلم المنسق من الفائدة الحقيقية للمسائل.

4. الاستقرار (Clipping بأسلوب PPO):

   • لمنع التحديثات غير المستقرة عند تدريب المنسق العصبي، قدم المؤلفون هدفاً بديلاً مقيداً (مشابه لـ PPO). هذا يقيد نسبة الأهمية بين سياسات المنسق الجديدة والقديمة، مما يضمن تعلمًا مستقرًا عبر الإنترنت.

حلقة التدريب

1. الاختيار: يختار المنسق دفعة تدريب من مجموعة مرشحة.
2. التشغيل (Rollout): يقوم الممثل بتوليد الحلول لهذه المسائل.
3. التحديث: يتم تحديث الممثل (على سبيل المثال، عبر GSPO أو GRPO).
4. التغذية الراجعة: يقوم النظام بتقدير تحسين السياسة لكل مسألة ($\hat{U}_x$) باستخدام السياسات قبل وبعد التحديث.
5. تحديث المنسق: يتم تحديث المنسق باستخدام هدف OSMD مع التغذية الراجعة المقدرة من "البانديت".

٣. المساهمات الرئيسية

1. إطار عمل مؤتمت بالكامل: يقدم أول إطار عمل مؤتمت بالكامل وقابل للتوسع للتعلم المنهجي في مرحلة ما بعد تدريب النماذج اللغوية الكبيرة، والذي لا يتطلب أي تسميات بشرية، أو تسميات صعوبة، أو هيكلة يدوية لمجموعات البيانات.
2. الصياغة النظرية: يصيغ تنسيق البيانات كـ مشكلة "بانديت" عشوائية غير مستقرة مع تغذية راجعة جزئية. كما يشتق إشارة تعلم قائمة على نظرية تحسين السياسة ويوفر ضمانات الندم ($O(T^{2/3}V^{1/3})$) في ظل عدم الاستقرار.
3. بنية قابلة للتوسع: يجمع بين التقريب الوظيفي العصبي وOSMD وأخذ العينات على مرحلتين للتعامل مع مجموعات بيانات تضم أكثر من $10,000$ مسألة، متجاوزاً قيود الطرق الجدولية.
4. التعلم التكيفي المشترك (Co-Adaptive Learning): يتم تدريب الممثل والمنسق بشكل مشترك في وضع "على السياسة" (on-policy)، مما يسمح للمنهج التعليمي بالتطور ديناميكياً مع تحسن قدرات الممثل.

٤. النتائج التجريبية

قيم المؤلفون ACTOR-CURATOR على خمسة اختبارات معيارية للاستدلال: Countdown, Zebra, ARC-1D, MATH500, AIME24.

• مكاسب الأداء:
  • تفوق على أخذ العينات المنتظم (Uniform Sampling) والنماذج المرجعية القوية (SEC, PCL) عبر جميع الاختبارات.
  • ARC-1D: حقق تحسناً نسبياً بنسبة 30.5% مقارنة بأقوى نموذج مرجعي.
  • AIME24: حقق تحسناً نسبياً بنسبة 28.6%.
  • المجموعات الفرعية الصعبة: كانت المكاسب أكثر وضوحاً في المجموعات الفرعية الصعبة (على سبيل المثال، +58.97% في ARC-Hard)، مما يثبت الفعالية في الأنظمة الصعبة.
• الكفاءة:
  • حقق تسريعاً في وقت التقارب يصل إلى 80% مقارنة بأخذ العينات المنتظم.
  • وصل إلى مستويات أداء ذروة مماثلة أو أعلى بعدد خطوات تدريب أقل بكثير.
• الاستقرار:
  • أظهر ديناميكيات تحسين أكثر استقراراً، متجنباً الهضبات (plateaus) التي تظهر غالباً في الطرق المرجعية.
  • أظهر قيم "نورم" (norm) أكبر ومستمرة لتدرجات الممثل، مما يشير إلى إشارات تعلم أكثر غنى بالمعلومات.
• دراسات الاستبعاد (Ablation Studies):
  • أكدت أن إشارة تحسين السياسة وهدف بانديت OSMD كلاهما ضروريان؛ حيث أدى استبدالهما بخسائر الانحدار (regression losses) أو مقاييس التفوق المطلق إلى تدهور الأداء بشكل كبير.
  • أظهرت متانة عبر خوارزميات تحديث مختلفة للممثل (GRPO, GSPO) وأحجام نماذج مختلفة.

٥. الأهمية والتأثير

• تحول في النموذج (Paradigm Shift): ينتقل من معاملة بيانات التدريب كمورد ثابت، إلى اعتبار اختيار البيانات كعنصر قابل للتحسين في عملية التعلم يتكيف جنباً إلى جنب مع السياسة.
• القابلية للتوسع: يوفر حلاً عملياً لتوسيع نطاق تدريب ما بعد التعزيز (RL post-training) لمجموعات بيانات ضخمة وغير متجانسة دون عائق التنسيق اليدوي.
• الصرامة النظرية: يجسّر الفجوة بين خوارزميات "البانديت" النظرية والتعلم المعزز العميق العملي، مقدماً ضمانات الندم في بيئة غير مستقرة مع تقريب دالي.
• القدرة على التعميم: إطار العمل محايد تجاه قاعدة تحديث الممثل المحددة، مما يجعله أساساً متعدد الاستخدامات لعمليات تدريب RL المستقبلية في مجالات الرياضيات، المنطق، البرمجة، وغيرها من المجالات ذات المكافآات القابلة للتحقق.

باختان، يثبت ACTOR-CURATOR أن تعلم تنسيق البيانات عبر "بانديت" مدفوع بتحسين السياسة هو استراتيجية متفوقة لتوسيع نطاق تدريب ما بعد التعزيز، مما يوفر مكاسب كبيرة في كل من الأداء النهائي وكفاءة التدريب.