🤖 AI

How to Allocate, How to Learn? Dynamic Rollout Allocation and Advantage Modulation for Policy Optimization

تقدم هذه الورقة إطار عمل DynaMO، وهو إطار عمل قائم على أسس نظرية يعمل على تحسين التعلم المعزز باستخدام مكافآت قابلة للتحقق للنماذج اللغوية الكبيرة من خلال اشتقاق تخصيص تسلسلي لعمليات التدحرج يقلل التباين، وتنفيذ تعديل لميزة مستوى الرمز (token-level advantage) يكون مدركاً للتدرج، وذلك لمعالجة عدم كفاءة الموارد وعدم استقرار التدريب.

المؤلفون الأصليون: Yangyi Fang, Jiaye Lin, Xiaoliang Fu, Cong Qin, Haolin Shi, Chaowen Hu, Lu Pan, Ke Zeng, Xunliang Cai

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yangyi Fang, Jiaye Lin, Xiaoliang Fu, Cong Qin, Haolin Shi, Chaowen Hu, Lu Pan, Ke Zeng, Xunliang Cai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدرب يدرب فريقاً من الرياضيين الطلاب (نماذج الذكاء الاصطناعي) لحل الألغاز الرياضية المعقدة. هدفك هو إيصالهم إلى الأولمبياد (حل المسائل الصعبة) بأسرع وأكفأ طريقة ممكنة.

تقدم الورقة البحثية استراتيجية تدريب جديدة تسمى DynaMO. وهي تجادل بأن الطريقة القديمة في التدريب كانت مهدرة وغير مستقرة. يقوم DynaMO بإصلاح ذلك باستخدام حيلتين رئيسيتين: التخصيص الذكي للموارد (تحديد من يحصل على كم من وقت التدريب) والتغذية الراجعة الذكية (كيفية الثناء أو التصحيح لهم).

إليك تفصيل ذلك باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: خطأ "النموذج الواحد للجميع"

في الوقت الحالي، يعامل معظم مدربي الذكاء الاصطناعي كل مسألة رياضية بنفس الطريقة. إذا كان لديك 100 مسألة، فإنك تعطي الذكاء الاصطناعي 10 محاولات لكل منها، بغض النظر عن مدى صعوبة أو سهولة المسألة.

العيب: هذا يشبه إعطاء مبتدئ نفس وقت التدريب لتعلم "كيفية ربط حذائه" (سهل جداً) مقارنة بـ "كيفية حل معادلة فيزياء الكم" (صعب جداً).
- سهل جداً: يحلها الذكاء الاصطناعي فوراً. إعطاؤه 10 محاولات هو هدر للوقت.
- صعب جداً: يفشل الذكاء الاصطناعي في كل مرة. إعطاؤه 10 محاولات هو مجرد إحباط؛ فهو لا يتعلم شيئاً لأنه عالق.
- مناسب تماماً: المسائل التي يفوز فيها الذكاء الاصطناعي أحياناً ويخسر أحياناً أخرى هي "منطقة غولديلوكس" (المنطقة المثالية). هذا هو المكان الذي يحدث فيه أكبر قدر من التعلم.

2. الحل الأول: "المجدول الذكي" (تخصيص الانتشار الديناميكي)

يغير DynaMO الجدول الزمني. بدلاً من إعطاء الجميع نفس عدد المحاولات، فإنه يعمل كـ مجدول ذكي ينظر إلى أداء الذكاء الاصطناعي السابق.

كيف يعمل: يتتبع المسائل التي تقع "في المنتصف".
- إذا كانت المسألة سهلة جداً (الذكاء الاصطناعي يفوز دائماً)، يقول: "حسناً، لنحاول هذه مرة واحدة فقط".
- إذا كانت المسألة صعبة جداً (الذكاء الاصطناعي يخسر دائماً)، يقول: "لننتقل لغيرها الآن".
- إذا كانت المسألة غير مؤكدة (الذكاء الاصطناعي يفوز نصف الوقت ويخسر النصف الآخر)، يقول: "ركز هنا! أعطِ هذه المسألة 20 محاولة!"
التشبيه: تخيل معلماً يصحح اختباراً. بدلاً من قضاء 10 دقائق في تصحيح سؤال أجاب عليه جميع الطلاب بشكل صحيح، و10 دقائق على سؤال لم يستطع أحد حله، فإنه يقضي كل وقته في مراجعة الأسئلة التي كان الطلاب يكافحون فيها ولكنهم كانوا قريبين من حلها. هذا هو المكان الذي يحدث فيه التعلم الحقيقي.

3. المشكلة: "فخ الثقة" (تضاؤل التدرج)

حتى مع وجود الجدول الزمني الصحيح، هناك مشكلة ثانية: كيف يتعلم الذكاء الاصطناعي من أخطائه ونجاحاته.

في النظام الحالي، إذا كان الذكاء الاصطناعي واثقاً جداً وأجاب بشكل صحيح، فإنه يحصل على "تربيتة بسيطة على الظهر" (إشارة تعلم صغيرة). وإذا كان غير متأكد وأجاب بشكل خاطئ، فإنه يتلقى "توبيخاً" كبيًا.

العيب: هذا عكس المنطق! إذا كان الذكاء الاصطناعي واثقاً وصحيحاً، يجب تعزيزه بقوة حتى يتذكر لماذا كان محقاً. وإذا كان واثقاً وخاطئاً، فإنه يحتاج إلى تصحيح كبير. لكن الرياضيات الحالية تجعل الإجابات الصحيحة الواثقة "تتلاشى" في الخلفية.

4. الحل الثاني: "المدرب الذكي" (تعديل الميزة المدركة للتدرج)

يصلح DynaMO حلقة التغذية الراجعة عبر آليتين:

أ. "محفز الثقة" (التعويض)

الإصلاح: عندما يكون الذكوا الاصطناعي واثقاً وصحيحاً، يقوم DynaMO برفع مستوى الثناء اصطناعياً. يقول: "لقد كنت واثقاً من نفسك، وكنت محقاً! دعونا نتأكد من أنك ستتذكر هذا الدرس بعمق".
التشبيه: تخيل طالباً يحل مسألة صعبة بشكل مثالي. قد يكتفي المعلم العادي بقول "عمل جيد". أما DynaMO فهو مثل المعلم الذي يقول: "واو! لقد كنت متأكداً من إجابتك، وقد أصبت الهدف! دعونا نكتب هذا بخط عريض حتى لا تنساه أبداً".

ب. "دواسة الفرامل" (الاستقرار)

الإصلاح: أحياناً، يصبح الذكاء الاصطناعي متحمساً أكثر من اللازم ويقوم بتغييرات ضخمة وعشوائية في دماغه (الأوزان) بناءً على تخمين محظوظ واحد. هذا يجعل التدريب غير مستقر ويؤدي إلى الانهيار.
التشبيه: يراقب DynaMO "مستوى القلق" لدى الذكاء الاصطناعي (الاعتلاج/Entropy). إذا كان الذكاء الاصطناعي يقوم بقفزات جامحة وغير متوقعة، يضغط DynaMO على الفرامل. يقول: "مهلاً، تمهل! أنت تتغير بسرعة كبيرة. لنستقر قبل أن نمضي قدماً". إنه يمنع الذكاء الاصطناعي من المبالغة في رد الفعل تجاه فوز محظوظ واحد.

ملخص: لماذا يفوز DynaMO؟

فكر في تدريب الذكاء الاصطناعي مثل الزراعة:

الطريقة القديمة: تسقي كل نبات في الحقل بنفس كمية الماء بالضبط، بغض النظر عما إذا كان صباراً (يحتاج القليل) أو سرخسًا (يحتاج الكثير). كما أنك تضع السماد للأعشاض الضارة بقدر ما تضعه للمحاصيل.
DynaMO:
1. ري ذكي: يفحص التربة. يصب كميات إضافية من الماء على النباتات التي تعاني ولكنها تنمو (مسائل "غولديلوكس") ويتوقف عن ري النباتات التي أصبحت مثالية بالفعل أو ماتت.
2. تسميد ذكي: يعطي العناصر الغذائية الإضافية للنباتات التي تؤدي جيداً ولكنها تحتاج إلى دفعة لتظل قوية (التعويض)، ويمنع السماد من حرق النباتات التي تنمو بشكل جامح للغاية (الاستقرار).

النتيجة: يتعلم الذكاء الاصطناعي بشكل أسرع، ويظل مستقراً، ويحل مسائل رياضية أصعب من ذي قبل، وكل ذلك باستخدام نفس القدر من قوة الحوسبة. إنه لا يعمل بجهد أكبر فحسب، بل يعمل بذكاء أكبر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "كيفية التخصيص، وكيفية التعلم؟ تخصيص الانتشار الديناميكي وتعديل الميزة لتحسين السياسة" (DynaMO).

1. بيان المشكلة

تعالج الورقة تحديين أساسيين في التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) للنماذج اللغوية الكبيرة (LLMs)، لا سيما في مهام الاستدلال الرياضي:

عدم كفاءة تخصيص الموارد (على مستوى التسلسل): توزع الطرق الحالية (مثل GRPO) ميزانية الانتشار (عدد الاستجابات المولدة) بشكل موحد عبر جميع مشكلات التدريب. هذا يتجاهل تباين تدرج التباين (gradient variance heterogeneity). فالمشكلات ذات التباين العالي (معدلات نجاح/فشل متوازنة) تقدم إشارات تعلم أكثر فائدة، لكنها تسبب أيضاً ضجيجاً. التخصيص الموحد يهدر الموارد على المشكلات التافهة (تباين منخفض) أو الصعبة للغاية (ضجيج عالٍ)، مما يفشل في تحسين المقايضة بين المعلوماتية وضجيج التقدير.
عدم استقرار ديناميكيات تحسين السياسة (على مستوى الرمز/Token): يخلق هيكل سياسة "softmax" القياسي توتراً في أحجام التدرج:
- تضاؤل التدرج (Gradient Attenuation): تؤدي الإجراءات الصحيحة ذات الثقة العالية طبيعياً إلى أحجام تدرج صغيرة، مما يؤدي إلى إشارات تعلم غير كافية للإجراءات التي يتقنها النموذج بالفعل.
- عدم استقرار التدريب: على العكس من ذلك، يمكن أن تؤدي تحديثات التدرج المفرطة إلى زعزعة استقرار التدريب. طرق الاستقرار الحالية (مثل تقليم النسبة - ratio clipping) هي خشنة وتفتقر إلى أساس نظري موحد، وغالباً ما تفشل في معالجة التفاعل المحدد بين حجم التدرج وإنتروبيا السياسة.

2. المنهجية: إطار عمل DynaMO

يقترح المؤلفون DynaMO، وهو إطار عمل تحسين مزدوج المسار يعمل على مستويي التسلسل والرمز، وهو قائم على نظرية تقليل التباين وتحليل التدرج-الإنتروبيا.

أ. على مستوى التسلسل: تخصيص الانتشار الديناميكي (DRA)

الأساس النظري: يثبت المؤلفون أن التخصيص الموحد غير مثالي. لقد اشتقوا استراتيجية تخصيص مثلى عن طريق تقليل إجمالي تباين تقدير التدرج تحت قيد ميزانية ثابتة.
الصيغة المثلى: عدد عمليات الانتشار المثلى $n_i^*$ للمشكلة $i$ يتناسب طردياً مع الانحراف المعياري للتدرج $\sigma_i$ :
$n_i^* \propto \sigma_i$
الوكيل العملي: بما أن $\sigma_i$ غير معروفة، فقد اشتقوا تباين برنولي (Bernoulli Variance) كوكيل خفيف الوزن وقابل للحساب. بالنسبة للمكافآت الثنائية، التباين هو $p(1-p)$ ، حيث $p$ هو احتمال النجاح. يتم تقدير ذلك باستخدام الإحصائيات التاريخية (عدد الاستجابات الصحيحة $k_i$ من إجمالي عمليات الانتشار $G_i$ ):
$P_i = \frac{k_i(G_i - k_i)}{G_i(G_i - 1)}$
التنفيذ: يقوم خوارزمية "مستوى الماء" (Algorithm 1) بتخصيص عمليات الانتشار ديناميكياً. فهي تركز الميزانية على المشكلات حيث تكون $P_i$ عالية (نجاح/فشل متوازن، مما يشير إلى وجود "فجوة قدرة") مع احترام الحدود الدنيا ( $G_{min}$ ) والقصوى ( $G_{max}$ ) لضمان التغطية ومنع التركيز المفرط.

ب. على مستوى الرمز (Token): تعديل الميزة المدرك للتدرج

يعالج هذا المكون ديناميكيات التدرج داخل سياسة softmax باستخدام آلية تعويض واستقرار موحدة.

تعويض التدرج (لمعالجة التضاؤل):
- النظرية: يظهر التحليل النظري أن حجم التحديث المتوقع محكوم بحد أعلى بإنتروبيا السياسة. الإجراءات ذات الثقة العالية (إنتروبيا منخفضة) تعاني من تضاؤل التدرج.
- الآلية: يتم تطبيق عامل تعويض $\beta_{comp}$ على الرموز ذات الميزة الإيجابية. وهو يعمل عكسياً مع الإنتروبيا:
  $\beta_{comp} = 1 + \alpha \cdot \frac{H_{max} - H}{H_{max} - H_{min}}$
  هذا يضخم إشارات التعلم للإجراءات الصحيحة ذات الثقة العالية دون التأثير على الإجراءات ذات الميزة السلبية.
استقرار حجم التحديث (لمعالجة عدم الاستقرار):
- النظرية: تشير تغيرات الإنتروبيا الكبيرة إلى أحجام تدرج مفرطة قد تزعزع استقرار التدريب. اشتق المؤلفون شكلاً مُحللاً يوضح أن تغير الإنتروبيا مدفوع بتركيز السياسة ومعامل التحديث المركب.
- الآلية: يقيس مؤشر عدم الاستقرار $\Xi_{i,t}$ مقدار تغير الإنتروبيا. يقوم عامل الاستقرار $\beta_{stab}$ (دالة اضمحلال قائمة على السجمويد) بتقليل الميزة للرموز التي تظهر تغيرات إنتروبيا مفرطة، مما يعمل فعلياً كـ "مكابح" للتحديث.
الهدف المتكامل:
الميزة النهائية $A_{final}$ تجمع بين الآليتين:
$A_{final} = A_{original} \cdot \beta_{comp} \cdot \beta_{stab}$
يتم دمج هذا في هدف البديل المقصوص (Clipped Surrogate Objective) القياسي (GRPO/PPO).

3. المساهمات الرئيسية

الإثبات النظري لعدم المثالية: أثبتوا أن تخصيص الانتشار الموحد غير مثالي واشتقوا استراتيجية تخصيص تقلل التباين باستخدام تباين برنولي كوكيل قابل للحساب.
العلاقة بين التدرج والإنتروبيا: أقاموا رابطاً نظرياً بين حدود حجم التدرج وإنتروبيا السياسة، مما مكن من وجود آلية موحدة لـ التعويض (إصلاح التضاؤل) والاستقرار (منع الانفجار).
التحسين ثنائي المستوى: اقترحوا إطار عمل يعمل في آن واحد على تحسين توزيع الموارد عبر المشكلات وديناميكيات التحديث الدقيقة على مستوى الرمز.
التحقق التجريبي: أظهروا تحسينات متسقة عبر عدة معايير قياسية ونماذج بمقاييس مختلفة، مع دراسات استئصال أكدت ضرورة كل مكون.

4. النتائج التجريبية

المعايير (Benchmarks): تم التقييم على ستة معايير للاستدلال الرياضي: AIME24, AIME25, AMC23, MATH500, Minerva, وOlympiad.
النماذج: تم الاختبار على Qwen2.5-Math (1.5B, 7B) و Qwen3-14B.
الأداء:
- تفوق DynaMO باستمرار على النماذج المرجعية القوية (GRPO, Clip-Higher, Entropy Loss, W-REINFORCE, إلخ).
- مثال (Qwen2.5-Math-7B): في AIME24، حقق DynaMO نسبة 34.4% Pass@1، مقارنة بـ 28.8% لـ GRPO القياسي و32.8% لأفضل نموذج مرجعي تالٍ (KL-COV).
- التوسع (Scaling): اتسعت فجوة الأداء مع زيادة حجم النموذج (1.5B $\to$ 7B $\to$ 14B)، مما يشير إلى أن الطريقة تصبح أكثر فعالية مع زيادة القدرات التمثيلية.
ديناميكيات التدريب: أظهرت عمليات التصوير البياني أن DynaMO يحافظ على أشكال تدرج مستقرة وتطور سلس للإنتروبيا، بينما أظهرت النماذج المرجعية (مثل GRO) طفرات حادة وتقلبات عشوائية.
الكفاءة: كانت التكاليف الحسابية الإضافية (تقدير التباين، التعديل) ضئيلة، حيث حافظت على أوقات تدريب لكل خطوة مماثلة للنماذج المرجعية.

5. الأهمية

كفاءة الموارد: يقدم DynaMO طريقة مبدئية لتخصيص الميزانيات الحسابية، مما يعظم جودة إشارة التعلم لكل وحدة حسابية من خلال التركيز على المشكلات "الصعبة ولكن القابلة للحل".
الاستقرار والتقارب: من خلال تأصيل تعديل الميزة نظرياً في علاقات التدرج-الإنتروبيا، فإنه يحل المقايضة بين التعلم من الإجراءات الواثقة ومنع انهيار التدريب، مما يؤدي إلى تدريب RLVR أكثر قوة.
القدرة على التعميم: تعمل الطريقة حصرياً على المستوى الخوارزمي (تعديل التخصيص وحساب الميزة) دون الاعتماد على ميزات معمارية محددة، مما يجعلها قابلة للتطبيق على نطاق واسع على مختلف عائلات النماذج اللغوية الكبيرة ومهام الاستدلال.

في الختام، يمثل DynaMO خطوة كبيرة للأمام في جعل RLVR للنماذج اللغوية الكبيرة أكثر كفاءة، واستقراراً، ورصانة من الناحية النظرية، حيث يعالج الاختناقات الحرجة في كل من استخدام البيانات وديناميكيات التحسين.