💬 NLP

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

تقترح هذه الورقة البحثية "قص نسبة الإنتروبيا" (Entropy Ratio Clipping - ERC)، وهو قيد عالمي ناعم يعمل على تثبيت التعلم التعزيزي للنماذج اللغوية الكبيرة من خلال فرض حدود ثنائية الاتجاه على نسبة الإنتروبيا بين السياسات الحالية والسابقة للتخفيف من حدة انزياح التوزيع وعدم استقرار التدريب.

المؤلفون الأصليون: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم روبوت كيف يفكر

تخيل أنك تقوم بتدريب روبوت ذكي للغاية (نموذج لغوي كبير) لحل مسائل رياضية معقدة. أنت تستخدم طريقة تسمى التعلم المعزز (Reinforcement Learning - RL). فكر في هذا الأمر كأنه لعبة يحاول فيها الروبوت تجربة إجابات مختلفة، ويحصل على "درجة" (مكافأة) إذا كانت الإجابة صحيحة، ويتعلم كيف يؤدي بشكل أفضل في المرة القادمة.

ما هي المشكلة؟ الروبوت متقلب الأطوار قليلاً. أحياناً، وفي غمرة حماسه للحصول على درجة عالية، يقوم بتغييرات هائلة ومتهورة في طريقة تفكيره. قد يتأرجح من كونه حذراً للغاية إلى كونه فوضوياً تماماً. هذا يسبب عدم استقرار في عملية التدريب، مثل سيارة تقود على طريق زلق حيث تنزلق العجلات وتخرج عن السيطرة.

الحل القديم: حزام الأمان "المحلي"

لإيقاف الروبوت من الجنون، يستخدم الباحثون تقنية تسمى PPO-Clip.

التشبيه: تخيل أن الروبوت يقود سيارة. تقنية PPO-Clip تشبه حزام الأمان الذي يتحقق فقط مما إذا كان السائق يمسك عجلة القيادة بقوة شديدة في هذه اللحظة تحديداً.
العيب: هي تنظر فقط إلى الحركات المحددة التي قام بها الروبوت بالفعل. إنها تتجاهل ما لم يفعله الروبوت.
- مثال: إذا كان الروبوت يقول "نعم" بنسبة 90% من الوقت و"لا" بنسبة 10% من الوقت، فإن PPO-Clip تضمن أنه لن يقول "نعم" فجأة بنسبة 99%. لكنها لا تلاحظ إذا بدأ الروبوت يهمس بكلمات مثل "ربما" أو "انتظر" بطريقة تغير شخصيته تماماً، حتى لو لم ينطق بهذه الكلمات بصوت عالٍ أثناء الاختبار. "روح" الروبوت الداخلية قد تنحرف بعيداً، حتى لو قال حزام الأمان إن الأمور بخير.

الحل الجديد: منظم الحرارة "العالمي"

يقترح مؤلفو هذه الورقة أداة جديدة تسمى ERC (قص نسبة الإنتروبي - Entropy Ratio Clipping).

التشبيه: بدلاً من مجرد التحقق من عجلة القيادة، تقوم ERC بتركيب منظم حرارة (Thermostat) يراقب درجة حرارة الغرفة بأكملها (عقل الريد روبوت بالكامل).
ما هو "الإنتروبي" (Entropy)؟ في هذا السياق، فكر في الإنتروبي كـ فضول الروبوت أو رغبته في تجربة أشياء جديدة.
- إنتروبي منخفض: الروبوت أصبح مجرد آلة. يفعل فقط ما يعرفه. إنه ممل وآمن.
- إنتروبي مرتفع: الروبوت عبقري فوضوي. يجرب كل شيء، حتى الهراء. إنه مخاطر.
- الوضع المثالي: الروبوت فضولي ولكن مركز.

كيف تعمل ERC:
تقوم ERC باستمرار بمقارنة "مستوى الفضول" الحالي للروبوت بمستواه السابق.

النسبة: تحسب نسبة: الفضول الحالي / الفضول القديم.
القص (Clipping): إذا ارتف هذه النسبة كثيراً (الروبوت أصبح جامحاً جداً) أو انخفضت كثيراً (الروبوت أصبح مملاً جداً)، تضغط ERC على المكابح. وتقول: "مهلاً، أنت تغير شخصيتك بسرعة كبيرة. لنبطئ السرعة قليلاً".

لماذا يعد هذا تغييراً لقواعد اللعبة

1. إنها تلتقط الانحراف "غير المرئي"

هل تتذكر الطريقة القديمة التي كانت تتحقق فقط من الحركات التي قام بها الروبوت؟ ERC تتحقق أيضاً من الحركات التي لم يقم بها الروبوت.

التشبيه: تخيل طباخاً يطهو حساءً. الطريقة القديمة تتذوق فقط الملعقة التي قدمها الطباخ فعلياً. إذا كان الطباخ قد أضاف سراً جالوناً من الملح إلى القدر ولكنه قدم فقط ملعقة صغيرة من الحساء غير المملح، فلن تعرف الطريقة القديمة ذلك.
رؤية ERC: تقوم ERC بتذوق القدر بأكمله. تدرك أنها: "مهلاً، القدر بأكمله أصبح مالحاً جداً"، حتى لو كانت الملعقة المقدمة جيدة. إنها تمنع الطباخ من إفساد الطبخة بأكملها.

2. إنها تحافظ على توازن الروبوت

تظهر الورقة أنه بدون ERC، يقفز "فضول" (إنتروبي) الروبوت صعوداً وهبوطاً بشكل عشوائي. في لحظة يكون عبقرياً، وفي اللحظة التالية يصبح فوضوياً مشتتاً.

تأثير ERC: إنها تجعل الرحلة أكثر سلاسة. يبقى الروبوت في "منطقة غولديلوكس" (المنطقة المثالية)—ليس متصلباً جداً، وليس جامحاً جداً. وهذا يجعل عملية التدريب أكثر سلاسة وسرعة.

3. إنها "قيد ناعم"

تسمي الورقة هذه التقنية "قيد عالمي ناعم".

القيد الصلب (Hard Constraint): مثل الجدار. تصطدم به فتتوقف.
القيد الناعم (Soft Constraint): مثل يد لطيفة على الكتف. إنها توجهك للعودة إلى المركز دون إيقافك. تسمح ERC للروبوت باستكشاف أفكار جديدة، لكنها تدفعه بلطف للعودة إذا بدأ في الابتعاد كثيراً عن المسار.

النتائج: رحلة أكثر سلاسة

اختبر الباحثون هذه التقنية على مسائل رياضية (مثل مسابقة AIME).

بدون ERC: كان أداء الروبوت متذبذباً. كان يتحسن، ثم يسوء، ثم يتحسن مرة أخرى.
مع ERC: تحسن الروبوت بشكل مستمر. لقد حل مسائل أصعب ولم ينهار خلال عملية التدريب.

الملخص

فكر في تدريب الذكاء الاصطناعي مثل تدريب كلب.

الطريقة القديمة (PPO-Clip): أنت تمدح الكلب فقط عندما يجلس. إذا بدأ الكلب ينبح على ساعي البريد (وهو أمر لم تره)، فأنت لا تصححه. في النهاية، يصبح الكلب مرتبكاً وغير منضبط.
الطريقة الجديدة (ERC): أنت تراقب طاقة الكلب العامة. إذا أصبح الكلب مفرط النشاط (إنتروبي مرتفع جداً) أو خاملاً جداً (إنتروبي منخفض جداً)، فإنك توجهه بلطف للعودة إلى حالة من الهدوء والتركيز.

من خلال إضافة "منظم حرارة الفضول" هذا، جعل الباحثون تدريب الذكاء الاصطناعي أكثر استقراراً، وكفاءة، وقدرة على حل مسائل أصعب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقليم نسبة الإنتروبيا كقيد عالمي ناعم لتعلم التعزيز المستقر" (Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning).

1. بيان المشكلة

تعتمد مرحلة ما بعد التدريب لنماذج اللغات الكبيرة (LLMs) بشكل متزايد على التعلم التعزيزي (RL)، وتحديداً التعلم التعزيزي ذو المكافآت القابلة للتحقق (RLVR)، لتعزيز القدرة على الاستنتاج والمواءمة. ومع ذلك، غالباً ما تستخدم هذه الطرق نموذج تدريب خارج السياسة (off-policy training paradigm)، حيث يتم توليد البيانات بواسطة سياسة قديمة ( $\pi_{old}$ ) ولكن تُستخدم لتحديث السياسة الحالية ( $\pi_{\theta}$ ). وهذا يخلق انزياحاً توزيعياً (distributional shift) يمكن أن يدفع السياسة خارج "منطقة الثقة" النظرية، مما يؤدي إلى عدم استقرارين حرجين:

عدم استقرار الإنتروبيا (Entropy Instability): تقلبات حادة في إنتروبيا السياسة، مما يسبب إما استكشافاً مفرطاً أو سلوكاً متدهوراً.
عدم استقرار معيار التدرج (Gradient Norm Instability): انفجار أو تلاشي التدرجات مما يعيق التقارب.

محدودية الحلول الحالية:

عقوبة PPO (PPO-Penalty): تستخدم عقوبة تباعد KL، لكنها حساسة للغاية للمعامل $\beta$ ويمكن أن تقيد الاستكشاف بشكل مفرط.
تقليم PPO (PPO-Clip): المعيار الحالي (المستخدم في DAPO وGRPO وغيرها) يقوم بتقليم نسبة أخذ العينات (importance sampling ratio $r_t$ $r_{t}$ ) لـ الأفعال التي تم أخذ عينات منها فقط.
- النقطة العمياء: يفشل PPO-Clip في تقييد الأفعال غير المأخوذة كعينات. حتى لو تغير احتمال الرموز (tokens) التي تم أخذ عينات منها قليلاً (لتجنب التقليم)، فإن احتمالات الرموز غير المأخوذة كعينات يمكن أن تتغير بشكل كبير، مما يؤدي إلى انزياح التوزيع العالمي. يؤدي هذا إلى انتهاكات خفية لمنطقة الثقة وما يتبعها من عدم استقرار في التدريب.

2. المنهجية: تقليم نسبة الإنتروبيا (ERC)

يقترح المؤلفون تقليم نسبة الإنتروبيا (ERC)، وهي آلية تقدم قيداً عالمياً على توزيع السياسة لتكمل طرق التقليم المحلية الموجودة.

أ. مقياس نسبة الإنتروبيا

بدلاً من التركيز فقط على احتمال الأفعال المأخوذة كعينات، يقيس ERC التغير النسبي في الإنتروبيا بين السياسات الجديدة والقديمة عبر كامل المفردات ( $V$ ).
لخطوة فك التشفير $t$ ، تُعرف نسبة الإنتروبيا $\rho_t$ كما يلي:
$\rho_t = \frac{H(\pi_{\theta, t})}{H(\pi_{old, t})} = \frac{-\sum_{a \in V} \pi_{\theta}(a | y_{<t}, x) \log \pi_{\theta}(a | y_{<t}, x)}{-\sum_{a \in V} \pi_{old}(a | y_{<t}, x) \log \pi_{old}(a | y_{<t}, x)}$
هذا المقياس يلتقط التحول العالمي في سلوك الاستكشاف، بما في ذلك الأفعال غير المأخوذة كعينات.

ب. آلية ERC

تطبق ERC تقليماً صلباً ثنائي الاتجاه (bidirectional hard clipping) على نسبة الإنتروبيا.

نطاق القيد: يتم تقييد النسبة $\rho_t$ ضمن المدى $(1 - \beta_{low}, 1 + \beta_{high})$ .
قطع التدرج (Gradient Truncation): إذا وقعت نسبة الإنتروبيا خارج هذا النطاق، يتم ضبط تدرج ذلك الرمز (token) ليكون صفراً (قطع صلب).
التكامل: يتم دمج ERC في دالة الهدف لخوارزميات مثل DAPO وGPPO. على سبيل المثال، في ERC-DAPO، يتم إضافة دالة مؤشر $I_{i,t}$ إلى الخسارة:
$J_{ERC}(\theta) = \mathbb{E} \left[ \frac{1}{\sum |y_i|} \sum \sum I_{i,t} \cdot \min(\dots) \right]$
حيث $I_{i,t} = 1$ إذا كان $1-\beta_{low} < \rho_{i,t} < 1+\beta_{high}$ ، و $0$ خلاف ذلك.

التمييز الجوهري: على عكس تنظيم KL (الذي يعاقب الاختلافات النقطية) أو تقليم PPO القياسي (الذي يحدد فقط التحديثات المحلية)، تعمل ERC كـ قيد عالمي على مستوى التوزيع يستهدف تحديداً استقرار قدرة الاستكشاف للسياسة.

3. المساهمات الرئيسية

مقياس مبتكر: تقديم نسبة الإنتروبيا لقياس التغيرات النسبية في استكشاف السياسة، مما يوفر بعداً جديداً لقياس الانزياح التوزيعي العالمي.
آلية ERC: اقتراح آلية تقليم ثنائية الاتجاه تقيد نسبة الإنتروبيا، مما يخفف بفعالية من انحرافات منطقة الثقة الناتجة عن انزياح الأفعال غير المأخوذة كعينات.
التكامل المستقل عن الخوارزمية: التكامل الناجح والتقييم لـ ERC مع خوارزميات RL متعددة (DAPO, GPPO)، مما أظهر مكاسب ثابتة في الاستقرار والأداء.
الرؤية النظرية: إثبات أن ERC تعمل كـ "قيد عالمي ناعم" يكمل PPO-clip، مما يعالج النقطة العمياء المتمثلة في انزياح الأفعال غير المأخوذة كعينات.

4. النتائج التجريبية

قيم المؤلفون ERC على نماذج DeepSeek-R1-Distill-Qwen (بمعلمات 1.5B و7B) باستخدام مجموعة بيانات KlearReasoner-MathSub-30K.

أداء الاختبارات المعيارية:
- تفوقت ERC باستمرار على النماذج المرجعية (GRPO, DAPO, GPPO) عبر اختبارات الاستدلال الرياضي (AIME24/25, HMMT25, MATH500, AMC23).
- مكاسب ملحوظة: في اختبار AIME25 الصعب، حسنت ERC-DAPO درجة نموذج 7B من 45.9 (DAPO) إلى 48.4. وفي HMMT25، حسنت الدرجة من 27.4 إلى 28.7.
- لوحظت تحسينات أيضاً في الاستدلال البرمجي (HumanEval, LCB) واتباع التعليمات (IFBench).
استقرار التدريب:
- الإنتروبيا: قضت ERC على تقلبات الإنتروبيا الحادة التي شوهدت في DAPO القياسي، محققة مساراً سلساً.
- معيار التدرج: قللت ERC بشكل كبير من تباين التدرج ومنعت ظواهر الانفجار أو التلاشي.
- نسبة التقليم: بينما يقوم PPO-clip عادةً بتقليم حوالي 0.02% فقط من الرموز، تقوم ERC بتقليم حوالي 20.29%. يظهر التحليل أن ERC تقص الرموز في مناطق الإنتروبيا المنخفضة (الرموز الحتمية مثل "frac", "sqrt") بينما تحافظ على الرموز عالية الإنتروبيا (كلمات الاستدلال مثل "wait", "therefore"). يشير هذا إلى أن ERC تزيل التحديثات الضوضائية بينما تحافظ على السلوك الاستكشافي.
المقارنات:
- مقابل تنظيم KL: تفوقت ERC على PPO-penalty (المنظم بـ KL) في اختبارات AIME، مما وفر كفاءة استكشاف أفضل.
- مقابل تنظيم الإنتروبيا: تعامل التقليم ثنائي الاتجاه في ERC مع كل من انهيار وانفجار الإنتروبيا بشكل أفضل من عقوبات الإنتروبيا أحادية الاتجاه.
- مقابل التقليم على مستوى التسلسل: تفوقت ERC (على مستوى الرمز) على طرق التقليم على مستوى التسلسل (GSPO).

5. الأهمية

يعالج هذا العمل خللاً جوهرياً في التعلم التعزيزي الحالي خارج السياسة (off-policy RL) لنماذج LLM: وهو عدم قدرة التقليم المحلي (PPO-Clip) على التحكم في الانزياحات التوزيعية العالمية.

الاستقرار: من خلال فرض قيد عالمي على نسبة الإنتروبيا، تعمل ERC على تثبيت ديناميكيات التدريب، مما يسمح بمعدلات تعلم أكثر عدوانية أو مهام استدلال معقدة دون حدوث تباعد.
الكفاءة: تقوم بتصفية التحديثات "الضوضائية" (الرموز الحتمية) التي لا تساهم في التعلم، مما يعمل فعلياً كمرشح للإشارات المتفرقة.
القدرة على التعميم: طريقة ERC مستقلة عن آليات التقليم الموجودة، ويمكن دمجها مع خوارزميات RL متنوعة (DAPO, GPPO)، مما يجعلها إضافة قوية لأدوات ما بعد التدريب لنماذج LLM.

في الختام، يوفر تقليم نسبة الإنتروبيا (ERC) منظوراً عالمياً ضرورياً للقيود المحلية لـ PPO، مما يضمن تطور السياسة بسلاسة داخل منطقة الثقة مع الحفاظ على الاستكشاف اللازم لمهام الاستدلال المعقدة.