💬 NLP

Flexible Entropy Control in RLVR with a Gradient-Preserving Perspective

تتناول هذه الورقة مشكلة انهيار الإنتروبيا في التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) عبر اقتراح آلية قص ديناميكية مبتكرة تستفيد من منظور الحفاظ على التدرج للتحكم بدقة في إنتروبيا السياسة من خلال استراتيجيات مثبتة تجريبياً، مما يمنع الثقة المفرطة المبكرة ويعزز أداء الاستدلال في النماذج اللغوية الكبيرة (LLM).

المؤلفون الأصليون: Kun Chen, Peng Shi, Fanfan Liu, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kun Chen, Peng Shi, Fanfan Liu, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: مشكلة "الطالب الواثق بزيادة"

تخيل أنك تقوم بتدريب طالب عبقري (نموذج لغوي كبير) لحل مسائل رياضية صعبة. أنت تستخدم نظامًا يسمى التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR). فكر في هذا كمدرب صارم يمنح الطالب نقاطًا فقط عندما يحل المسألة بشكل صحيح.

في البداي، يكون الطالب فضوليًا. يحاول طرقًا مختلفة لحل المشكلة، يرتكب أخطاءً لكنه يتعلم منها. هذه "الفضولية" تسمى الإنتروبيا (Entropy). تعني الإنتروبيا العالية أن الطالب يستكشف احتمالات عديدة.

ومع ذلك، مع استمرار التدريب، يحدث خطأ ما. يصبح الطالب واثقًا بزيادة. يتوقف عن تجربة أساليب جديدة ويكتفي بتكرار نفس الإجابات القليلة التي يعرف أنها تعمل، حتى لو لم تكن تلك الإجابات مثالية. يتوقف عن الاستكشاف. من الناحية التقنية، يحدث لديه انهيار في الإنتروبيا (entropy collapse).

عندما يحدث هذا، يتوقف الطالب عن التعلم لأنه لم يعد يخاطر بعد الآن. يقع في "القمة المحلية" (local optimum)—وهي منطقة مريحة يعتقد فيها أنه يبلي بلاءً حسنًا، لكنه في الواقع يفوت أفضل الحلول.

السبب الجذري: "شبكة الأمان" الضيقة للغاية

حدد البحث المسبب وهو آلية تسمى القص المحافظ على التدرج (Gradient-Preserving Clipping).

تخيل أن المدرب لديه شبكة أمان (عتبة القص/clipping threshold) لمنع الطالب من القيام بتخمينات جامحة وخطيرة.

إذا جرب الطالب فكرة جديدة ذات احتمالية منخفضة، فإن الشبكة عادة ما تمسك به وتقول له: "لا، لا تذهب إلى هناك".
المشكلة هي أن هذه الشبكة ثابتة (جامدة). فهي تعامل كل موقف بنفس الطốt. إنها تقطع قدرة الطالب على استكشاف الأفكار ذات الاحتمالية المنخفضة بقسوة شديدة، ولا تسمح له بالضغط بقوة كافية على الأفكار ذات الاحتمالية العالية.

بسبب كون الشبكة جامدة للغاية، تنخفض ثقة الطالب (الإنتروبيا) بسرعة كبيرة، وتتلاشى "التدرجات" (الإشارات التي تخبر الطالب بكيفية التحسن). يتوقف الطالب عن التعلم.

الحل: "مدرب ذكي ومرن"

يقترح المؤلفون طريقة جديدة لإدارة ثقة الطالب. بدلاً من شبكة أمان جامدة، يستخدمون عتبة قص ديناميكية (Dynamic Clipping Threshold).

فكر في هذا كمدرب يعدل القواعد بناءً على حالة الطالب الحالية:

عندما يكون الطالب غير متأكد (احتمالية منخفضة): يقوم المدرب بتوسيع شبكة الأمان. "اذهب وجرب تلك الفكرة الغريبة! حتى لو كانت غير مرجحة، دعنا نرى ماذا سيحدث". هذا يشجع على الاستكشاف ويحافظ على فضول الطالب (الإنتروبيا) مرتفعًا.
عندما يكون الطالب واثقًا جدًا (احتمالية عالية): يقوم المدرب بتضييق الشبكة قليلاً. "أنت واثق جدًا بالفعل من هذه الإجابة؛ لا تصبح مغرورًا أكثر من اللازم. دعنا نتأكد من أننا لا نتجاهل الاحتمالات الأخرى". هذا يمنع الطالب من أن يصبح واثقًا بزيادة في وقت مبكر جدًا.

من خلال جعل القواعد تعتمد على الاحتمالية، يمكن للنظام التحكم بدقة في مقدار استكشاف الطالب مقابل مقدار تركيزه.

استراتيجيات التدريب الثلاث

لا يكتفي البحث بإصلاح الشبكة فحسب، بل يصمم ثلاث "جداول زمنية للتدريب" (استراتيجيات) لكيفية استخدام هذه الشبكة المرنة بمرور الوقت:

الزيادة ثم النقصان (ID):
- التشبيه: ابدأ بمرحلة "الطفل الجامح". اترك الطالب يستكشف كل شيء ويجرب حلولاً مجنونة. بمجرد أن يمتلك أساسًا جيدًا، قم بتضييق القواعد ببطء لمساعدته على التركيز وصقل مهاراته.
- الأفضل لـ: النماذج التي تم تدريبها بالفعل نوعًا ما وتحتاج إلى دفعة من الإبداع قبل اللمسات النهائية.
النقصان ثم الزيادة ثم النقصان (DID):
- التشبيه: ابدأ بتهدئة الطالب (تقليل الفوضى). ثم امنحه نفسًا ثانيًا ليستكشف أكثر قليلاً (زيادة الفضول) لتجنب الوقوع في فخ الرتابة. أخيرًا، قم بتهدئته مرة أخرى لتثبيت أفضل الإجابات.
- الأفضل لـ: النماذج التي تكون فوضوية جدًا أو "خامة" في البداية وتحتاج إلى لحظة من الاستقرار قبل أن تتمكن من الاستكشاف بأمان.
الاضمحلال التذبذبي (OD):
- التشبيه: رقصة إيقاعية. ينتقل المدرب باستمرار بين "وضع الاستكشاف" و"وضع التركيز" طوال فترة التدريب بأكملها. إذا أصبح الطالب مملًا جدًا (الإنتروبيا منخفضة جدًا)، يقول المدرب: "اذهب واستكشف!". وإذا أصبح جامحًا جدًا (الإنتروبيا عالية جدًا)، يقول: "ركز!".
- الأفضل لـ: جلسات التدريب الطويلة حيث قد يعلق الطالب في روتين معين؛ هذا يبقيهم دائمًا في حالة تأهب.

النتائج

اختبر المؤلفون هذه الأساليب على المسائل الرياضية (مثل معايير AIME و MATH).

النتيجة: منعت نهجهم المرن "انهيار الإنتروبيا". لم يصبح الطلاب واثقين بزيادة في وقت مبكر جدًا.
الدرجة: حلت النماذج التي تم تدريبها باستخدام هذه الاستراتيجيات الجديدة مسائل رياضية بشكل صحيح أكثر من الطرق القياسية. لقد كانوا أفضل في العثور على الإجابة الصحيحة لأنهم لم يستسلموا لاستكشاف مسارات جديدة في وقت مبكر جدًا.

الملخص

يجادل البحث بأنه لجعل الذكاء الاصطناعي أكثر ذكاءً، لا يمكننا تركه يتعلم عشوائيًا فح، ولا يمكننا إجباره على أن يكون جامدًا للغاية. نحن بحاجة إلى مدرب ديناميكي يعرف بالضبط متى يشجع الاستكشاف الجامح ومتى يطلب التركيز، ويعدل القواعد في الوقت الفعلي لإبقاء الذكاء الاصطناعي فضوليًا ولكن ليس فوضويًا.

ملخص تقني: التحكم المرن في الإنتروبيا في RLVR من منظور الحفاظ على التدرج

بيان المشكلة

أصبح التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR)، ولا سيما باستخدام تحسين السياسة النسبية للمجموعات (GRPO)، وسيلة محورية لتعزيز قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs). ومع ذلك، غالبًا ما يؤدي التدريب المستمر في هذا النموذج إلى انهيار إنتروبيا السياسة (policy entropy collapse). وتتميز هذه الظاهرة بانخفاض سريع في إنتروبيا السياسة إلى قيم قريبة من الصفر، مما يؤدي إلى ثقة مفرطة سابقة لأوانها، وتقليل تنوع المخرجات، وتلاشي معايير التدرج (gradient norms)، مما يعيق عملية التعلم ويؤدي في النهاية إلى تدهور أداء النموذج.

إن العامل الرئيسي المحرك لهذه الديناميكيات هو القص الحافظ للتدرج (Gradient-Preserving Clipping)، وهي آلية مستمدة من خوارزمية (PPO-Clip) التي تقيد نسبة أخذ العينات بالوزن (importance sampling ratio) ضمن منطقة ثقة. وبينما تحاول استراتيجيات التخفيف الحالية، مثل نهج "Clip-Higher"، معالجة ذلك عبر ضبط عتبات القص بشكل ثابت، إلا أنها تفتقر إلى إطار نظري يربط آليات القص بالتحكم الدقيق في الإنتروبيا. ونتيجة لذلك، غالبًا ما تكون الطرق الحالية ثابتة وتفشل في توفير تنظيم مرن للإنتروبيا حسب كل مرحلة، وهو أمر ضروري لتدريب فعال للتعلم التعزيزي (RL).

المنهجية

تقترح هذه الورقة نهجًا مبتكرًا لإعادة تشكيل التحكم في الإنتروبيا في RLVR من منظور الحفاظ على التدرج. تعتمد المنهجية على ثلاثة مكونات أساسية:

1. التحليل النظري والتجريبي لديناميكيات الإنتروبيا

يحلل المؤلفون نظريًا العلاقة بين تدرجات تحديث التعلم التعزيزي وتدرجات الإنتروبيا العالمية. ومن خلال حساب الضرب الداخلي لتدرج الهدف ( $\nabla_z L$ ) وتدرج الإنتروبيا ( $\nabla_z H$ )، حددوا أربعة مناطق متميزة لنسبة أخذ العينات بالوزن ( $r_t$ ) التي تحدد ما إذا كانت الإنتروبيا ستزداد أم ستنخفض:

E1 (كسب عالٍ): الرموز (tokens) ذات الاحتمالية العالية مع ميزة إيجابية تشجع على مزيد من الحدة (انخفاض الإنتروبيا).
E2 (كسب منخفض): الرموز ذات الاحتمالية المنخفضة مع ميزة إيجابية تشجع على التسطيح (زيادة الإنتروبيا).
E3 (هبوط عالٍ): الرمماء ذات الاحتمالية العالية مع ميزة سلبية تشجع على التسطيح (زيادة الإنتروبيا).
E4 (هبوط منخفض): الرمماء ذات الاحتمالية المنخفضة مع ميزة سلبية تشجع على الحدة (انخفاض الإنتروبيا).

ويؤكد التحقق التجريبي أن التطبيق الانتقائي لـ "القص الحافظ للتدرج" على هذه المناطق المحددة يؤثر بشكل مباشر على مسار إنتروبيا السياسة.

2. عتبات القص الديناميكية لتنظيم الإنتروبيا

بناءً على النتائج النظرية، تقدم الورقة آلية عتبة قص ديناميكية. بدلاً من استخدام حدود قياسية ثابتة ( $\epsilon$ )، تمت صياغة عتبات القص كدوال لاحتمالية السياسة الحالية ( $\pi_\theta$ ) مع عملية إيقاف التدرج (stop-gradient):
$\epsilon(\pi_\theta) := f(\bar{p}_t), \quad \bar{p}_t = \text{sg}[\pi_\theta(a_t|s_t)]$
حيث ترتبط $f(\bar{p}_t)$ عكسيًا مع الاحتمالية.

للميزة الإيجابية (Positive Advantage): يتم زيادة عتبة القص العليا للرموز ذات الاحتمالية المنخفضة (لتشجيع الاستكشاف/E2) وتقليلها للرموز ذات الاحتمالية العالية (لمنع التركيز المفرط/E1).
للميزة السلبية (Negative Advantage): يتم خفض عتبة القص الدنيا للرموز ذات الاحتمالية العالية (للحفاظ على الاستقرار) وتخفيفها للرموز ذات الاحتمالية المنخفضة (لقمع المناطق دون المثلى/E4).

تسمح هذه الآلية بتعديل دقيق لـ "منطقة الثقة" يعتمد على الاحتمالية، بهدف تعزيز أو كبح تغيرات الإنتروبيا.

3. استراتيجيات التحكم في الإنتروبيا

بالاستفادة من آلية التنظيم الديناميكي، صمم المؤلفون ثلاث استراتيجيات تدريب متميزة لإدارة تطور الإنتروبيا عبر دورة حياة التدريب:

الزيادة ثم النقصان (ID): مصممة للنماذج المتوافقة مع SFT. تبدأ بمرحلة من زيادة الإنتروبيا (تشجيع الاستدلال المتنوع) تليها مرحلة من نقص الإنترភាព (التقارب نحو الأداء الأمثل).
النقصان ثم الزيادة ثم النقصان (DID): مناسبة للنماذج الأساسية (base) أو النماذج ذات الإنتروبيا العالية. تقوم في البداية بتقليل الإنتروبيا لاستقرار التحسين، ثم تسمح بزيادة محكومة لمنع الانهيار، وأخيرًا تقلل الإنتروبيا من أجل التقارب.
الاضطراب التنازلي (OD): مصممة لعمليات التدريب الطويلة أو السيناريوهات المعرضة للوقوع في النهايات الصغرى المحلية. تستخدم "آلة حالة" (state machine) تقوم بتحفيز تعزيز أو كبح الإنتروبيا بناءً على ما إذا كانت الإنتروبيا الحالية قد انخفضت عن حد أدنى أو تجاوزت حدًا علويًا متناقصًا، مما يحافظ على توازن ديناميكي طوال التدريب.

المساهمات الرئيسية

الرؤية النظرية: تقدم الورقة اشتقاقًا نظريًا وتحققًا تجريبيًا لكيفية مساهمة مناطق محددة من نسبة أخذ العينات بالوزن في نمو وإنقاص الإنتروبيا، مما يؤسس رابطًا واضحًا بين "القص الحافظ للتدرج" وديناميكيات الإنتروبيا.
آلية التنظيم: تقترح آلية عتبة قص ديناميكية تعدل الحدود العليا والدنيا بناءً على احتمالية الرمز، مما يتيح تحكمًا مرنًا ودقيقًا في تقلبات الإنتروبيا.
تصميم الاستراتيجية: تقدم وتقيم ثلاث استراتيجيات محددة للتحكم في الإنتروبيا (ID، DID، OD) التي تكيف عملية التدريب مع حالات النموذج وأهدافه المختلفة، مما يخفف بفعالية من انهيار الإنتروبيا.

النتائج التجريبية

تم تقييم الطرق المقترحة على نماذج Qwen2.5-Math-7B و Qwen2.5-7B و Phi-4-14B باستخدام مجموعة بيانات DAPO-MATH. تم قياس الأداء عبر مهام استدلال رياضي متعددة (AIME24/25، AMC، MATH-500، GSM8k، Olympiad) ومجالات غير رياضية (GPQA-Diamond، LiveCodeBench، MMLU-Redux).

مكاسب الأداء: تفوقت الاستراتيجيات الثلاث (ID، DID، OD) باستمرار على خط الأساس GRPO والطرق الأخرى المتطورة (مثل Clip-Higher، وEntropy-Regularization، وGSPO) عبر اختبارات متعددة. على سبيل المثال، في نموذج Qwen2.5-Math-7B، حققت استراتيجية Ours-ID درجة 33.1 في AIME24 مقارنة بـ 24.4 لـ GRPO، و 48.3 في Olympiad مقارنة بـ 46.2.
التحكم في الإنتروبيا: أظهرت منحنيات التدريب أن الطرق المقترحة نجحت في منع انهيار الإنتروبيا. أظهرت استراتيجية ID ارتفاعًا أوليًا واضحًا في الإنتروبيا يليه تناقص محكوم، بينما حافظت استراتيجية OD على سلوك تذبذبي منع التقارب المبكر.
التعميم: أظهرت الطرق قابلية للتوسع لنماذج أكبر (Phi-4-14B) والتعميم على المجالات غير الرياضية، حيث أظهرت تحسنات متسقة في مقاييس Pass@K ودرجات المكافأة.
الكفاءة: لم تتسبب آلية القص الديناميكية في عبء حسابي يذكر، حيث كانت أوقات التدريب قابلة للمقارنة مع خط الأساس GRPO.

الأهمية والادعاءات

تزعم الورقة أنه من خلال نقل منظور التحكم في الإنتروبيا من ضبط العتبات الثابتة إلى التعديل الديناميكي المعتمد على الاحتمالية والحفاظ على التدرج، يمكن إدارة المقايضة بين الاستكشاف والاستغلال بدقة في RLVR.

يؤكد المؤلفون أن عملهم يعالج مشكلة انهيار الإنتروبيا الحرجة، والتي تم تحديدها كعائق في توسيع نطاق RL للنماذج اللغوية الكبيرة في مجال الاستدلال. ومن خلال تقديم إطار نظري واستراتيجيات عملية (ID، DID، OD)، تقدم الورقة حلاً قويًا للحفاظ على تنوع المخرجات وتدفق التدرج أثناء التدريب المستمر. وتشير النتائج إلى أن التحكم المرن في الإنتروبيا ليس مجرد تقنية تنظيم، بل هو مكون أساسي لتحقيق أداء استدلال فائق في النماذج اللغوية الكبيرة. ويؤكد العمل أن فعالية هذه الاستراتيجيات تكمن في قدرتها على تكييف قيود منطقة الثقة وفقًا لحالات الاحتمالية المحددة للرموز، بدلاً من تطبيق تعديلات موحدة.