💬 NLP

Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

تقدم هذه الورقة البحثية إطار عمل PACED-RL، وهو إطار عمل لما بعد التدريب يعيد تفسير دالة التجزئة في GFlowNet كإشارة دقة لكل مطالبة (per-prompt) لإعطاء الأولوية للمطالبات الغنية بالمعلومات وتحسين عملية إعادة التشغيل، مما يؤدي إلى تحسين كفاءة العينات وأداء الاستنتاج في النماذج اللغوية الكبيرة بشكل كبير دون تكبد أعباء حسابية إضافية.

المؤلفون الأصليون: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً عبقرياً ولكنه حرفي للغاية (الذكاء الاصطناعي) كيفية حل الألغاز المعقدة، مثل المسائل الرياضية أو تحديات البرمجة. تريد منه أن يتحسن في التفكير المنطقي، ولكنك تريده أيضاً أن يحافظ على إبداعه وألا يكتفي بمجرد حفظ طريقة واحدة لحل كل شيء.

تقدم هذه الورقة البحثية طريقة تعليمية جديدة تسمى PACED-RL. لفهم كيفية عملها، دعونا نلقي نظرة على المشكلات التي تواجه الأساليب الحالية وكيف تعالجها هذه الطريقة الجديدة باستخدام خدعة ذكية.

المشكلة: الطالب "المفرط في الثقة"

أساليب التدريس الحالية (مثل PPO أو GRPO) تشبه ضابط التدريب الصارم. هي تقول للطالب: "إذا حصلت على الإجابة الصحيحة، فهذا رائع! إذا أخطأت، فحاول بجهد أكبر في المرة الققية."

النتيجة: يصبح الطالب بارعاً جداً في الوصول إلى الإجابة الصحيحة، لكنه يصبح جامداً. يتوقف عن تجربة مقاربات مختلفة ولا يخرج إلا الشيء الوحيد الذي يعتقد أنه "آمن". يفقد هذا التنوع في التفكير.

الحل السابق: طريقة "التدفق" (Flow)

حاول الباحثون مؤخراً استخدام طريقة تسمى GFlowNets. بدلاً من مجرد مطاردة أعلى درجة، تحاول هذه الطريقة تعليم الطالب مطابقة "توزيع مثالي" للإجابات. الأمر يشبه قول: "لا تجد الإجابة الصحيحة الواحدة فقط؛ بل جد كل الإجابات الصحيحة الممكنة بالنسب الصحيحة."

العقبة: لجعل هذا يعمل، يتعين على النظام حساب رقم معقد يسمى دالة التجزئة (Partition Function). وحتى الآن، كان الجميع يعامل هذا الرقم كأنه زر آلة حاسبة ممل — شيء "يجب" عليك الضغط عليه لجعل الرياضيات تعمل، ثم ترمي النتيجة فوراً.

الفكرة الكبرى: دالة التجزئة هي "مقياس الصعوبة"

أدرك مؤلفو هذه الورقة البحثية لحظة "وجدتها!". لقد أدركوا أن هذا الرقم "الممل" (دالة التجزئة) يحمل في الواقع سراً: فهو يخبرك بالضبط مدى صعوبة سؤال معين بالنسبة للطالب في هذه اللحظة.

فكر في دالة التجزئة ليس كآلة حاسبة، بل كـ مجدول للصعوبة.

إذا كان الرقم مرتفعاً، فالسؤال سهل بالنسبة للطالب.
إذا كان الرقم منخفضاً، فالسؤال صعب للغاية.
إذا كان الرقم في المنتصف، فالسؤال "مناسب تماماً" (نقطة التوازن المثالية للتعلم).

كيف يعمل PACED-RL: المعلم الذكي

بدلاً من رمي "مقياس الصعوبة" هذا، يستخدم PACED-RL هذه المعلومة لإدارة جلسة تعليمية فائقة الذكاء. وهو يقوم بشيئين رئيسيين:

1. اختيار الأسئلة "المثالية" (اختيار المحفز التكيفي - Adaptive Prompt Selection)
تخيل معلماً لديه كومة من 10,000 مسألة تدريبية.

الطريقة القديمة: يختار المعلم الأسئلة عشوائياً. بعضها سهل جداً (فيشعر الطالب بالملل)، وبعضها صعب جداً (فيستسلم الطالب).
طريقة PACED-RL: ينظر المعلم إلى "مقياس الصعوبة" لكل سؤال. هو يختار فقط الأسئلة التي تكون نسبة احتمال حلها بشكل صحيح هي 50%.
- لماذا؟ لأن هذه هي "منطقة جولدي لوكس" (المنطقة المثالية). ليست سهلة جداً، وليست صعبة جداً. إنها التحدي المثالي حيث يتعلم الطالب أكثر ما يمكن.
- السحر: يحصل المعلم على هذه المعلومة مجاناً! لم يكن عليه أن يطلب من الطالب حل المسائل أولاً ليعرف مدى صعوبتها؛ فـ "المقياس" (دالة التجزئة) قد أخبره بالفعل عن الصعوبة أثناء عملية التدريب.

2. جلسة "مراجعة الأخطاء" (إعادة التشغيل ذات الأولوية - Prioritized Replay)
عندما يقوم الطالب بتخمين، يتحقق النظام: "هل توقع مقياس الصعوبة الخاص بنا هذا بشكل صحيح؟"

إذا قال المقياس "هذا سهل" ولكن الطالب أخطأ، فهذه مفاجأة كبيرة.
إذا قال المقياس "هذا صعب" ولكن الطالب أصاب، فهذه أيضاً مفاجأة.
يقوم PACED-RL بحفظ لحظات "المفاجأة" هذه في دفتر ملاحظات خاص (Replay Buffer). لاحقاً، يقوم بمراجعة هذه الحالات المحددة مرة أخرى لأنها الأكثر قيمة لتصحيح فهم الطالب.

النتائج: أسرع وأذكى

اختبرت الورقة البحثية ذلك على مهام الرياضيات والبرمجة. إليكم ما حدث:

السرعة: لأن PACED-RL يركز فقط على الأسئلة الأكثر فائدة، فقد تعلم بسرعة أكبر بكثير. في بعض الاختبارات، وصل إلى نفس مستوى الأداء في أقل من نصف الوقت مقارنة بالطرق الأخرى.
الإبداع: على عكس أساليب "ضابط التدريب" التي جعلت الطالب جامداً، حافظ PACED-RL على قدرة الطالب على إيجاد حلول متنوعة. لم يتعلم طريقة واحدة فقط لحل المشكلة، بل تعلم طرقاً عديدة.
الكفاءة: لم يحتج إلى أجهزة كمبيوتر إضافية أو وقت إضافي لتحديد الأسئلة التي يجب اختيارها. لقد استخدم المعلومات التي كان يولدها بالفعل.

تشبيه ملخص

تخيل التدريب على ماراثون.

الطريقة القديمة: تركض نفس الـ 10 أميال كل يوم، بغض النظر عن شعورك.
GFlowNets (السابقة): تحاول الجري بمزيج محدد من التلال والطرق المستوية، لكنك لا تعرف ما هو المزيج الأفضل لـ اليوم.
PACED-RL: لديك مدرب ذكي ينظر إلى معدل ضربات قلبك ومستويات التعب لديك (دالة التجزئة) في الوقت الفعلي. يقول المدرب: "اليوم، لا تركض في الطريق المستوي السهل (ممل) أو الجبل الشاهق (صعب جداً). لنركض في التل الذي يمثل تحدياً كافياً لجعلك أقوى."

من خلال استخدام "مقياس الصعوبة" الموجود بالفعل، يقوم PACED-RL بتدريب الذكاء الاصطناعي ليكون أذكى، أسرع، وأكثر إبداعاً دون إضاعة أي وقت أو طاقة.

ملخص تقني: ما وراء التطبيع: إعادة التفكير في دالة التجزئة كجدول زمني للصعوبة لتعلم التعزيز مع المكافآت القابلة للتحقق (RLVR)

بيان المشكلة
أثبت التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) فعالية كبيرة في تعزيز قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs). ومع ذلك، فإن طرق تعظيم المكافأة القياسية مثل PPO وGRPO غالبًا ما تؤدي إلى توزيعات مخرجات حادة للغاية، مما يقلل من تنوع التوليد. بينما تعالج الأساليب الحديثة التي تستخدم GFlowNets هذه المشكلة من خلال تدريب السياسات لمطابقة توزيع مستهدف مستحث بالمكافأة، إلا أنها تتعامل عادةً مع دالة التجزئة ( $Z$ ) المستفادة فقط كثابت تطبيع مطلوب لاستقرار التدريب. تجادل هذه الورقة بأن هذا المنظور لا يستغل المعلومات المشفرة داخل $Z$ بشكل كافٍ، مما يضيع فرصة لتحسين كفاءة العينات دون تكبد تكاليف حسابية إضافية.

المنهجية: PACED-RL
يقترح المؤلفون إطار عمل PACED-RL (التعلم التعزيزي الموجه بدالة التجزئة)، وهو إطار عمل لما بعد التدريب يعيد تفسير دالة التجزئة في GFlowNet ليس فقط كمُطبّع، بل كإشارة للدقة عبر الإنترنت لكل مطالبة (prompt). تتكون المنهجية من ثلاثة مكونات أساسية:

إعادة التفسير النظري لدالة التجزئة:
تؤسس الورقة رابطًا نظريًا بين دالة التجزئة المثلى $Z^*(x)$ والدقة عبر الإنترنت $p_{old}(x)$ لمطالبة السؤال $x$ تحت السياسة ما قبل التحديث. من خلال تعديل خسارة توازن المسار (Trajectory Balance - TB) لترسيخ تباعد KL عند السياسة الحالية ( $\pi_{old}$ ) بدلاً من نموذج مرجعي ثابت، استنتج المؤلفون أن $Z^*(x)$ تشفر مباشرة معلومات الدقة. وتحديدًا، $p_{old}(x) \approx \beta \log Z^*(x)$ ، حيث تبين تجريبيًا أن حد تباعد KL يكون ضئيلًا أثناء ديناميكيات التدريب القياسية. وهذا يسمح لدالة التجزئة، التي يتم تعلمها بالفعل من أجل التطبيع، بأن تعمل كمقدر مجاني للدقة عبر الإنترنت.
الاختيار التكيفي للمطالبات:
بالاستفادة من تقديرات الدقة المستمدة من $Z_\phi(x)$ ، ينفذ PACED-RL استراتيجية اختيار مطالبات واعية بالصعوبة. فبدلاً من أخذ عينات من المطالبات بشكل موحد، يختار الأسلوب جشعًا (greedily) أفضل $m$ من المطالبات التي تكون دقتها المقدرة أقرب إلى قيمة مستهدفة $\tau$ (عادةً 0.5). وهذا يركز التدريب على عينات "الصعوبة المتوسطة"، والتي تشير الدراسات السابقة إلى أنها تقدم أكثر إشارات التعلم إفادة، مما يعظم كفاءة العينات.
إعادة التشغيل ذات الأولوية لخطأ تقدير الدقة:
لتعزيز الكفاءة ومعايرة دالة التجزئة، يقدم إطار العمل آلية إعادة تشغيل (replay mechanism). يقوم مخزن مؤقت بتخزين أزواج (المطالبة-المخرج) ذات المكافآت الصحيحة ( $r=1$ ). داخل هذا المخزن، يتم ترتيب العينات بناءً على حجم خطأ تقدير الدقة: $| \frac{N_{correct}}{N} - \hat{p}_{old}(x) |$ . يضمن هذا أن النموذج يعيد زيارة العينات التي ينحرف فيها تنبؤ دالة التجزئة أكثر عن الواقع المرصود، مما يصقل تقديرات الدقة وتطبيع التوزيع المستهدف.

ومن الأهمية بمكان أن كلاً من اختيار المطالبات وإعطاء الأولوية لإعادة التشغيل يعيد استخدام المعلومات المولدة أثناء تدريب GFlowNet القياسي، مما يقلل التكاليف الحسابية الإضافية ضمن عملية التحسين الحالية.

المساهمات الرئيسية

رؤية نظرية: تثبت الورقة أن دالة التجزئة لـ GFlowNet في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة مرتبطة جوهريًا بالدقة عبر الإنترنت، مما يسمح باستخدامها المباشر كمقدر للدقة دون آليات مساعدة.
إطار عمل PACED-RL: تقديم إطار تدريب مبتكر يستخدم تقديرات الدقة هذه للاختيار التكيفي للمطالبات وإعادة التشغيل ذات الأولوية للخطأ، مما يحسن كفاءة العينات مع الحفاظ على فوائد التنوع التي توفرها GFlowNets.
التحقق التجريبي: أظهرت التقييمات الواسعة عبر معايير الاستدلال الرياضي وتوليد الكود نتائج قوية، حيث حقق PACED-RL مكاسب أداء كبيرة مقارنة بالنماذج المرجعية القوية (GRPO, FlowRL) وأساليب أخذ العينات التكيفية (DS, LILO, MoPPS) دون التكاليف الحسابية المرتبطة بالإفراط في أخذ العينات.

النتائج التجريبية
أجريت التجارب على توليد الكود (مجموعة بيانات DeepCoder، نموذج DeepSeek-R1-Distill-Qwen-1.5B) والاستدلال الرياضي (مجموعة بيانات DeepScaleR، نماذج Qwen2.5-Math-1.5B/7B).

مكاسب الأداء: في معيار AIME 24، حسن PACED-RL متوسط أداء pass@1 بنسبة 29.1% فوق GRPO و40.0% فوق FlowRL باستخدام نموذج Qwen2.5-Math-7B.
كفاءة العينات: حقق PACED-RL أفضل أداء لـ GRPO وFlowRL في وقت أقل بكثير (على سبيل المثال، 0.42× وقت التدريب في LiveCodeBench). وعلى عكس الأساليب التي تتطلب الإفراط في أخذ العينات (DS, LILO)، حافظ PACED-RL على نسبة تدفق (rollout ratio) تبلغ 1.0 بالنسبة للتدريب القياسي، متجنبًا عقوبات التأخير المرتبطة بتوليد عينات إضافية لتقدير الدقة.
التنوع: تم قياسه عبر مقاييس pass@k، حيث تفوق PACED-RL باستمرار على النماذج المرجعية، محققًا تحسينات تصل إلى 14.2% فوق GRPO و9.1% فوق FlowRL، مما يؤكد أن الطريقة تحافظ على تنوع المخرجات وقدرة الاستكشاف.
دراسات الاستئصال (Ablation Studies): تحقق المؤلفون من أن حذف حد تباعد KL من مقدر الدقة له تأثير ضئيل على ديناميكيات أخذ العينات مع توفير حسابات كبيرة. كما أظهروا أن الطريقة تنتقل طبيعيًا نحو الأسئلة الأكثر صعوبة مع تحسن النموذج، مما يمنع الانهيار إلى مجموعة فرعية ضيقة من البيانات.

الأهمية والادعاءات
تدعي الورقة أن PACED-RL يوفر "طريقة مبدئية وعملية" لتعزيز تدريب مطابقة التوزيع للنماذج اللغوية الكبيرة. من خلال إعادة تفسير دالة التجزئة كإشارة دقة عبر الإنترنت، تمكن الطريقة من تدريب أكثر كفاءة في استخدام العينات دون العبء الحسابي لمقدرات الدقة المساعدة أو توليد تدفقات (rollouts) زائدة. يضع المؤلفون هذا العمل كخطوة نحو تدريب RLVR أكثر كفاءة، مشيرين إلى أن دور دالة التجزئة يمتد إلى ما وراء التطبيع ليعمل كجدول زمني ديناميكي للصعوبة. ويُقترح في العمل المستقبلي استكشاف استراتيجيات وقت الاستدلال (مثل الاتساق الذاتي التكيفي) وتوسيع إطار العمل إلى إعدادات GFlowNet غير المتزامنة.