ملخص تقني: تقطير سياسة المنطقة القصوى (ERPD)

بيان المشكلة

تواجه عملية التعلم التعزيزي (RL) للنماذج اللغوية الكبيرة (LLMs) مقايضة جوهرية بين كفاءة العينات والأداء النهائي (Asymptotic Performance).

• الأساليب المعتمدة على السياسة (On-policy methods): (مثل PPO وGRPO) تتخلص من المسارات بعد تحديث واحد لضمان الاستقرار، مما يؤدي إلى كفاءة ضعيفة في استخدام العينات.
• الأساليب غير المعتمدة على السياسة (Off-policy methods): تعيد استخدام المسارات لتحسين الكفاءة ولكنها تسبب عدم تطابق في التوزيع. وتفرض تقنيات التثبيت الحالية (مثل قيود KL أو التقطيع/Clipping) تحسيناً محافظاً لمنع عدم الاستقرار.
• المشكلة الجوهرية: يكشف الاستقصاء التجريبي أن القيود المحافظة تتسبب في عدم استغلال إشارات التدريب بشكل كامل. وعلى العكس من ذلك، فإن التحسين المتعدد الخطوات العدواني (Aggressive multi-step optimization) على بيانات ثابتة يحقق مكاسب أولية سريعة، ولكنه يؤدي في النهاية إلى انحراف احتمالية المسار وانهيار الإنتروبيا (Entropy Collapse). هذا التباعد المفرط يستهلك ميزانية KL في "انحراف غير ضروري" بدلاً من التحسين الحقيقي للمهمة، مما يؤدي إلى بلوغ هضاب أداء مبكرة. ومجرد تشديد قيود KL يقلل من سقف الأداء دون حل مشكلة عدم الكفاءة الأساسية.

المنهجية: تقطير سياسة المنطقة القصوى (ERPD)

يقترح البحث إطار عمل ERPD، وهو إطار مكون من مرحلتين يفصل بين كفاءة العينات وكفاءة KL.

المرحلة الأولى: التحسين العدواني غير المعتمد على السياسة (كفاءة العينات)

• الهدف: تعظيم استخراج إشارات التدريب من دفعة ثابتة من المسارات (Rollouts)، بغض النظر عن تباعد السياسة.
• العملية: إجراء تحديثات عديدة غير معتمدة على السياسة (مثلاً 80 خطوة أو أكثر) على مجموعة بيانات ثابتة باستخدام تحسين ضعيف القيود أو غير مقيد.
• النتيجة: ينتج عن ذلك "سياسة المنطقة القصوى" ($\pi_{\theta_e}$). وبينما قد تعاني هذه السياسة من تباعد KL عالٍ وانهيار في الإنتروبيا، إلا أنها تحتوي على إشارات تدريب غنية ومستخرجة بأقصى قدر ممكن.
• دوال الخسارة (Loss Functions): يقيم البحث دوال خسارة متنوعة لهذه المرحلة، بما في ذلك SAPO (التقطيع الناعم)، وCE (الإنتروبيا المتقاطعة)، ودالة MSE loss مبتكرة تدفع احتمالات الأفعال نحو التشبع (0 أو 1) لإنشاء سياسة متدهورة "غير متعلمة".

المرحلة الثانية: التقطير المقيد بمنطقة الثقة (كفاءة KL)

• الهدف: تقطير الإشارات المفيدة من السياسة القصوى وإعادتها إلى السياسة الأساسية مع تصفية الانحرافات الزائفة.
• العملية: يتم تحديث السياسة الأساسية ($\pi_{\theta_{old}}$) لتقريب السياسة القصوى ($\pi_{\theta_e}$) تحت قيود صارمة لمنطقة الثقة (التي تحد من تباعد KL).
• بناء الإشارة على مستوى الرمز (Token-Level Signal Construction):
  • استراتيجية المعلم القوي (Strong Teacher Strategy): تستخدم نسبة اللوغاريتم $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{old}}(a|s)}$ كإشارة مكافأة. يتم تثبيت المقام على السياسة المرجعية الأصلية للحفاظ على اتجاه ثابت للتحسين.
  • استراتيجية المعلم الضعيف (Weak Teacher Strategy): عندما تكون السياسة القصوى متدهورة (أسوأ من السياسة الأساسية)، يقدم البحث طرقاً بديلة لبناء الإشارة. وتحديداً، تستخدم نسبة اللوغاريتم مقابل سياسة "غير متعلمة" ($\pi_{\theta_{un}}$) وسيطة تم الحصول عليها خلال المرحلة الأولى من التحسين العدواني: $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{un}}(a|s)}$. وهذا يسمح حتى للمعلمين الأضعف بتقديم إشارات إشرافية فعالة.
• التحسين: تستخدم مرحلة التقطير دالة هدف بديلة (Surrogate Objective) من نوع PPO مع مكافآت مستندة إلى الرموز، وتتطلب عادةً خطوات أقل (مثلاً 10-32 خطوة) من تدريب المعلم.

المساهمات الرئيسية

1. إطار عمل مفصول: تقديم مسار تدريب مكون من مرحلتين يفصل بين استخراج الإشارات العدواني وتحديث السياسة المستقر، مما يحقق كفاءة عالية في العينات دون التضحية بالأداء النهائي أو كفاءة KL.
2. التقطير من الضعيف إلى القوي (Weak-to-Strong Distillation): إثبات أن حتى سياسات المعلم المتدهورة أو الأضعف (المدربة باستخدام MSE أو تحت ظروف "إلغاء التعلم" المحددة) يمكن أن توفر إشرافاً فعالاً. يقدم البحث توصيفات تجريبية منهجية ودراسات استئصال (Ablation Studies) حول استراتيجيات بناء الإشارة (باستخدام السياسات غير المتعلمة مقابل السياسات القديمة).
3. تحليل الإشارة على مستوى الرمز: تحقيق مفصل في كيفية تفاعل المكافآت المستمدة من السياسات القصوى مع تعلم الطالب، مما يظهر أن الطلاب يمكنهم تجاوز المعلمين عند استخدام صياغات محددة لنسبة اللوغاريتم (مثل تثبيت المقام على السياسة القديمة).
4. التحقق التجريبي على الاستنتاج (Reasoning): تقييم شامل على معايير الاستنتاج الرياضي (AIME, HMMT, IMO) ومهام البرمجة (LiveCodeBench)، مما أظهر مكاسب كبيرة للنماذج الأساسية القوية حيث يتوقف التدريب التقليدي المعتمد على السياسة (On-policy) عن التقدم.

النتائج التجريبية

• مكاسب الأداء: في مهام الاستنتاج الرياضي، يتفوق ERPD بشكل كبير على النماذج المرجعية القياسية (PPO, GRPO) وطرق المرحلة الواحدة غير المعتمدة على السياسة. على سبيل المثال، في اختبار HMMT Feb 25، حقق تطبيق ERPD على نموذج Qwen3.5-27B أداءً يقارب النماذج الرائدة.
• كفاءة KL: تحقق السياسات المقطرة أداءً مماثلاً أو أفضل مع تباعد KL أقل بكثير مقارنة بالسياسات القصوى العدوانية. وهذا يؤكد أن التباعد في المرحلة الأولى كان معظمه مستهلكاً في انحراف غير منتج.
• فعالية المعلم الضعيف: في السيناريوهات التي يفشل فيها التحسين العدواني في إنتاج معلم أقوى (مثل استخدام خسارة MSE)، لا تزال استراتيجية "غير المتعلم" تحقق تحسينات. كما أن طرق التجميع (Ensemble) التي تجمع بين المعلمين الأقوياء والضعفاء تعزز الأداء بشكل أكبر.
• التحسين التكراري: تظهر تجارب التبديل بين الإنترنت (Online) والعمل دون اتصال (Offline) أن التناوب بين التقطير دون اتصال وأخذ العينات عبر الإنترنت يسمح بتحسين مستدام في الأداء، بينما غالباً ما تستقر أو تتدهور الطرق المعتمدة حصراً على النهجين.
• نتائج الاستئصال (Ablation Findings):
  • بناء الإشارة: اختيار المقام في نسبة اللوغاريتم (السياسة القديمة مقابل السياسة الحالية) أمر بالغ الأهمية. تثبيت المقام على السياسة القديمة يسمح للطالب بتجاوز المعلم.
  • القيم المتطرفة (Outliers): يشير تحليل أولي إلى أن الرموز "المتطرفة" (نسب اللوغاريتم السالبة) في السياسة القصوى تشفر إشارات تصحيحية معلوماتية؛ وحجبها يؤدي إلى تراجع الأداء.
  • الإنتروبيا: خلافاً للافتراضات الشائعة، لا تعتمد مكاسب الأداء بالضرورة على تقليل الإنتروبيا؛ ففي بعض الحالات، يرتبط ارتفاع الإنتروبيا بتحسن الأداء.

الأهمية والادعاءات

يزعم البحث أن المقايضة بين كفاءة البيانات واستقرار التحسين ليست متأصلة، بل هي نتيجة لإجبار سياسة واحدة على موازنة أهداف متضاربة. ومن خلال فصل هذه الأهداف:

1. يحرر ERPBD إشارات التدريب الكامنة في مجموعات البيانات الثابتة التي تتجاهلها الطرق المحافظة.
2. يؤكد صحة فرضية "من الضعيف إلى القوي" في التعلم التعزيزي، موضحاً أن حتى السياسات التي "ألغت تعلمها" أو تدهورت يمكن أن تعمل كمعلمين فعالين إذا تم تكييف بناء الإشارة (مثل استخدام السياسة غير المتعلمة كمرجع).
3. يوفر مساراً عملياً لتحسين نماذج الاستنتاج ذات الحالة الراهنة (SOTA) دون الحاجة إلى زيادات هائلة في جمع البيانات، وذلك عبر استغلال البيانات الموجودة بشكل أكثر فعالية من خلال التحسين العدواني المتبوع بالتقطير الدقيق.

يحافظ المؤلفون على التواضع فيما يتعلق بالتفسيرات النظرية، مشيرين إلى أنه بينما النجاح التجريبي للتقطير من الضعيف إلى القوي واضح، فإن الشروط النظرية الدقيقة التي تجعل المعلمين المتدهرين يقدمون إشارات مفيدة تتطلب مزيداً من الاستقصاء. وبالمثل، تم تحديد دور الإنتروبيا والقيم المتطرفة كمجالات للتحليل المنهجي المستقبلي.