Stabilizing Policy Optimization via Logits Convexity

إليك ملخص تقني مفصل لورقة البحث بعنوان "استقرار تحسين السياسة عبر تقعس اللوجيت (Logits Convexity)".

1. بيان المشكلة

أصبح التعلم المعزز (RL) أساسياً لمواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية وتعزيز قدرات الاستدلال لديها. ومع ذلك، فإن تدريب التعلم المعزز (تحديداً باستخدام خوارزميات مثل تحسين السياسة القريبة - PPO) يعاني من عدم استقرار ملحوظ مقارًة بالضبط الدقيق تحت الإشراف (SFT).

• فجوة عدم الاستقرار: بينما يتبع الـ SFT مسار تحسين مستقر، غالباً ما يعاني PPO من تدرجات متذببة، بما في ذلك انفجارات التدرج وانهيار التدريب، حتى عند استخدام تقنيات التثبيت القياسية مثل القص (clipping) أو تنظيم KL.
• السبب الجذري غير معروف: تعزو الأدبيات الحالية ذلك إلى التباين في تقدير الميزة (advantage estimation) أو قيود إزاحة السياسة، ولكن السبب الهندسي الأساسي داخل مشهد الخسارة (loss landscape) لا يزال غير واضح.
• ملاحظة: يُظهر التحليل التجريبي أنه مع تقدم تدريب PPO، يمكن أن تزداد معايير التدرج (gradient norms) (خاصة للأفعال ذات المزايا السالبة) حتى مع انخفاض الخسارة، مما يؤدي إلى تحديثات عشوائية للمعلمات وانهيار الأداء في نهاية المطاف.

2. المنهجية: تحسين لوجيت التقعس (LCO)

يقترح المؤلفون إطار عمل جديد يسمى تحسين لوجيت التقعس (LCO) بناءً على الرؤية النظرية بأن تقعس اللوجيت (logits convexity) هو المفتاح للتدريب المستقر.

أ. الأساس النظري: تقعس اللوجيت

• التعريف: تكون دالة الخسارة "متقعسة للوجيت" إذا كانت مصفوفة هسيان (Hessian matrix) الخاصة بها بالنسبة للوجيتات النموذج ($z_\theta$) موجبة شبه محددة.
• اتجاهية التدرج: تثبت الورقة (الفرضية 4.4) أنه إذا كانت الخسارة متقعسة للوجيت، فإن التدرج في فضاء المعلمات يكون متوافقاً اتجاهياً مع المسار نحو المعلمات القريبة من المثالية. وهذا يمنع التدرج من الانحراف بفعل النقاط الثابتة الزائفة.
• SFT مقابل PPO:
  • SFT: تم إثبات أن خسارة السلب اللوغاريتمي للقدرة (negative log-likelihood) متقعسة للوجيت، مما يضمن تدرجات مستقرة ومتناقصة مع تقارب النموذج.
  • PPO: الهدف البديل المقصوص (clipped surrogate objective) ليس متقعساً للوجيت. هذا الافتقار للتقعس يؤدي إلى تدرجات غير متوافقة وانفجارات التدرج الملحوظة، خاصة عند التعامل مع المزايا السالبة.

ب. إطار عمل LCO

يعيد LCO صياغة مهمة التعلم المعزز كمسألة مواءمة تحت الإشراف تجاه هدف أمثل مشتق من هدف التعلم المعزز الأصلي، وبالتالي يرث استقرار تقعس اللوجيت.

1. اشتقاق الهدف الأمثل: بناءً على هدف التعلم المعزز المنظم، يتم اشتقاق السياسة المثلى $\pi^*$ واللوجيتات المثلى $z^*$ في صيغة مغلقة:
   $$z^*(s_t, a_t) = z_{old}(s_t, a_t) + \frac{A(s_t, a_t)}{\beta}$$
   حيث $A$ هي دالة الميزة و $\beta$ هو معامل KL.
2. ثلاث استراتيجيات للتنفيذ:
   • LCO-MSE: يقلل متوسط مربع الخطأ (Mean Squared Error) بين اللوجيتات الحالية واللوجيتات المثلى $z^*$.
   • LCO-LCH: يقلل خسارة Log-Cosh بين اللوجيتات الحالية والمثلى. هذا المتغير قوي ضد القيم المتطرفة في تقدير الميزة.
   • LCO-KLD: يقلل تباعد كولباك - ليبلر (KL divergence) الأمامي بين توزيع السياسة الحالي وتوزيع السياسة المثلى $\pi^*$.
3. تقدير الميزة: يدعم إطار العمل استراتيجيات مختلفة لتقدير الميزة، بما في ذلك المزايا المتفرقة (الأفعال المأخوذة كعينات فقط)، والكثيفة (بناءً على احتمالية اللوغاريتم)، والإشارات القائمة على التفضيل (المشتقة من DPO).

ج. الضمانات النظرية

• التقعس: جميع أهداف LCO (MSE, LCH, KLD) مثبت أنها متقعسة لللوجيت (التمهيدية 4.6).
• التدرجات ذاتية الاستقرار: معايير التدرج لأهداف LCO محدودة بدوال أحادية الاتجاه من الخسارة. ومع اقتراب النموذج من الهدف الأمثل، تتناقص شدة التدرج طبيعياً، مما يمنع الطفرات المفاجئة التي يسببها PPO (الفرضية 4.7).
• التقارب: تضمن أهداف LCO معدلات تقارب خطية تحت الافتراضات القياسية.

3. المساهمات الرئيسية

1. رؤية نظرية: تحديد تقعس اللوجيت كخاصية هندسية حاسمة تميز استقرار SFT عن عدم استقرار RL. وإثبات أن PPO يفتقر إلى هذه الخاصية، مما يؤدي إلى عدم توافق التدرج.
2. إطار عمل مبتكر: اقتراح LCO، وهو إطار لتحسين السياسة يحول التعلم المعزز إلى مسألة مطابقة لوجيت متقعسة، مما يضمن ديناميكيات تدرج مستقرة دون الاعتماد على آليات القص الهيورستية (heuristic clipping).
3. تحليل شامل: تقديم براهين صارمة لاتجاهية التدرج، وحدود المعيار، ومعدلات التقارب للطرق المقترحة.
4. التحقق التجريبي: إثبات تفوق LCO على أفضل النتائج الحالية (PPO, GRPO, DAPO, GSPO) عبر مهام وعائلات نماذج متنوعة.

4. النتائج التجريبية

قيم المؤلفون LCO في الاستدلال الرياضي (MATH500, AMC23, MinervaMath)، وفهم القراءة الآلية (QA-Feedback)، واتباع التعليمات (AlpacaEval 2.0) باستخدام نماذج أساسية متنوعة (Qwen, Llama, Mistral).

• الأداء:
  • الاستدلال الرياضي: حققت متغيرات LCO نتائج رائدة (SOTA). على سبيل المثال، حقق LCO-KLD على نموذج Qwen-3-4B نسبة 73.20% في اختبار MATH500 (Pass@1)، متفوقاً بشكل كبير على PPO (67.80%) و GRPO (67.60%).
  • اتباع التعليمات: حقق LCO-KLD نسبة فوز متحكم في الطول بلغت 32.93% على AlpacaEval 2.0، متجاوزاً PPO (27.20%).
  • القوة: تفوقت متغيرات LCO باستمرار على النماذج المرجعية عبر أحجام نماذج وبنيات مختلفة (من 3B إلى 70B).
• الاستقرار:
  • ديناميكيات التدرج: على عكس PPO، الذي أظهر تذبذباً وانفجاراً في معايير التدرج بعد 6,000 خطوة، حافظ LCO-KLD على تدرجات مستقرة ومتناقصة بسلاسة طوال التدريب.
  • انهيار التدريب: غالباً ما عانى PPO من انخفاض في الأداء في مراحل التدريب المتأخرة بسبب الانهيار، بينما أظهر LCO تحسناً مستمراً.
• الكفاءة:
  • كفاءة العينات: وُجد أن LCO-LCH أكثر كفاءة في العينات بمقدار 3 أضعاف تقريباً من LCO-KLD، وأكثر كفاءة بكثير من PPO، حيث حقق أداءً مماثلاً بنصف عينات التدريب بسبب قوة التقعس.
• التغذية الراجعة المتفرقة: ظل LCO فعالاً حتى عندما كانت إشارات الميزة مقيدة بالأفعال المأخوذة كعينات (التغذية الراجعة المتفرقة)، متفوقاً على PPO و GRPO في هذه البيئات المقيدة.

5. الأهمية

• حل مشكلة عدم الاستقرار: يقدم هذا العمل تفسيراً نظرياً جوهرياً لسبب عدم استقرار تدريب التعلم المعزز في النماذج اللغوية الكبيرة، ويقدم حلاً عملياً ذا أساس رياضي يلغي الحاجة إلى آليات القص الهيورستية.
• الربط بين SFT و RL: من خلال صياغة التعلم المعزز كمسألة مطابقة لوجيت متقعسة، يوحد LCO استقرار SFT مع قوة تحسين RL، مما يسمح للنماذج بتجاوز سقف الأداء لطرق التقطير الثابتة.
• القابلية للتوسع: إطار العمل قابل للتطبيق عبر أحجام نماذج ومهام مختلفة، مما يشير إلى مسار نحو مواءمة أكثر موثوقية وقابلية للتوسع للنماذج اللغوية الكبيرة المستقبلية.
• الأثر العملي: طريقة LCO المقترحة بسيطة التنفيذ (باستبدال خسارة PPO بخسارة انحدار/KL تجاه هدف مشتق) ومع ذلك تحقق تحسينات جوهرية في كل من استقرار التدريب والأداء النهائي للنموذج.