ملخص تقني: تحسين سياسة هولدر (HölderPO)

1. بيان المشكلة

برزت خوارزمية تحسين السياسة النسبية للمجموعات (GRPO) كخوارزمية مهيمنة وفعالة حوسبياً لمواءمة النماذج اللغوية الكبيرة (LLMs) مع قدرات الاستدلال المعقدة، لا سيما من خلال إلغاء الحاجة إلى نموذج ناقد (critic model) خارجي. ومع ذلك، تعتمد GRPO على آلية تجميع ثابتة لربط المزايا على مستوى المسار (trajectory-level advantages) بتحديثات السياسة على مستوى الرمز (token-level updates). وتحديداً، تستخدم المتوسط الحسابي ($p=1$) لتجميع نسب الأهمية على مستوى الرموز داخل التسلسل.

حدد المؤلفون قيداً حرجاً في هذا النهج الثابت: تُظهر مهام الاستدلال المختلفة كثافات إشارية متفاوتة، ولا توجد دالة تجميع ثابتة واحدة مثالية عالمياً.

• المهام ذات الإشارة المتفرقة (Sparse-signal tasks): (مثل AIME، حيث تكون خطوات الاستدلال الصحيحة نادرة وذات قدر كبير): غالباً ما تؤدي عمليات التجميع الثابتة مثل المتوسط الحسابي إلى تمييع هذه "لحظات الإدراك" (aha moments) النادرة عبر دمجها مع رموز عادية، أو على العكس، تفشل في تضخيمها بشكل كافٍ.
• المهام ذات الإشارة الكثيفة (Dense-signal tasks): (مثل MATH، حيث تكون الإشراف موزعة عبر العديد من الرموز): يمكن لعمليات التجميع التي تركز بشكل مفرط على الرموز ذات النسب العالية أن تسبب تحديثات تدرج (gradient updates) عالية التباين، مما يؤدي إلى انهيار التدريب.

تكشف الملاحظات التجريبية عن مقايضة: عمليات التجميع الثابتة التي تمنع انهيار التدريب غالباً ما تفشل في تحقيق ذروة الأداء في المهام المتفرقة، بينما تلك التي تعظم الأداء في المهام المتفرقة غالباً ما تعاني من عدم الاستقرار في المهام الكثيفة. يجادل البحث بأن تجميع الاحتمالات الأمثل ليس ثابتاً بل هو دالة لكثافة إشارة المهمة وتطور التدريب.

2. المنهجية: HölderPO

لحل هذه المشكلة، يقترح المؤلفون HölderPO، وهو إطار عمل عام لتحسين السياسة يوحد تجميع الاحتمالات على مستوى الرمز عبر متوسط هولدر (Hölder mean) أو (p-norm).

الآلية الجوهرية

بدلاً من المتوسط الثابت، تقوم HölderPO بترميز عامل التجميع بمعامل قياسي $p \in \mathbb{R}$. وبالنظر إلى تسلسل من نسب الأهمية على مستوى الرمز $\{r_{i,t}(\theta)\}$، يتم تعريف حد البديل (surrogate term) على مستوى التسلسل $\rho_{i,p}(\theta)$ كالتالي:
$$\rho_{i,p}(\theta) = \begin{cases} \left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} r_{i,t}(\theta)^p \right)^{1/p} & \text{إذا كان } p \neq 0 \\ \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log r_{i,t}(\theta) \right) & \text{إذا كان } p = 0 \end{cases}$$
هذه الصيغة تستعيد GRPO القياسية ($p=1$، المتوسط الحسابي) و GSPO/GMPO ($p \to 0$، المتوسط الهندسي) كحالات خاصة، مع توسيع الطيف ليشمل القيم السالبة.

التحليل النظري: مقايضة التركيز والاستقرار

يقدم البحث توصيفاً نظرياً لدور المعامل $p$ في مشهد التحسين:

1. تركيز التدرج ($p > 0$): مع زيادة $p$، يتركز توزيع وزن التدرج $W_{i,t}(p)$ بشكل رتيب على الرموز ذات نسب الأهمية الأعلى. هذا يضخم إشارات التعلم المتفرقة وعالية القدرة (وهو أمر حاسم للتعلم في المراحل المبكرة في المهام المتفرقة) ولكنه يقلل من حد التباين.
2. حدود التباين ($p \le 0$): مع انخفاض $p$ (بما في ذلك القيم السالبة)، يتم تضييق تباين مُقدّر تدرج السياسة بشكل صارم. القيم السالبة لـ $p$ تعكس التركيز، حيث ترفع وزن الرموز التي تقل نسبتها عن 1 (مما يشير إلى التردد)، وهو ما يعزز تنوع الاستدلال ويضمن استقرار التدريب في المهام ذات الإشارة الكثيفة.
3. المقايضة: لا يمكن لأي قيمة ثابتة لـ $p$ أن تحقق في آن واحد تعظيم تضخيم الإشارة وتقليل التباين. القيمة العالية لـ $p$ تكون مثالية لاكتشاف الإشارة في المرحلة المبكرة، بينما القيمة المنخفضة (أو السالبة) لـ $p$ تكون مثالية لاستقرار التقارب في المرحلة المتأخرة.

استراتيجية الجدولة الديناميكية

إدراكاً منها أن القيمة المثلى لـ $p$ تتغير مع تقدم التدريب، تقدم HölderPO خوارزمية تضاؤل ديناميكية (dynamic annealing algorithm). يتم جدولة المعامل $p$ ليتضاءل بشكل رتيب من قيمة أولية عالية ($p_{high}$) إلى قيمة نهائية منخفضة أو سالبة ($p_{low}$) عبر دورة حياة التدريب.

• المرحلة المبكرة: يعمل $p$ المرتفع على تضخيم الإشارات المتفرقة وعالية القدرة لدفع التحسين الأولي للسياسة.
• المرحلة المتأخرة: يعمل $p$ المنخفض/السالب على تقليص حد تباين التدرج لضمان التقارب المستقر ومنع انهيار النمط (mode collapse).

3. المساهمات الرئيسية

1. إطار عمل HölderPO: إطار عمل عام لتحسين السياسة يوحد مختلف عمليات التجميع القائمة على المتوسط عبر معامل هولدر القابل للتكيف $p$، مما يوسع مساحة البحث إلى ما وراء المتوسطات الحسابية أو الهندسية الثابتة.
2. الأساس النظري: برهان رسمي للدور ثنائي الجانب لـ $p$: حيث يركز $p$ الأكبر التدرجات لتضخيم الإشارات المتفرقة، بينما يضبط $p$ الأصغر تباين التدرج بشكل صارم. يثبت المؤلفون أنه لا يوجد تكوين ثابت يمكنه تحقيق كلا الطرفين في وقت واحد، مما يستوجب الجدولة الديناميكية.
3. الاختراقات التجريبية:
   • أثبت أن $p$ الثابت المرتفع (مثل $p=3$) يكسر سقف الأداء في اختبار AIME الصعب (محققاً دقة 46.7%).
   • أظهر أن الجدولة الديناميكية ($p: 2 \to -2$) توحد هذه المزايا، محققة نتائج هي الأفضل حالياً (SOTA) دون عبء حسابي إضافي.

4. النتائج التجريبية

قيم المؤلفون HölderPO على مهام الاستدلال الرياضي واتخاذ القرار الوكيل (agentic decision-making) باستخدام النماذج الأساسية Qwen2.5-Math و Qwen2.5-Instruct.

• الاستدلال الرياضي:
  • AIME24 (إشارة متفرقة): حقق $p=3$ الثابت دقة 46.7%، متجاوزاً الرقم القياسي السابق لـ GRPO البالغ 43.3%.
  • MATH500 (إشارة كثيفة): حققت قيم $p$ المنخفضة (مثل $p=-1$) استقراراً وأداءً فائقين (دقة 85.0%).
  • الأداء العام: حققت استراتيجية التضاؤل الديناميكي ($p: 2 \to -2$) متوسط دقة بلغ 54.9% عبر خمسة اختبارات رياضية (AIME, AMC, MATH, Minerva, OlympiadBench). يمثل هذا زيادة نسبية قدرها 7.2% عن GRPO القياسية ويتفوق على الطرق المتزامنة مثل PMPO.
• المهام الوكيلية (ALFWorld):
  • في اختبار ALFWorld، حققت HölderPO معدل نجاح بنسبة 93.8%، وهي زيادة نسبية قدرها 28.8% عن GRPO (72.8%).
  • يشير المؤلفون إلى أنه بالنسبة للمهام الوكيلية، كانت الجدولة الأكثر تحفظاً ($p: 1 \to -1$) هي المثلى بسبب نقص التدريب المسبق للنموذج الأساسي في هذا المجال، مما يسلط الض الضوء على قدرة الإطار على التكيف.

5. الأهمية والادعاءات

يزعم البحث أن HölderPO تحل مقايضة التركيز-الاستقرار الجوهرية في طرق تحسين السياسة الثابتة مثل GRPO. من خلال التعامل مع آلية التجميع كمقبض مستمر (continuous dial) بدلاً من مجرد معلمة فائقة (hyperparameter) ثابتة، يسمح الإطار للنموذج بـ:

1. التضخيم الشرس للإشارات المتفرة وعالية القدرة خلال المراحل المبكرة من التدريب.
2. التحكم الصارم في تباين التدرج لضمان التقارب المستقر في المراحل اللاحقة.

يؤكد المؤلفون أن هذه القدرة الديناميكية على التكيف أمر بالغ الأهمية لمهام الاستدلال طويلة الأمد حيث تتطور طبيعة إشارة التعلم. تحقق الطريقة أداءً هو الأفضل حالياً (SOTA) عبر اختبارات متنوعة مع الحفاظ على كفاءة الحوسبة لتعلم التعزيز الخالي من الناقد (critic-free RL).

القيود المعترف بها:

• تتطلب الجدولة معلمات فائقة ($p_{high}, p_{low}$، وشكل التضاؤل) ضبطاً تجريبياً لكل مهمة.
• نظام التركيز الإيجابي ($p > 0$) قد يزيد من احتمالية "اختطاف المكافأة" (reward hacking) إذا قدم المُحقِّق (verifier) إشارات إيجابية خاطئة، لأنه يضخم الرموز ذات النسب العالية بشراسة.

العمل المستقبلي:
يقترح المؤلفون تطوير مجدول متكيف (adaptive scheduler) يقوم بضبط $p$ بناءً على مقاييس في الوقت الفعلي (مثل تباين التدرج على مستوى الدفعة أو تشتت نسبة الرموز) لإزالة الحاجة إلى الضبط اليدوي.