AAPO: Enhancing the Reasoning Capabilities of LLMs with Advantage Margin

إليك ملخص تقني مفصل لورقة البحث بعنوان "AAPO: تعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة باستخدام هامش الميزة".

1. بيان المشكلة

أصبح التعلم المعزز (RL) أداة بالغة الأهمية لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs)، لا سيما في المجالات المعقدة مثل الاستنتاج الرياضي حيث غالباً ما يقصر الضبط الدقيق الخاضع للإشراف (SFT). تقوم الطرق الحالية المتطورة، مثل تحسين السياسة النسبي للمجموعة (GRPO) ومتغيراتها (مثل GPG وDAPO)، بإلغاء الحاجة إلى نموذج قيمة منفصل من خلال تقدير المزايا بناءً على الأداء النسبي لمجموعة من الاستجابات التي تم أخذ عينات منها.

ومع ذلك، حدد المؤلفون قصوراً جوهرياً في طرق تقدير الميزة النسبي للمجموعة هذه:

• مشكلة الميزة الصفرية (The Zero-Advantage Problem): عندما تظهر المكافآت داخل مجموعة العينة تبايناً منخفضاً (أي أن جميع الاستجابات جيدة بشكل متماثل أو سيئة بشكل متماثل)، فإن الميزة المحسوبة تقترب من الصفر.
• النتيجة: مع اقتراب الميزة من الصفر، تتلاشى تحديثات التدرج ($\nabla \theta \approx 0$). يؤدي هذا إلى عدم كفاءة التدريب، حيث يتوقف النموذج عن التعلم رغم حاجته المحتملة لمزيد من التحسين.
• مشكلة التباين العالي: على العكس من ذلك، إذا تباينت المكافآت بشكل كبير، يمكن أن تكون المزايا غير مستقرة، مما يؤدي إلى صعود تدرج مضطرب.
• الأدلة التجريبية: يظهر التحليل الإحصائي للمؤلفين (الشكل 1) أن نسبة المزايا الصفرية تزداد بشكل كبير مع تقدم التدريب، وتصل غالباً إلى ما يقرب من 100% في المراحل المتأخرة، مما يعطل عملية التعلم فعلياً.

2. المنهجية: تحسين السياسة المعزز بالميزة (AAPO)

لمعالجة مشكلة تلاشي التدرج، اقترح المؤلفون AAPO، وهو خوارزمية تعلم معزز مبتكرة تعزز الميزة النسبية للمجموعة بـ هامش ميزة (Advantage Margin).

الآلية الجوهرية

يقوم AAPO بتعديل تقدير الميزة من خلال دمج مقارنة بين نموذج السياسة ($\pi_\theta$) والنموذج المرجعي المجمد ($\pi_{ref}$).

1. أخذ العينات: لكل مدخل، تقوم الخوارزمية بأخذ عينات من مجموعة استجابات من كل من نموذج السياسة الحالي ($O_\theta$) والنموذج المرجعي ($O_{ref}$).
2. حساب المكافأة: يتم حساب المكافآت لكلا المجموعتين باستخدام وظائف مكافأة قائمة على القواعد (مثل التنسيق، والدقة).
3. الميزة المعززة ($\hat{A}^*$): تُحسب الميزة الجديدة كجموع الميزة النسبية للمجموعة القياسية و"هامش الميزة" المقيد:
   \hat{A}^*_{i,t} = \underbrace{\frac{r_{\theta_i} - \text{mean}(r_\theta)}{\text{std}(r_\theta)}_{\text{الميزة النسبية للمجموعة القياسية}} + \underbrace{\text{clip}(r_{\theta_i} - r_{ref_i}, \delta_{low}, \delta_{high})}_{\text{هامش الميزة}}
   • $r_{\theta_i}$: مكافأة استجابة السياسة.
   • $r_{ref_i}$: مكافأة الاستجابة المرجعية المقابلة.
   • يمثل هامش الميزة المسافة بين مكافأة السياسة ومكافأة النموذج المرجعي.

الخصائص النظرية الرئيسية

• تدرجات غير صفرية: حتى لو كانت الميزة النسبية للمجموعة صفراً (لأن جميع استجابات السياسة متشابهة)، فإن هامش الميزة يضمن إشارة غير صفرية طالما أن نموذج السياسة يتفوق على النموذج المرجعي المجمد. هذا يمنع ركود التدريب.
• الاستقرار: يقدم المؤلفون براهين نظرية (النظرية 1 و2) تثبت أن AAPO يحافظ على تحديثات بارامترية محدودة ويتقارب نحو نقطة ثابتة تحت افتراضات التقريب العشوائي القياسية.
• التحسين المباشر: على عكس PPO، يقوم AAPO بتحسين خسارة الإنتروبيا المتقاطعة (CE) مباشرة والموزونة بالميزة المعززة، متجنباً وظائف الخسارة البديلة.

3. المساهمات الرئيسية

1. تشخيص قيود التعلم المعزز: تقدم الورقة تحليلاً رياضياً دقيقاً لسبب فشل تقدير الميزة النسبية للمجموعة عندما تكون مكافآت الاستجابة متجانسة (كلها جيدة أو كلها سيئة)، مما يؤدي إلى تدرجات صفرية.
2. خوارزمية مبتكرة (AAPO): تقديم مفهوم هامش الميزة، الذي يستفيد من نموذج مرجعي مجمد لتوفير إشارة تحسين موثوقة حتى عندما يكون التباين داخل المجموعة منخفضاً.
3. ضمانات نظرية: براهين رسمية تثبت استقرار وديناميكيات تقارب تدريب AAPO.
4. التفوق التجريبي: تجارب واسعة النطاق تظهر تفوق AAPO على الخطوط المرجعية الحالية (GRPO، GPG، Dr. GRPO) عبر أحجام نماذج ومعايير استنتاج متعددة.

4. النتائج التجريبية

قيم المؤلفون AAPO على معايير الاستنتاج الرياضي (AIME24، MATH-500، AMC23، Minerva، OlympiadBench) باستخدام عائلات نماذج متنوعة (Llama 1B/3B، Qwen 1.5B/7B، DeepSeek-R1-Distill).

• مكاسب الأداء:
  • AAPO-1.5B: حقق أداءً هو الأفضل في فئته (SOTA) في Minerva وثاني أفضل أداء في MATH-500، متفوقاً على GRPO وGPG بنسبة 2.7% و 2.0% على التوالي في المتوسط، رغم استخدام نفس بيانات التدريب.
  • AAPO-7B: تجاوز الخطوط المرجعية القوية مثل SimpleRL-Zero وGPG-7B بنسبة 12.2% و 10.3% على التوالي. كما تفوق على نماذج تم تدريبها على مجموعات بيانات أكبر بكثير (مثل Eurus-2-7B-PRIME).
  • سلسلة Llama: أظهر تحسينات مطلقة تتراوح بين 3.5% و4.6% فوق GRPO وGPG في نماذج 1B و3B.
• ديناميكيات التدريب:
  • تخفيف الميزة الصفرية: كما هو موضح في الشكل 2، نجح AAPO في القضاء على حدوث المزايا الصفرية بنسبة 100% أثناء التدريب، بينما يعاني GRPO التقليدي من هذه المشكلة بشكل متكرر في خطوات التدريب المتأخرة.
  • الاستقرار: أظهر AAPO تبايناً أقل في الخسارة مقارنة بـ GRPO وGPG، مما يشير إلى تدريب أكثر استقراراً.
• الكفاءة:
  • الذاكرة: لا يضيف AAPO أي عبء إضافي على ذاكرة وحدة معالجة الرسومات مقارنة بـ GRPO (على سبيل المثال، 52.2 GiB لـ 1.5B، و78.9 GiB لـ 7B).
  • الوقت: وقت التدريب لكل خطوة أعلى قليلاً بسبب أخذ العينات من النموذج المرجعي، ولكن يمكن التخفيف من ذلك باستخدام محركات استدلال متقدمة (مثل vLLM).

5. الأهمية

• حل مشكلة "الهضبة" (Plateau): يعالج AAPO اختناقاً حرجاً في مرحلة ما بعد التدريب القائمة على التعلم المعزز للنماذج اللغوية الكبيرة: ميل التدريب إلى التوقف عندما يصل النموذج إلى مستوى لا تعطي فيه المقارنات داخل المجموعة أي إشارة.
• كفاءة البيانات: تشير النتائج إلى أن تصميم AAPO أكثر فعالية من مجرد زيادة حجم أو جودة بيانات التدريب. فهو يسمح للنماذج الأصغر (1.5B) بتحقيق أداء يضاهي أو يتفوق على النماذج الأكبر المدربة بمجموعات بيانات ضخمة.
• القدرة على التعميم: الطريقة مستقلة عن النموذج (Model-agnostic) وقد تم تطبيقها بنجاح على بنيات مختلفة (Llama، Qwen، DeepSeek) ومجالات متنوعة (الرياضيات، البرمجة، والمعرفة العامة عبر MMLU)، مما يثبت متانتها.
• الاتجاه المستقبلي: تسلط الورقة الضوء على أنه بينما يخفف AAPO من مشكلة الميزة الصفرية، فإنه لا يقضي عليها تماماً، مما يشير إلى اتجاهات بحثية مستقبلية في تحسين تقدير الميزة بدون نماذج مرجعية.

في الختام، يمثل AAPO تقدماً كبيراً في التعلم المعزز للنماذج اللغوية الكبيرة من خلال إعادة تعريف كيفية تقدير المزايا، مما يضمن إشارات تعلم مستمرة ومستقرة حتى في أنظمة الأداء العالي حيث تفشل الطرق التقليدية النسبية للمجموعات.