💬 NLP

Adapt to Thrive! Adaptive Power-Mean Policy Optimization for Improved LLM Reasoning

تقدم هذه الورقة البحثية "تحسين سياسة المتوسط القدرتي التكيفي" (APMPO)، وهو إطار عمل جديد للتعلم التعزيزي يعزز قدرات الاستنتاج في النماذج اللغوية الكبيرة من خلال هدف متوسط قدرتي معمم وتقليم تكيفي قائم على التغذية الراجعة، محققاً أداءً فائقاً على النماذج المرجعية المتطورة عبر مهام استنتاجية متعددة.

المؤلفون الأصليون: Yiming Huang, Zhenbo Shi, Shuzheng Gao, Cuiyun Gao, Peiyi Han, Chuanyi Liu

نُشر 2026-05-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yiming Huang, Zhenbo Shi, Shuzheng Gao, Cuiyun Gao, Peiyi Han, Chuanyi Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب ذكي جداً ولكنه يفتقر للخبرة كيفية حل المسائل الرياضية المعقدة. تعطيه مسألة، فيحاول حلها، ثم تخبره "صحيح" أو "خطأ". هذه هي الفكرة الأساسية وراء التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR)، وهي طريقة تُستخدم لجعل النماذج اللغوية الكبيرة (LLMs) أفضل في التفكير المنطقي.

ومع ذلك، تجادل الورقة البحثية بأن طرق التدريس الحالية جامدة بعض الشيء؛ فهي تستخدم نفس "خطة الدرس" ونفس "قواعد الطريق" من اليوم الأول وحتى اليوم الأخير، رغم أن مهارات الطالب تتغير باستمرار.

يقترح المؤلفون طريقة جديدة تسمى APMPO (تحسين سياسة متوسط القدرة التكيفي). فكر في APMO كـ مدرب ذكي وتكيفي يغير أسلوبه في التدريس بناءً على أداء الطالب في الوقت الفعلي. ويمتلك هذا المدرب حيلتين رئيسيتين:

1. هدف "غولديلاكس" (PMPO)

المشكلة:
الأساليب الحالية تشبه طرفين متناقضين:

"المُحفز المتحمس" (المتوسط الحسابي): هذه الطريقة تتحمس بشدة لأي إجابة صحيحة واحدة، حتى لو كانت مجرد ضربة حظ. إنه يشبه المدرب الذي يرى طالباً واحداً يجيب بشكل صحيح، فيقول فوراً للفصل بأكمله: "هذه هي الطريقة الوحيدة للحل!". هذا يجعل الطالب يتوقف عند حل محدد واحد ويتوقف عن استكشاف الاحتمالات الأخرى (وهي مشكلة تسمى "انهيار الإنتروبيا").
"الناقد الصارم" (المتوسط الهندسي): هذه الطريقة حذرة للغاية. فهي تقول: "إذا كان أي جزء من الإجابة مهزوزاً، فإن الإجابة بأكملها سيئة". هذا يشبه المدرب الذي يرفض السماح للطالب بتجربة استراتيجية جديدة ما لم يكن متأكداً بنسبة 100% من أنها ستنجح في كل مرة. وهذا يمنع الطالب من اكتشاف طرق صحي أخرى للحل.

حل APMPO:
يستخدم APMPO نهج "غولديلاكس" (الذي يبحث عن التوازن المثالي). فهو يعمل كمدرب يعرف متى يكون "مُحفزاً متحمسًا" ومتى يكون "ناقداً صارماً".

في بداية التدريب (عندما يعاني الطالب): يعمل المدرب كـ "مُحفز متحمس". فهو يضخم إشارة أي إجابة صحيحة يتم العثور عليها، مما يشجع الطالب على الاستكشاف وإيجاد أي مسار للنجاح.
في وقت لاحق من التدريب (عندما يتحسن مستوى الطالب): يتحول المدرب إلى "ناقد صارم". حيث يبدأ في المطالبة بالاستمرارية، لضمان أن الطالب ليس مجرد محظوظ بل يفهم المنطق فعلياً.

إنه ينتقل بسلاسة بين هذين الوضعين تلقائياً، بحيث لا يظل الطالب عالقاً في وقت مبكر جداً ولا يظل حذراً للغاية لفترة طويلة جداً.

2. "حد السرعة الديناميكي" (FAC)

المشكلة:
تستخدم الطرق القياسية حد سرعة ثابتاً لكيفية تغيير تفكير الطالب في خطوة واحدة.

إذا كان الطالب في "منطقة هادئة" (حيث تكون التغذية الراجعة واضحة ومتسقة)، فإن حد السرعة الثابت سيكون بطيئاً جداً. يمكن للطالب أن يتعلم بشكل أسرع لو سُمح له باتخاذ خطوات أكبر.
إذا كان الطالب في "منطقة عاصفة" (حيث تكون التغذية الراجعة مشوشة أو مربكة)، فإن حد السرعة الثابت سيكون مرتفعاً جداً. قد يتخذ الطالب خطوة ضخمة ومتهورة مما يؤدي إلى سقوطه.

حل APMPO:
يستخدم APMPO حد سرعة ديناميكي (التقليم المتكيف مع التغذية الراجعة).

عندما تكون الإشارة واضحة ومستقرة: يقول المدرب: "الطريق واضح! يمكنك تسريع وتيرتك واتخاذ خطوات أكبر للتعلم بشكل أسرع".
عندما تكون الإشارة مشوشة أو مربكة: يقول المدرب: "الطريق زلق! ابطئ وخذ خطوات صغيرة وحذرة حتى لا تسقط".

هذا يضمن أن الطالب يتعلم بقوة عندما يكون الأمر آمناً، وبحذر عندما يكون الأمر محفوفاً بالمخاطر.

النتيجة: متعلم أذكى وأسرع

اختبرت الورقة البحثية هذا "المدرب التكيفي" على تسع مجموعات بيانات مختلفة تتعلق بالرياضيات والبرمجة والاستنتاج البصري.

التشبيه: تخيل سباقاً حيث يركض العداءون الآخرون بوتيرة ثابتة بغض النظر عن طبيعة الأرض. أما APMPO فهو العداء الذي ينطلق بسرعة في الطريق المستوي ويتنقل بحذر في المسار الصخري.
النتيجة: تفوق APMPO باستمرار على أفضل الطرق الحالية. على سبيل المثال، في اختبارات الرياضيات، حسن معدل النجاح بنحو 3 نقاط مقارنة بأفضل طريقة سابقة. كما نجح في الحفاظ على تنوع تفكير الطالب (تجنب مشكلة "الوقوف عند حل واحد") مع الوصول إلى الإجابات الصحيحة بشكل أسرع.

باختصار: يجعل APMPO التفكير المنطقي للذكاء الاصطناعي أفضل من خلال منح النموذج مدرباً يعرف بالضبط متى يدفع من أجل السرعة ومتى يطالب بالحذر، متكيفاً مع قدرات النموذج المتغيرة في كل خطوة من الخطوات.

ملخص تقني: تحسين سياسة متوسط القدرة التكيفي لتعزيز استدلال النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

برز التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) كنموذج حاسم لتعزيز قدرات الاستدلال في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، تعتمد أساليب RLVR الحالية، مثل تحسين السياسة النسبي للمجموعات (GRPO) ومتغيراتها، على مخططات تحسين سياسة ثابتة تفشل في التوافق مع قدرات الاستدلال المتطورة للنموذج أثناء التدريب. حدد المؤلفون قصورين رئيسيين في النهج الحالي:

دوال الهدف الثابتة: تستخدم الأساليب الحالية عادةً دوال هدف ثابتة (مثل المتوسط الحسابي في GRPO أو المتوسط الهندسي في GMPO) طوال عملية التدريب بأكملها.
- المتوسط الحسابي (GRPO): حساس للغاية للقيم المتطرفة ذات المكافأة العالية. وبينما يعمل هذا على تضخيم الإشارات الصحيحة النادرة في وقت مبكر، فإنه يؤدي غالبًا إلى فرط التخصيص (overfitting) لحلول معينة وانهيار الإنتروبيا (التقارب المبكر نحو استراتيجية واحدة).
- المتوسط الهندسي (GMPO): يفرض الاتساق من خلال معاقبة التباين. وبينما يمنع هذا انهيار الإنتروبيا، إلا أنه متحفظ للغاية، مما قد يؤدي إلى استبعاد مسارات استدلال واعدة ولكن غير مستقرة، خاصة في مراحل التدريب الأولى عندما تكون المسارات الصحيحة نادرة.
- الفجوة: لا يستطيع أي من النهجين التكيف ديناميكيًا لتعديل الحساسية بما يتناسب مع ديناميكيات التعلم، موازنًا بين الحاجة إلى تضخيم الإشارة (الاستكشاف) والاتساق التوزيعي (الاستقرار).
قيود تحسين السياسة الثابتة: تستخدم الخوارزميات القياسية عتبات قص (clipping thresholds) ثابتة (مناطق الثقة) لتثبيت التدريب، بغض النظر عن الاستقرار الإحصائي لإشارات المكافأة داخل الدفعة (batch).
- المشكلة: يختلف استقرار إشارة المكافأة عبر الدفعات. القيود الثابتة غير مثالية: فهي مقيدة للغاية للدفعات المستقرة (مما يعيق التعلم) وتسمح بشكل مفرط للدفعات غير المستقرة (مما يخاطر بتحديثات ضارة).

المنهجية: APMPO

لمعالجة هذه القيود، يقترح المؤلفون تحسين سياسة متوسط القدرة التكيفي (APMPO)، والذي يدمج ابتكارين أساسيين: تحسين متوسط القدرة (PMPO) والقص التكيفي بالتغذية الراجعة (FAC).

1. تحسين متوسط القدرة (PMPO)

يقدم PMPO هدف متوسط قدرة معمّم يقوم بالاستيفاء (interpolation) التكيفي بين المتوسطات الحسابية والهندسية بناءً على أداء النموذج في الوقت الفعلي.

الآلية: يتم تحديد الأس $p$ لمتوسط القدرة ديناميكيًا باستخدام متوسط المكافأة للدفعة الحالية ( $\mu_R$ ) عبر دالة اضمحلال أسي:
$p = \exp(-\gamma \cdot \mu_R)$
السلوك التكيفي:
- مرحلة الاستكشاف (انخفاض $\mu_R$ ): عندما يكون الأداء منخفضًا، تقترب $p$ من $1$. تعمل الدالة هنا كمتوسط حسابي، مما يعطي الأولوية للقيم المتطرفة ذات المكافأة العالية لتسهيل الاكتشاف السريع لمسارات الاستدلال الصحيحة والنادرة.
- مرحلة التوطيد (ارتفاع $\mu_R$ ): مع تحسن الأداء، تقترب $p$ من $0$. ينتقل الهدف نحو المتوسط الهندسي، مما يفرض الاتساق وينظم السياسة ضد فرط التخصيص لاستقرار التعلم.

2. القص التكيفي بالتغذية الراجعة (FAC)

يستبدل FAC حدود القص الثابتة بآلية تكيفية تعدل منطقة الثقة بناءً على الاستقرار الإحصائي لإشارات المكافأة.

درجة استقرار التغذية الراجعة (FSS): مقياس يتم حسابه لكل دفعة لتقييم جودة الإشارة:
$FSS = \frac{\mu_R}{\sigma_R + \delta}$
حيث $\mu_R$ هو متوسط المكافأة و $\sigma_R$ هو الانحراف المعياري. تشير قيمة FSS العالية إلى تغذية راجعة مستقرة وعالية الثقة؛ بينما تشير القيمة المنخفضة إلى تغذية راجعة ضوضائية وغير مستقرة.
الحد العلوي التكيفي: يتم ربط الحد العلوي للقص ( $\epsilon_{ada}$ $ϵ_{a d a}$ ) بـ FSS باستخدام دالة الظل الزائدي (hyperbolic tangent):
$\epsilon_{ada} = \epsilon_{min} + (\epsilon_{max} - \epsilon_{min}) \cdot \tanh(FSS)$
- الدفعات المستقرة (FSS مرتفع): تتوسع منطقة الثقة، مما يسمح بتحديثات أكثر عدوانية لتسريع التعلم.
- الدفعات غير المستقرة (FSS منخفض): تضيق منطقة الثقة، مما يفرض قيودًا أكثر صرامة لمنع تدهور السياسة بسبب الإشارات غير الموثوقة.
التصميم غير المتماثل: يظل الحد الأدត ت ثابتاً ( $\epsilon_{low}$ ) لضمان التقليم الحاسم للمسارات غير الصحيحة، بينما يتكيف الحد العلي. وهذا يخلق ديناميكية "تعزيز محافظ، وتقليم حاسم".

المساهمات الرئيسية

صياغة القيود: حددت الورقة البحثية وصاغت القيود المتمثلة في عدم التوافق بين دوال الهدف/آليات القص الثابتة والطبيعة الديناميكية لقدرات الاستدلال للنماذج اللغوية الكبيرة في RLVR.
خوارزمية APMPO: تقديم خوارزمية جديدة تجمع بين هدف متوسط القدرة المدفوع بالأداء (PMMO) وآلية قص تكيفية مدفوعة بالتغذية الراجعة (FAC). يسم هذا بضبط استراتيجيات التحسين باستمرار بناءً على ديناميكيات التدريب في الوقت الفعلي.
التحقق التجريبي: أظهرت التجارينات المكثفة عبر تسعة مجموعات بيانات وثلاث مهام استدلال (رياضية، توليد SQL، واستدلال متعدد الوسائط) تفوق APMPO على الخطوط المرجعية (baselines) الحديثة.

النتائج التجريبية

قيم المؤلفون APMPO على نماذج تشمل Qwen2.5-Math-1.5B-Instruct، وQwen2.5-3B-Instruct، وDeepSeek-R1-Distill-Qwen-1.5B.

الاستدلال الرياضي: تفوق APMPO باستمرار على الخطوط المرجعية (GRPO, DAPO, GMPO).
- على نموذج Qwen2.5-3B-Instruct، حقق APMPO متوسط درجة Pass@1 بلغ 32.4 عبر الاختبارات المرجعية، مقارنة بـ 29.4 لـ GRPO.
- تحديدًا على Math500، حسن APMPO الدرجة لتصل إلى 68.4 (مقابل 66.0 لـ GRPO).
- على DeepSeek-R1-Distill-Qwen-1.5B، حقق APMPO متوسط Pass@1 بلغ 46.0، متفوقًا على GRPO (39.9) وDAPO (42.8).
المهام الأخرى: أظهر APMPO تحسنات مستمرة في توليد SQL (Spider, BIRD) والاستدلال متعدد الوسائط (Geometry3K).
ديناميكيات التدريب: كشف تحليل منحنيات التدريب أن APMPO يحافظ على إنتروبيا سياسة أعلى طوال التدريب مقارنة بـ GRPO (الذي يعاني من انهيار الإنتروبيا) ويحقق مكافآت تدريب أعلى من GMPO.
الكفاءة: تعتمد الآليات التكيفية (حساب $p$ و $\epsilon_{ada}$ ) فقط على إحصائيات مستوى الدفعة، مما يضيف عبئًا حسابيًا ضئيلاً جدًا مقارنة بـ GRPO القياسي.

الأهمية والادعاءات

تدعي الورقة أن APMPO يوفر نهجًا أكثر تكيفًا ومتانة لـ RLVR من خلال مواءمة أهداف التحسين وقيوده مع عملية تعلم النموذج.

التوازن: نجح في الموازنة بين تضخيم الإشارات عالية القيمة (الحاسمة للاكتشاف) وفرض الاتساق (الحاسم للتحسين)، وهو توازن تفشل الأساليب الثابتة في الحفاظ عليه.
القدرة على التعميم: أظهرت الطريقة فعالية عبر أحجام نماذج ومجالات استدلال مختلفة، مما يشير إلى أن تحسين السياسة التكيفي هو اتجاه حاسم لتحسين استدلال النماذج اللغوية الكبيرة.
القيود المتواضعة: أقر المؤلفون بأن تجاربهم اقتصرت على نماذج ذات 1.5 مليار و3 مليارات معلمة بسبب الموارد الحسابية، رغم توقعهم أن الفوائد ستتوسع مع زيادة الحجم. كما أشاروا إلى أن الطريقة تعتمد على توفر مكافآت قابلة للتحقق وقائمة على النتائج، مما يحد من قابليتها للتطبيق الفوري في المجالات التي يصعب فيها تحديد مثل هذه المكافآت.

باخت المختصر، يمثل APMPO تحولًا من استراتيجيات RLVR الثابتة التي تناسب الجميع إلى تحسين ديناميكي مدفوع بالتغذية الراجعة، مما يؤدي إلى دقة استدلال محسنة وديناميكيات تدريب أكثر استقرارًا.