🤖 machine learning

SoftmaxGRPO: Learning to Reason using Softmax Advantage Group Estimation

تقدم الورقة البحثية SoftmaxGRPO، وهي طريقة للتعلم التعزيزي تستبدل تطبيع الدرجة المعيارية (z-score normalization) بمزايا "softmax" ذات القياس الحراري (temperature-scaled softmax) لمنع التوزين المتباعد على المطالبات السهلة، مما يؤدي إلى إعادة تخصيص ميزانيات التدرج بشكل أكثر فعالية وتحسين أداء الاستنتاج بشكل كبير في مهام مثل DeepMath وPoetry مقارنة بـ GRPO القياسي.

المؤلفون الأصليون: Jefferson Hernandez, Jaywon Koo, Zilin Xiao, Chen Wei, Vicente Ordonez

نُشر 2026-08-11

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jefferson Hernandez, Jaywon Koo, Zilin Xiao, Chen Wei, Vicente Ordonez

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية حل الألغاز. تقدم له مجموعة من المشكلات، وفي كل مرة يحاول فيها حل إحداها، يحصل على درجة بسيطة "نعم" أو "لا". إذا أصاب، يحصل على "هاي فايف" (تحية باليد)؛ وإذا أخطأ، يحصل على عبارة "حاول مرة أخرى" بلطف. هذا هو عالم التعلم المعزز (Reinforcement Learning)، حيث يتعلم الذكاء الاصطناعي عن طريق التجربة والخطأ. ولكن إليك الجزء الصعب: كيف تخبر الروبوت بأي المحاولات كانت الأكثر أهمية للتعلم منها؟

في الماضي، استخدم الباحثون طريقة تسمى GRPO (تحسين السياسة النسبي للمجموعات). فكر في GRPO كمعلم ينظر إلى إجابات عشرة طلاب. إذا أجاب تسعة طلاب بشكل صحيح وأخطأ واحد، يركز المعلم بشدة على الطالب الذي فشل. ولكن إذا أجاب العشرة جميعاً بشكل صحيح (سؤال "سهل")، يصاب المعلم بالارتباك. لأن الرياضيات المستخدمة في GRPO تحاول إيجاد "المتوسط" للفرق، فإنها تصرخ بصوت عالٍ دون قصد عند الأسئلة التي يعرفها الطلاب بالفعل، بينما تهمس في الأسئلة الصعبة. الأمر يشبه مدرباً يصرخ في وجه لاعب نجم لأنه أضاع رمية سهلة، بينما يتجاهل مبتدئاً يعاني من أجل الإمساك بالكرة. هذا يهدر طاقة عقل الروبوت في أشياء يعرفها بالفعل، مما يتركه عالقاً عندما يحتاج لتعلم شيء جديد.

تقدم هذه الورقة البحثية طريقة جديدة تسمى SoftmaxGRPO. بدلاً من استخدام تلك الرياضيات المربكة "للمتوسط"، يقترح المؤلفون استخدام نهج "softmax المقيّس حرارياً". تخيل خريطة حرارية حيث ينجذب انتباه الروبوت طبيعياً إلى المحاولات الأكثر إثارة للاهتمام. إذا كان السؤال سهلاً وأصاب الروبوت، تقول الطريقة: "عمل جيد، لكننا لا نحتاج لدراسة هذا بجدية كبيرة". وإذا كان السؤال صعباً وعانى الروبوت، تقول الطريقة: "هذا هو الشيء الذي نحتاج للتركيز عليه!". إنها تعمل كمرشح ذكي يحول انتباه الروبوت تلقائياً بعيداً عن المشكلات السهلة ونحو تلك التي يمكنه التعلم منها فعلياً. اختبر الباحثون هذه الطريقة على مسائل الرياضيات، والكتابة الإبداعية، وتلخيص الاجتماعات، ووجدوا أن طريقتهم الجديدة ساعدت الروبوت باستمرار على التعلم بشكل أسرع وأفضل من الطريقة القديمة، حتى عندما كانت "الدرجات" التي يتلقاها مجرد تقديرات تقريبية وليست درجات مثالية.

المشكلة: المعلم الذي يصرخ في وجه النجوم

دعونا نتعمق في قصة الذكاء الاصطناعي ومعلمه. في عالم الذكاء الاصطناعي، نستخدم غالباً تقنية تسمى التعلم المعزز القائم على المجموعات. تخيل أنك تطلب من ذكاء اصطناعي حل مسألة رياضية. بدلاً من المحاولة مرة واحدة فقط، تطلب منه المحاولة بعشر طرق مختلفة (تسمى هذه المحاولات "rollouts"). ثم تنظر إلى الإجابات العشر معاً.

الطريقة القديمة، GRPO، تعمل مثل معلم يحسب "متوسط" أداء المجموعة. إذا أصاب الذكاء الاصطناعي في سؤال ما، تمنحه GRPO مكافأة. وإذا أخطأ، تمنحه مكافأة أقل. تظهر المشكلة مع الأسئلة السهلة. إذا كان الذكاء الاصطناعي بارعاً حقاً في نوع معين من المسائل الرياضية، فسيجيب بشكل صحيح في جميع المحاولات العشر تقريباً. في رياضيات GRPO القديمة، يخلق هذا وضعاً غريباً: نظرًا لأن "المتوسط" مرتفع جداً، فإن الفروق الضئيلة بين الإجابات "المثالية" والإجابات "المثالية تقريباً" تتضخم بشكل كبير. تنتهي الرياضيات بالصراخ في وجه الذكاء الاصطناعي لتغيير سلوكه في الأسئلة التي أتقنها بالفعل. إنه يشبه مدرباً يصرخ في وجه لاعب كرة سلة محترف لأنه أخطأ في رمية حرة بفارق بوصة واحدة، بينما يتجاهل مبتدئاً لا يستطيع حتى الإمساك بالكرة. يهدر الذكاء الاصطناعي طاقته في محاولة "إصلاح" أشياء ليست مكسورة، مما يترك لديه طاقة ضئيلة لتعلم الأشياء الصعبة.

الحل: خريطة حرارية أكثر ذكاءً

اقترح مؤلفو هذه الورقة، من جامعة رايس، حلاً يسمى SoftmaxGRPO. لقد أدركوا أنه بدلاً من استخدام "z-score" (الذي يقيس مدى بعد رقم ما عن المتوسط)، يجب عليهم استخدام دالة softmax.

فكر في softmax كـ "خريطة حرارية" للانتباه. فهي تأخذ المكافآت (الدرجات) وتحولها إلى أوزان باستخدام صيغة خاصة تتضمن "درجة حرارة" (تسمى $\tau$ ).

درجة حرارة عالية: تكون الخريطة الحرارية مسطحة. تحصل كل محاولة على نفس القدر من الانتباه تقريباً. هذا يشبه طريقة REINFORCE القديمة، حيث يتعلم الذكاء الاصطناعي ببطء وعشوائية.
درجة حرارة منخفضة: تصبح الخريطة الحرارية حادة جداً. يركز الذكاء الاصطناعي بكثافة على أفضل المحاولات ويتجاهل البقية. هذا يشبه طريقة MaxRL، وهي ممتازة في العثور على الإجابة الأفضل الوحيدة، ولكنها قد تكون غير مستقرة.

تقع SoftmaxGRPO في المنتصف تماماً. فهي تستخدم إعداد درجة الحرارة لإنشاء منحنى سلس. إذا أصاب الذكاء الاصطناعي في سؤال سهل، تظل الخريطة الحرارية باردة، لتخبره: "عمل جيد، انتقل لما بعده". وإذا أخطأ الذكاء الاصطناعي في سؤال صعب، تظل الخريطة الحرارية دافئة، لتخبره: "هذا مهم، ادرس هذا!".

السحر يكمن في أن هذه الطريقة تبقي الأوزان محدودة. بغض النظر عن مدى سهولة السؤال، فإن "الصراخ" لن يصبح لانهائياً أبداً. إنها تمنع الذكاء الاصطناعي من إضاعة طاقته الذهنية في المطالبات السهلة.

ما وجدوه: الدليل القاطع

لم يكتف المؤلفون بالتخمين؛ بل قاموا بالحسابات وأجروا الاختبارات.

1. الرياضيات متينة (للمكافآت الثنائية)
بالنسبة للأسئلة التي لها إجابة بسيطة "صح" أو "خطأ" (مكافآت ثنائية)، أثبتوا أن SoftmaxGRPO تنشئ هدفاً مثالياً وسلساً. وقد أظهروا أنه كلما انخفضت درجة الحرارة، تتحول الطريقة طبيعياً إلى MaxRL (وهي طريقة تركز على أفضل نتيجة ممكنة)، وكلما زاد حجم المجموعة بشكل هائل، فإنها تتصرف مثل Maximum Likelihood (وهي المعيار الذهبي للتعلم). والأهم من ذلك، أثبتوا أنه على عكس GRPO، فإن SoftmaxGRPO لا تنفجر أبداً عند التعامل مع الأسئلة السهلة.

2. حدود السحر
وجدوا أيضاً حداً معيناً. إذا لم تكن المكافآت مجرد "صح" أو "خطأ" ولكن لها مستويات متعددة (مثل درجة من 1 إلى 100 بخطوات عديدة)، فإن الرياضيات تصبح معقدة. لقد أظهروا أنه بالنسبة للمجموعات التي تحتوي على ثلاث مستويات مكافآت أو أكثر، لا يمكنك دائماً إيجاد "هدف قياسي" واحد مثالي (صيغة بسيطة) يعمل مع كل حجم مجموعة. وهذا يعني أن طريقتهم مثالية نظرياً للسيناريوهات البسيطة "صح/خطأ"، لكنها لا تزال تعمل جيداً من الناحية العملية للنتائج الأكثر تعقيداً.

3. النتائج الواقعية
اختبروا هذا على نموذج يحتوي على 1.5 مليار معلمة (نموذج ذكاء اصطناعي متوسط الحجم) عبر عدة مهام:

الرياضيات (GSM8K, Countdown, DeepMath): عند استخدام مكافآت "المُحقّق" المثالية (حيث يقوم الكمبيوتر بفحص الإجابة بدقة)، وصلت SoftmaxGRPO إلى دقة 51.8% في DeepMath، متفوقة على طريقة GRPO القديمة. وفي Countdown، حققت 58.1%.
الكتابة الإبداعية (الشعر): هنا أصبح الأمر مثيراً للاهتمام حقاً. بالنسبة للشعر، لا توجد إجابة "صحيحة". يمكنك فقط استخدام "درجة تشابه" (مدى تشابه القصيدة مع مثال جيد). هذه مكافآت "ضعيفة" وضوضائية. عانت GRPO القديمة هنا، لكن SoftmaxGRPO رفعت نموذجاً بدأ بنسبة 35.0% إلى 68.0% في الشعر. هذه قفزة هائلة، مما يثبت أن الطريقة تعمل حتى عندما لا يكون المعلم مثالياً.
التلخيص (MeetingBank): حسنت درجات التلخيص من 35% إلى 70%.

4. أين يذهب الانتباه؟
كان الدليل الأكثر دلالة يأتي من مراقبة أين أنفق الذكاء الاصطناعي "ميزانية التدرج" (طاقته التعليمية).

GRPO القديمة: أنفقت 36.4% من طاقتها على المطالبات "شبه المحلولة" (الأسئلة التي كان احتمال نجاح الذكاء الاصطناعي فيها يتجاوز 90%+). كانت تضيع الوقت في الأشياء السهلة.
SoftmaxGRPO: أنفقت 10.0% فقط على تلك المطالبات السهلة. لقد نقلت تلك الطاقة إلى الأسئلة الأصعب حيث كان الذكاء الاصطناعي يعاني (في نطاق 20% إلى 90%).

الخلاصة

تشير الورقة البحثية إلى أنه من خلال مجرد استبدال طريقة حساب "الأهمية" من متوسط قياسي إلى softmax مقيس حرارياً، يمكننا إصلاح خلل كبير في كيفية تعلم الذكاء الاصطناعي. إنها توقف الذكاء الاصطناعي عن الهوس بالأشياء التي يعرفها بالفعل وتجبره على التركيز على التحديات التي ستجعله أكثر ذكاءً حقاً.

بينما تكون الرياضيات أكثر صرامة للجوائز البسيطة "صح/خطأ"، تُظهر التجارب أنها تعمل بشكل رائع حتى مع المكافآت الغامضة والضعيفة مثل تلك المستخدمة في كتابة الشعر أو تلخيص الاجتماعات. إنها "بديل جاهز للاستخدام"، مما يعني أنها تغيير صغير في الكود يؤدي إلى تحسينات كبيرة في كيفية تعلم الذكاء الاصطناعي للاستنتاج. ويخلص المؤلفون إلى أن هذه الطريقة هي وسيلة قوية لإعادة تخصيص إشارات التعلم، مما يضمن أن يقضي الذكاء الاصطناعي وقته فيما يهم حقاً.

ملخص تقني: SoftmaxGRPO

بيان المشكلة
أصبحت أهداف التعلم المعزز القائمة على المجموعات، مثل تحسين السياسة النسبية للمجموعة (GRPO)، معيارًا لتدريب النماذج اللغوية الكبيرة بعد التدريب (post-training) في مهام الاستنتاج. تقوم هذه الطرق بأخذ عينات من $M$ من المخرجات لكل مطالبة (prompt)، وتطبيع المكافآت داخل المجموعة، وتحسين دالة بديلة بأسلوب PPO. ومع ذلك، يحدد البحث خللاً حرجاً في استراتيجية التطبيع الخاصة بـ GRPO: ففي حالة مكافآت الصحة الثنائية (binary correctness rewards)، يؤدي تطبيع الدرجة المعيارية (z-score normalization) إلى دالة وزن تتباعد عندما تقترب احتمالية النجاح $p \to 1$ . يتسبب هذا في تركيز الإشارة التعليمية بشكل مفرط على المطالبات "السهلة" التي يحلها النموذج بالفعل بشكل موثوق، مما يهدر ميزانية التدرج (gradient budget). وتعد هذه المشكلة مدمرة بشكل خاص في الإعدادات ذات المكافآت الضعيفة أو المشوشة أو الشحيحة (مثل مقاييس تداخل النصوص في التوليد الإبداعي)، حيث يؤدي تخصيص التدرج غير الفعال إلى ترك إشارة غير كافية للمطالبات التي تشتد الحاجة للتعلم فيها.

المنهجية: SoftmaxGRPO
يقدم المؤلفون SoftmaxGRPO، وهو بديل مباشر لـ GRPO يستبدل المزايا المطبّعة بالدرجة المعيارية بمزايا "softmax" الموزونة بدرجة الحرارة (temperature-scaled). بالنسبة لمجموعة من $M$ من المخرات ذات المكافآت $\{r_i\}$ ، تحسب الطريقة الأوزان داخل المجموعة:
$w_i = \frac{\exp(r_i / \tau)}{\sum_{j=1}^M \exp(r_j / \tau)}$
والمزايا المركزية $A_i = M w_i - 1$ . تظل قاعدة التحديث الجوهرية هي دالة خسارة بديلة بأسلوب PPO باستخدام هذه المزايا، ولكن الهندسة الأساسية للهدف تتغير جذرياً.

المساهمات النظرية
يقدم البحث تحليلاً نظرياً دقيقاً لـ SoftmaxGRPO عبر أنظمة مكافآت مختلفة:

المكافآت الثنائية (مجموعة محدودة): بالنسبة للمكافآت الثنائية في نظام عدم القص (unclipped on-policy regime)، يشتق المؤلفون هدف المجتمع الدقيق لـ $M$ المحدودة. ويثبتون أن SoftmaxGRPO يستحث دالة وزن للمطالبة $\omega_{M,\tau}(p)$ تظل محدودة عندما $p \to 1$ . وخلافاً لـ GRPO، الذي يتوسع بمعدل $[p(1-p)]^{-1/2}$ ، يتجنب SoftmaxGRPO مشكلة "تضخم المطالبات السهلة".
- سلوك الحد: مع اقتراب درجة الحرارة $\tau \to 0$ لـ $M$ المحدودة، تتقارب الطريقة تماماً مع MaxRL (التعلم المعزز للاحتمال الأقصى) مع معامل قطع $T = M-1$ . وفي الحد المشترك لدرجة الحرارة المنخفضة وحجم المجموعة الكبير، تقترب من وزن الاحتمال الأقصى (ML) وهو ( $1/p$ ).
- الاستكمال (Interpolation): تتحكم درجة الحرارة $\tau$ في استكمال سلس بين سلوك مشابه لـ REINFORCE (درجة حرارة عالية، وزن موحد) وسلوك مشابه لـ MaxRL/ML (درجة حرارة منخفضة، التركيز على المطالبات الصعبة).
المكافآت القياسية المحدودة (مجموعة كبيرة): بالنسبة للمكافآت القياسية المحدودة، يوضح المؤلفون أنه مع $M \to \infty$ ، فإن تحديث SoftmaxGRPO يحسن تماماً دالة توليد العزم اللوغاريتمية (log moment-generating function) للمكافأة (وهو ما يعادل هدف المنفعة الأسية).
- عدم وجود هدف قياسي عالمي للمجموعات المحدودة: يثبت البحث أنه بالنسبة للمكافآت القياسية العامة ذات المستويات الثلاثة أو أكثر، لا يوجد هدف قياسي عالمي لـ $M$ المحدودة. تحديث المجموعة المحدودة هو عموماً غير محافظ (أي ليس تدرجاً لدالة جهد قياسية) ما لم يكن توزيع المكافأة مقيداً (على سبيل المثال، ثنائياً). وهذا يميز SoftmaxGRPO عن الطرق المعتمدة على المكافأة الأسية مثل RAML أو MPO، والتي لا تعالج هذا العائق الهندسي للمجموعات المحدودة.
التحسين العملي: في الممارسة العملية، يتم تنفيذ الطريقة باستخدام قص PPO وعقوبة KL لنموذج المرجع لضمان الاستقرار، مع معاملة الأهداف المستمدة كهدف على مستوى المجتمع لتقريب منطقة الثقة.

النتائج التجريبية
قيم المؤلفون SoftmaxGRPO عبر ثمانية معايير، بما في ذلك المهام القابلة للتحقق (GSM8K, Countdown, DeepMath) والمهام غير القابلة للتحقق (كتابة الشعر، تلخيص MeetingBank، AlpacaEval 2.0، MMLU، GPQA).

المهام القابلة للتحقق: باستخدام أدوات تحقق دقيقة، حقق SoftmaxGRPO-Exact نسبة 75.8% في GSM8K، و58.1% في Countdown، و51.8% في DeepMath، متفوقاً على GRPO-Exact في الثلاثة جميعها. والجدير بالذكر أنه يطابق أو يتجاوز أداء OPD (الذي يستخدم تقطيراً كثيفاً لكل توكن من معلم أقوى) في GSM8K وCountdown.
المكافآت الضعيفة/غير القابلة للتحقق: تحت نفس مكافآت التشابه الضعيفة (بدون أدوات تحقق من الحقيقة الأرضية)، يتفوق SoftmaxGRPO-Sim باستمرار على GRPO-Sim. وتظهر أكبر المكاسب في المهام الإبداعية: في كتابة الشعر، حقق SoftmaxGRPO درجة قدرها 68.0، وهي تحسن بمقدار +13.4 نقطة عن أفضل خط أساس تالٍ، وهو GRPO-Sim (54.6). ويمثل هذا زيادة كبيرة عن درجة النموذج الأساسي البالغة 35.0.
تخصيص ميزانية التدرج: يؤكد تحليل تخصيص ميزانية التدرج الادعاءات النظرية. في GSM8K، يخصص GRPO 36.4% من ميزانية التدرج للمطالبات التي تم حلها تقريباً ( $p \ge 0.9$ )، بينما يقلل SoftmaxGRPO هذه النسبة إلى 10.0%، ويعيد تخصيص الإشارة نحو المطالبات ذات الصعوبة المتوسطة ( $p \in [0.2, 0.9)$ ) حيث يكون التعلم أكثر فعالية.
الدراسات الاستقصائية (Ablations): الطريقة قوية تجاه حجم مجموعة المخرات ( $M$ ) عند درجات حرارة منخفضة ( $\tau \le 0.5$ ). ويتدهور الأداء مع زيادة $\tau$ ، مما يؤكد أن حدة وزن المكافأة أمر بالغ الأهمية لفعالية الطريقة.

الأهمية والادعاءات
يزعم البحث أن SoftmaxGRPO يقدم حلاً مبدئياً لعدم توازن وزن صعوبة المطالبة المتأصل في التعلم المعزز القائم على المجموعات. وتكمن أهميته في ثلاثة مجالات:

التصحيح الهندسي: يستبدل الوزن المتباعد لـ GRPO بعائلة من الأهداف المحدودة والمتحكم بها عبر درجة الحرارة، والتي تعيد تخصيص الإشارات التعليمية بشكل طبيعي بعيداً عن المشكلات المحلولة.
الدقة النظرية: يضع هدفاً دقيقاً للمجموعات المحدودة للمكافآت الثنائية، ويحدد الشروط الدقيقة التي يوجد فيها هدف قياسي (المكافآت الثنائية) مقابل الحالات التي لا يوجد فيها (المكافآت متعددة المستويات العامة).
الفعالية العملية: يثبت أن استبدالاً بسيطاً من سطر واحد لحساب المزايا في GRPO يعطي تحسينات متسقة عبر المجالات القابلة للتحقق وغير القابلة للتحقق، ويتفوق بشكل خاص في السيناريوهات ذات إشارات المكافأة الضعيفة أو المشوشة حيث يفشل التطبيع التقليدي.

يظل المؤلفون متواضعين بشأن النطاق، مشيرين إلى أن نظرية المجموعة المحدودة دقيقة فقط للمكافآت الثنائية تحت التحسين غير المقصوص، وأن التنفيذ العملي يعتمد على تقريبات PPO. وقد حددوا اختيار درجة الحرارة التكيفي والمكافآت الغنية على مستوى العملية (process-level rewards) كتوجهات مستقبلية.

المشكلة: المعلم الذي يصرخ في وجه النجوم

الحل: خريطة حرارية أكثر ذكاءً

ما وجدوه: الدليل القاطع

الخلاصة

أبحاث مشابهة