💬 NLP

SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models

تقترح هذه الورقة "ضغط احتمالية التوجيه" (SPS)، وهو نموذج تدريب مبتكر يدمج التعلم التعزيزي مع التعلم التعزيزي العكسي لمواجهة تركيز الكتلة الاحتمالية، مما يعزز استكشاف المسارات المتنوعة ويحسن أداء Pass@k في النماذج اللغوية الكبيرة الموجهة نحو الاستنتاج.

المؤلفون الأصليون: Yifu Huo, Chenglong Wang, Ziming Zhu, Shunjie Xing, Peinan Feng, Tongran Liu, Qiaozhi He, Tianhua Zhou, Xiaojia Chang, Jingbo Zhu, Zhengtao Yu, Tong Xiao

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yifu Huo, Chenglong Wang, Ziming Zhu, Shunjie Xing, Peinan Feng, Tongran Liu, Qiaozhi He, Tianhua Zhou, Xiaojia Chang, Jingbo Zhu, Zhengtao Yu, Tong Xiao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم طالب عبقري (الذكاء الاصطناعي) كيفية حل لغز رياضي صعب للغاية. أنت لا تريد منه فقط إيجاد حل واحد، بل تريد منه اكتشاف طرق عديدة ومختلفة لحل اللغز، تحسباً لأن تكون الطريقة الأولى التي يجربها طريقاً مسدوداً.

تقدم هذه الورقة البحثية طريقة تدريب جديدة تسمى SPS (ضغط احتمالية التوجيه - Steering Probability Squeezing) لمساعدة نماذج الذكاء الاصطناعي لتصبح أفضل في هذا النوع من "حل المشكلات الإبداعي".

إليك قصة المشكلة والحل، مشروحة ببساًطة.

المشكلة: تأثير "غرفة الصدى"

في الماضي، عندما كنا ندرب الذكاء الاصطناعي على حل المشكلات، كنا نستخدم طريقة تسمى التعلم التعزيزي (RL). فكر في الأمر كأنه لعبة يحاول فيها الذكاء الاصطناعي الإجابة على سؤال؛ إذا أجاب بشكل صحيح، يحصل على نجمة ذهبية، وإذا أخطأ، يحصل على رسالة "حاول مرة أخرى".

مع مرور الوقت، يتعلم الذكاء الاصطناعي كيف يحصل على النجوم الذهبية. ولكن هنا تكمن المشكلة: إنه يصبح بارعاً جداً في الحصول على نفس النجمة الذهبية ذاتها.

تخ ط الذكاء الاصطناعي كطباخ يحاول صنع كعكة مثالية:

الهدف: صنع كعكة مذاقها جيد.
الطريقة القديمة (RL): يجرب الطباخ 100 وصفة مختلفة، وتكون واحدة منها فقط مذهلة المذاق. يرى الذكاء الاصطناعي ذلك ويقول: "آها! هذه هي الطريقة الوحيدة لصنع الكعكة!"
الضغط (The Squeeze): في المرة التالية، يتوقف الذكاء الاصطناب عن تجربة مكونات جديدة، ويكتفي بصنع تلك الكعكة المحددة ذاتها مراراً وتكراراً. لقد أصبح "لاعباً بأسلوب واحد فقط".

من الناحية التقنية، يتم ضغط "احتمالية" الذكاء الاصطناعي (ثقته) لتتركز في إجابة واحدة أو اثنتين فقط. إنه يتوقف عن استكشاف الاحتمالات الأخرى، وهذا أمر سيء؛ لأنه إذا كانت تلك الإجابة الواحدة خاطئة قليلاً، فلن يكون لدى الذكاء الاصطناعي أي خطة بديلة. إنه يفشل في إيجاد الحلول المتنوعة والإبداعية التي يستخدمها البشر.

الحل: "المدرب العكسي" (SPS)

أدرك المؤلفون أن الذكاء الاصطناعي كان يعلق في روتين بسبب استماعه فقط لتعليقات "النجمة الذهبية". كانوا بحاجة إلى طريقة لإجبار الذكاء الاصطناعي على النظر أيضاً إلى الإجابات "القريبة من الصواب" والإجابات "الغريبة".

لقد ابتكروا Svez (SPS)، الذي يعمل مثل رقصة من خطوتين:

الخطوة 1: السباق (التعلم التعزيزي القياسي - Standard RL)

أولاً، يقوم الذكاء الاصطناعي بجلسة تدريب قياسية. يحاول حل اللغز ويجد الإجابات "الأفضل". يحصل على نجومه الذهبية. هذا هو الجزء الأمامي (Forward).

الخطوة 2: المدرب العكسي (التعلم التعزيزي العكسي - Inverse RL)

هنا تكمن الخدعة السحرية. بدلاً من مجرد إخبار الذكاء الاصطناعي بما لا يجب فعله، ينظر النظام إلى الإجابات التي أنتجها الذكاء الاصطناعي للتو (حتى الغريبة منها) ويقول:

"مهلاً، لقد ولّدت مجموعة من المسارات المختلفة. لنفترض أن كل هذه المسارات هي أمثلة صالحة لمفكر ذكي. لنقم بتعديل عقلك لتكون أكثر انفتاحاً على جميع هذه المسارات، وليس فقط على المسار الذي تظن أنه مثالي."

وهذا ما يسمى التعلم التعزيزي العكسي (IRL).

تشبيه: تخيل معلم موسيقى:
- التعلم التعزيزي القياسي (Standard RL): يقول المعلم: "اعزف هذه النوتة بدقة، وإلا ستفشل". هنا سيعزف الطالب تلك النوتة الواحدة فقط.
- SPS (IRL): يستمع المعلم إلى جلسة التدريب الكاملة للطالب (بما في ذلك الأخطاء والارتجالات الغريبة) ويقول: "في الواقع، ذلك الارتجال الغريب كان له إيقاع جميل. لنمارس ذلك أيضاً".

من خلال القيام بذلك، يتوقف الذكاء الاصطنا కలిసి عن "ضغط" كل ثقته في إجابة واحدة؛ بل يبدأ في توزيع ثقته، مستكشفاً مجموعة متنوعة واسعة من المسارات.

لماذا يهم هذا الأمر: درجة "Pass@k"

يقيس البحث النجاح بطريقتين:

Pass@1: هل يمكن للذكاء الاصطناعي الحصول على الإجابة الصحيحة من المحاولة الأولى مباشرة؟ (درجة "اللاعب بأسلوب واحد").
Pass@k: إذا طلبت من الذكاء الاصطناعي توليد 128 إجابة مختلفة، فهل هناك إجابة واحدة على الأقل صحيحة؟ (درجة "المستكشف المبدع").

النتيجة:
كانت الطرق القديمة رائعة في Pass@1 (الحصول على الإجابة الصحيحة من المحاولة الأولى) ولكنها كانت سيئة جداً في Pass@k (إيجاد حلول متنوعة).
أما SPS فقد حافظ على قدرة الذكاء الاصطناعي على المحاولة الأولى، ولكنه حسّن بشكل هائل درجة Pass@k. لقد حول الذكاء الاصطناعي من روبوت جامد إلى مستكشف مرن يمكنه إيجاد طرق مختلفة لحل المشكلة.

الصورة الكبيرة

تخيل عقل الذكاء الاصطناعي كحديقة:

التعلم التعزيزي القديم (Old RL): يسقي البستاني الزهرة الأطول فقط. وفي النهاية، ستصبح الحديقة مجرد زهرة واحدة عملاقة ومنعزلة.
SPS: يسقي البستاني الزهرة الطويلة، ولكنه ينظر أيضاً إلى البراعم الصغيرة والغريبة في الزاوية ويقول: "قد تكون أنت أيضاً مثيراً للاهتمام". تصبح الحديقة غناء، متنوعة، ومرنة.

باخت-اختصار، يمنع نظام SPS الذكاء الاصطناعي من الوقوع في حلقة مفرغة من تخميناته الأفضل. إنه يجبره على إبقاء خياراته مفتوحة، مما يؤدي إلى تفكير أكثر ذكاءً وإبداعاً وموثوقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "SPS: توجيه ضغط الاحتمالات من أجل استكشاف أفضل في التعلم المعزز للنماذج اللغوية الكبيرة."

1. بيان المشكلة

أصبح التعلم المعزز (RL)، وتحديداً التعلم المعزز ذو المكافآت القابلة للتحقق (RLVR)، نموذجاً مهيمناً لتدريب النماذج اللغوية الكبيرة (LLMs) على مهام الاستنتاج. ومع ذلك، تواجه طرق التعلم المعزز الحالية حداً حرجاً: ضعف الاستكشاف.

الظاهرة: بينما يحسن التعلم المعزز بفعالية معدلات النجاح في العينة الواحدة (Pass@1)، فإنه غالباً ما يفشل في تحسين أداء العينات المتعددة (Pass@k) بشكل كبير، وهو الأداء الذي يعتمد على قدرة النموذج على توليد مسارات استنتاج متنوعة وصحيحة.
السبب الجذري (تأثير الضغط - Squeezing Effect): حدد المؤلفون "تأثير ضغط احتمالي" جوهرياً. في التعلم المعزز القياسي (مثل GRPO)، لا تؤدي تحديثات التدرج السلبية المطبقة على الرموز (tokens) ذات الاحتمالية المنخفضة (غير الصحيحة) إلى إعادة توزيع الكتلة الاحتمالية إلى بدائل متنوعة. بدلاً من ذلك، وبسبب خصائص التنميط (normalization) لدالة softmax، يتم امتصاص الكتلة الاحتمالية المزاحة بشكل غير متناسب من قبل الرموز المهيمنة (الجشعة/greedy) بالفعل.
النتيجة: يؤدي هذا إلى حدوث "تسنن" (sharpening) منهجي في توزيع المخرجات، مما يسبب "انهيار الإنتروبيا" (entropy collapse). يتقارب النموذج مبكراً نحو مجموعة ضيقة من مسارات الاستنتاج عالية المكافأة، مما يقيد قدرته على اكتشاف مسارات استنتاج جديدة أو بديلة.

2. المنهجية: توجيه ضغط الاحتمالات (SPS)

لمعالجة تأثير الضغط، يقترح المؤلفون SPS، وهو نموذج تدريبي يدمج بين التعلم المعزز التقليدي (RL) والتعلم المعزز العكسي (IRL).

الآلية الجوهرية

بدلاً من السماح للكتلة الاحتمالية بالانهيار على المسارات المهيمنة، يقوم SPS بـ "توجيه" إعادة التوزيع هذه بنشاط نحو المناطق التي لم تُستكشف بعد ولكنها قد تكون ذات قيمة في فضاء المسارات.

حلقة التدريب المتداخلة:
- المرحلة الأولى (RL): يخضع النموذج لتعلم معزز قياسي قائم على السياسة (on-policy) مثل (GRPO) لتوليد مخرقات (rollouts) وتحديد المسارات عالية المكافأة.
- المرحلة الثانية (IRL): يستخدم النموذج المخرجات المولدة كـ "نماذج توضيحية" (demonstrations) لأداء التعلم المعزز العكسي.
  - الهدف: تستخدم مرحلة IRL خسارة تباعد (forward-KL divergence) لإعادة تشكيل توزيع السياسة. فهي تشجع السياسة على التوافق مع التوزيع التجريبي للمخرجات ( $\pi_{rollout}$ )، مما يؤدي فعلياً إلى إعادة توزيع الكتلة الاحتمالية بعيداً عن الأنماط المهيمنة للغاية نحو المجموعة المتنوعة من المسارات التي تم أخذ عينات منها.
  - الإشراف الذاتي: من المهم ملاحظة أن هذه العملية تستخدم فقط المخرجات القائمة على السياسة (on-policy rollouts) كنماذج توضيحية. لا يتم إدخال أي بيانات خارجية، أو تسميات، أو معرفة مسبقة.
التركيز على المسارات منخفضة الاحتمالية (L2TE):
- لمواجهة الضغط بشكل أكبر، تعطي مرحلة IRL الأولوية تحديداً لأخذ عينات من المخرقات من المسارات ذات الاحتمالية المنخفضة للنموذج نسبياً.
- من خلال تضخيم إشارة التعلم من هذه الحلول التي لم تُستكشف كفاية، تمنع تقنية L2TE السياسة من الانهيار في نمط جشع واحد.
الاستراتيجية التكرارية:
- يتم تكرار مرحلتي RL و IRL في حلقة، حيث يتم تغذية السياسة المحدثة من مرحلة IRL في مرحلة RL التالية، مما يسم يسمح بإعادة توزيع تدريجي للكتلة الاحتمالية واستكشاف مستدام طوال فترة التدريب.

3. المساهمات الرئيسية

التحليل النظري للضغط: يقدم المؤلفون تحليلاً أولياً وإثباتاً نظرياً (عبر خصائص تنميط softmax) يوضح أن أهداف التعلم المعزز القياسية تسبب بطبيعتها "تأثير ضغط"، مما يؤدي إلى حدوث تسنن منهجي في التوزيع ويحد من الاستكشاف. كما حددوا حداً أقصى تجريبياً لأداء Pass@k تحت التعلم المعزز القياسي.
إطار عمل SPS: يقترحون خوارزمية SPS، التي تدمج بشكل فريد التعلم المعزز العكسي (IRL) في حلقة تدريب التعلم المعزز (RL) لإعادة تشكيل توزيعات المسارات صراحةً دون إشراف خارجي.
استراتيجية التدريب التكرارية: قدموا آلية للتبديل بين RL و IRL، مما يضمن استمرار النموذج في استكشاف مسارات استنتاج بديلة بدلاً من التقارب المبكر.
التقييم الشامل: أظهرت التجارب المكثفة على معايير رياضية بمستوى الأولمبياد (AIME-24/25, BRUMO, HMMT-FEB/NOV) أن SPS يتفوق بشكل كبير على أفضل النماذج المرجعية (baselines) في مقاييس استكشاف العينات المتعددة.

4. النتائج التجريبية

تم تقييم الطريقة على خمسة معايم رياضية بمستوى الأولمبياد باستخدام نماذج Qwen2.5-Math (بمعلمات 1.5B و 7B) المدربة على مجموعات فرعية من مجموعة بيانات OpenR1-Math.

تحسين Pass@k: يحقق SPS باستمرار درجات Pass@128 متفوقة مقارنة بـ GRPO و DAPO و GSPO.
- نتيجة ملحوظة: في نموذج Qwen2.5-Math-1.5B، حقق SPS درجة Pass@128 بلغت 63.33 على معيار BRUMO، وهو تحسن قدره 10.00 نقطة عن GRPO القياسي.
الحساسية لحجم النموذج: لاحظ المؤلفون أن GRPO القياسي قد يؤدي أحياناً إلى تقليل Pass@128 في النماذج الأصغر (1.5B) بسبب الإفراط في التخصيص (overfitting) والضغط، بينما نجح SPS في التخفيف من ذلك، محققاً تحسناً في كل من نماذج 1.5B و 7B.
مقاييس التنوع: يظهر تحليل تشابه المسارات أن SPS يولد مسارات استنتاج أكثر تنوعاً (درجات تشابه أقل) مقارم بـ GRPO، مما يؤكد أن مكاسب الأداء ناتجة عن استكشاف حقيقي وليس مجرد كفاءة في أخذ العينات.
الكفاءة: تضيف مرحلة IRL عبئاً حسابياً ضئيلاً (حوالي 3% من إجمالي وقت التدريب لكل دورة) بينما توفر مكاسب كبيرة في الأداء.

5. الأهمية والآثار المترتبة

إعادة تعريف استكشاف التعلم المعزز: تتحدى الورقة الافتراض بأن التعلم المعزز يعزز الاستكشاف بشكل طبيعي. فهي تسلط الضوء على أنه بدون تدخل، يميل التعلم المعزز إلى تقليص التوزيعات، وتقترح التعلم المعزز العكسي (IRL) كآلية منهجية لمواجهة ذلك.
إعادة تشكيل التوزيع ذاتي الإشراف: يثبت SPS أن النماذج يمكنها "توجيه" توزيعات الاحتمالية الخاصة بها بفعوة باستخدام البيانات التي تولدها، مما يلغي الحاجة إلى نماذج مكافأة خارجية مكلفة أو نماذج توضيحية خبيرة للحفاظ على التنوع.
القابلية للتوسع في الاستنتاج: من خلال كسر عقبة "الضغط"، يوفر SPS مساراً لإطلاق الإمكانات الكاملة لأخذ العينات واسعة النطاق (Pass@k) في مهام الاستنتاج، وهو أمر بالغ الأهمية لحل المشكلات المعقدة حيث تتطلب الحلول محاولات متعددة للوصول إلى الحل.
الرؤية النظرية: تقدم هذه الدراسة فهماً أعمق لديناميكيات التعلم في RLVR، حيث تقدم حداً أقصى نظرياً للاستكشاف وتشرح سبب حدوث انهيار الإنتروبيا في الممارسة العملية.

في الختام، يمثل SPS خطوة مهمة للأمام في مواءمة ديناميكيات تدريب التعلم المعزز مع هدف الاستكشاف المتنوع، مما يمكن النماذج اللغوية الكبيرة من اكتشاف نطاق أوسع من مسارات الاستنتاج الصحيحة في المجالات المعقدة مثل الرياضيات.