🤖 machine learning

Sharpness-Guided Group Relative Policy Optimization via Probability Shaping

تقترح هذه الورقة البحثية خوارزمية "تحسين السياسة النسبية للمجموعات الموجهة بالحدة" (GRPO-SG)، وهي نسخة معدلة من تحسين السياسة النسبية للمجموعات تعتمد على أوزان الرموز، تهدف إلى تحسين التعميم في التعلم المعزز ذي المكافآت القابلة للتحقق من خلال تقليل وزن الرموز التي تسبب تدرجات كبيرة لتقليل الحدة وتثبيت التدريب.

المؤلفون الأصليون: Tue Le, Linh Ngo Van, Trung Le

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tue Le, Linh Ngo Van, Trung Le

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم طالب ذكي جداً (نموذج لغوي كبير) كيفية حل الألغاز الصعبة، مثل المسائل الرياضية أو الألغاز المنطقية. أنت لا تعطي له معلماً ليقيم كل خطوة يقوم بها؛ بل تعطيه بدلاً من ذلك "قائمة مراجعة" في النهاية. إذا كانت الإجابة النهائية صحيحة، يحصل على نجمة ذهبية (مكافأة). وإذا كانت خاطئة، لا يحصل على شيء. يُسمى هذا التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR).

حالياً، الطريقة الأكثر شيوعاً لتعليم هذا الطالب هي طريقة تسمى GRPO. فكر في GRPO كمدرب يقول: "حسناً، دعونا نجرب 5 طرق مختلفة لحل هذه المشكلة. الطرق التي حصلت على النجمة الذهبية جيدة؛ والطرق التي فشلت سيئة. دعونا نعدل دماغ الطالب ليكون أكثر شبهاً بالفائزين وأقل شبهاً بالخاسرين".

المشكلة: الطالب "المتحمس بزيادة"

تجادل الورقة البحثية بأنه بينما تعمل GRPO بشكل جيد، إلا أنها قد تكون أحياناً عدوانية للغاية. تخيل أن الطالب يحاول التعلم؛ عندما يرتكب خطأ في كلمة معينة أو خطوة معينة، قد يصرخ المدرب في وجهه بصوت عالٍ جداً لتصحيحه. في المصطلحات الرياضية، هذا يخلق "تحديثاً حاداً" (sharp update) — أي تغييراً ضخماً ومفاجئاً في دماغ الطالب.

بينما قد يعالج هذا الخطأ الفوري، إلا أنه قد يجعل الطالب غير مستقر. فقد ينسى كيفية حل مسائل مشابهة كان يعرف حلها سابقاً، أو قد يبالغ في رد الفعل تجاه تفاصيل صغيرة لا تهم. وفي لغة الورقة البحثية، يُسمى هذا "الحدة العالية" (high sharpness)، مما يؤدي إلى ضعف القدرة على التعميم (generalization) (أي القدرة على التعامل مع مشكلات جديدة لم يسبق رؤيتها).

الحل: "مقياس الثقة" (GRPO-SG)

يقترح المؤلفون طريقة جديدة تسمى GRPO-SG (GRPO الموجه بالحدة).

إليك التشبيه البسيط:
تخيل أن الطالب يكتب قصة.

الكلمات عالية الثقة: هي الكلمات التي يكون الطالب متأكداً منها بنسبة 100%، مثل "الـ" أو "و"، أو الرموز الرياضية الحيوية مثل "+" أو "=". الطالب يعرف أن هذه الكلمات ضرورية لكي يستقيم معنى الجملة.
الكلمات منخفضة الثقة: هي الكلمات التي يخمنها الطالب، مثل صفة منمقة أو رقم محدد ليس متأكداً منه.

في الطريقة القديمة (GRPO)، إذا خمن الطالب كلمة منخفضة الثقة وأخطأ فيها، سيصرخ المدرب: "لا! غير دماغك بالكامل!"، وهذا يسبب تحديثاً "حاداً" وضخماً قد يؤدي إلى إفساد أشياء أخرى.

GRPO-SG يعمل كمدرب حكيم ينظر إلى "مقياس ثقة" الطالب قبل أن يصرخ.

إذا كان الطالب غير متأكد (ثقة منخفضة) وارتكب خطأً، يهمس المدرب: "حسناً، لنحاول أن نكون أكثر حذراً في المرة القادمة"، لكنه لا يُحدث تغييراً ضخماً. هذا يمنع الطالب من الذعر والمبالغة في التصحيح.
إذا كان الطالب متأكداً (ثقة عالية) وأصاب في حله، فإن المدرب يعطيه دفعة إيجابية قوية لتعزيز تلك العادة الجيدة.

كيف يعمل الأمر (تشكيل الاحتمالات)

تستخدم الورقة البحثية خدعة رياضية تسمى تشكيل الاحتمالات (Probability Shaping).

يتحقق النظام من مدى ثقة النموذج في الكلمة التي اختارها للتو (بناءً على "اللوجيت" أو logit، وهو مجرد درجة توضح مدى احتمالية تلك الكلمة).
إذا كانت الدرجة منخفضة (النموذج يخمن)، يقوم النظام بتقليل وزن (downweight) الدرس. هو يقول: "لا تدع هذا الخطأ الواحد يهز أساساتك بالكامل".
إذا كانت الدرجة عالية (النموذج واثق)، يقوم النظام بزيادة وزن (upweight) الدرس. هو يقول: "هذه خطوة سليمة؛ دعونا نتأكد من الاستمرار في فعلها".

النتائج: رحلة أكثر سلاسة

اختبرت الورقة البحثية هذه الطريقة الجديدة على ثلاثة أنواع من التحديات:

الرياضيات: حل مسائل رياضية بمستوى الأولمبياد.
المنطق: حل ألغاز "الفرسان والمحتالين" (حيث يكذب البعض دائماً ويصدق البعض الآخر دائماً).
استخدام الأدوات: طلب من الذكاء الاصطنا Artificial Intelligence استخدام محرك بحث للعثور على إجابات.

ماذا حدث؟

درجات أفضل: الطريقة الجديدة (GRPO-SG) حققت باستمرار درجات أعلى من الطريقة القديمة (GRPO) في جميع هذه الاختبارات. على سبيل المثال، في الألغاز المنطقية، ارتفع معدل النجاح بشكل ملحوظ.
تعلم أكثر سلاسة: إذا راقبت "معيار التدرج" (gradient norm - وهو مقياس لمدى عنف التغيير في دماغ الطالب)، ستجد أن الطريقة الجديدة كانت أكثر سلاسة بكثير. لم تشهد تلك الطفرات الجامحة من المبالغة في التصحيح، بل كانت رحلة ثابتة وهادئة نحو القمة.

الملخص

تزعم الورقة البحثية أنه من خلال إخبار الذكاء الاصطناعي ببساطة أن يتجاهل "ذعر" التخمينات منخفضة الثقة وأن يركز على تعزيز التحركات عالية الثقة، يمكننا تدريب نماذج استدلال أكثر ذكاءً، واستقراراً، وقدرة على التعميم. الأمر يشبه تعليم الطالب أن يثق بحدسه فيما يعرفه، وألا يصاب بالذعر بسبب الأشياء التي لا يزال يخمنها.

ملخص تقني: تحسين سياسة المجموعة النسبي الموجه بالحدة عبر تشكيل الاحتمالية

بيان المشكلة

برز التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) كمحرك أساسي لتحسين قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs) في مجالات مثل الرياضيات، والمنطق، والإجابة على الأسئلة المعززة بالأدوات. ويعد تحسين سياسة المجموعة النسبي (GRPO) هو المحسن المهيمن في هذا السياق نظراً لبساطته وعدم اعتماده على دالة قيمة صريحة. ومع ذلك، فإن تطبيقات RLVR الحالية غالباً ما تفتقر إلى التحكم القوي في القدرة على التعميم. حدد المؤلفون أن التدريب يمكن أن يؤدي إلى تحديثات "حادة" (sharp)—وهي خطوات تدرج كبيرة وغير مستقرة—والتي ترتبط نظرياً بأداء أضعف في التعميم. وتتمثل المشكلة الجوهرية التي يعالجها البحث في كيفية تثبيت تدريب GRPO وتحسين التعميم دون التضحية بإشارة التعلم أو إدخال تغييرات معمارية معقدة.

المنهجية: GRPO-SG

يقترح البحث GRPO-SG (تحسين سياسة المجموعة النسبي الموجه بالحدة)، وهو متغير من GRPO يعتمد على وزن الرموز (token-weighted) مصمم لتقليل حدة التحديثات. تعتمد المنهجية على رؤية نظرية للتعميم ويتم تنفيذها عبر آلية تشكيل احتمالية قائمة على الثقة.

الأساس النظري

أعاد المؤلفون فحص GRPO من خلال عدسة تعميم قائمة على المتانة. وقد أثبتوا أن خسارة التعميم محصورة علوياً بمجموع خسارة التدريب التجريبية ووكيل حدة (sharpness surrogate) يُقاس بمعيار التدرج (النظرية 3.3).

الرؤية الجوهرية: تتوافق معايير التدرج الأصغر مع تحديثات أقل حدة، مما يعني تعميماً أفضل.
الاشتقاق: من خلال تحليل تدرج الخسارة التجريبية، أظهر المؤلفون أن معيار التدرج يتأثر بأوزان الرموز. وتحديداً، فإن حاصل ضرب وزن الرمز ( $w_{i,t}$ ) في المصطلح $(1 - \pi_\theta(o_{i,t}))$ (الذي يمثل عدم اليقين) يؤثر مباشرة على حجم التدرج.

التنفيذ الخوارزمي

يقوم GRPO-SG بتعديل هدف GRPO القياسي عن طريق إدخال وزن الرمز $w_{i,t}$ الذي يعمل كإشارة ثقة.

إشارة الثقة: يتم اشتقاق الوزن من لوجيت الرمز المختار ( $h_{i,t}$ ) الناتج عن السياسة الحالية. يعمل هذا اللوجيت كوسيط لثقة النموذج في الرمز الذي اختاره.
تشكيل الاحتمالية: يتم تطبيق دالة رسم خرائط (mapping function) رتيبة وواعية بالثقة $\omega(\cdot)$ $ω (\cdot)$ على اللوجيت لتوليد الوزن. الصيغة المحددة (المعادلة 20) هي:
$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$
- $\text{sg}[\cdot]$ هو عامل إيقاف التدرج (stop-gradient) لمنع النموذج من التلاعب بالأوزان.
- $\sigma$ هي دالة سيجمويد (sigmoid)، و $\tau, \mu, \alpha, L, U$ هي معاملات فائقة (hyperparameters) تتحكم في السلاسة والحدود.
الآلية:
- الرموز عالية الثقة: الرموز ذات اللوجيتات العالية (الثقة العالية) تحصل على أوزان أعلى، مما يحافظ على إشارة التعلم في خطوات الاستدلال الحرجة.
- الرموز منخفضة الثقة: الرموز ذات اللوجيتات المنخفضة تحصل على أوزان أقل. وبما أن الرموز منخفضة الثقة غالباً ما تسبب تدرجات كبيرة (بسبب حد الـ $(1-\pi)$ )، فإن تقليل وزنها يقلل من التحديثات "الحادة" التي قد تزعزع استقرار التدريب.
التكامل: يتم دمج هذه الأوزان مباشرة في هدف GRPO البديل، مما يؤدي فعلياً إلى تقليل وزن الرموز التي من المحتمل أن تسبب تدرجات كبيرة جداً، مع الحفاظ على تقليم PPO القياسي وتطبيع الميزة (advantage normalization).

المساهمات الرئيسية

رؤية التعميم لـ GRPO: يقدم البحث رابطاً نظرياً بين تدريب RLVR وهدف تعميم متين، حيث يتم توصيف التعميم عبر وكيل حدة (gradient norm).
خوارزمية GRPO-SG: تقدم تعديلاً بسيطاً وفعالاً لـ GRPO يستخدم ثقة الرمز (لوجيتات الرمز المختار) لتشكيل أحجام التحديث، مما يقلل الحدة دون الحاجة إلى نماذج مساعدة أو تشكيل مكافأة معقد.
التحقق التجريبي: تم التحقق من المنهجية عبر مختلف اختبارات RLVR، مما أظهر تحسينات متسقة مقارنة بـ GRPO القياسي والأساليات الأخرى للتحكم في مستوى الرمز (مثل 80/20، AR، Lopti).

النتائج التجريبية

أُجريت التجارب على ثلاث بيئات متميزة لـ RLVR: الاستدلال الرياضي، الإجابة على الأسئلة المعززة بالأدوات (Agentic QA)، والألغاز المنطقية (Knights & Knaves).

الاستدلال الرياضي: في الاختبارات التي تشمل OlympiadBench وMinerva وMATH-500، حقق GRPO-SG متوسط تحسينات تتراوح بين %2.7 إلى %6.0 مقارنة بـ GRPO القياسي. على سبيل المثال، في وصف تدريب DSR باستخدام Qwen2.5-7B، كان متوسط الربح %6.0.
الإجابة على الأسئلة المعززة بالأدوات (Agentic QA): في مهام الإجابة على الأسئلة المعززة بالمعرفة (باستخدام VT-Search)، ضاعف GRPO-SG تقريباً دقة المطابقة التامة لنموذج Qwen2.5-3B (من 13.84 إلى 27.29) وقدم مكاسب كبيرة لنموذج Qwen3-4B.
الألغاز المنطقية: في اختبار K&K Logic Puzzles، حسن GRPO-SG متوسط الدقة لـ Qwen2.5-3B من 0.42 إلى 0.63 (ربح نسبي بنسبة 50%) ومن Qwen2.5-7B من 0.75 إلى 0.91.
ديناميكيات التدريب: بعيداً عن الدقة، أظهر GRPO-SG مسارات أكثر سلاسة لمعيار التدرج وحالات أقل من الطفرات الشاذة مقارنة بـ GRPO (الشكل 1)، وهو ما يتوافق مع الهدف النظري المتمثل في تقليل الحدة. كما كانت مكافآت التدريب أعلى وأكثر استقراراً.

الأهمية والادعاءات

يزعم البحث أن GRPO-SG هو ترقية بسيطة وفعالة موجهة نحو التعميم لـ GRPO في سياق RLVR.

البساطة: لا تتطلب الطريقة أي نماذج قيمة إضافية، أو تسميات بشرية، أو تغييرات معمارية معقدة؛ فهي تقوم فقط بتعديل وزن الرمز ضمن هدف GRPO الحالي.
الاستقرار: من خلال التحكم الصريح في حدة التحديث عبر ثقة الرمز، تعمل الطريقة على تثبيت عملية التدريب، مما يؤدي إلى قدرات استدلال أكثر متانة.
العمومية: التحسينات متسقة عبر أحجام نماذج مختلفة (من 3B إلى 7B+)، وعائلات نماذج مختلفة (Qwen, Mistral, LLaMA)، ومجالات استدلال متنوعة (الرياضيات، المنطق، البحث الوكيل).

يخلص المؤلفون إلى أن التحكم الصريح في حدة التحديث من خلال وزن الرمز القائم على الثقة هو استراتيجية قابلة للتطبيق لتحسين استقرار وأداء النماذج اللغوية الكبيرة المدربة بالتعلم المعزز (RL)، مما يوفر مساراً عملياً لتحقيق تعميم أفضل في إعدادات المكافآت القابلة للتحقق.