🤖 machine learning

F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare

تقترح الورقة البحثية F-GRPO، وهي طريقة للتعلم التعزيزي مدركة للصعوبة تعمل على التخفيف من ميل الخوارزميات القياسية القائمة على المجموعات نحو الإفراط في ملاءمة الحلول الشائعة وإهمال المسارات الصحيحة النادرة عبر تقليل وزن التحديثات عالية النجاح، مما يؤدي إلى تحسين أداء الاستدلال الرياضي بشكل كبير عبر مختلف النماذج المرجعية دون زيادة التكاليف الحسابية.

المؤلفون الأصليون: Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح ورقة البحث "F-GRPO: لا تدع سياستك تتعلم البديهي وتنسى النادر" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: مشكلة "مجموعة الدراسة"

تخيل أنك تعلم طالباً (نموذج ذكاء اصطنا-عي) كيفية حل مسألة رياضية صعبة. لمساعدته على التعلم، لا تكتفي بإظهار إجابة واحدة له؛ بل تطلب منه توليد ثماني محاولات مختلفة (مجموعة) في نفس الوقت. ثم تنظر إلى هذه المحاولات الثمانية، وتقارن بينها، وتخبر الطالب: "مهلاً، معظم إجاباتك كانت خاطئة، لكن هذه الإجابة كانت صحيحة. دعنا نجعلك أكثر عرضة للقيام بمثل هذه الإجابة في المرة القادمة".

هذه الطريقة تسمى تحسين السياسة النسبي للمجموعات (GRPO). إنها تشبه مجموعة دراسية حيث يقدم المعلم ملاحظاته بناءً فقط على ما أنتجته المجموعة بالفعل.

المشكلة:
تجادل الورقة بأنه إذا كانت مجموعة الدراسة صغيرة جداً، فقد لا ترى الإجابة الصحيحة على الإطلاق. ولكن إذا كانت المجموعة بالحجم "المناسب" (ليس صغيراً جداً، وليس ضخماً)، فسيحدث شيء غريب:

المجموعة تجد الإجابة الصحيحة بالفعل.
يقول المعلم: "عمل رائع في تلك الإجابة!".
يصبح الطالب متحمساً جداً لتلك الإجابة الصحيحة الواحدة تحديداً لدرجة أنه يتوقف عن محاولة إيجاد طرق أخرى لحل المسألة. يصبح مهووساً بهذا الحل الوحيد وينسى جميع الطرق الأخرى الصالحة للوصول إليه.

في عالم الذكاء الاصطناعي، يسمى هذا "تضييق التوزيع" (Distribution Sharpening). يصبح الذكاء الاصطناعي بارعاً جداً في إيجاد إجابة واحدة شائعة، لكنه يفقد القدرة على إيجاد الإجابات النادرة، الإبداعية، أو الصعبة. إنه يشبه طالباً يحفظ مفتاح الإجابات لأسئلة الاختبار الأكثر شيوعاً، ولكنه يفشل تماماً عندما يسأله المعلم سؤالاً صعباً أو غير معتاد.

الاكتشاف الجوهري: فخ "غولدي لوكس" (الاعتدال الخادع)

أثبت المؤلفون رياضياً أن هذا "النسيان" يحدث غالباً عندما يكون حجم المجموعة متوسطاً.

المجموعات الصغيرة جداً (الحجم 2): تفشل المجموعة غالباً في إيجاد أي إجابة صحيحة. يقول المعلم: "لم ينجح أي شيء هذه المرة"، فلا يغير الطالب عاداته كثيراً. يظل الطالب آمناً ومتنوعاً، لكنه لا يتعلم الكثير.
المجموعات الضخمة (الحجم 128+): تجد المجموعة كل الإجابات الصحيحة الممكنة، بما في ذلك الإجابات النادرة. يقول المعلم: "انظر، لقد وجدت الإجابة الشائعة وأيضاً الإجابة النادرة!". يتعلم الطالب كل شيء. لكن هذا مكلف جداً من الناحية الحسابية (يكلف الكثير من المال والوقت).
المجموعات المتوسطة (الحجم 8-16): هذا هو الفخ. تجد المجموعة الإجابة الصحيحة الشائعة (لذا يقدم المعلم ملاحظاته)، لكنها تفتقد الإجابة النادرة. يعتقد الطالب: "الإجابة الشائعة هي الوحيدة المهمة"، ويتوقف عن استكشاف الإجابات النادرة.

التشبيه:
تخيل أنك تبحث عن عملة نادرة محددة في جرة تحتوي على 1,000 عملة.

إذا أخذت عملتين، فمن المحتمل ألا تجد العملة النادرة. لن تتعلم شيئاً.
إذا أخذت 500 عملة، فستجد العملة النادرة بالتأكيد. ستتعلم كل شيء.
إذا أخذت 10 عملات، فقد تجد العملات الشائعة ولكنك ستفقد العملة النادرة. عندها ستستنتج: "العملة النادرة غير موجودة"، وتتوقف عن البحث عنها.

الحل: F-GRPO (المدرب "المدرك للصعوبة")

اقترح المؤلفون حلاً يسمى F-GRPO. لقد أدركوا أنه عندما تجد المجموعة العديد من الإجابات الصحيحة، يصبح الذكاء الاصطناعي واثقاً جداً من نفسه ويبدأ في تجاهل الإجابات النادرة.

لذا، أضافوا "وزناً للصعوبة" مستوحى من تقنية تسمى Focal Loss.

كيف يعمل:

الطريقة القديمة: إذا وجدت المجموعة 5 إجابات صحيحة من أصل 8، يمنح المعلم "هاي فايف" (تحية حماسية) كبيرة ويخبر الذكاء الاصطناعي بالتركيز بشدة على تلك الإجابات.
الطريقة الجديدة (F-GRPO): ينظر المعلم إلى المجموعة ويقول: "واو، لقد وجدت 5 إجابات صحيحة! هذا سهل بالنسبة لك الآن. سأقوم بـ خفض مستوى صوت هذه الملاحظات".
- إذا وجدت المجموعة إجابات صحيحة قليلة (كانت معاناة صعبة)، يرفع المعلم مستوى الصوت ويقول: "كان هذا صعباً، انتبه جيداً لما نجح!".
- إذا وجدت المجموعة إجابات صحيحة كثيرة (كان الأمر سهلاً)، يخفض المعلم مستوى الصوت حتى لا يصبح الذكاء الاصطناعي مهووساً بالحلول الواضحة.

النتيجة:
من خلال خفض مستوى الصوت في المجموعات "السهلة"، يُجبر الذكاء الاصطناعي على الاستمرار في الاستكشاف. فهو لا يتوقف عن البحث عن الحلول النادرة والصعبة لمجرد أنه وجد حلاً سهلاً.

ما أظهرته التجارب

اختبر الفريق هذه الطريقة على عدة نماذج ذكاء اصطناعي (مثل Qwen و Llama) باستخدام مسائل رياضية وألغاز منطقية.

"اختبار الندرة": تحققوا مما إذا كان بإمكان الذكاء الاصطناعي إيجاد أي إجابة صحيحة إذا أعطيناه 256 محاولة (بدلاً من محاولة واحدة فقط).
- بدون الإصلاح: مع تحسن الذكاء الاصطناعي في الإجابات السهلة، انخفضت قدرته على إيجاد الإجابات النادرة.
- مع F-GRPO: حافظ الذكاء الاصطناعي على قدرة عالية في إيجاد الإجابات النادرة، حتى أثناء تحسنه في الإجابات السهلة.
"اختبار المتاهة": استخدموا متاهة يوجد فيها مسار واحد فقط صحيح. حتى في هذه الحالة البسيطة، جعلت الطريقة القديمة الذكاء الاصطناعي ينسى المسار إذا حالفه الحظ مبكراً. أما F-GRPO فقد أبقت الذكاء الاصطناعي على المسار الصحيح.
الكفاءة: حققوا هذه النتائج دون زيادة حجم المجموعة. لم يحتاجوا لطلب توليد 100 إجابة من الذكاء الاصطناعي؛ بل احتاجوا فقط لتغيير كيفية الاستماع إلى الإجابات الثماني التي ولدها بالفعل.

الملخص

تقول الورقة البحثية: "لا تدع ذكاءك الاصطناعي يشعر براحة مفرطة مع الإجابات الواضحة".

عندما يتعلم الذكاء الاصطناعي من مجموعة محاولات، فإنه يميل إلى نسيان الحلول النادرة والصعبة إذا كان حجم المجموعة متوسطاً. لقد أصلح المؤلفون ذلك بابتكار "مفتاح تحكم في الصوت" (F-GRPO) يخفض أهمية المجموعات ذات النجاح العالي والسهلة. هذا يجبر الذكاء الاصطناعي على مواصلة الاستكشاف ويضمن عدم فقدانه القدرة على حل المشكلات الصعبة والنادرة.

ملخص تقني: F-GRPO: لا تدع سياستك تتعلم البديهيات وتنسى النادر

بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) نموذجًا قياسيًا للتدريب اللاحق للنماذج اللغوية الكبيرة (LLMs) في مهام الاستدلال. ومع ذلك، تشير مجموعة متزايدة من الأدلة إلى أن RLVR غالبًا ما يعمل على شحذ توزيع المخرجات نحو الحلول التي يسهل الوصول إليها بالفعل من قبل النموذج الأساسي، مما قد يؤدي إلى تدهور الأداء في مقاييس مثل pass@k (حيث k كبيرة) عن طريق تضييق تنوع الحلول.

تعتمد معظم أنظمة RLVR الحديثة، مثل تحسين السياسة النسبي للمجموعات (GRPO)، على أخذ عينات مجموعات (إنتاج $N$ من الاستجابات لكل مطالبة) لتقدير المزايا. وبينما تكون المجموعات الصغيرة ( $N=2$ ) فعالة حاسوبيًا، وتوفر المجموعات الكبيرة تغطية واسعة، إلا أن القيود العملية غالبًا ما تحد من $N$ إلى أحجام متوسطة (مثل $N=8$ ). يحدد البحث فجوة حرجة في فهم كيفية تأثير أحجام المجموعات المحدودة هذه على ديناميكيات التحسين. وتحديدًا، يفترض البحث وجود "نظام فقدان الذيل" (tail-miss regime) حيث تكون التحديثات نشطة (مكافآت مختلطة) ولكنها تفشل في أخذ عينات من المسارات الصحيحة النادرة، مما يؤدي إلى تركيز كتلة الاحتمالية على الحلول الشائعة التي تم أخذ عيناتها مع قمع السلوكيات الصحيحة غير المأخوذة كعينات.

المنهجية

التحليل النظري

اشتق المؤلفون احتمال وقوع حدث فقدان الذيل ( $B_{E,N}(x)$ )، والمعرف بأنه تحديث نشط (حيث تحتوي المجموعة على مخرجات صحيحة وخاطئة) يفشل في أخذ عينة من مجموعة فرعية صحيحة ذات كتلة منخفضة $E_x$ .

السلوك غير الرتيب: احتمال هذا الحدث غير رتيب بالنسبة لحجم المجموعة $N$ . غالبًا ما تؤدي قيم $N$ الصغيرة إلى تحديثات غير نشطة (كلها صحيحة أو كلها خاطئة)، مما يحافظ على التنوع من خلال عدم النشاط. أما القيم الكبيرة فتضمن التغطية للأنماط النادرة. ومع ذلك، فإن قيم $N$ المتوسطة تزيد من احتمال حدوث تحديثات نشطة تفقد المناطق الصحيحة النادرة.
آلية إعادة التوزيع: باستخدام إطار عمل السياسة الفئوية (categorical policy)، يحلل المؤلفون كيفية إعادة توزيع الكتلة الاحتمالية. ويظهرون أنه حتى عندما تزدل كتلة الصحة الإجمالية ( $Q_{pos}$ )، فإن كتلة الصحة غير المأخوذة كعينات ( $Q_{u,pos}$ ) يمكن أن تنخفض. يحدث هذا لأن الدفعات ذات المكافأة الإيجابية تدفع لوغاريتمات (logits) غير المأخوذة كعينات نحو الأسفل من خلال طرح خط الأساس وتطبيع softmax، مما يؤدي فعليًا إلى "نسيان" الحلول الصحيحة التي لم يتم أخذ عينات منها في المجموعة الحالية.

الحل المقترح: F-GRPO

للتخفيف من ذلك دون زيادة التكلفة الحاسوبية (حجم العينات)، يقترح المؤلفون F-GRPO (تحسين المجموعة النسبي المركز - Focal Group Relative Policy Optimization).

الوزن المركزي (Focal Weighting): مستلهمًا من "فقدان التركيز" (Focal Loss)، يقدم الأسلوب معامل قياس يعتمد على الصعوبة $g(x)$ يُطبق على الميزة النسبية للمجموعة.
الآلية: يتم تعريف الوزن كـ $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$ ، حيث $\hat{\mu}_{pos}(x)$ هو معدل النجاح التجريبي للمجموعة المأخوذة كعينة (عدد المخرات الصحيحة $X$ مقسومًا على $N$ ).
الأثر: يعمل هذا على تقليل وزن التحديثات من المجموعات ذات معدلات النجاح التجريبية العالية (حيث يكون النموذج قد "تعلم البديهيات" بالفعل لتلك المطالبة) ويحافظ على الإشارة من المجموعات ذات النجاح المختلط حيث قد لا تزال السلوكيات الصحيحة النادرة ممثلة بشكل ناقص. إنه تعديل خفيف الوزن يغير إشارة الميزة بشكل موحد لجميع المخرات في مطالبة ما دون الحاجة إلى شبكات إضافية أو تغيير قيم المكافأة.

المساهمات الرئيسية

اشتقاق احتمال فقدان الذيل: يحدد البحث صراحةً احتمال وقوع التحديثات النشطة التي تفقد المجموعات الفرعية الصحيحة النادرة، موضحًا اعتمادها غير الرتيب على حجم المجموعة. وهذا يساعد في التوفيق بين النتائج المتضاربة السابقة حول أحجام المجموعات المثلى.
تحليل كتلة الصحة غير المأخوذة كعينات: يوضح المؤلفون نظريًا وتجريبيًا أن كتلة الصحة الإجمالية يمكن أن تنمو بينما تتقلص كتلة الصحة غير المأخوذة كعينات، مما يشرح الآلية وراء حدوث "شحذ التوزيع" في إعدادات المجموعات المحدودة.
التحقق من الحل الواحد: باستخدام بيئة المتاهة (Maze) حيث تمتلك كل مطالبة مسارًا صحيحًا واحدًا فقط، يوضح البحث أن تدهور pass@K يمكن أن يحدث حتى بدون وجود حلول متعددة صحيحة لكل مطالبة، مما يعزل التأثير على تغطية التسلسل المستهدف بدلاً من التنوع داخل المطالبة الواحدة.
خوارزمية F-GRPO: مخطط إعادة وزن بسيط وقابل للإضافة يمكن تطبيقه على GRPO وDAPO وCISPO، مما يحسن pass@256 مع الحفاظ على أو تحسين pass@1 دون زيادة تكاليف العينات.

النتائج التجريبية

قيم المؤلفون F-GRPO على نماذج Qwen2.5-7B وQwen3-4B-Base وLlama-3.2-3B-Instruct عبر اختبارات متنوعة (MATH500، AIME، AMC، GPQA، IFEval، SynLogic).

المحاكاة الفئوية: أكدت النتائج أن أحجام المجموعات المتوسطة تؤدي إلى أدنى كتلة إيجابية باقية ( $M_{ret}$ )، بينما يحسن الوزن المركزي ( $\gamma=1$ ) بشكل كبير من الاحتفاظ بالكتلة في "منطقة التركيز" هذه.
تجارب المتاهة: في إعداد الحل الواحد، قلل F-GRPO من الانخفاض المبكر في pass@K أثناء التدريب وحسن الأداء النهائي لـ pass@1 وpass@256 عبر جميع أحجام المجموعات المختبرة.
اختبارات النماذج اللغوية الكبيرة (N=8):
- أداء الرياضيات: في Qwen2.5-7B، حسن F-GRPO متوسط math pass@256 من 64.1 (GRATO) إلى 70.3، ومن 69.3 (DAPO) إلى 72.5.
- الأداء خارج النطاق (OOD): تحسن OOD pass@256 أيضًا باستمرار عبر جميع الطرق (على سبيل المثال، GRPO: 55.9 $\to$ 63.3؛ DAPO: 58.4 $\to$ 63.6).
- الكفاءة: حقق F-GRPO عند $N=8$ أداءً مشابهًا لـ GRPO القياسي عند $N=32$ في pass@256، مما استعاد فعليًا فوائد المجموعات الأكبر بـ 4 أضعاف أقل من حيث الحوسبة.
- التعميم: انتقلت الطريقة بفعالية عبر مختلف المحسنات (GRPO، DAPO، CISPO) وأحجام النماذج.
الدراسة الاستقصائية (Ablation): لم تتكرر المكاسب عن طريق تقليل معدل التعلم البسيط أو التنظيم القياسي (الاعتلاج/KL)، مما يشير إلى أن التحسن ينبع تحديدًا من آلية إعادة الوزن القائمة على النجاح.

الأهمية والادعاءات

يدعي البحث تقديم حل نظري وعملي لمشكلة "الشحذ" في RLVR النسبي للمجموعات. ومن خلال تحديد أن أحجام المجموعات المتوسطة تزيد من خطر فقدان المسارات الصحيحة النادرة، يرى المؤلفون أن مجرد زيادة $N$ ليست دائمًا ممكنة بسبب القيود الحسابية.

يوفر F-GRPO استراتيجية تخفيف منخفضة التكلفة تعمل على:

استعادة أداء pass@256 الذي يُفقد عادةً عند استخدام أحجام مجموعات متوسطة.
الحفاظ على أو تحسين pass@1 (دقة العينة الواحدة).
العمل عبر مختلف متغيرات RLVR وبنيات النماذج.
عدم الحاجة لزيادة ميزانية العينات أو إضافة شبكات مساعدة.

يضع المؤلفون F-GRPO كإجراء تصحيحي ضروري لمسار RLVR القياسي، لضمان أن تحديثات السياسة لا تعزز دون قصد فقط الحلول "الواضحة" المعروضة في عينة محدودة بينما تنسى السلوكيات الصحيحة "النادرة" الضرورية للاستدلال القوي.