💬 NLP

EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization

تقترح الورقة البحثية إطار عمل EBPO، وهو إطار عمل مبتكر يعمل على تثبيت عملية تحسين السياسة النسبية للمجموعات (GRPO) للنماذج اللغوية الكبيرة من خلال توظيف تقليص بايز التجريبي (Empirical Bayes shrinkage) لتنظيم خطوط الأساس المحلية باستخدام الإحصاءات العالمية، مما يؤدي إلى تقليل تباين المُقدِّر، ومنع تلاشي التدرجات، والتفوق على الأساليب الحالية عبر مختلف معايير اختبار الاستدلال.

المؤلفون الأصليون: Kevin Han, Yuhang Zhou, Mingze Gao, Gedi Zhou, Serena Li, Abhishek Kumar, Xiangjun Fan, Weiwei Li, Lizhu Zhang

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kevin Han, Yuhang Zhou, Mingze Gao, Gedi Zhou, Serena Li, Abhishek Kumar, Xiangjun Fan, Weiwei Li, Lizhu Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب ذكي جداً (ذكاء اصطناعي) كيفية حل المسائل الرياضية الصعبة. تعطيه مسألة، فيحاول حلها عدة مرات. أحياناً يصيب، وأحياناً يخطئ.

لمساعدته على التعلم، تحتاج إلى تقديم ملاحظات له. الطريقة الأفضل حالياً (وتسمى GRPO) تعمل كالتالي:

تطلب من الطالب حل نفس المسألة 8 مرات (مجموعة واحدة).
تنظر إلى الإجابات الثمانية. إذا كانت 4 صحيحة و4 خاطئة، تقول للطالب: "لقد كان أداؤك متوسطاً".
إذا كانت جميع الإجابات الثمانية خاطئة، فإن الطريقة الحالية تقول: "حسناً، الجميع فشل، لذا المتوسط هو صفر. لا يوجد فرق بين الإجابات، لذا لا يمكنني إخبارك بما يجب عليك فعله بشكل مختلف". وبذلك يحصل الطالب على صفر من الملاحظات، ولا يتعلم شيئاً من تلك المحاولة.
إذا كانت جميع الإجابات الثمانية صحيحة، فلا يحصل الطالب على معلومات جديدة أيضاً لأن الجميع نجح.

هذا يخلق مشكلتين كبيرتين:

مشكلة "المجموعة الصغيرة": إذا كنت لا تستطيع تحمل تكلفة طلب الحل من الطالب إلا مرتين أو ثلاث مرات (لتوفير المال وقوة الحوسبة)، فإن المتوسط سيكون متذبذباً للغاية. تخمين واحد محظوظ قد يفسد الدرس بأكلاً.
مشكلة "الفشل التام": إذا كانت المسألة صعبة جداً وفشل الطالب في كل مرة، فإن المعلم يستسلم ويتوقف عن التدريس في تلك الجولة.

إليك EBPO: نهج "الموجه الحكيم"

تقدم الورقة البحثية طريقة جديدة تسمى EBPO (تحسين سياسة بايز التجريبية - Empirical Bayes Policy Optimization). بدلاً من النظر إلى محاولات الطالب الثمانية بمعزل عن غيرها، يعمل EBPO مثل موجه حكيم يتذكر تاريخ الطالب الكامل.

إليك كيف يعمل ذلك باستخدام تشبيه بسيط:

1. خدعة "الانكماش" (استعارة القوة)

تخيل أن الطالب يؤدي اختباراً.

الطريقة القديمة (GRPO): إذا حصل الطالب على 0/8 في مسألة تفاضل وتكامل صعبة، يقول المعلم: "درجتك هي 0. هذا كل شيء".
الطريقة الجديدة (EBPO): ينظر المعلم إلى أداء الطالب السابق. "انتظر، أنت عادة ما تحصل على 80% في الجبر السهل، ولكن 20% فقط في التفاضل والتكامل الصعب. حتى لو حصلت على 0/8 اليوم، فأنا أعلم أنك طالب ذكي وعادة ما تؤدي بشكل أفضل من الصفر. لذا، سأقوم بـ 'تقليص' درجتك نحو متوسطك المعتاد".

بدلاً من قول "صفر"، يقول المعلم: "لقد كان أداؤك أسوأ من المعتاد، لكنه ليس سيئاً لدرجة الفشل التام". هذا يعطي الطالب إشارة عقاب (دفعة ليحاول بجهد أكبر) حتى عندما يفشل تماماً. وهذا يمنع مشكلة "توقف التعلم".

2. "الأساس الذكي" (العالمي مقابل المحلي)

فكر في "الأساس" (Baseline) كمعيار للمقارنة.

يستخدم GRPO أساساً محلياً: فهو يقارن الطالب بمحاولاته الثمانية الحالية فقط. إذا كانت المجموعة صغيرة أو فوضوية، يكون الأساس ضوضائياً وغير موثوق به.
يستخدم EBPO أساساً عالمياً: فهو يقارن محاولات الطالب الحالية بـ "متوسط عالمي" مبني من آلاف المسائل السابقة التي حلها الطالب.
- إذا فشل الطالب في مسألة صعبة، يقول EBPO: "هذا متوقع؛ أنت تفشل في هذه المسائل عادةً". (عقاب طفيف).
- إذا فشل الطالب في مسألة سهلة، يقول EBPO: "هذا غريب! أنت عادة ما تتقن هذه المسائل!". (عقاب كبير).

هذا يسمح للذكاء الاصطناعي بتمييز الفرق بين "هذه المسألة صعبة جداً على أي شخص" وبين "لقد ارتكبت خطأً سخيفاً في مسألة سهلة".

3. "المنهج الدراسي" (ترتيب التعلم مهم)

تقترح الورقة أيضاً تنظيم التدريب مثل المنهج الدراسي.

الفوضى العشوائية: رمي الطالب في مزيج من مسائل "1+1" و"فيزياء الكم" عشوائياً يربك ذاكرة الموجه حول ما هو "صعب" وما هو "سهل".
استراتيجية EBPO: ابدأ بالمسائل السهلة، ثم انتقل للمتوسطة، ثم الصعبة. هذا يساعد "الموجه الحكيم" على بناء خريطة أكثر دقة لقدرات الطالب، مما يجعل الملاحظات أكثر حدة ودقة.

لماذا يعد هذا أمراً هاماً؟

توفير المال: لأن EBPO ذكي جداً في استخدام البيانات، فأنت لست بحاجة لتوليد 32 أو 64 إجابة لكل مسألة للحصول على نتائج جيدة. يمكنك الحصول على نتائج رائعة بـ 8 إجابات فقط. وهذا يوفر كميات هائلة من قوة الحوسبة.
لا يستسلم أبداً: حتى عندما يفشل الذكاء الاصطناعي في كل مرة في مسألة صعبة، يجد EBPO طريقة لتقديم ملاحظات مفيدة له. أما GRPO فيستسلم ببساطة.
الاستقرار: إنه يمنع الذكاء الاصطناعي من الجنون (انفجار التدرجات) أو التوقف عن التعلم (تلاشي التدرجات). إنه يحافظ على عملية التعلم سلسة ومستقرة.

الخلا-صة

GRPO يشبه معلماً ينظر فقط إلى أداء الطالب الآن ويصاب بالارتباك إذا كان لدى الطالب يوم سيء أو إذا كان حجم العينة صغيراً.

EBPO يشبه معلماً يعرف تاريخ الطالب بالكامل، ويفهم صعوبة الموضوع المحدد، ويقدم ملاحظات مخصصة ومفيدة حتى عندما يفشل الطالب تماماً. إنه يجعل تدريب الذكاء الاصطناعي أسرع، وأرخص، وأكثر موثوقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "EBPO: التقدير البايزي التجريبي لتقليص التباين من أجل استقرار تحسين السياسة النسبي للمجموعات."

1. بيان المشكلة

تتناول الورقة قيود الاستقرار والكفاءة الحرجة في التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR)، وتحديداً ضمن إطار تحسين السياسة النسبي للمجموعات (GRPO) المهيمن المستخدم لتدريب النماذج اللغوية الكبيرة (LLMs) في مهام الاستدلال (مثل الرياضيات والبرمجة).

تم تحديد نمطين رئيسيين للفشل في GRPO القياسي:

تباين المقدر العالي: يحسب GRPO دالة الميزة (advantage function) عن طريق تطبيع المكافآت مقابل المتوسط والانحراف المعياري لمجموعة صغيرة من الاستجابات المأخوذة عينة ( $G$ ). عندما تكون $G$ صغيرة (بسبب القيود الحسابية)، تكون إحصائيات المجموعة المحلية مشوشة، مما يؤدي إلى تدرجات غير مستقرة.
تلاشي التدرجات في أنظمة التشبع: في سيناريوهات "فشل التشبع" (حيث يفشل النموذج في جميع المحاولات لمطالبة معينة، مما ينتج عنه جميع المكافآت صفراً)، يصبح متوسط المجموعة المحلية صفراً. وبناءً على ذلك، تتلاشى الميزة النسبية لجميع الاستجابات ( $r_i - \mu_{group} = 0$ )، مما يؤدي إلى تدرج معدوم وهدر لخطوات التدريب. وعلى العكس من ذلك، في أنظمة نجاح التشبع، لا توجد إشارة نسبية كافية لدفع التحسين.

تحاول الحلول الحالية مثل DAPO التخفيف من ذلك عن طريق تصفية التحديثات غير المستقرة، مما يؤدي إلى هدر البيانات. وتجادل الورقة بضرورة وجود طريقة تحتفظ بجميع البيانات مع ضمان استقرار التقدير.

2. المنهجية: تحسين السياسة بالتقدير البايزي التجريبي (EBPO)

يقترح المؤلفون EBPO، وهو إطار عمل يعيد صياغة تقدير الميزة باستخدام الاستدلال البايزي التجريبي (EB). بدلاً من تقدير خطوط الأساس (baselines) بمعزل عن كل مطالبة، يقوم EBPO بـ "استعارة القوة" من الإحصائيات العالمية المتراكمة للسياسة.

الآلية الجوهرية: تقدير التقليص (Shrinkage Estimation)

يستبدل EBPO خط الأساس الخاص بـ GRPO (الذي يعتمد فقط على المجموعة المحلية) بـ مقدر تقليص يمزج ديناميكياً بين متوسط المجموعة المحلي المشوش ( $\mu_{group}$ ) والسابقة العالمية المستقرة ( $\mu_{glob}$ ).

النموذج: يُفترض أن احتمال النجاح الكامن لمطالبة ما $\theta_q$ يُسحب من توزيع عالمي $\theta_q \sim \mathcal{N}(\mu_{glob}, \tau^2)$ .
خط الأساس: يتم تعريف خط أساس EBPO كالتالي:
$V_q^{EB} = (1 - S_q)\mu_{group} + S_q\mu_{glob}$
حيث $S_q$ هو عامل التقليص المحدد بنسبة التباين داخل المجموعة ( $\sigma^2$ ) إلى التباين بين المجموعات ( $\tau^2$ ):
$S_q = \frac{\sigma^2/G}{\sigma^2/G + \tau^2}$
التحديثات عبر الإنترنت (Online Updates): لضمان القابلية للتوسع، يتم تحديث الإحصائيات العالمية ( $\mu_{glob}, \sigma^2, \tau^2$ ) ديناميكياً باستخدام خوارزمية ولفرد (Welford's algorithm) عبر الإنترنت، لتجنب ضجيج إحصائيات الدفعات الصغيرة.

الابتكارات الرئيسية

تدرجات غير متلاشية: حتى عندما يفشل النموذج في جميع المحاولات في مجموعة ما ( $r_i=0$ )، يظل خط أساس EBPO غير صفري (مدفوعاً بـ $\mu_{glob}$ ). وهذا يولد إشارة ميزة سالبة ( $(0 - V_q^{EB} < 0$ )، مما يوفر تدرجات معلوماتية لمعاقبة الفشل في المهام الصعبة بدلاً من التوقف.
عقوبة مدركة للصعوبة: تتناسب عقوبة الفشل مع الصعوبة العالمية للمهمة. فالفشل في مهمة "سهلة" (ذات $\mu_{glob}$ مرتفع) يستوجب عقوبة أكبر من الفشل في مهمة "صعبة"، مما يسمح للنموذج بالتمييز بين الصعوبة العالمية والضجيج المحلي.
التعلم المنهجي عبر التجميع: يقدم المؤلفون أخذ العينات المجمعة (Clustered Sampling) (بناءً على الموضوع أو الصعوبة). ومن خلال التدريب على مجموعات متماسكة بدلاً من الخلط العشوائي، يتكيف المقدر عبر الإنترنت مع التوزيعات المحلية المتسقة، مما يقلل من خطأ تقدير السابقة ويمنع "عدم التطابق" بين السابقة ونطاقات المهام المحددة.

3. الضمانات النظرية

تقدم الورقة براهين نظرية صارمة تثبت تفوق EBPO على GRPO:

تقليل متوسط الخطأ التربيعي (MSE): يحقق خط أساس EBPO خطأً تربيعياً متوسطاً أقل بشكل صارم في تقدير الصعوبة الحقيقية $\theta_q$ مقارمة بالمتوسط العيني غير المنحاز المستخدم في GRPO. وهذه نتيجة كلاسيكية لمقدرات التقليص (الموازنة بين الانحياز والتباين).
تدرجات غير متلاشية: أُثبت نظرياً أنها توفر مساهمات تدرج غير صفرية في أنظمة فشل التشبع، بشرط أن يكون معدل النجاح العالمي $\mu_{glob} > 0$ .
الحفاظ على الإنتروبيا: يعمل الإطار ضمنياً على تنظيم اضمحلال الإنتروبيا. فمن خلال تخفيف التحديثات للمجموعات ذات التباين المنخفض عبر ثابت التطبيع العالمي، يمنع EBPO الانهيار المبكر للسياسة ويحافظ على قدرات استكشاف أعلى مقارنة بـ GRPO.

4. النتائج التجريبية

قيم المؤلفون EBPO على معايير متنوعة (AIME-2024/2025, OlympiadBench, MATH-500, AMC23) باستخدام نماذج مختلفة (LLaMA3-8B, Qwen3-8B, Qwen3-14B).

الأداء: يتفوق EBPO باستمرار على GRPO والأساليب المرجعية الأخرى (DAPO, Dr. GRPO, EntropyMech).
- على نموذج Qwen3-8B، حقق EBPO متوسط Pass@1 بنسبة 64.39%، متجاوزاً GRPO (58.72%) بأكثر من 5%.
- في البيئات محدودة الموارد (حجم المجموعة $G=8$ )، تفوق EBPO على GRPO بنسبة 11.28%، مما أظهر كفاءة فائقة في استخدام العينات.
استقرار التدريب:
- تدفق التدرج: على عكس GRSO الذي يعاني من تلاشي التدرجات في أنظمة التشبع، يحافظ EBPO على قيم تدرج قوية طوال التدريب.
- استقرار التحديث: يضع EBPO حدوداً صارمة لتباعد KL لكل خطوة، مما يمنع طفرات التحديث العشوائية وانهيار النموذج الملاحظ في GRPO.
- الاستكشاف: يحافظ EBPO على إنتروبيا سياسة أعلى، مما يشير إلى استكشاف وتعميم أفضل.
تأثير المنهج الدراسي: عزز التعلم المنهجي المصنف حسب الصعوبة (EBPO-diff) الأداء بشكل أكبر، خاصة في المعايير رفيعة المستوى مثل AIME وOlympiadBench، من خلال عزل الاستدلالات المنطقية القوية في وقت مبكر من التدريب.

5. الأهمية والمساهمات

إطار خوارزمي: يعد EBPO أول إطار عمل يدمج الاستدلال البايزي التجريبي مباشرة في حلقة التحسين عبر الإنترنت لـ GRPO، مستخدماً مقدرات التقليص لاستقرار تباين التدرج.
الأساس النظري: يوفر ضمانات رسمية لتقليل التباين، والتدرجات غير المتلاشية، والحد من اضمحلال الإنتروبيا، مما يعالج الفجوات النظرية في طرق RLVR الحالية.
الكفاءة العملية: يتيح EBPO تدريباً عالي الأداء مع أحجام مجموعات أصغر بكثير ( $G$ )، مما يقلل التكاليف الحسابية (الذاكرة وعمليات الحساب) بشكل كبير مع الحفاظ على موثوقية النموذج أو تحسينها.
المتانة: تتعامل الطريقة بفعالية مع مشكلة "المكافأة الشحيحة" المتأصلة في الاستدلال الرياضي، مما يسمح للنماذج بالتعلم من حالات الفشل التي قد يتم تجاهلها أو التخلص منها بواسطة GRPO القياسي.

في الختام، يمثل EBPO خطوة كبيرة للأمام في استقرار RLVR للنماذج اللغوية الكبيرة، حيث يقدم بديلاً مستنداً إلى أسس نظرية، وفعالاً حسابياً، وفعالاً للغاية لعمليات تحسين المجموعات النسبية القياسية.