💬 NLP

Taming Extreme Tokens: Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting

تقدم هذه الورقة البحثية طريقة "Covariance-Aware GRPO"، وهي طريقة خالية من المعلمات الفائقة تعمل على استقرار التدريب وتحسين أداء الاستنتاج من خلال تقليل وزن تحديثات الرموز (tokens) المتطرفة ديناميكيًا عبر إعادة وزن الميزة باستخدام نواة غاوسية بناءً على التباين بين احتمالات الرموز والمزايا.

المؤلفون الأصليون: Cheng Wang, Qin Liu, Wenxuan Zhou, Muhao Chen

نُشر 2026-05-13

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Cheng Wang, Qin Liu, Wenxuan Zhou, Muhao Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي جداً، ولكنه فوضوي قليلاً، كيفية حل ألغاز رياضية معقدة. يتعلم الروبوت من خلال تجربة طرق عديدة لحل المشكلة، والحصول على "درجة" لكل محاولة، ثم تعديل دماغه ليفعل بشكل أفضل في المرة القادمة.

تقدم الورقة البحثية طريقة جديدة لتعليم هذا الروبوت، تسمى Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting. هذا الاسم طويل وصعب النطق، لذا دعنا نفككه باستخدام قصة بسيطة.

المشكلة: الطالب "المتقلب"

الطريقة القياسية التي يستخدمها الروبوت (تسمى GRPO) تشبه معلماً يستمع إلى 10 طلاب مختلفين (تخمينات الروبوت العشرة المختلفة) ويقوم بمتوسط ملاحظاتهم.

ومع ذلك، لاحظ المؤلفون وجود خلل: أحياناً، يصرخ طالب أو اثنان بإجابات واثقة للغاية ولكنها خاطئة في الواقع، أو يحصلون على درجة عالية جداً بمحض الصدفة. في دماغ الروبوت، تخلق هذه الإجابات "المتقلبة" إشارة ضخمة ومشوشة.

النتيجة: يصاب الروبوت بالارتباك. يتأرجح بعنف بين كونه جريئاً جداً (يستكشف أكثر من اللازم) وبين كونه حذراً جداً (يتمسك بالعادات القديمة السيئة). إنه يشبه السائق الذي يضغط فجأة على دواسة الوقود لأن سنجاباً قفز أمام السيارة، ثم يضغط على المكابح فجأة، فلا يجد أبداً سرعة منتظمة. هذا يجعل "مقياس الثقة" لدى الروبوت (يسمى الاعتلاج/Entropy) يضطرب، ويتوقف عن التعلم بفعالية.

الحل: "الفلتر اللطيف"

ابتكر المؤلفون طريقة جديدة لإصلاح هذا. فكر في الأمر كأنه سماعات إلغاء الضوضاء الذكية لعملية تعلم الروبوت.

قياس "الأجواء" (التغاير/Covariance):
أولاً، يتحقق النظام من العلاقة بين مدى ثقة الروبوت في إجابة ما وكيف كانت نتيجة تلك الإجابة في الواقع.
- الوضع الطبيعي: إذا كان الروبوت واثقاً بشكل معتدل وحصل على الإجابة الصحيحة، فهذه إشارة جيدة.
- المشكلة: إذا كان الروبوت واثقاً للغاية ولكنه أخطأ (أو العكس)، فهذه إشارة "متقلبة".
نواة غاوس (الفلتر الناعم):
هذا هو الجزء السحري. يستخدم المؤلفون أداة رياضية تسمى Gaussian Kernel. تخيل مصفاة تسمح للحصى الصغير (إشارات التعلم المفيدة والعادية) بالمرور بسهما، لكنها تمسك بالصخور الضخمة (الإشارات المتطرفة والمشوشة).
- بدلاً من حذف الإشارات السيئة تماماً (الذي قد يؤدي إلى التخلص من معلومات مفيدة)، يقوم هذا الفلتر بخفض مستوى صوت الإشارات المتطرفة بلطف.
- الأمر يشبه معلماً يقول: "حسناً، إجابة ذلك الطالب كانت صاخبة ومتطرفة للغاية، لذا دعونا نستمع إليه قليلاً أقل، ولكن لا نزال نسمع الطلاب الهادئين والثابتين الذين يقدمون نصائح جيدة".

النتيجة: روبوت أكثر هدوءاً وذكاءً

باستخدام هذا الفلتر، يتوقف الروبوت عن التشتت بسبب الأصوات الأكثر صخباً وتطرفاً في الغرفة.

الاستقرار: يظل "مقياس الثقة" لدى الروبوت مستقراً. فهو لا يتأرجح بعنف بين كونه خائفاً جداً من تجربة أشياء جديدة وبين كونه متهوراً جداً.
أداء أفضل: لأن الروبوت لا يرتبك بسبب الضجيج، فإنه يصبح بالفعل أفضل في حل المسائل الرياضية. اختبرت الورقة هذه الطريقة على حجمين مختلفين من الروبوتات (1.5 مليار و7 مليارات "خلية دماغية") ووجدت أن هذه الطريقة الجديدة تتفوق باستمرار على الطريقة القياسية القديمة في اختبارات الرياضيات الصعبة مثل AIME ومسائل الأولمبياد.

باختختصار

تجادل الورقة البحثية بأنه عندما تعلم الذكاء الاصطناي الاستنتاج، فإن ردود الفعل المتطرفة غالباً ما تكون عدوة التقدم. من خلال خفض مستوى صوت أكثر إشارات التعلم تطرفاً وعدم استقرار تلقائياً باستخدام "فلتر ناعم"، يتعلم الذكاء الاصطناعي بسلاسة أكبر، ويظل متوازناً، ويحل في النهاية مشكلات أصعب مما سبق.

ما لا تدعيه الورقة البحثية:

هي لا تدعي أن هذا يعمل للتشخيص الطبي أو الاستخدامات السريرية.
هي لا تدعي أن هذا يعمل للمحادثات العامة أو الكتابة الإبداعية (الاختبارات كانت حصرياً على الرياضيات).
هي لا تدعي أن هذا يعمل على نماذج أكبر من 7 مليارات بارامتر (لقد اختبروا حتى 7 مليارات فقط).

ملخص تقني: ترويض الرموز المتطرفة باستخدام GRPO الواعي بالتباين (Covariance-Aware GRPO)

بيان المشكلة

أصبح تحسين السياسة النسبي للمجموعات (GRPO) نهجًا قياسيًا لتعزيز قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs)، لا سيالما في المهام الرياضية والبرمجية. ومع ذلك، يواجه GRPO قصورًا حرجًا في موازنة المقايضة بين الاستكشاف (البحث عن استراتيجيات استدلال مبتكرة) والاستغلال (صقل الحلول الجيدة المعروفة).

تحدد الورقة أن هذا عدم التوازن مرتبط جوهريًا بـ ديناميكيات الإنتروبيا (Entropy Dynamics) للسياسة أثناء التدريب. وبالاستناد إلى رؤى نظرية من Cui et al. (2025a)، يشير المؤلفون إلى أن التغيرات في إنتروبيا السياسة محكومة بالتباين (Covariance) بين احتمالات الرموز (Token Log-probabilities) وتقديرات الميزة (Advantage Estimates) المقابلة لها. ويكشف التحليل التجريبي أن جزءًا صغيرًا من الرموز ذات قيم التباين المتطرفة يهيمن بشكل غير متناسب على تحديثات السياسة. وتتسبب هذه القيم المتطرفة في عدم استقرار الإنتروبيا، مما يؤدي إما إلى الثقة المفرطة في الحلول دون المثالية (استغلال مفرط) أو إلى ديناميكيات تدريب غير مستقرة (استكشاف مفرط)، مما يؤدي في النهاية إلى أداء نهائي دون المستوى الأمثل.

المنهجية

الحل المقترح هو GRPO الواعي بالتباين (CW-GRPO)، وهو طريقة تحسين خالية من المعلمات الفائقة (Hyperparameter-free) تقوم بإعادة وزن إشارات الميزة ديناميكيًا بناءً على التباين على مستوى الرمز.

1. الأساس النظري

تعتمد الطريقة على الملاحظة التي مفادها أن التغير في إنتروبيا السياسة ( $\Delta H$ ) تحت تحديثات تدرج السياسة الطبيعية يتناسب تقريبًا مع التباين السالب بين احتمالات الرموز والمزايا:
$\Delta H \approx -\eta \cdot \text{Cov}_t(\log \pi_\theta(o_t|q, o_{<t}), \hat{A}_i)$
وتؤدي القيم المتطرفة في هذا التباين إلى دفع الإنتروبيا بعيدًا عن حالة مستقرة ومتوازنة.

2. إعادة وزن الميزة باستخدام نواة غاوس (Gaussian-Kernel Advantage Reweighting)

للحد من التأثير المزعزع للاستقرار للرموز المتطرفة، قدم المؤلفون آلية لإعادة الوزن:

حساب التباين: لكل رمز $t$ في الاستجابة $i$ ، تحسب الطريقة التباين بين لوغاريتم الاحتمالية الممركز والمنفعة الممركزة:
$c_{i,t} = (\log \pi_\theta(o_{i,t}|\dots) - \overline{\log \pi}) \cdot (\hat{A}_i - \overline{\hat{A}})$
التوزين الغاوسي: يتم تطبيق نواة غاوس لتثبيط الرموز ذات التباينات ذات المقدار العالي. يتم ضبط عرض النطاق (Bandwidth) باستخدام الانحراف المعياري التجريبي ( $\sigma$ ) لتوزيع التباين:
$w_{i,t} = \exp\left(-\frac{c_{i,t}^2}{2\sigma^2}\right)$
تقوم هذه الدالة بتصفية "الرموز الشاذة" (Outlier tokens) التي قد تسبب انهيارًا أو انفجارًا في الإنتروبيا بشكل ناعم، مع الحفاظ على إشارات التعلم من الرموز ذات التباينات المتوسطة.
التطبيع (Normalization): يتم تطبيع الأوزان للحفاظ على مقدار الخسارة المتوقع عبر الدفعة (Batch).
الهدف المعدل: يتم تحديث خسارة مستوى الرمز بضرب الميزة $\hat{A}_i$ في عامل إعادة الوزن $\tilde{w}_{i,t}$ قبل تطبيق هدف GRPO القياسي.

المساهمات الرئيسية

تحديد الرموز المتطرفة: تثبت الورقة تجريبيًا أن جزءًا صغيرًا من الرموز ذات قيم التباين المتطرفة يقود تحديثات السياسة وعدم استقرار الإنتروبيا في vanilla GRPO بشكل غير متناسب.
تحسين خالٍ من المعلمات الفائقة: تقوم طريقة CW-GRPO المقترحة بخفض وزن التحديثات المتطرفة تلقائيًا باستخدام نواة غاوس دون الحاجة إلى معلمات فائقة إضافية قابلة للضبط.
استقرار ديناميكيات الإنتروبيا: من خلال تثبيط تحديثات التباين المتطرفة، تحافظ الطريقة على إنتروبيا السياسة عند مستوى معقول، مما يوازن بفعالية بين الاستكشاف والاستغلال طوال عملية التدريب.

النتائج التجريبية

قيم المؤلفون CW-GRPO على مقياسين للنماذج (1.5B و 7B) باستخدام مجموعة بيانات التدريب Open-RS وخمسة معايسات للاستدلال الرياضي (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

مكاسب الأداء:
- نموذج 1.5B (DeepSeek-R1-Distill-Qwen): حقق CW-GRPO متوسط تحسن قدره +6.4% فوق النموذج الأساسي و +2.7% فوق vanilla GRPO. لوحظت مكاسب ملحوية في AMC23 و Minerva.
- نموذج 7B (Qwen2.5-Math): حقق CW-GRPO متوسط تحسن قدره +4.3% فوق النموذج الأساسي و +2.4% فوق vanilla GRPO، مع مكاسب كبيرة في AMC23 و OlympiadBench.
استقرار الإنتروبيا:
- أظهر vanilla GRPO عدم استقرار كبير في الإنتروبيا، حيث تدهور الأداء مع تقدم التدريب (على سبيل المثال، انخفضت درجات MATH-500 من 85.0% إلى 79.8% مع تقلب الإنتروبيا).
- حافظ CW-GRPO على أداء ثابت عبر نقاط فحص التدريب (86.2%–87.0% في MATH-500)، مما يؤكد أن التحكم في قيم التباين المتطرفة يرتبط بأداء استدلال مستقر ومتفوق.

الأهمية والادعاءات

تدعي الورقة أن نهجها يوفر آلية مبدئية لموازنة الاستكشاف والاستغلال في GRPO دون الحاجة إلى ضبط يدوي للمعلمات الفائقة. ومن خلال معالجة السبب الجذري لعدم استقرار الإنتروبيا —وهو تحديثات التباين المتطرفة على مستوى الرمز— تمكن الطريقة من تحقيق تحسين أكثر قوة للسياسة.

يضع المؤلفون هذا العمل كخطوة نحو تعلم تعزيزي أكثر استقرارًا للاستدلال، موضحين أن تعديل التحديثات المتطرفة يؤدي إلى تحسينات نهائية متسقة عبر مختلف بنيات النماذج والمعايسات الرياضية. كما يقرون بالقيود، مشيرين إلى أن التجارب أجريت على نماذج تصل إلى 7 مليارات معلمة وركزت بشكل أساسي على الاستدلال الرياضي، مما يشير إلى ضرة إجراء مزيد من التحقق على نماذج أكبر نطاقًا ومهام متنوعة لتأكيد قابلية التطبيق الواسعة.