🤖 machine learning

Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO

تحدد هذه الورقة وتُعالج انحياز التجميع في التعلم المعزز من نمط GRPO باستخدام المكافآت القابلة للتحقق عبر اقتراح "التجميع المتوازن"، وهي طريقة تقوم بمتوسط تدرجات مستوى الرمز (token-level gradients) للاستجابات الإيجابية والسلبية بشكل منفصل قبل إعادة دمجها، مما يؤدي إلى تحسين استقرار التدريب والأداء عبر اختبارات الاستدلال والبرمجة.

المؤلفون الأصليون: Zhiyuan Zeng, Jiameng Huang, Zhangyue Yin, Jiashuo Liu, Ziniu Li, Bingrui Li, Yuhao Wu, Yining Zheng, Ge Zhang, Wenhao Huang, Xipeng Qiu

نُشر 2026-05-07

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zhiyuan Zeng, Jiameng Huang, Zhangyue Yin, Jiashuo Liu, Ziniu Li, Bingrui Li, Yuhao Wu, Yining Zheng, Ge Zhang, Wenhao Huang, Xipeng Qiu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم الذكاء الاصطناعي حل الألغاز

تخيل أنك تقوم بتدريب روبوت على حل مسائل رياضية أو كتابة أكواد برمجية. تعطيه أمراً (Prompt)، ويحاول هو توليد إجابة. لتعليمه، تستخدم طريقة تسمى التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR).

فكر في الأمر كأنه برنامج مسابقات. يقوم الروبوت (الذكاء الاصطناعي) بتوليد عدة إجابات مختلفة (استجابات) لسؤال واحد. ثم يقوم حكم (برنامج كمبيوتر بسيط) بفحصها:

إذا كانت الإجابة صحيحة، يحصل الروبوت على "إبهام للأعلى" (مكافأة إيجابية).
إذا كانت خاطئة، يحصل على "إبهام للأسفل" (مكافأة سلبية).

الهدف هو تعليم الروبوت توليد المزيد من الإجابات ذات "الإبهام للأعلى" وتقليل الإجابات ذات "الإبهام للأسفل". تركز الورقة البحثية على طريقة تدريب محددة تسمى GRPO، وهي مشهورة لأنها بسيطة وتعمل بشكل جيد.

المشكلة: كيف نحسب الأصوات؟

القضية الجوهرية التي تعالجها الورقة هي سؤال دقيق ولكنه حاسم: عندما يولد الروبوت مجموعة من الإجابات، كيف نحسب "الدرس المتوسط" للتعلم منه؟

قد يولد الروبوت 16 إجابة في وقت واحد. بعضها قصير (5 كلمات)، وبعضها طويل (500 كلمة). بعضها صحيح، وبعضها خاطئ. تحتاج خوارزمية التدريب إلى دمج كل هذه الكلمات الفردية في "تحديث" واحد كبير لتحسين دماغ الروبوت.

هناك طريقتان رئيسيتان كان الناس يستخدمونهما، وتجادل الورقة بأن كلتيهما تحتوي على عيب خفي:

1. طريقة "عدد الكلمات" (تجميع الرموز - Token Aggregation)

كيف تعمل: تقوم بعدّ كل كلمة (رمز) من كل الإجابات وتجمع متوسطها جميعاً.
العيب (الشرير الثرثار): تخيل مجموعة من الطلاب يؤدون اختباراً.
- الطالب (أ): أجاب بشكل صحيح وكتب شرحاً موجزاً جداً (10 كلمات).
- الطالب (ب): أجاب بشكل خاطئ وكتب مقالاً طويلاً ومسهباً (500 كلمة).
- إذا قمت فقط بعدّ الكلمات، فإن إجابة الطالب (ب) الخاطئة سيكون لها "وزن" أكبر بـ 50 مرة من إجابة الطالب (أ) الصحيحة في المتوسط.
- النتيجة: يصاب الذكاء الاصطناعي بالارتباك. يعتقد أن الإجابات الطويلة والخاطئة أكثر أهمية لأنها تشغل مساحة أكبر. يُسمى هذا "الاقتران بين الإشارة والطول" (Sign-Length Coupling)؛ حيث يتسبب طول الإجابة بالخطأ في تغيير إشارة (الدرس) (سواء كان إيجابياً أو سلبياً).

2. طريقة "لكل شخص" (تجميع التسلسل - Sequence Aggregation)

كيف تعمل: تقوم أولاً بحساب متوسط الدرس لكل إجابة على حدة، ثم تحسب متوسط تلك الإجابات معاً.
العيب (الناخب الكسول): باستخدام مثال الطلاب نفسه:
- الطالب (أ) (قصير، صحيح): يحصل على صوت واحد.
- الطالب (ب) (طويل، خاطئ): يحصل على صوت واحد.
- النتيجة: هذا يحل مشكلة "الشرير الثرثار". ولكن الآن، يعامل الإجابة المكونة من 10 كلمات تماماً مثل الإجابة المكونة من 500 كلمة. إذا تعلم الذكاء الاصطناعي الكثير من شرح طويل ومفصل، فإن هذه الطريقة تتجاهل ذلك الجهد الإضافي. إنها "تقلل من وزن" الاستجابات الطويلة، وتتعامل معها كما لو كانت بسيطة مثل الاستجابات القصيرة.

الحل: "التجميع المتوازن" (Balanced Aggregation - BA)

تقترح المؤلفة طريقة جديدة تسمى التجميع المتوازن (BA). إنها تشبه حكماً ذكياً يصلح عيوب الطريقتين السابقتين.

كيف تعمل:

فرز الإجابات: أولاً، يقوم الحكم بفصل الإجابات إلى كومتين: كومة "الجيد" (إبهام للأعلى) وكومة "السيئ" (إبهام للأسفل).
عد الكلمات داخل كل كومة: داخل كومة "الجيد"، يتم عد جميع الكلمات وحساب متوسطها. داخل كومة "السيئ"، يتم عد جميع الكلمات وحساب متوسطها.
موازنة الكومات: أخيراً، يتم دمج الكومتين. ولكن هنا تكمن الحيلة: لا يتم خلطهما عشوائياً. بل يتأكدون من أن كومة "الجيد" وكومة "السيئ" لهما تأثير متساوٍ على القرار النهائي، بغض النظر عن عدد الكلمات في كل كومة.

التشبيه:
تخيل مجلساً بلدياً يصوت على إنشاء حديقة جديدة.

الطريقة القديمة 1 (عدد الكلمات): الأشخاص الذين يتحدثون لفترة أطول يحصلون على أصوات أكثر، حتى لو كانوا مخطئين.
الطريقة القديمة 2 (لكل شخص): كل شخص يحصل على صوت واحد، حتى لو كتب أحد الأشخاص تقريراً من 50 صفحة بينما قال آخر "نعم" فقط.
التجميع المتوازن: ينقسم المجلس إلى مجموعتين: "مع الحديقة" و"ضد الحديقة". يقومون بمتوسط الحجج داخل كل مجموعة. ثم يعطون مجموعة "المؤيدين" ومجموعة "المعارضين" وزناً متساوياً في القرار النهائي، مما يضمن أن طول الحجج لا يحرف النتيجة.

ماذا وجدوا؟

اختبر الباحثون هذه الطريقة الجديدة على نموذجين مختلفين من الذكاء الاصطناعي (Qwen2.5-Math-7B و Qwen3-1.7B) باستخدام مجموعات بيانات رياضية وبرمجية.

الاستقرار هو المفتاح: غالباً ما كانت الطرق القديمة تعمل بشكل جيد في البداية، لكنها كانت تنهار أو تصبح غير مستقرة لاحقاً أثناء التدريب. كانت طريقة "عدد الكلمات" غير مستقرة بشكل خاص عندما بدأ الذكاء الاصطناعي في كتابة إجابات طويلة جداً وخاطئة.
نتائج أفضل: أنتجت طريقة التجميع المتوازن (BA) باستمرار نتائج نهائية أفضل. كانت أكثر استقراراً، مما يعني أن الذكاء الاصطناعي يتعلم بثبات دون تقلبات حادة في الأداء.
لماذا يهم هذا؟: تظهر الورقة أن "أفضل" طريقة لتدريب الذكاء الاصطناعي تعتمد على مدى تباين طول الإجابات.
- إذا كانت الإجابات تتباين بشكل هائل في الطول، فإن طريقة "عدد الكلمات" قد تكون محفوفة بالمخاطر.
- إذا كان الفرق بين أطوال الإجابات "الجيدة" و"السيئة" كبيراً جداً، فإن طريقة "لكل شخص" قد تكون غير عادلة.
- التجميع المتوازن يعمل بشكل جيد في كلا الحالتين لأنه يعالج التحيز المحدد لكل طريقة.

الخلاصة

تخلص الورقة إلى أن كيفية "خلط المكونات" (تجميع البيانات) في تدريب الذكاء الاصطناعي ليست مجرد تفصيل تقني صغير؛ بل هي خيار تصميمي رئيسي يحدد ما إذا كان الذكاء الاصطناعي سيتعلم بفعالية أم سيصاب بالارتباك. من خلال فصل الأمثلة "الجيدة" و"السيئة" قبل حساب المتوسط، ابتكر المؤلفون طريقة أكثر قوة واستقراراً وفعالية لتعليم الذكاء الاصطناعي التفكير والبرمجة.

ملخص تقني: التجميع المتوازن: فهم وإصلاح تحيز التجميع في GRPO

بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) نموذجًا قياسيًا لتعزيز القدرات الاستنتاجية وتوليد الكود في النماذج اللغوية الكبيرة (LLMs)، مع كون خوارزمية تحسين السياسة النسبية للمجموعة (GRPO) طريقة واسعة الانتشار نظرًا لبساطتها وعدم حاجتها إلى "ناقد" (critic) منفصل. ومع ذلك، تظل هناك عملية تصميم حرجة ضمن GRPO لم تُدرس بعمق كافٍ، وهي: قاعدة التجميع لمصطلحات تدرج السياسة على مستوى الرمز (token) داخل مجموعة مأخوذة من العينات.

تندرج الممارسات الحالية عمومًا تحت فئتين:

تجميع المتواليات (Sequence Aggregation): وهو الافتراضي في GRPO القياسي، حيث يتم أولًا حساب متوسط مساهمات الرموز داخل كل استجابة، ثم حساب المتوسط عبر الاستجابات. هذا يؤدي ضمنيًا إلى تقليل وزن الاستجابات الطويلة لأن كل متوالية تساهم بالتساوي بغض النظر عن عدد الرموز.
تجميع الرموز (Token Aggregation): وهو ما تدعو إليه الأعمال الحديثة مثل DAPO وDr.GRPO، حيث يتم حساب متوسط الهدف المقطوع (clipped objective) مباشرة فوق جميع الرموز في المجموعة المأخوذة.

تحدد الورقة أن هاتين القاعدتين تسببان انحيازات استمثالية مختلفة بشكل منهجي:

تجميع الرموز يُدخل تحيز اقتران الإشارة بالطول (sign-length coupling bias). تعتمد المساهمة النسبية للعينات الإيجابية (الميزة > 0) والسلبية (الميزة < 0) ليس فقط على ميزاتها المعيرة، بل أيضًا على متوسط أطوال استجاباتها. إذا كانت الاستجابات الإيجابية والسلبية تمتلك توزيعات أطوال مختلفة، فإن تجميع الرموز يمكن أن يضخم أحد الجانبين من التحديث بشكل منهجي، مما يؤدي إلى ديناميكيات تدريب غير مستقرة.
تجميع المتواليات يزيل اقتران الإشارة بالطول عبر تخصيص وزن متساوٍ لكل استجابة. ومع ذلك، فإنه يُدخل تحيز التوزين المتساوي للمتواليات (sequence equal-weighting bias)، حيث يتم تقليل وزن الاستجابات الطويلة ضمنيًا لأن الخسارة تُحسب بالمتوسط لكل متوالية بدلاً من كل رمز.

لا يوجد نهج مثالي بشكل مطلق؛ إذ تعتمد فعالية كل منهما على التباين في أطوال الاستجابات والفجوة في الأطوال بين العينات الإيجابية والسلبية.

المنهجية: التجميع المتوازن (BA)

لمعالجة التوتر بين هذين التحيزين، يقترح المؤلفون التجميع المتوازن (BA)، وهو بديل بسيط يمكن دمجه مباشرة في خطوة التجميع في خوارزميات GRPO-style RLVR.

تتضمن الآلية الأساسية لـ BA عملية من ثلاث خطوات:

التقسيم (Partitioning): يتم تقسيم مجموعة الاستجابات المأخوذة إلى مجموعتين فرعيتين بناءً على إشارة ميزاتها المعيرة: مجموعة فرعية إيجابية ( $S_+$ ) ومجموعة فرعية سلبية ( $S_-$ ).
المتوسط داخل المجموعة الفرعية (Intra-Subset Averaging): يتم حساب المتوسطات على مستوى الرموز بشكل منفصل داخل كل مجموعة فرعية. هذا يحافظ على خاصية المتوسط على مستوى الرموز داخل مجموعات الإشارة، مما يتجنب التوزين المتساوي القوي لكل متوالية الموجود في تجميع المتواليات القياسي.
الدمج بين المجموعات الفرعية (Inter-Subset Combination): يتم دمج خسائر المجموعتين الفرعيتين باستخدام أوزان تتناسب مع عدد المتواليات في كل مجموعة ( $k/G$ للمجموعة الإيجابية و $(G-k)/G$ للسلبية، حيث $k$ هو عدد المتواليات الإيجابية).

التبرير النظري:
في إعداد GRPO ذي المكافأة الثنائية القياسية، يضمن مخطط التوزين هذا تحديدًا أن BA يُحدث نفس معامل التوازن بين الإشارات (inter-sign balancing prefactor) الخاص بتجميع المتواليات ( $\sqrt{k(G-k)}/G$ ). وبناءً على ذلك، يحافظ BA على خاصية توازن الإشارة الخاصة بتجميع المتواليات (إزالة اقتران الإشارة بالطول) مع تجنب تأثير التوزين المتساوي القوي للمتواليات الذي يعاقب الاستجابات الطويلة. كما تقدم الورقة صيغة عامة للمكافآت غير الثنائية حيث يتم تحديد الأوزان بناءً على كتلة الميزة (advantage mass) بدلاً من عدد المتواليات.

المساهمات الرئيسية

تحليل موحد لتحيز التجميع: توفر الورقة تحليلًا رسميًا يثبت أن تجميع الخسارة في GRPO ليس مجرد تفصيل تنفيذي هامشي. فهي تشخص "تحيز اقتران الإشارة بالطول" في تجميع الرموز، و"تحيز التوزييع المتساوي للمتواليات" في تجميع المتواليات.
التجميع المتوازن (BA): اقتراح BA كبديل بسيط يمكن دمجه مباشرة لفك الارتباط بين تحيزات الإشارة والطول. يقوم بعمل متوسط على مستوى الرموز داخل مجموعات الإشارة، ولكنه يوازن بين المجموعات بناءً على عدد المتواليات.
التحقق التجريبي والمعايير التشخيصية: تجارب مكثفة تظهر أن الفعالية النسبية لتجميع الرموز مقابل تجميع المتواليات محكومة بتباين طول الاستجابة والفجوة في الطول بين الإيجابي والسلبي. وتوضح الورقة أن BA يتفوق باستمرار على كلا النهجين الأساسيين عبر نماذج وبيانات مختلفة.

النتائج التجريبية

قيم المؤلفون BA باستخدام Qwen2.5-Math-7B و Qwen3-1.7B على مجموعتي بيانات تدريب (DAPO-17k و Polaris). تم قياس الأداء عبر ستة معايير: Math-500، AIME 2024، AIME 2025، OlympicBench، Minerva-MATH، و LiveCodeBench.

النتائج الرئيسية:

استقرار التدريب: غالبًا ما يؤدي تجميع الرموز إلى تدهور حاد في الأداء في مراحل التدريب المتأخرة (ارتفاع كبير في الهبوط من الذروة إلى الخطوة الأخيرة)، بينما يحافظ BA على دقة مستقرة في الخطوة الأخيرة.
الديناميكيات المعتمدة على النموذج:
- في نموذج Qwen2.5-Math-7B (الذي أظهر تباينًا أكبر في طول الاستجابة)، تفوق تجميع الرموز في البداية على تجميع المتواليات، لكن BA تجاوز كلاهما في أداء الذروة والخطوة الأخيرة.
- في نموذج Qwen3-1.7B (الذي أظهر فجوة أكبر في الطول بين الإيجابي والسلبي)، كان تجميع المتواليات أكثر استقرارًا من تجميع الرموز، ولكن BA حقق مرة أخرى أعلى مقاييس للذروة والخطوة الأخيرة.
ديناميكيات الخسارة: كشف تحليل مسارات خسارة تدرج السياسة أن تجميع الرموز يسبب انحرافات هائلة بعيدًا عن الصفر بسبب اقتران الإشارة بالطول، بينما يظل BA وتجميع المتواليات مستقرين بالقرب من الصفر.
الأداء العام: قدم BA باستمرار أداءً نهائيًا أقوى واستقرارًا أفضل في التدريب مقارنة بتجميع الرموز والمتواليات القياسي عبر جميع النظم المختبرة.

الأهمية والادعاءات

تدعي الورقة أن التجميع هو خيار تصميم أساسي في RLVR من نوع GRPO، وليس مجرد تفصيل تنفيذي ثانوي. تكمن أهمية العمل في:

الاستقرار: يوفر BA إشارة استمثال أكثر قوة تمنع انهيار التدريب الذي يُلاحظ غالبًا مع تجميع الرموز في المراحل المتأخرة.
الشمولية: على عكس تجميع الرموز أو المتواليات، اللذين يعملان بشكل جيد فقط تحت ظروف توزيع طول محددة، يتميز BA بالقدرة على العمل بفعالية عبر نماذج وأحجام بيانات مختلفة.
مبدأ التصميم: يسلط العمل الضوء على أن RLVR الفعال يتطلب موازنة التوزين بين الإشارات (لمنع التحيز) دون التخلي عن معلومات الرموز داخل الإشارة الواحدة (للحفاظ على الإشارة من الاستجابات الطويلة).

يخلص المؤلفون إلى أن التجميع المتوازن (BA) يقدم حلاً بسيطًا وفعالًا للمقايضات المتأصلة في GRPO، مما يؤدي إلى استمثال أكثر استقرارًا وتحسين الأداء النهائي للنماذج في مهام الاستنتاج والبرمجة.