💬 NLP

Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization

تقدم هذه الورقة البحثية "تحسين السياسة غير المرتبط بالمكافأة" (RDPO)، وهي طريقة مبتكرة توظف التنميط الربعي المدرك للمقدار وتبييض ماهالانوبيس لتثبيت تقدير الميزة في التعلم المعزز متعدد المكافآت، مما يؤدي إلى تحسين أداء النموذج في اتباع التعليمات، والكتابة، والمتانة دون المساس بقدرات الاستنتاج أو البرمجة.

المؤلفون الأصليون: Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب روبوت ذكي للغاية (ذكاء اصطناعي) للقيام بالعديد من الوظائف المختلفة في آن واحد: كتابة القصص، حل المسائل الرياضية، برمجة البرمجيات، واتباع التعليمات الصارمة. لتعليم الروبوت، تمنحه ملاحظات تقييمية (مكافآت) بعد كل محاولة.

المشكلة هي أن إشارات التقييم هذه فوضوية. فبعضها عبارة عن درجات بسيطة مثل "ناجح/راسب" (مثل مفتاح تشغيل/إيقاف ثنائي)، وبعضها درجات من 0 إلى 100، وبعضها آراء معقدة. كما أن هذه الإشارات غالباً ما تتداخل؛ فعلى سبيل المثال، قد تحصل إجابة طويلة على نقاط لأنها "مفصلة"، ولكنها تفقد نقاطاً لأنها "مسهبة للغاية"، وقد تكون درجة "التفصيل" مرتبطة رياضياً بدرجة "الإسهاب".

عندما تحاول جمع كل هذه الدرجات المختلطة معاً لإخبار الروبوت بكيفية التحسن، يصبح التدريب فوضوياً. قد يرتبك الروبوت بسبب درجة واحدة ضخمة، أو يتجاهل الدرجات الأخرى، أو يعلق في حلقة مفرغة لأن إشارتين تتصارعان فيما بينهما.

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة تسمى RDPO (تحسين السياسة منزوعة الارتباط بالمكافأة) لإصلاح هذه الفوضى. فكر في RDPO كـ "منظف إشارات" يتكون من خطوتين، يقوم بتجهيز التقييمات قبل أن يتعلم منها الروبوت.

الخطوة 1: "فلتر العدالة" (التطبيع الكمي المدرك للمقدار)

المشكلة: تخيل أنك تقيم فصلاً دراسياً. حصل طالب على 100، وآخر على 99، وثالث على 0. إذا نظرت فقط إلى الأرقام الخام، فإن الفجوة بين 99 و100 تبدو ضئيلة، لكن الفجوة بين 0 و99 ضخمة. في تدريب الذكاء الاصطناعي، إذا كانت إحدى أنواع المكافآت (مثل فحص "ناجح/راسب") تحتوي على فجوة ضخمة، فقد تطغى على جميع أنواع التقييم الأخرى، مما يجعل الروبوت يركز على هذا الشيء الواحد ويتجاهل كل شيء آخر.

الحل: يستخدم RDPO "فلتر عدالة" يسمى التطبيع الكمي المدرك للمقدار (Magnitude-Aware Quantile Normalization).

كيف يعمل: بدلاً من النظر إلى الأرقام الخام، ينظر إلى الترتيب والفجوات بين المحاولات. فهو يضغط الفجوات الضخمة (بحيث لا تكون الـ 100 أفضل بشكل لانهائي من الـ 99) ويمدد الفجوات الصغيرة (بحيث تظل الـ 99 والـ 100 متمايزتين).
التشبيه: تخيل سباقاً حيث أنهى أحد العدائين السباق في 10 ثوانٍ، بينما أنهى آخر في 100 ثانية. إذا نظرت إلى الوقت فقط، سيبدو العداء الثاني سيئاً للغاية. ولكن إذا قمت بتطبيع السباق بحيث يتم تقييم الجميع بناءً على أدائهم نسبةً إلى المجموعة، فسيحصل العداء الثاني على فرصة عادلة للتحسن دون أن يسحقه التقدم الهائل للمتسابق الأول. هذا يضمن عدم قيام محاولة واحدة "سيئة" أو "متطرفة" بالسيطرة على عملية تعلم الروبوت.

الخطوة 2: "ملغي الضجيج" (تبييض ماهالانوبيس)

المشكلة: في بعض الأحيان، تكون إشارات التقييم مكررة. تخيل أن لديك مستشعرين: أحدهما يقيس "مقدار كلام الروبوت" والآخر يقيس أيضاً "مقدار كلام الروبوت". إذا جمعت هاتين الدرجتين معاً، فأنت تحسب نفس المعلومة مرتين. أو تخيل أن لديك مستشعرين متضادين: أحدهما يقول "كن طويلاً" والآخر يقول "كن قصيراً". إذا جمعتهما ببساطة، فسيُلغي أحدهما الآخر، ولن يحصل الروبوت على توجيه واضح.

الح Lösungen: يستخدم RDPO "ملغي ضجيج" يسمى تبييض ماهالانوبيس (Mahalanobis Whitening).

كيف يعمل: ينظر إلى العلاقة بين إشارات التقييم المختلفة. إذا كانت إشارتان تقولان الشيء نفسه (مرتبطتان)، فإنه يقلل من وزن إحداهما حتى لا يتم حساب المعلومة مرتين. وإذا كانتا متضادتين، فإنه يعدلهما بحيث يحصل الروبوت على تعليمات واضحة ومتوازنة.
التشبيه: فكر في فرقة موسيقية حيث يعزف عازف الطبل وعازف الباص نفس الإيقاع تماماً. سيبدو الصوت مشوشاً ومكرراً. "ملغي الضجيج" يشبه مهندس الصوت الذي يخفض صوت الباص قليلاً لكي يبدو الإيقاق واضحاً وحاداً بدلاً من أن يكون مشوشاً. وهذا يضمن أن يتعلم الروبوت من معلومات فريدة، وليس من ضجيج مكرر.

النتائج

اختبر المؤلفون هذه الطريقة على نموذج ذكاء اصطناعي كبير يسمى LongCat-Flash. قاموا بتدريبه على أربعة أنواع من المهام:

اتباع التعليمات: فعل ما تطلبه منه بالضبط.
الكتابة العامة: إنشاء قصص أو مقالات جيدة.
الاستنتاج الرياضي: حل الألغاز المنطقية.
البرمجة: كتابة برامج كمبيوتر.

ماذا حدث؟

الكتابة والتعليمات: أصبح الروبوت أفضل بكثير في اتباع التعليمات وكتابة نصوص عالية الجودة. وأصبح أكثر قوة عند إعطائه مطالبات صعبة أو مخادعة.
الرياضيات والبرمجة: أدى الروبوت بشكل جيد تماماً مثل أفضل الطرق السابقة. لم يتراجع أداؤه في الرياضيات والبرمجة؛ بل ظل منافساً بينما أصبح أفضل بكثير في المهام الأخرى.

الخلاصة

تزعم الورقة البحثية أنه من خلال تنظيف إشارات التقييم (جعلها عادلة وإزالة التكرار) قبل أن يتعلم الذكاء الاصطناعي، تصبح عملية التدريب أكثر استقراراً. وهذا يسمح للذكاء الاصطناعي بأن يصبح أفضل في الوظائف المعقدة متعددة المهام (مثل الكتابة واتباع القواعد) دون أن يفقد قدرته على حل المسائل الرياضية أو كتابة الأكواد. إنها طريقة أذكى لخلط أنواع مختلفة من الثناء والنقد لكي يتعلم الذكاء الاصطناعي الدروس الصحيحة.

ملخص تقني: تحسين السياسة غير المرتبط بالمكافأة (RDPO)

1. بيان المشكلة

في بيئات التعلم المعزز (RL) المعقدة للنماذج اللغوية الكبيرة (LLMs)، غالبًا ما يتضمن التدريب إعدادات متعددة المهام تتضمن صياغات مكافآت مختلطة. قد يتضمن مسار تدريب واحد أهدافًا متنوعة مثل الصحة (correctness)، واتباع التعليمات، والرضا عن المعايير (rubric satisfaction)، ودرجات نموذج التفضيل، وطول الاستجابة.

يفرض تجميع هذه الإشارات للمكافآت غير المتجانسة في قيمة عددية واحدة (scalar advantage) تحديين رئيسيين يؤديان إلى زعزعة استقرار التدريب:

الأنماط والمقاييس المتبا different (Heterogeneous Scales and Distributions): تختلف المكافآت بشكل كبير في المقياس (ثنائية، كسرية، مستمرة) وفي شكل التوزيع (منحرفة، متساوية، عرضة للقيم المتطرفة). غالبًا ما تفشل طرق التجميع القياسية في تخصيص المزايا (advantages) بشكل قوي على مستوى المطالبة (prompt level)، مما يؤدي إلى مواقف يهيمن فيها مسار واحد (single rollout) على إشارة التحديث.
ارتباط المكافأة (Reward Correlation): غالبًا ما تكون أبعاد المكافأة داخل المهمة الواحدة مرتبطة ببعضها البعض (على سبيل المثال، صحة الكود وطول الاستجابة، أو الرضا عن المعايير ودرجات التفضيل). إن جمع المكافآت المرتبطة دون تعديل يؤدي إلى إدخال تباين زائد، مما يسبب "العد المزدوج" لمتغيرات معينة أو إلغاء إشارات مفيدة، وبالتالي يقلل من كفاءة المعلومات الفعالة للميزة المجمعة.

تؤدي الطرق الحالية مثل GRPO (الجمع المباشر) إلى طمس الاختلافات النسبية في الأداء، بينما تظل طريقة GDPO (التطبيع باستخدام Z-score بشكل مستقل) حساسة للتوزيعات غير الغاوسية (non-Gaussian) على مستوى المطالبة، وتفشل في معالجة الارتباطات بين المكافآت.

2. المنهجية: تحسين السياسة غير المرتبط بالمكافأة (RDPO)

يقترح المؤلفون RDPO، وهو خط معالجة للمكافآت خفيف الوزن يتكون من خطوتين، مصمم لاستهداف أوجه القصور في عدم استقرار المقياس وتكرار الارتباط بشكل صريح.

2.1 المقياس التشخيصي: كفاءة المعلومات الفعالة ( $\eta_{eff}$ )

قبل تفصيل الحل، يقدم البحث $\eta_{eff}$ كمقياس تشخيصي لتقييم تجميع المكافآت المختلطة. وهي تتكون من:

$\eta_{proj}$ (كفاءة الإسقاط): تقيس مدى توافق التجميع مع إسقاط متساوٍ الأوزان في فضاء المكافأة المعياري. وهي تعاقب عدم التوازن الناتج عن تباين مقاييس المكافأة.
$\eta_{corr}$ (كفاءة الارتباط): تقيس كمية المعلومات المستقلة التي يتم الاحتفاظ بها بعد جمع المكافآت المرتبطة. وهي تعاقب التكرار الناتج عن التبعيات الخطية الإيجابية أو السلبية بين أبعاد المكافأة.

2.2 الخطوة 1: تطبيع الكمّ المعتمد على المقدار (MAQ)

الهدف: لتثبيت تخصيص الميزة على مستوى المطالبة عبر المكافآت الثنائية والكسرية والمستمرة، ومعالجة قيود تطبيع Z-score في ظل الظروف غير الغاوسية.

الآلية:

الفجوات المضغوطة لوغاريتميًا: بدلاً من القياس الخطي، يقوم MAQ بحساب المسافات بين درجات المسارات (rollout scores) المرتبة باستخدام دالة ضغط لوغاريتمية: $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$ . هذا يحد من تأثير القيم المتطرفة القصوى مع الحفاظ على التمايزات الدقيقة في المناطق الكثيفة.
تخصيص دالة التوزيع التراكمي (CDF): يتم تطبيع الفجوات لتخصيص مواضع دالة التوزيع التراكمي بشكل متناسب.
الرسم الخرائطي العكسي الطبيعي (Inverse Normal Mapping): يتم رسم القيم على توزيع طبيعي قياسي عبر دالة التوزيع التراكمي العكسية ( $\Phi^{-1}$ ).

الأثر: ينتج MAQ مزايا يمكن مقارنتها عبر الأبعاد وأقل حساسية للإحصاءات الجماعية المرضية (التساوي، الانحراف، القيم المتطرفة)، مما يضمن عدم هيمنة أي مسار واحد بشكل غير متناسب على التحديث على مستوى المطالبة.

2.3 الخطوة 2: التبييض بـ "ماهالانوبيس" (Mahalanobis Whitening)

الهدف: لتخفيف التباين المكرر بين أبعاد المكافأة المتزامنة ضمن فضاء مهمة فرعية محددة.

الآلية:

اختيار الفضاء الفرعي: في الإعدادات متعددة المهام، نادرًا ما يلاحظ المسار الواحد جميع أبعاد المكافأة. يطبق RDPO عملية التبييض حصريًا على فضاء المكافأة الملحوظ $S$ لمهمة معينة.
تقدير التباين الجاري: يتم استخدام المتوسط المتحرك الأسي (EMA) لتقدير مصفوفة التباين $\hat{\Sigma}_t$ للمزايا المعيرة بواسطة MAQ عبر الإنترنت (online)، مما يعمل على تنعيم الضوضاء الناتجة عن الدفعات (batch-level noise).
تحويل التبييض: يتم تحويل متجه الميزة $A^{(i,j)}$ باستخدام الجذر التربيعي العكسي لمصفوفة التباين: $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$ . هذا ينقل أبعاد المكافأة النشطة نحو إشارات غير مرتبطة وذات تباين وحدة.
التجميع: الميزة العددية النهائية هي مجموع الأبعاد المبيضة، يليه التطبيع على مستوى الدفعة.

3. الإعداد التجريبي

النموذج: LongCat-Flash (مرحلة ما بعد التدريب).
المهام: خليط موحد من أربعة أنواع من المهام: الاستدلال الرياضي، توليد الكود، اتباع التعليمات، والكتابة العامة.
الفضاءات الفرعية للمكافأة:
- الرياضيات: صحة الرياضيات + الطول.
- الكود: صحة الكود + الطول.
- اتباع التعليمات: IFEval + المعايير (Rubrics).
- الكتابة العامة: الطول + نموذج المكافأة (RM) + المعايير.
النماذج المرجعية (Baselines): GRPO (الجمع المباشر)، GDPO (تطبيع Z-score)، ونموذج التهيئة (initialization model).
التحقق: تحقق صغير النطاق على نموذج أصغر من نفس العائلة لعزل مساهمات MAQ والتبييض قبل التوسع إلى LongCat-Flash.

4. النتائج الرئيسية

4.1 التحقق صغير النطاق

على نموذج داخلي أصغر، تفوق مسار RDPO الكامل على GDPO وGRPO ونموذج التهيئة عبر عدة مقاييس:

اتباع التعليمات: مكاسب كبيرة في IFEval (83.55% مقابل 78.56% لـ GDPO).
الاستدلال والبرمجة: تحسينات في AIME24، وFullStackBench، وHumanEval+، وMBPP+.
تحليل المكونات: قدم كل من MAQ (Q) والتبييض (M) فوائد متكاملة. كان MAQ فعالاً بشكل خاص في المقاييس الحساسة للتوزيع (مثل AH-Creative)، بينما ساعد التبييض في الإعدادات الحساسة للارتباط.

4.2 نتائج LongCat-Flash الموسعة

عند تطبيقه على LongCat-Flash، أظهر RDPO ما يلي:

اتباع التعليمات والكتابة: حقق RDPO أعلى الدرجات في IFEval (90.39%)، وGuideBench، وSOP-Maze، وWritingBench، وكلا الجزأين من ArenaHard v2 (AH-Creative: 89.00%، AH-Hard: 76.10%). وهذا يؤكد فائدة تثبيت المزايا على مستوى المطالبة وتقليل التكرار للمهام المفتوحة والحساسة للتفضيلات.
الاستدلال والبرمجة: كانت النتائج تنافسية بشكل عام ولكنها متباينة. طابق RDPO أفضل نتيجة في MATH500 (98.60%) وظل منافسًا في AIME2025 وGPQA. في البرمجة، تصدر RDPO في MBPP+ وLiveCodeBench v6، بينما ظلت GRPO أو نموذج التهيئة أقوى في FullStackBench وHumanEval+.
الاستقرار العام: نجحت الطريقة في الانتقال من التحقق صغير النطاق إلى التدريب واسع النطاق، مع الحفاظ على استقرار أداء الاستدلال والبرمجة مع تعزيز جودة اتباع التعليمات والكتابة بشكل كبير.

5. الأهمية والادعاءات

يزعم البحث أن RDPO يقدم حلاً قويًا للتعلم المعزز متعدد الأهداف في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة من خلال معالجة أوجه القصور المزدوجة المتمثلة في عدم استقرار المقياس وتكرار الارتباط بشكل صريح.

المساهمة المنهجية: من خلال الجمع بين تطبيع الكمّ المعتمد على المقدار (MAQ) وتبييض ماهالانوبيس، يضمن RDPO أن إشارة الميزة المجمعة هي إشارة متسقة هندسيًا (مساهمة متساوية عبر الأبعاد) وفعالة معلوماتيًا (تقليل التباين المكرر).
الأثر العملي: تمكن هذه الطريقة من التحسين المتزامن لمهام غير متجانسة (مثل الرياضيات، الكود، الكتابة) دون عدم الاستقرار التدريبي المرتبط عادةً بصياغات المكافآت المختلطة.
الأداء: يخلص المؤلفون إلى أن RDPO يعزز اتباع التعليمات، وجودة الكتابة، والمتانة تجاه المطالب الصعبة مع البقاء منافسًا بشكل عام في تقييمات الاستدلال والبرمجة، مما يؤكد فعاليته كاستراتيجية معالجة مكافآت عامة لبيئات التعلم المعزز المعقدة.