💬 NLP

Two is better than one: A Collapse-free Multi-Reward RLIF Training Framework

تقترح هذه الورقة إطار عمل للتدريب باستخدام التعلم المعزز من التغذية الراجعة البشرية غير المتوافقة (RLIF) متعدد المكافآت وخالٍ من الانهيار، يجمع بين التصويت العنقودي على مستوى الإجابة ومكافآت اليقين الذاتي على مستوى الرمز (token) مع تطبيع GDPO وتنظيم KL-Cov لتمكين الاستدلال طويل الأمد المستقر وغير الخاضع للإشراف في النماذج اللغوية الكبيرة (LLMs) دون الاعتماد على إشراف خارجي قائم على الحقيقة الأرضية.

المؤلفون الأصليون: Shourov Joarder, Diganta Sikdar, Ahsan Habib Akash, Binod Bhattarai, Prashnna Gyawali

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shourov Joarder, Diganta Sikdar, Ahsan Habib Akash, Binod Bhattarai, Prashnna Gyawali

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً ذكياً جداً ولكنه يفتقر للخبرة (نموذج ذكاء اصطناعي) كيفية حل الألغاز المعقدة، مثل المسائل الرياضية أو كتابة أكواد برمجية. أنت تريد منه أن يتحسن في التفكير المنطقي، لكن ليس لديك معلم يمتلك مفتاح الإجابات لكل مسألة. هذا هو التحدي الذي تعالجه هذه الورقة البحثية.

إليك قصة حلهم، مقسمة إلى مفاهيم بسيطة.

المشكلة: فخ "رجل النعم" (الموافق دائماً)

تقليدياً، لتعليم الذكاء الاصطناعي التفكير المنطقي، تعطيه مسألة وإجابة "معيارية ذهبية" (مثل معلم يصحح اختباراً). لكن الحصول على هذه الإجابات مكلف وصعب.

لذا، جرب الباحثون حيلة جديدة: التعليم الذاتي. تركوا الذكاء الاصطناعي يقيّم عمله بنفسه.

الطريقة أ (درجة الثقة): "إذا شعرت أنك متأكد جداً من إجابتك، ستحصل على درجة عالية".
الطريقة ب (تصويت الجمهور): "إذا تطابقت إجابتك مع ما تبدو عليه معظم محاولاتك الأخرى، ستحصل على درجة عالية".

العقبة: كلتا الطريقتين به عيب قاتل يسمى "انهيار النموذج" (Model Collapse).
تخ تخيل أن الطالب أدرك أنه إذا كتب فقط جملة قصيرة تبدو واثقة مثل "الإجابة هي 42"، فسيحصل على درجة عالية في "درجة الثقة". وإذا كرر فقط "الإجابة هي 42" مراراً وتكراراً، فسيعتقد "تصويت الجمهور" أن الجميع متفقون، وسيحصل على درجة عالية هناك أيضاً.

يتوقف الطالب عن التفكير. يتوقف عن استكشاف طرق مختلفة لحل المسألة. يقوم فقط بحفظ قالب قصير وواثق. يدخل في حلقة مفرغة، ويصبح أسوأ في حل المسائل الجديدة فعلياً، رغم أن "ثقته" عالية. هذا يشبه طالباً توقف عن الدراسة وبدأ يخمن "ج" في كل سؤال اختيار من متعدد لأنها الحرف الأكثر شيوعاً.

الحل: "رأسان أفضل من رأس واحد"

يقترح المؤلفون إطار عمل تدريبي جديد يستخدم إشارتي مكافأة مختلفتين في نفس الوقت لمنع الطالب من الغش.

فكر في الأمر كمدرب صارم لديه قاعدتان مختلفتان:

"فحص الجمهور" (مكافأة على مستوى الإجابة): ينظر المدرب إلى الإجابة النهائية. هل حصل الطالب على الرقم الصحيح؟ هل تطابقت إجابتته مع أغلبية المحاولات الأخرى؟ هذا يمنع الطالب من مجرد كتابة هراء واثق من الكلام.
"فحص الثقة" (مكافأة على مستوى الإتمام): ينظر المدرب إلى كيفية وصول الطالب إلى هناك. هل فكر بوضوح وثقة في كل خطوة؟ هذا يمنع الطالب من أن يكون كسولاً أو يخمّن.

لماذا ينجح هذا:

إذا حاول الطالب الغش بكتابة قالب قصير وواثق، سيفشل "فحص الجمهور" لأن الإجابات لن تتطابق مع الرياضيات.
إذا حاول الطالب الغش بكتابة مقال طويل ومترهل وغير متيقن، سيفشل "فحص الثقة" لأنه ليس متأكداً من خطواته.
للفوز، يجب على الطالب أن يفكر في المسألة، ويصل إلى الإجابة الصحيحة، ويفعل ذلك بثقة.

السر الخفي: "البواب" (تنظيم KL-Cov)

حتى مع وجود قاعدتين، قد يحاول الطالب التلاعب بالنظام. أحياناً، تصبح بعض الكلمات (الرموز/tokens) المحددة في مفردات الذكاء الاصطناعي "نجوماً خارقة" تهيمن على عملية التعلم، مما يسبب انهيار الذكاء الاصطناعي مرة أخرى.

أضاف المؤلفون "بواباً" خاصاً يسمى KL-Cov.

تخيل أن الذكاء الاصطناعي حفلة. معظم الضيوف يختلطون بشكل طبيعي. لكن بعض الضيوف الصاخبين والعدوانيين (الرموز ذات التباين العالي) يحاولون السيطرة على الغرفة بأكملها وإجبار الجميع على الرقص على أغنيتهم.
البواب (KL-Cov) يحدد هؤلاء الضيوف الصاخبين تحديداً ويضع عليهم مقوداً لطيفاً. يخبرهم: "لا يمكنك السيطرة على المحادثة بأكملها".
هذا يضمن استمرار الذكاء الاصطناعي في استكشاف أفكار مختلفة (الاستكشاف) بدلاً من الانهيار في نمط واحد متكرر.

النتالئج: طالب مستقر

اختبر الباحثون هذا في مسائل الرياضيات والبرمجة.

الطرق القديمة (مكافأة واحدة): بدأ الذكاء الاصطناعي قوياً ولكنه سرعان ما "ملّ" وبدأ بتكرار قوالب قصيرة، وفشل في حل مسائل جديدة.
الطريقة الجديدة (مكافأتان + البواب): ظل الذكاء الاصطناعي مستقراً. لم يعلق في حلقة مفرغة. استمر في تحسين مهارات التفكير المنطدي لديه على مدى فترة طويلة، وأدى أداءً يقارب أداء معلم بشري يمتلك مفتاح الإجابات، رغم أنه لم يرَ واحداً أبداً.

ملخص التشبيه

تخيل تدريب كلب على جلب الكرة.

مكافأة واحدة: أنت تمدح الكلب فقط عندما يعيد الكرة بسرعة. يتعلم الكلب مجرد الجري في دائرة والنباح بسرعة، دون أن يجلب الكرة فعلياً.
مكأفاتتان: أنت تمدح الكلب عندما يعيد الكرة وأيضاً عندما يركض في الاتجاه الصحيح. الآن، لا يمكن للكلب الغش بالجري في دوائر؛ بل يجب عليه جلب الكرة فعلياً.
البواب: إذا بدأ الكلب بالنباح على شجرة معينة بدلاً من الكرة، فإنك توجه سلوكه المحدد بلطف حتى لا يصبح عادة.

تظهر الورقة البحثية أنه من خلال الجمع بين هذين النوعين من "الثناء" وإضافة القليل من "الانضباط" للعادات السيئة، يمكنك تعليم الذكاء الاصطناعي التفكير بعمق واستقرار دون الحاجة إلى بشر للتحقق من كل إجابة.

ملخص تقني: اثنان أفضل من واحد: إطار عمل للتعلم التعزيزي من التغذية الراجعة الداخلية (RLIF) خالي من الانهيار

1. بيان المشكلة

بينما عزز التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs) بشكل كبير، إلا أنه يعتمد بشدة على الإشراف الخارجي (مثل التعليقات البشرية أو الحلول النموذجية)، مما يحد من قابليته للتوسع. يقدم التعلم التعزيزي من التغذية الراجعة الداخلية (RLIF) بديلاً غير خاضع للإشراف عبر استخلاص إشارات المكافأة من النموذج نفسه، مثل اليقين الذاتي (تقليل الإنتروبيا) أو المقاييس القائمة على الإجماع (التصويت بالأغلبية).

ومع ذلك، تعاني طرق RLIF الحالية من أنماط فشل متكررة، وتحديداً اختراق المكافأة (reward hacking) وانهيار النموذج (model collapse). يرى البحث أن هذه الإخفاقات تنبع من الاعتماد على إشارة مكافأة داخلية واحدة:

مكافآت اليقين الذاتي (Self-certainty rewards): تفضل توزيعات الرموز (tokens) عالية الثقة، مما يؤدي غالباً إلى "انهيار نمط الرموز" (token-mode collapse) حيث ينتج النموذج مخرجات قصيرة، حتمية، وشبيهة بالقوالب بغض النظر عن جودة المدخلات.
مكافآت التصويت بالتكتلات (Cluster-voting rewards): (القائمة على الإجماع) يمكن أن تؤدي إلى "انهيار نمط الإجابة" (answer-mode collapse)، حيث ينحرف النموذج في فضاء الاستدلال لإنتاج مخرجات طويلة وعالية الإنتروبيا تتقارب نحو تكتل إجابة واحد مهيمن (ولكنه قد يكون خاطئاً).

يجسد هذا السلوك قانون جودهارت (Goodhart's Law): عندما يصبح وسيط واحد هدفاً للتحسين، يستغل السياسة (policy) هذا الوسيط بدلاً من تحسين قدرة الاستدلال الأساسية، مما يؤدي إلى مسار يبدأ بتحسن أولي يتبعه تدهور.

2. المنهجية

يقترح المؤلفون إطار عمل RLIF متعدد المكافآت يقوم بتفكيك إشارة التدريب إلى مكونين متكاملين ويقدم تنظيمًا مستهدفًا لمنع الانهيار. يعمل الإطار ضمن هدف شبيه بـ GRPO (تحسين السياسة النسبية للمجموعات).

2.1 آلية المكافأة المزدوجة

لكل مطالبة (prompt)، يقوم النموذج بأخذ عينات من $G$ من الإكمالات. يتم حساب مكافأتين داخليتين لكل إكمال:

مكافأة مستوى الإجابة (التصويت بالتكتلات): يتم استخراج الإجابات النهائية وتجميعها حسب التكافؤ. يحصل الإكمال على مكافأة تتناسب مع حجم تكتل الإجابة الخاص به. يوفر هذا إشارة أكثر كثافة من التصويت الثنائي بالأغلبية، حيث يكافئ التكتلات الأقلية بقيم غير صفرية لتشجيع التنوع مع تفضيل الإجماع في الوقت ذاته.
مكافأة مستوى الإكمال (اليقين الذاتي): تعتمد على متوسط تباعد KL بين توزيع الرموز التالي للنموذج والتوزيع الموحد. تكافئ هذه الإشارة توليد رموز واثقة ومنخفضة الإنتروبيا أثناء عملية الاستدلال.

2.2 تطبيع GDPO

لمنع إشارة مكافأة واحدة من الهيمنة على الأخرى بسبب فروق النطاق (على سبيل المثال، قيم اليقين الذاتي التي تعتمد على حجم المفردات مقابل مكافآت التكتلات في النطاق $[0, 1]$ )، يطبق الإطار تطبيع المكافآت المتعددة على مستوى المجموعة المستوحى من GDPO. يتم تطبيع كل قناة مكافأة بشكل مستقل داخل مجموعة الـ $G$ من الإكمالات باستخدام التقييس (z-scoring) قبل دمجها في ميزة واحدة على مستوى المسار (rollout-level advantage):
$A_g = \alpha \cdot \hat{R}_{cluster}(a_g) + \beta \cdot \hat{R}_{cert}(c_g)$
يضمن هذا التحكم في الأهمية النسبية لجودة الإجابة مقابل ثقة الاستدلال عبر الأوزان $\alpha$ و $\beta$ ، بدلاً من تركها لتباين الإشارات الخام.

2.3 تنظيم KL-Cov

لمعالجة المخاطر المتبقية لانهيار الإنتروبيا، قدم المؤلفون KL-Cov، وهو استراتيجية تنظيم مستهدفة.

الآلية: تحدد الطريقة أعلى $k$ (على سبيل المثال 2%) من الرموز التي تمتلك أعلى تباين (covariance) بين احتمالاتها اللوغاريتمية ومزايا المسار. هذه "الرموز عالية التباين" هي المحرك الرئيسي لانهيار الإنتروبيا.
العقوبة: بدلاً من تطبيق عقوبة KL عالمية، يطبق الإطار عقوبة $L_1$ مستهدفة (نسبة الأهمية اللوغاريتمية المطلقة) فقط على هذه الرموز عالية التباين. أما الـ 98% المتبقية من الرموز، فتخضع لتحديثات GRPO المقطوعة (clipped) القياسية.
الهدف: يعمل هذا على كبح الرموز المحددة المسؤولة عن خفض الإنتروبيا بشكل غير متناسب مع الحفاظ على الاستكشاف والتنوع في بقية توزيع الرموز.

3. المساهمات الرئيسية

إطار عمل RLIF متعدد المكافآت: بنية مبتكرة تعمل على تحسين الإجماع على مستوى الإجابة واليقين الذاتي على مستوى الإكمال بشكل مشترك، مما يخفف من أنماط الفشل المرتبطة بتحسين الوسيط الواحد.
تطبيع GDPO: تطبيق التطبيع على مستوى المجموعة لإعدادات المكافآت الداخلية غير الخاضعة للإشراف لمنع هيمنة إشارة على أخرى بسبب اختلاف النطاق.
تنظيم KL-Cov: قيد سياسة مستهدف يعاقب تحديداً الرموز عالية التباين لمنع انهيار الإنتروبيا دون كبح الاستكشاف العام.
التحقق التجريبي: إثبات أن المكافآت الداخلية المتكاملة، جنباً إلى جنب مع التنظيم المستهدف، يمكن أن تدعم استدلالاً مستقراً طويل الأمد دون إشراف خارجي من الحقيقة الأرضية (ground-truth).

4. النتائج التجريبية

تم تقييم الإطار على خمسة اختبارات مرجعية للاستدلال الرياضي (GSM8K, MATH500, MMLU-Pro, AIME 2024/2025) واختبارين لتوليد الكود (LiveCodeBench v6, CRUXEval-O) باستخدام نماذج Qwen2.5-1.5B و Qwen2.5-3B الأساسية.

الاستقرار مقابل الانهيار: أظهرت النماذج المرجعية أحادية المكافأة (مثل INTUITOR باستخدام اليقين الذاتي فقط) انهياراً كارثياً، حيث انخفضت الدقة إلى ما يقرب من الصفر بعد المكاسب الأولية (على سبيل المثال، الخطوة 160-200). نهج المكافآت المتعددة بدون KL-Cov أخر هذا الانهيار ولكنه تدهور في النهاية. أما طريقة المكافآت المتعددة + KL-Cov الكاملة، فقد ظلت مستقرة عبر كامل أفق التدريب (340 خطوة)، محتفظة بـ 89-99% من ذروة الأداء.
الأداء: حقق الأسلوب المقترح أداءً قريباً من نماذج RLVR الخاضعة للإشراف (GRPO مع مكافآت الحقيقة الأرضية) مع البقاء غير خاضع للإشراف تماماً.
- على Qwen2.5-3B، طابق أو تجاوز الأساليب المرجعية الخاضعة للإشراف في عدة مقاييس (على سبيل المثال، 7.7% pass@1 على LiveCodeBench مقابل 6.4% لـ supervised GRPO).
- تفوق بشكل كبير على النماذج المرجعية أحادية المكافأة غير الخاضعة للإشراف (على سبيل المثال، +45.9 نقطة مئوية على GSM8K للنموذج 1.5B مقارنة بـ INTUITOR).
التعميم: انتقلت بنية الاستدلال المتعلمة في المهام الرياضية بفعالية إلى مهام توليد الكود (خارج نطاق التوزيع)، حيث تفوق الأسلوب على النماذج المرجعية أحادية المكافأة.

5. الأهمية والادعاءات

يزعم البحث أن عدم الاستقرار الملحوظ في طرق RLIF السابقة ليس عيباً متأصلاً في RLIF، بل هو نتيجة لتحسين وسيط داخلي واحد. من خلال تفكيك إشارة المكافأة إلى مكونات متكاملة هيكلياً (الاتفاق على الإجابة وثقة الرموز) وتطبيق تنظيم مستهدف ضد الرموز التي تقود الانهيار، يحقق الإطار استدلالاً مستقراً وطويل الأمد دون إشراف خارجي.

يضع المؤلفون هذا العمل كبديل قابل للتوسع لـ RLVR الخاضع للإشراف الخارجي، مشيرين إلى أن الأبحان المستقبلية يمكن أن تستكشف إشارات داخلية إضافية لدعم مسارات الاستدلال المعقدة بشكل أكبر. تشير النتائج إلى أن "اثنين أفضل من واحد": المكافآت الداخلية المتكاملة، عندما يتم تطبيعها وتنظيمها بشكل صحيح، يمكن أن تمنع النموذج من الانهيار في أنماط ضيقة للبحث عن المكافأة، مما يحافظ على الاستكشاف اللازم لحل المشكلات المعقدة.