🤖 machine learning

On the Implicit Reward Overfitting and the Low-rank Dynamics in RLVR

تكشف هذه الورقة أن التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) يُظهر فرط استيعاب للمكافآت بشكل ضمني ويعمل من خلال ديناميكيات منخفضة الرتبة، حيث تتركز قدرات الاستدلال المعززة في مكونات من الرتبة-1 تعمل على تحسين طيف مفرد محدد ذي ذيل ثقيل مع التخلص من معارف النماذج الأخرى.

المؤلفون الأصليون: Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح ورقة بحثية بعنوان "حول فرط التخصيص للمكافأة الضمنية والديناميكيات منخفضة الرتبة في RLVR"، مترجمة إلى لغة بسيطة باستخدام تشبيهات إبداعية.

الصورة الكبيرة: "سحر" التعلم التعزيزي

تخيل أن لديك طالباً ذكياً جداً (نموذج لغوي كبير) وهو بارع في أشياء كثيرة، لكنه ليس جيداً في حل الألغاز الرياضية المعقدة. قررت استخدام طريقة تدريب خاصة تسمى التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR). فكر في هذا الأمر كمدرب صارم يمنح الطالب "نجمة ذهبية" في كل مرة يحصل فيها على إجابة رياضية صحيحة.

بعد التدريب، يصبح الطالب عبقرياً في الرياضيات. لكن الباحثين في هذه الورقة طرحوا سؤالاً مخادعاً: هل تعلم الطالب منطقاً جديداً حقاً، أم أنه تعلم فقط كيفية التلاعب بنظام تسجيل النقاط الخاص بالمدرب؟

1. العبقري "أحادية النغمة" (هيمنة الرتبة-1)

اكتشف الباحثون شيئاً مفاجئاً: معظم التحسن الذي طرأ على "عبقرية الرياضيات" يحدث في شريحة واحدة صغيرة جداً من دماغ الطالب.

التشبيه: تخيل أن دماغ الطالب عبارة عن مكتبة ضخمة تحتوي على ملايين الكتب. عندما يصبح جيداً في الرياضيات، ليس لأنهم قرأوا المزيد من الكتب، بل لأنهم وجدوا "علامة مرجعية سحرية" واحدة محددة (تسمى "مكون الرتبة-1") تشير فوراً إلى الإجابة الصحيحة.
النتيجة: إذا أخذت النموذج المدرب ورميت كل شيء باستثناء تلك العلامة المرجعية السحرية الواحدة، فسيظل النموذج بارعاً في الرياضيات تماماً مثل النسخة المدربة بالكامل. يبدو أن بقية "تحديثات الدماغ" (الملايين الأخرى من الصفحات) لا تفعل الكثير فيما يتعلق بمهارات الرياضيات.

2. مشكلة "تظاهر حتى تنجح" (فرط التخصيص للمكافأة الضمنية)

هذا هو الجزء غير المتوقع. ابتكر الباحثون طريقة تدريب أجبروا فيها الطالب على الاحتفاظ فقط بتلك "العلامة المرجعية السحرية الواحدة" ورمي بقية التحديثات كل بضع خطوات.

النتيجة: انخفضت درجة الطالب في اختبار التدريب (المسائل التدريبية التي أعطاها المدرب)، وكان المدرب غير راضٍ لأن الطالب لم يحصل على الكثير من النجوم الذهبية أثناء التدريب.
التحول المفاجئ: ومع ذلك، عندما خاض الطالب الامتحان النهائي (مجموعة جديدة من المسائل لم يرها من قبل)، كان أداؤه جيداً تماماً مثل الطالب الذي احتفظ بكل التحديثات الإضافية.
المعنى: "التحديثات الإضافية" التي يتعلمها الطالب عادة هي في الواقع ضجيج. إنها محاولة الطالب لحفظ أسئلة التدريب المحددة للحصول على المزيد من النجوم الذهبية، بدلاً من تعلم المنطق الفعلي. يطلق الباحثون على هذا اسم "فرط التخصيص للمكافأة الضمنية". النموذج "يتظاهر" بالحصول على درجة عالية في بيانات التدريب دون أن يصبح أكثر ذكاءً في الواقع.

3. "شبكة الأمان" (لماذا نحتاج إلى البقية؟)

إذا كانت "التحديثات الإضافية" مجرد ضجيج بالنسبة للرياضيات، فلماذا نحتفظ بها؟ وجد الباحثون أن تلك التحديثات الإضافية هي في الواقع شخصية الطالب ومعلوماته العامة.

التشبيه: إذا جردت الطالب من "التحديثات الإضافية" واحتفظت فقط بـ "علامة الرياضيات المرجعية"، فسيصبح الطالب عبقري رياضيات، لكنه سيفقد القدرة على اتباع التعليمات، أو البقاء آمناً، أو معرفة الحقائق العامة عن العالم.
النتيجة: جزء "الرتبة-1" مخصص لـ الاستنتاج المنطقي. أما الأجزاء "غير الرتبة-1" فهي مخصصة لـ السلامة، والمعرفة بالعالم، واتباع القواعد. إذا رميتها، فقد يحل النموذج مسائل الرياضيات بشكل مثالي ولكنه قد يبدأ في قول أشياء وقحة أو نسيان كيفية التحدث مع البشر.

4. شكل التعلم (التوزيع ذو الذيل الثقيل)

نظر الباحثون في "شكل" التغييرات في دماغ النموذج باستخدام أداة رياضية تسمى SVD (والتي تفكك البيانات المعقدة إلى خطوط بسيطة).

النمط: وجدوا نمطاً ثابتاً: قفزة واحدة ضخمة (علامة الرياضيات المرجعية) تليها سلسلة طويلة وبطيئة من التغييرات الأصغر.
الاستعارة: تخيل سلسلة جبال. هناك قمة واحدة عالية وحادة (الاستنتاج الرياضي). وخلفها، هناك منحدر تلال طويل ومتعرج (السلامة والمعرفة). القمة هي ما يجعل النموذج ساحراً في الرياضيات، لكن التلال هي ما تبقيه متزناً وآمناً.

5. "الشارع ذو الاتجاه الواحد" (عدم التماثل الهندسي)

أخيراً، تشرح الورقة كيف يتعلم النموذج هذا. وجدوا أن عملية التعلم غير متوازنة.

التشبيه: تخيل أن النموذج عبارة عن مصنع.
- المخرج (الإجابة): يتعلم المصنع تغيير المنتج النهائي (الإجابة) بسهولة كبيرة. الأمر يشبه وجود حزام ناقل يمكن تعديله بسرعة لتغليف الصنف الصحيح. هذا هو "الجانب الأيسر" من الرياضيات، وهو يتوافق تماماً مع علامة "الرتبة-1" المرجعية.
- المدخل (السؤال): يعاني المصنع في تغيير كيفية قراءته للأسئلة الواردة. الأسئلة فوضوية ومعقدة. لا يستطيع النموذج إعادة تنظيم كيفية فهمه للمدخلات بسهولة باستخدام مجرد "علامة مرجعية".
الاستنتاج: إن RLVR يتعلق أساساً بـ تحسين المخرجات (كيف يختار النموذج الإجابة الصحيحة)، وليس بإعادة كتابة كيفية فهم النموذج للعالم بشكل جوهري. إنه يشبه تعليم طالب كيفية تخمين الإجابة الصحيحة في الاختبار دون تعليمه بالضرورة كيفية قراءة السؤال بشكل أفضل.

الملخص

تخبرنا هذه الورقة أنه عندما تصبح النماذج الذكية "أكثر ذكاءً" في الرياضيات من خلال التعلم التعزيزي:

معظم السحر يتركز في "علامة مرجعية" صغيرة أحادية البعد (الرتبة-1).
بقية التدريب غالباً ما يكون مجرد حفظ لاختبار التدريب (فرط التخصيص) دون إضافة قيمة حقيقية للامتحان النهائي.
نحن بحاجة إلى "الضجيج" (الأجزاء غير الرتبة-1) لإبقاء النموذج آمناً ومطلعاً، حتى لو لم يساعد في الرياضيات.
النموذج يتعلم تقديم إجابات أفضل، وليس بالضرورة فهم المدخلات بشكل أفضل.

يقترح الباحثون أنه من خلال فهم هذا، يمكننا تدريب النماذج بكفاءة أكبر، من خلال التركيز على "العلامة المرجعية" للاستنتاج مع حماية "التلال" من أجل السلامة والمعرفة.

ملخص تقني: الإفراط في التخصيص الضمني للمكافأة والديناميكيات منخفضة الرتبة في RLVR

بيان المشكلة

على الرغم من النجاح الهندسي لتعلم التعزيز مع المكافآت القابلة للتحقق (RLVR) في تعزيز قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs)، إلا أن الآليات المجهرية التي يغير بها التعزيز بالتعزيز (RL) معاملات النموذج لا تزال غير مفهومة بشكل جيد. تركز الأبحاث الحالية بشكل كبير على ديناميكيات التدريب أو تصميم المكافأة على المستوى العياني، مما يترك فجوة في فهم البنية المحددة وتأثير المعاملات المحدثة ( $\Delta W$ ).

تشير الملاحظات الأخيرة إلى أن تحسينات RLVR تتركز ضمن المكونات منخفضة الرتبة، وتحديدًا التحديثات من الرتبة-1 (Rank-1). ومع ذلك، تشير نتيجة مزعزعة إلى أن RL قد لا يضفي منطق استدلال جديد كليًا، بل يعمل على تحسين استراتيجيات أخذ العينات لاستحضار الإجابات الصحيحة الكامنة. وهذا يثير تساؤلات حرجة: هل يتعلم RLVR الاستدلال حقًا، أم أنه يفرط في التخصيص لوظيفة المكافأة؟ وعلاوة على ذلك، ما هو الدور الوظيفي للمكونات غير المرتبطة بالرتبة-1 في مصفوفة تحديث المعاملات؟

المنهجية

يستخدم المؤلفون مزيجًا من الدراسات التجريبية والتحليل النظري المتمحور حول الخصائص الطيفية لتحديثات الأوزان.

الاستبدال الدوري للرتبة-1: للتحقيق في مساهمة المكونات غير المرتبطة بالرتبة-1، قدم المؤلفون تقنية يتم فيها (في فترات ثابتة، مثل كل 10 خطوات) تفكيك تحديث الوزن المتراكم عبر تحليل القيم المفردة (SVD). يتم الاحتفاظ فقط بمكون الرتبة-1 (المرتبط بأكبر قيمة مفردة) وإضافته إلى معاملات النموذج الأساسية، بينما يتم التخلص من مكونات الرتبة-1 المتبقية. ثم يستمر النموذج في التدريب من هذه الحالة "المُنقاة بالرتبة-1".
التحليل الطيفي: يقوم المؤلفون بإجراء تحليل SVD على مصفوفات فرق الأوزان ( $\Delta W$ ) للنماذج المدربة بـ RLVR لتحليل توزيع القيم المفردة (الأطياف المفردة) عبر الطبقات الخطية.
تحليل محاذاة LoRA: باستخدام LoRA برتبة $r=1$ ، يقارن المؤلفون المحاذاة الهندسية بين محولات LoRA وفضاء الرتبة-1 الحقيقي لتحديث الوزن الكامل. ويستخدمون تشابه جيب التمام لـ Frobenius والزوايا الرئيسية (اليسرى واليمنى) لقياس المحاذاة في فضاءات المدخلات والمخرجات.
تحليل التدرج النظري: يشتق البحث بنية التدرج لأهداف RL (مثل GRP0، DAPO، GSPO)، موضحًا أنها يمكن صياغتها كمجموع أوزان لمصفوفات الرتبة-1، مما يدعم الملاحظة التجريبية لسيادة الرتبة-1.

النتائج والمكتشفات الرئيسية

1. الإفراط في التخصيص الضمني للمكافأة

تكشف الدراسة عن ظاهرة مثيرة للتناقض: الإفراط في التخصيص الضمني للمكافأة. تحقق النماذج المدربة باستخدام "الاستبدال الدوري للرتبة-1" أداءً في مجموعة الاختبار يضاهي النماذج التي تم ضبطها بالكامل (Full RL)، رغم إظهارها مكافآت تدريب أقل بكثير.

الملاحظة: يدفع تدريب RLVR القياسي مكافآت التدريب للارتفاع باستمرار، لكن هذا لا يترجم إلى قدرة فائقة على التعميم.
الاستنتاج: المكونات غير المرتبطة بالرتبة-1 ترفع مكافآت التدريب بشكل كبير ولكنها تفشل في تحسين التعميم. يبدو أن النموذج يفرط في تحسين استراتيجية أخذ العينات الخاصة به لتناسب توزيع مكافآت بيانات التدريب بدلاً من تعلم منطق استدلال قوي.

2. الدور الوظيفي للمكونات غير المرتبطة بالرتبة-1

بينما تلتقط مكونات الرتبة-1 قدرات الاستدلال، فإن المكونات غير المرتبطة بالرتبة-1 ليست زائدة وظيفيًا.

الحفاظ على القدرات العامة: يؤدي إزالة المكونات غير المرتبطة بالرتبة-1 عبر استخراج الرتبة-1 إلى تدهور كبير في القدرات خارج النطاق، بما في ذلك اتباع التعليمات (IF-Eval)، والمعرفة العالمية (MMLU، MMLU-Pro)، والسلامة (SafetyBench).
النسيان الكارثي: المكونات غير المرتبطة بالرتبة-1 حاسمة للحفاظ على المعرفة العامة للنموذج ومحاذاة السلامة، مما يمنع النسيان الكارثي الذي يُلاحظ غالبًا في الضبط الدقيق الخاضع للإشراف (SFT).

3. النمط الطيفي العالمي

تتبع الأطياف المفردة لتحديثات المعاملات في نماذج RLVR المدربة نمطًا متسقًا:

النبضة الرائدة: قيمة مفردة أولى مهيمنة ( $\sigma_1$ ) تقابل مكون الرتبة-1.
التوزيع ذو الذيل الثقيل: بعد النبضة الأولية، تظهر القيم المفردة المتبقية اضمحلالًا منتظمًا وشبه خطي، مما يشكل ذيلًا ثقيلًا.
توزيع الطاقة: على الرغم من أن مكون الرتبة-1 هو الذي يقود الاستدلال، إلا أن ذيل المكونات غير المرتبطة بالرتبة-1 يحتوي على غالبية "الطاقة" (معيار Frobenius) للتحديث، حيث يشفر السلامة، والمتانة، ومحاذاة الميزات الدقيقة.

4. عدم التماثل الهندسي في ديناميكيات LoRA

يكشف تحليل ديناميكيات تدريب LoRA عن عدم تماثل هندسي بين فضاءات المدخلات والمخرجات:

محاذاة فضاء المخرجات: تُظهر المتجهات المفردة اليسرى (فضاء المخرجات) لمكون الرتبة-1 محاذاة قوية مع محولات LoRA. وهذا يتوافق مع النتيجة التي تشير إلى أن RLVR يحسن بشكل أساسي استراتيجية أخذ العينات (تمثيل المخرجات).
عدم محاذاة فضاء المدخلات: تُظهر المتجهات المفردة اليمنى (فضاء المدخلات) محاذاة أضعف. تتضمن تحديثات المدخلات إعادة تنظيم معقدة للميزات السياقية التي يصعب التقاطها باستخدام مصفوفات بسيطة منخفضة الرتبة.
الأساس النظري: يوضح تحليل التدرج أن اتجاه التحديث لمتجه المخرجات يتم تحديده بواسطة الخطأ المرتجع (والذي يتوافق جيدًا)، بينما يتم تحديد تحديث متجه المدخلات بواسطة تنشيطات تعتمد بشدة على السياق، مما يجعل المحاذاة صعبة.

الأهمية والمساهمات

يزعم البحث تقديم فهم ميكانيكي أعمق لـ RLVR، متحديًا الافتراض بأن RL "يتعلم" الاستدلال بطبيعته بالمعنى التقليدي.

إعادة صياغة RLVR: تشير النتائج إلى أن RLVR يعمل كآلية لتحسين كفاءة أخذ العينات واستحضار قدرات الاستدلال الكامنة أكثر من كونه يغير جوهريًا منطق الاستدلال الأساسي للنموذج. وهذا يفسر لماذا يمكن لزيادة $k$ في مقاييس pass@k أن تؤدي أحيانًا إلى جعل نماذج RL القياسية تؤدي بشكل أسوأ مقارنة بالنماذج الأساسية.
فك الارتباط بين القدرات: نجح العمل في فك الارتباط بين قدرة الاستدلال (الرتبة-1) والمعرفة العامة والسلامة (غير المرتبطة بالرتبة-1)، مما يوفر أساسًا نظريًا لسبب احتمال حدوث "الإفراط في التخصيص" للمكافآت دون الإضرار بالتعميم إذا تم الحفاظ على مكون الرتبة-1.
الرؤى الطيفية: يوفر تحديد نمط "النبضة الرائدة + الذيل الثقيل" عدسة جديدة لتحليل تحديثات RL، مما يشير إلى أن RL يستحث شكلًا طيفيًا عالي الهيكلية بدلاً من كونه مجرد تحديث منخفض الرتبة بشكل صارم.
الآثار العملية: تقدم النتائج رؤى محتملة لتحسين نماذج RL، مثل تصميم استراتيجيات تدريب تخفف من الإفراط في التخصيض الضمني للمكافأة مع الحفاظ على المكونات غير المرتبطة بالرتبة-1 الضرورية للسلامة والمعرفة العامة.

يقر المؤلفون بالقيود، مشيرين إلى أن ملاحظاتهم تستند إلى أحجام نماذج وبنيات محددة، وهناك حاجة لمزيد من البحث لتحديد مدى عالمية هذه النتائج عبر مختلف مقاييس المعاملات وعائلات النماذج.