🤖 machine learning

Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward

تقدم هذه الورقة VIGOR، وهو أسلوب تعلّم تعزيزي خالٍ من المُحقِّق (verifier-free) يستفيد من مكافآت معيار التدرج الجوهري المستمدة من نموذج السياسة نفسه لتحسين أداء النماذج اللغوية الكبيرة في الاستدلال الرياضي وتوليد الكود بشكل فعال دون الاعتماد على مُحقِّقات خارجية أو تسميات ذهبية.

المؤلفون الأصليون: Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم طالب ذكي جداً ولكنه يفتقر للخبرة (الذكاء الاصطناعي) كيفية حل الألغاز المعقدة، مثل المسائل الرياضية أو كتابة أكواد الكمبيوتر.

عادةً، لتعليم هذا الطالب، تحتاج إلى معلم صارم (مُحقّق) يقوم بفحص كل إجابة. إذا كانت الإجابة صحيحة، يحصل الطالب على نجمة ذهبية. وإذا كانت خاطئة، يحصل على علامة (X) حمراء. هذا يعمل بشكل رائع في الرياضيات والبرمجة لأن هناك إجابات صحيحة وخاطئة واضحة.

المشكلة:
ماذا يحدث عندما تريد من الطالب كتابة قصيدة، أو تقديم نصيحة، أو حل مشكلة لا توجد لها إجابة واحدة "صحيحة"؟ لا يمكنك استئجار معلم صارم لكل مهمة لأنك لا تملك الإجابات مسبقاً. وبدون معلم، لن يعرف الطالب ما إذا كان يؤدي عملاً جيداً، وقد يبدأ بمجرد التخمين العشوائي أو يشعر بالتعثر.

الحل: VIGOR (مكافأة "الشعور الداخلي")
تقدم الورقة البحثية طريقة جديدة تسمى VIGOR. بدلاً من انتظار معلم خارجي ليقيم العمل، تطلب VIGOR من الطالب الاستماع إلى مشاعره الداخلية حول مدى "سلاسة" إجابته.

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

1. "المنحدر الشديد" مقابل "الوادي المنبسط"

تخيل أن عقل الطالب هو عبارة عن تضاريس من التلال والوديان.

الإجابة السيئة تشبه الوقوف على جرف صخري شديد الانحدار. إذا حاول الطالب تعديل تفكيره ولو قليلاً، فسوف ينزلق بعنف. في المصطلحات الرياضية، هذا يسمى "تدرج كبير" (تغير كبير ومهتز).
الإجابة الجيدة تشبه الوقوف في وادي مسطح وهادئ. إذا قام الطالب بتعديل تفكيره قليلاً، فسيظل في مكانه تماماً. هذا يسمى "تدرج صغير" (تغير سلس ومستقر).

قاعدة VIGOR: يُطلب من الذكاء الاصطناعي تفضيل الإجابات التي تشبه الوادي المنبسط (التدرجات الصغيرة) بدلاً من الجرف الشديد. المنطق هو: "إذا كانت إجابتي تبدو مستقرة ولا تتطلب هزة ذهنية كبيرة لتصبح منطقية، فهي على الأرجح إجابة جيدة".

2. "فخ الطول" (لماذا احتاجت الورقة إلى إصلاح)

لاحظ الباحثون خدعة ماكرة. إذا كتب الطالب إجابة طويلة جداً، فإن "شدة" الجرف ستبدو بطبيعتها أصغر لأن المنحدر يتوزع على مسافة طويلة. يمكن للطالب محاولة "الغش" عبر كتابة مقالات ضخمة ومسهبة للحصول على درجة عالية، حتى لو كان المحتوى غير مفهوم.

الإصلاح (تصحيح $\sqrt{T}$ ):
تضيف الورقة البحثية "مسطرة" رياضية بسيطة للنظام. تقول: "سنقوم بقياس الشدة، ولكننا سنعدل النتيجة بناءً على طول الإجابة". هذا يمنع الطالب من الغش عبر كتابة المزيد من الكلمات، ويضمن أن النتيجة تعكس جودة التفكير، وليس فقط طول النص.

3. "تصويت الفصل الدراسي" (الترتيب)

أحياناً، يختلف "الشعور" بالاستقرار بشكل كبير بين الأسئلة المختلفة. قد يبدو سؤال ما مستقراً جداً، بينما يبدو آخر مهتزاً، مما يجعل من الصعب مقارنتهما مباشرة.

الإصلاح (الترتيب):
بدلاً من إعطاء درجة خام، تطلب VIGOR من الذكاء الاصطناعي توليد عدة إجابات مختلفة لنفس السؤال، ثم ترتيبها مقابل بعضها البعض.

"أي من هذه الإجابات الثمانية يشعر بأنه الأكثر استقراراً؟" -> هذه الإجابة تحصل على أعلى مكافأة.
"أي منها يشعر بأنه الأكثر اهتزازاً؟" -> هذه الإجابة تحصل على أدنى مكافأة.
هذا يحافظ على تدريب عادل ومستقر، بغض النظر عن مدى صعوبة السؤال المحدد.

ماذا حدث عندما جربوا ذلك؟

اختبر الباحثون هذه الطريقة على Qwen2.5، وهو نموذج ذكاء اصطناعي شهير.

الرياضيات والبرمجة: قاموا بتدريب الذكاء الاصطناعي على مسائل رياضية باستخدام "مكافأة الشعور الداخلي" هذه فقط (دون السماح باستخدام مفتاح الإجابة). أصبح الذكاء الاصطناعي أفضل بشكل ملحوظ في الرياضيات.
التدريب المتقاطع: ومن المثير للدهشة، عندما قاموا بتدريب الذكاء الاصطناعي على الرياضيات فقط باستخدام هذه الطريقة، أصبح أيضاً أفضل في البرمجة، رغم أنه لم يرَ مسألة برمجية واحدة أثناء التدريب.
الاستقرار: الطرق الأخرى التي تحاول تخمين "الثقة" غالباً ما تجعل الذكاء الاصطناعي يخرج عن السيطرة ويبدأ في تكرار نفسه أو كتابة كلام غير مفهوم بعد فترة. أما VIGOR فقد حافظت على سلاسة واستقرار التدريب، مثل نهر هادئ بدلاً من عاصفة هائجة.

باختصار

VIGOR هي وسيلة لتعليم الذكاء الاصطناعي دون الحاجة لمعلم. إنها تخبر الذكاء الاصطناعي: "لا تكتفِ بالتخمين؛ بل ابحث عن الإجابة التي تشعر أنها الأكثر استقراراً وسلاسة في عقلك". ومن خلال إصلاح بعض الأخطاء التقنية (مثل خدعة الطول)، جعلوا هذا "التحقق الذاتي" قوياً بما يكفي لتحويل ذكاء اصطناعي أساسي إلى مفكر أكثر ذكاءً، وكل ذلك دون الحاجة لمعرفة الإجابات الصحيحة مسبقاً.

ملخص تقني: التعلم المعزز الخالي من المُحقِّق عبر مكافأة معيار التدرج الجوهري (VIGOR)

1. بيان المشكلة

برز التعلم المعزز ذو المكافآت القابلة للتحقق (RLVR) كنموذج قوي لمرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، لا سيما في مهام الاستدلال مثل الرياضيات والبرمجة. ومع ذلك، يعتمد RLVR بشكل كبير على مُحقِّقات خارجية متخصصة في مجالات محددة (مثل أدوات التحقق من المطابقة التامة للإجابات الرياضية أو اختبارات الوحدة للكود البرمجي). هذا الاعتماد يحد من القدرة على التوسع في مهام أو مجالات جديدة حيث يصعب بناء مثل هذه المُحقِّقات أو قد لا تتوفر.

تواجه البدائل الحالية الخالية من المُحقِّقات تحديات كبيرة:

طرق التصويت بالأغلبية: تستمد هذه الطرق تسميات مستعارة (pseudo-labels) من الإجماع بين عينات متعددة. وغالباً ما تفترض إمكانية استخراج الإجابات النهائية وتطبيعها (normalization) بشكل موثوق، مما يحد من قابليتها للتطبيق في التوليد مفتوح النهايات.
طرق الإشارات الجوهرية: تستخدم هذه الطرق إشارات داخلية للنموذج مثل الإنتروبيا (entropy) أو اليقين الذاتي. ورغم كونها واعدة، إلا أنها قد تصبح هشة مع تقدم التدريب، مما يؤدي إلى تدهور المكافأة، وعدم الاستقرار، وانهيار الأداء.

يتمثل التحدي الجوهري في تطوير إشارة مكافأة خالية من المُحقِّق تكون قابلة للتطبيق على نطاق واسع للمخرجات الحرة، ومستقرة أثناء التعلم المعزز، وتعتمد حصرياً على نموذج السياسة نفسه دون مكونات مساعدة.

2. المنهجية: VIGOR

يقترح المؤلفون منهجية VIGOR (مكافأة معيار التدرج الجوهري الخالية من المُحقِّق)، وهي طريقة تحسب المكافآت باستخدام ديناميكيات التدريب الداخلية لنموذج السياسة فقط.

الحدس الجوهري

تستند هذه الطريقة إلى نظرية الأمثلية من الدرجة الأولى. في مشهد الخسارة (loss landscape)، يشير معيار التدرج الأصغر عادةً إلى أن المعلمات الحالية قريبة من منطقة استقرار، مما يعني تحديثات أخف وديناميكيات تدريب أكثر سلاسة. تفترض VIGOR أن الإكمالات التي تستحث معايير $\ell_2$ أصغر لـتدرجات السلب اللوغاريتمي (NLL) الموجهة بالتدريس هي الأكثر توافقاً مع السياسة الحالية ويجب أن تتلقى مكافآت أعلى.

الخطوات الخوارزمية

لكل مطالبة $x$ ، تقوم السياسة $\pi_\theta$ بأخذ عينة من مجموعة من الإكمالات $\{y_i\}_{i=1}^G$ . وتتم عملية حساب المكافأة كما يلي:

حساب معيار التدرج: لكل إكمال $y$ ، يتم حساب متوسط النفي اللوغاريتمي (NLL) على مستوى الرموز $\ell_{mean}(x, y)$ . يتم حساب التدرج $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$ بالنسبة للمعلمات الحالية $\theta$ (دون تحديث النموذج). يتم فصل التدرج عن الرسم البياني للحساب (computation graph) ليعمل كإشارة عددية (scalar signal).
تصحيح الطول (Scaling بـ $\sqrt{T}$ ): يُظهر معيار التدرج الخام $\|g\|_2$ انحيازاً منهجياً حيث يتقلص مع زيادة طول التسلسل $T$ ، حتى لو لم يتحسن الجودة. ولمواجهة هذا "التلاعب بالطول" (length hacking)، يتم قياس الإشارة بمعامل $\sqrt{T}$ :
$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$
الاشارة السالبة تحول هدف تقليل معايير التدرج إلى هدف تعظيم المكافأة.
التطبيع القائم على التصنيف (Rank-Based Normalization): لضمان استقرار مقاييس المكافأة عبر مختلف المطالبات وضمان القابلية للمقارنة، يتم ترتيب الإشارات الخام داخل المجموعة وتحويلها إلى مكافأة قائمة على التصنيف $R_{GN} \in [-1, +1]$ . يحصل أسوأ إكمال (أعلى معيار تدرج) على $-1 $، وأفضل إكمال (أدنى معيار تدرج) على$ +1$.
تحسين السياسة: تُستخدم هذه المكافآت المطبعة بالتصنيف لحساب المزايا النسبية للمجموعة $\hat{A}_i$ ضمن إطار عمل تحسين السياسة النسبي للمجموعة (GRPO). يتم تحديث السياسة لتعظيم الهدف، مما يشجع الإكمالات ذات معايير التدرج الأقل.

3. المساهمات الرئيسية

إطار عمل VIGOR: آلية مكافأة جوهرية مبتكرة خالية من المُحقِّق تستخدم معيار $\ell_2$ لتدرجات التوجيه بالتدريس كوكيل لمدى توافق السياسة واستقرار التدريب.
تصحيح الطول: تقديم عامل القياس $\sqrt{T}$ لتحييد انحياز الطول المنهجي المتأصل في متوسطات معايير التدرج على مستوى الرموز، مما يمنع النموذج من استغلال تضخم الطول لتعظيم المكافآت.
التشكيل القائم على التصنيف: تقنية تطبيع تعمل على استقرار مقاييس المكافأة عبر المطالبات من خلال الاعتماد على الترتيب النسبي داخل المجموعة بدلاً من قيم التدرج المطلقة.
التحقق التجريبي: تجارب واسعة أثبتت تفوق VIGOR على النماذج المرجعية الأخرى (تحديداً INTUITOR) في قواعد بيانات الاستدلال الرياضي وتوليد الكود البرمجي، مع الحفاظ على استقرار ديناميكيات التدريب.

4. النتائج التجريبية

أُجريت التجارب على نماذج Qwen2.5-3B-Base و Qwen2.5-7B-Base، حيث تم تدريب الأولى على مجموعة بيانات MATH والثانية على مجموعة بيانات CodeContests.

الأداء في الرياضيات (التدريب على MATH)

Qwen2.5-7B: حسنت VIGOR متوسط الدقة الرياضية بنسبة +3.31% مقارنة بالنموذج المرجعي INTUITOR. وبشكل محدد، حققت 76.20% في MATH500 و 44.42% في AMC.
النقل عبر المجالات: عند التدريب حصرياً على بيانات الرياضيات، حسنت VIGOR متوسط دقة الكود بنسبة +1.91% مقارنة بـ INTUITOR، مما أظهر انتقالاً فعالاً عبر المجالات.
الاستقرار: على عكس INTUITOR، الذي أظهر تراجعاً في الدقة في المراحل المتأخرة، حافظت VIGOR على تحسن مستقر طوال فترة التدريب.

الأداء في الكود (التدريب على CodeContests)

Qwen2.5-3B: حسنت VIGOR متوسط أداء الكود من 16.98% إلى 23.64%.
النقل عبر المجالات: التدريب على بيانات الكود حسن متوسط الرياضيات من 48.34% إلى 56.57%.
ملاحظة: في مقياس CodeAvg، تفوقت VIGOR (23.64%) قليلاً على INTUITOR (25.43%)، خاصة في اختبار CRUX. ويعزو المؤلفون ذلك إلى طبيعة البرمجة التنافسية، حيث يعتمد الصواب غالباً على خيارات خوارزمية منفصلة لا تلتقطها سلاسة التدرج بشكل كامل.

تحليل ديناميكيات التدريب

الاستقرار: أظهرت VIGOR ديناميكيات تدريب أكثر استقراراً مقارنة بـ INTUITOR، الذي عانى من تدهور المكافأة (حيث أصبحت العينات ذات المكافأة العالية أقل توافقاً مع الصحة بمرور الوقت).
التحكم في الطول: نجحت VIGOR في كبح تضخم الطول بفعالية. وبينما أظهر INTUITOR زيادة ملحوحة في طول التوليد، أنتجت VIGOR مخرجات أقصر بكثير، مركزةً عملية التحسين على جودة الاستدلال بدلاً من التلاعب بالطول.
رتابة العلاقة بين التصنيف والدقة: أكد التحليل وجود علاقة رتيبة قوية بين تصنيف معيار التدرج ودقة المهمة؛ حيث حققت الإكمالات المصنفة أعلى بواسطة VIGOR دقة أعلى باستمرار.

دراسات الاستئصال (Ablation Studies)

بدون تصحيح $\sqrt{T}$ : تسبب إزالة هذا المكون في تدهور كارثي، خاصة في نموذج 3B، مما أدى إلى دقة تقترب من الصفر وتلاعب شديد بالطول.
بدون التشكيل القائم على التصنيف: أدت إزالة التطبيع القائم على التصنيف إلى عدم الاستقرار، خاصة في نموذج 7B، مما تسبب في انخفاض كبير بنسبة (8.90%) في أداء MMLU-Pro بسبب تأثير القيم المتطرفة في قيم التدرج الخام.

5. الأهمية والقيود

الأهمية:
يزعم البحث أن VIGOR توفر بديلاً قوياً وخالياً من المُحقِّق للتعلم المعزز في مرحلة ما بعد التدريب، بحيث لا تعتمد على تسميات خارجية أو نماذج مساعدة. ومن خلال الاستفادة من الهندسة الجوهرية لمشهد الخسارة (معايير التدرج)، فإنها تقدم إشارة مستقرة لتحسين السياسة تتخطى المجالات (من الرياضيات إلى الكود والعكس) وتحافظ على استقرار التدريب حيث تفشل الطرق الجوهرية الأخرى.

القيود:

نطاق المهام: تستهدف الدراسة بشكل أساسي مهام الاستدلال القابلة للتحقق. ويشير المؤلفون إلى أنه من غير الواضح مدى قدرة VIGOR على الانتقال إلى إعدادات التوليد الأكثر انفتاحاً (مثل الكتابة الطويلة أو الحوار) دون قيود إضافية.
التكلفة الحسابية: تتطلب VIGOR حساب معيار التدرج لكل عينة عبر التفاضل التلقائي، مما يضيف عبئاً حسابياً غير ضئيل مقارنة بالإشارات التي تعتمد على التمرير الأمامي فقط مثل الاحتمالية (likelihood) أو الإنتروبيا.
الطبيعة التمثيلية (Proxy Nature): معيار التدرج هو هدف تمثيلي (proxy objective). ويقر المؤلفون بأنه قد لا يتتبع دائماً المنفعة النهائية (downstream utility) بشكل ثابت، مما يترك مجالاً لعدم التوافق أو استغلال المكافأة.