💬 NLP

Learning to Self-Verify Makes Language Models Better Reasoners

تبحث هذه الورقة في عدم التماثل في القدرات بين التوليد والتحقق الذاتي في النماذج اللغوية الكبيرة، وتقترح إطار عمل للتعلم التعزيزي متعدد المهام يعمل على تحسين أداء كل من الاستدلال والتحقق من خلال تدريبهما كأهداف متكاملة.

المؤلفون الأصليون: Yuxin Chen, Yu Wang, Yi Zhang, Ziang Ye, Zhengzhou Cai, Yaorui Shi, Qi Gu, Hui Su, Xunliang Cai, Xiang Wang, An Zhang, Tat-Seng Chua

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuxin Chen, Yu Wang, Yi Zhang, Ziang Ye, Zhengzhou Cai, Yaorui Shi, Qi Gu, Hui Su, Xunliang Cai, Xiang Wang, An Zhang, Tat-Seng Chua

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً كيفية حل المسائل الرياضية المعقدة. عادةً، نركز على شيء واحد: "الوصول إلى الإجابة الصحيحة." نعطيه مسألة، يعمل عليها، وإذا أصاب، نمنحه نجمة ذهبية. هكذا يتم تدريب معظم نماذج الذكاء الاصطناعي اليوم.

ومع ذلك، تكتشف هذه الورقة البحثية "خللاً" رائعاً في كيفية تعلم الذكاء الاصطناعي، وقد وجدوا طريقة ذكية لإصلاحه.

المشكلة: الطالب "الذكي والجاهل"

لاحظ الباحثون ظاهرة غريبة تسمى عدم التماثل (asymmetry).

فكر في الأمر كالتالي: تخيل طالباً عبقرياً في حل المسائل الرياضية، لكنه عاجز تماماً عن مراجعة عمله. قد يكتب حلاً يمتد لثلاث صفحات، ويصل إلى إجابة خاطئة، ثم يقول بثقة: "نعم، هذا صحيح!"

بمصطلحات الذكاء الاصطناعي، يصبح النموذج أفضل في توليد الإجابات (عملية "التنفيذ")، لكنه لا يتحسن تلقائياً في التحقق منها (عملية "المراجعة"). فحتى مع زيادة ذكاء النموذج في الرياضيات، تظل قدرته على اكتشاف أخطائه ثابتة دون تغيير. الأمر يشبه طباخاً يمكنه طهي وجبة معقدة، لكنه لا يستطيع معرفة ما إذا كانت مالحة جداً إلا بعد أن يتذوقها شخص آخر.

الاكتشاف: تأثير "المحرر"

قرر الباحثون تجربة أمر عكسي. فبدلاً من تدريب الذكاء الاصطناعي على حل المسائل، أمضوا وقتاً في تدريبه حصرياً ليكون محرراً.

لقد أعطوا الذكاء الاصطناعي مسألة رياضية وحلاً (قد يكون صحيحاً أو خاطئاً) وقالوا له: "لا تحل أي شيء. فقط أخبرني ما إذا كان هذا الحل صحيحاً أم خاطئاً."

إليك الجزء السحري: من خلال تعلم كيف يكون "محرراً" بارعاً، أصبح الذكاء الاصطناعي في الواقع "كاتباً" أفضل.

الأمر يشبه كاتباً يقضي عاماً كاملاً في دراسة القواعد والمنطق. حتى لو لم يكن يكتب قصصاً جديدة، فإن عقله يصبح مضبوطاً بدقة على اكتشاف الأخطاء، بحيث عندما يجلس أخيراً للكتابة، تكون مسوداته الأولى أكثر نظافة ومنطقية ودقة.

المكاسب الثلاث الكبرى

من خلال تعليم الذكاء الاصطناعي "التحقق الذاتي"، حقق الباحثون ثلاثة أشياء:

دقة أعلى: كان الذكاء الاصطناعي "المدرب على التحرير" بنفس كفاءة (وأحياناً أفضل من) الذكاء الاصطناعي "المدرب على الحل" في حل المسائل.
الكفاءة (لا مزيد من الإطالة): غالباً ما "تثرثر" نماذج الذكاء الاصطناعي القياسية — فهي تكتب مسارات منطقية طويلة ومتعرجة، آملة أن تعثر بالصدفة على الإجابة الصحيحة (تماماً مثل شخص يتحدث في دوائر ليخفي ضياعه). أصبح الذكاء الاصطناعي "المتحقق ذاتياً" أكثر مباشرة؛ ولأنه يعرف كيف يراجع نفسه، فهو لا يحتاج للتوهان، بل يسلك المسار الأكثر كفاءة نحو الحقيقة.
تفكير أفضل "أثناء وقت الاختبار": عندما يعمل الذكاء الاصطناعي على مسألة صعبة، يمكنه الآن "التوقف" وسؤال نفسه: "مهلاً، هل هذه الخطوة منطقية؟" وهذا يسمح له باكتشاف الأخطاء في الوقت الفعلي، تماماً مثل رياضي محترف يراجع لقطات المباراة لتصحيح أدائه.

الحل "متعدد المهام"

أخيراً، لم يكتفِ الباحثون باختيار أحدهما فقط. بل أنشأوا برنامجاً تدريبياً حيث يتناوب الذكاء الاصطناعي بين كونه "حلالاً للمسائل" و"محرراً".

إنه يشبه نظام التدريب للرياضيين المحترفين الذي يتناوب بين لعب المباراة (التوليد) ومشاهدة تسجيلات المباراة (التحقق). ومن خلال القيام بكليهما، يصبح الذكاء الاصطناعي "مفكراً" أكثر اكتمالاً وموثوقية.

ملخص في إيجاز

الطريقة القديمة: تدريب الذكاء الاصطناعي على حل المسائل $\leftarrow$ يصبح أفضل في الحل، لكنه يظل سيئاً في مراجعة عمله.

الطريقة الجديدة: تدريب الذكاء الاصطناعي على مراجعة العمل $\leftarrow$ يصبح محرراً بارعاً، مما يجعله بالصدفة حلالاً للمسائل أسرع، وأذكى، وأكثر كفاءة.

ملخص تقني: تعلم التحقق الذاتي يجعل النماذج اللغوية أفضل في الاستنتاج

1. بيان المشكلة

تتناول الورقة البحثية عدم تماثل القدرات الجوهري في النماذج اللغوية الكبيرة (LLMs) فيما يتعلق بمهام الاستنتاج المعقدة: الفجوة بين التوليد (القدرة على إنتاج مسار استنتاجي وإجابة) والتحقق الذاتي (القدرة على الحكم ما إذا كان مسار استنتاجي وإجابة معينة صحيحين أم لا).

تشير الأبحاث والملاحظات الحالية إلى أن:

التوليد $\neq$ التحقق: تحسين قدرة النموذج على حل المشكلات (التوليد) لا يؤدي طبيعيًا إلى تحسين قدرته على مراجعة عمله (التحقق).
"التحقق الزائف": تظهر العديد من النماذج "لحظات إدراك" حيث تبدو وكأنها تتحقق، لكن هذه الخطوات غالبًا ما تكون بلا تأثير على الإجابة النهائية، وتعمل كاستنتاج سطحي بدلاً من كونها كشفًا حقيقيًا للأخطاء.
عدم الكفاءة: غالبًا ما يؤدي التدريب المعتمد على التوليد فقط إلى مسارات استنتاج طويلة، مكررة، أو "زائفة" لا تستخدم التصحيح الذاتي بشكل فعال.

2. المنهجية

يقترح المؤلفون تحولًا في نموذج التدريب، بالانتقال من معاملة التحقق كمجرد مهمة إضافية إلى معاملته كهدف أساسي ومستقل.

أ. إطار تدريب التحقق الذاتي
بدلاً من التحسين من أجل الإجابة الصحيحة، يتم تدريب النموذج ليعمل كحكم. يتضمن خط العمل ما يلي:

أخذ العينات في الوقت الفعلي (On-Policy Sampling): يقوم النموذج بتوليد عدة حلول مرشحة للاستعلام.
المعالجة اللاحقة: يقوم مُتحقق قائم على القواعد بتصنيف هذه الحلول كصحيحة أو خاطئة. ثم يقوم المؤلفون بتصفية البيانات، وموازنتها (لضمان تساوي عينات الصحيح والخاطئ)، وتنويعها لإنشاء مجموعات بيانات عالية الجودة للتحقق.
التحسين: باستخدام تحسين السياسة النسبي للمجموعات (GRPO)، يتم تدريب النموذج لتعظيم مكافأة التحقق ( $r_v$ )، والتي تعتمد على مدى دقة حكمه مقارنة بالحقيقة الأرضية (ground truth)، وليس على صحة الحل نفسه.

** ب. التعلم التعزيزي متعدد المهام (Multi-Task RL)**
للاستفادة من فوائد كلا الهدفين، يقترح المؤلفون دمج التحقق الذاتي في تدريب التوليد القياسي من خلال استراتيجيتين متعامدتين:

التهيئة عبر المراحل (Verify-Init): يتم تدريب النموذج أولاً على التحقق الذاتي فقط لبناء سياسة "حكم" قوية، والتي تُستخدم بعد ذلك كنقطة انطلاق لتدريب التوليد القياسي.
التدريب التبادلي (Verify-Alter): يتبادل النموذج خطوات التوليد (التحسين من أجل مكافأة التوليد $r_g$ ) وخطوات التحقق (التحسين من أجل $r_v$ )، مما يسمح للهدفين بتكملة بعضهما البعض طوال عملية التدريب.

3. المساهمات الرئيسية

اكتشاف التماثل العكسي: يثبت المؤلفون أنه بينما يفشل تدريب التوليد في تحسين التحقق، فإن تعلم التحقق الذاتي يحسن فعليًا أداء التوليد.
مكاسب الكفاءة: يوضحون أن تدريب التحقق الذاتي يؤدي إلى مسارات استنتاج أقصر وأكثر مباشرة (عدد أقل من الرموز/Tokens) دون التضحية بالدقة.
إطار عمل جديد متعدد المهام: يقدمون إطار عمل RL مفكك الأهداف يتفوق على طرق التوليد القياسية وطرق الأهداف المشتركة (المختلطة).
توسيع نطاق وقت الاختبار (Test-Time Scaling): يظهرون أن التحقق الذاتي القوي يتيح "توسيع نطاق وقت الاختبار" بشكل أفضل، حيث يمكن استخدام أحكام النموذج الخاصة لوزن التصويت بالأغلبية، مما يحسن الدقة النهائية.

4. النتائج

أُجريت التجارب على نماذج Qwen2.5 (بأحجام 1.5B و3B و7B) عبر عدة اختبارات رياضية (AIME، AMC، MATH500، إلخ):

الأداء: حققت النماذج المدربة حصريًا على التحقق الذاتي دقة مقاربة (وأحيانًا متفوقة) لتلك المدربة على التوليد.
كفاءة الرموز (Tokens): بالنسبة لنموذج 7B، حقق تدريب التحقق الذاتي أداءً مماثلاً باستخدام ~25% فقط من الرموز المطلوبة من قبل تدريب التوليد فقط.
تصحيح الأخطاء: في اختبارات "البادئة الفاسدة" (حيث تم حقن أخطاء في الاستنتاج)، كانت النماذج المدربة على التحقق الذاتي أفضل بكثير في اكتشاف وتصحيح الأخطاء مقارنة بالنماذج المدربة على التوليد.
نجاح التكامل: حققت استراتيجية Verify-Alter باستمرار أعلى متوسط دقة عبر معظم الاختبارات، مما يثبت أن RL متعدد المهام والمفكك هو الأفضل مقارنة بالطرق القياسية.

5. الأهمية

يغير هذا العمل المنظور تجاه استنتاج النماذج اللغية الكبيرة من "التعلم للحل" إلى "التعلم للحكم". وهو يشير إلى أن التصحيح الذاتي هو محرك لجودة الاستنتاج، وليس مجرد نتاج ثانوي له. من خلال تمكين النماذج من التعرف على أخطائها الخاصة، يمكن للباحثين تطوير نماذج لغوية ليست أكثر دقة فحسب، بل أيضًا أكثر كفاءة من الناحية الحسابية وقادرة على توسيع ذكائها أثناء الاستنتاج من خلال التقييم الذاتي الموثوق.