🤖 machine learning

Self-Trained Verification for Training- and Test-Time Self-Improvement

تقدم هذه الورقة طريقة التحقق ذاتي التدريب (STV)، وهي طريقة تستفيد من عدم التماثل بين قدرة النموذج على اكتشاف الأخطاء بوجود حلول مرجعية أو بدونها لتدريب مُحقِّقٍ متفوق، والذي بدوره يعزز بشكل كبير كلاً من حلقات التحسين في وقت الاختبار والتحسين الذاتي في وقت التدريب لمهام الاستدلال المعقدة.

المؤلفون الأصليون: Chen Henry Wu, Aditi Raghunathan

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chen Henry Wu, Aditi Raghunathan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، مثل مسألة رياضية معقدة أو سؤال علمي شائك. لديك مساعد ذكي (المولد - Generator) يحاول حل المسألة، لكنه يرتكب أخطاءً دقيقة باستمرار. قد يصل إلى الإجابة الصحيحة بالصدفة، أو قد يكتب حلاً يبدو مثاليًا ولكنه يحتوي على خلل خفي.

لمساعدته، لديك مُتحقق (Verifier). فكر في المُتحقق كمدقق لغوي أو مدرب. مهمته هي النظر في الحل، وقول "عمل جيد" أو "حاول مرة أخرى"، مع شرح السبب.

المشكلة الكبرى: المدرب لا يستطيع رؤية الأخطاء

تحدد الورقة البحثية عقبة رئيسية: المدرب ليس جيدًا بما يكفي.

الفخ: عندما يحاول المساعد حل مسألة لا يفهمها، فإنه غالبًا ما ينتج إجابة "تبدو منطقية ولكنها خاطئة". تبدو مقنعة للغاية.
الفشل: إذا طلبت من المدرب العثور على الخطأ من الصفر، فغالبًا لن يستطيع ذلك. قد يقول: "هذا يبدو جيدًا"، أو يقدم نصيحة غامضة مثل "راجع منطقك". ولأن المدرب لا يستطيع رصد الخطأ المحدد، يستمر المساعد في ارتكاب نفس الأخطاء، بغض النظر عن عدد المرات التي يحاول فيها.
النتيجة: سواء تركت المساعد يحاول مرة أخرى في نهاية اليوم (وقت الاختبار - Test-Time) أو دربتهم ليكونوا أفضل (وقت التدريب - Training-Time)، فإنهم سيصطدمون بحائط مسدود لأن التغذية الراجعة ضعيفة للغاية.

الحل: التحقق بالتدريب الذاتي (STV)

يقترح الباحثون حيلة ذكية تسمى التحقق بالتدريب الذاتي (Self-Trained Verification - STV). إليك الفكرة الجوهرية، مشروحة عبر تشبيه:

تشبيه "نموذج الإجابة":
تخيل أنك طالب تؤدي اختبارًا صعبًا.

الطريقة الصعبة: تكتب إجابة، ثم تحاول العثوا على خطئك الخاص دون النظر إلى الإجابة الصحيحة. هذا أمر صعب جدًا، وقد تغفل عن الخطأ تمامًا.
الطريقة السهلة: تكتب إجابة، ثم تُعرض عليك الإجابة النموذجية بجانب عملك مباشرة. الآن، يصبح اكتشاف الفرق أمرًا سهلاً! يمكنك أن ترى فورًا: "أوه، لقد فاتني خطوة هنا"، أو "لقد استخدمت الصيغة الخاطئة".

كيف يعمل نظام STV:
أدرك الباحثون أنه بينما لا يستطيع النموذج (المدرب) العثور على الأخطاء بمفرده، فإنه يستطيع ذلك إذا رأى الحل الصحيح أولاً.

قاموا بإنشاء "مدرب معلم" يُسمح له برؤية نموذج الإجابة أثناء تصحيح عمل الطالب.
يقدم هذا "المدرب المعلم" ملاحظات محددة ومفيدة للغاية.
بعد ذلك، يتم تدريب "مدرب طالب" على تقليد أسلوب ملاحظات "المدرب المعلم".
السحر: بمجرد أن يتعلم "المدرب الطالب" أن يكون بهذا المستوى من الجودة، فإنه لم يعد بحاجة لرؤية نموذج الإجابة. لقد تعلم المهارة المتمثلة في رصد الأخطاء. الآن، عندما يقوم بتصحيح مسألة جديدة بدون نموذج الإجابة، فإنه يكون أفضل بكثير في العثور على العيوب مما كان عليه من قبل.

النجاحان

تظهر الورقة البحثية أن هذه الطريقة تعمل بطريقتين مختلفتين:

1. وقت الاختبار (حلقة التحسين - Refinement Loop)

تخيل أن الطالب يؤدي الاختبار.

الطريقة القديمة: يكتب الطالب إجابة، فيقول المدرب الضعيف "ربما"، ويحاول الطالب مرة أخرى. ينتهي بهم الأمر في حلقة مفرغة من التخمينات السيئة.
طريقة STV: يكتب الطالب إجابة، فيقول المدرب المدرب، "لقد نسيت إشارة سالبة في الخطوة 3"، فيقوم الطالب بتصحيحها.
النتيجة: يصبح الطالب أفضل بكثير في حل أصعب المسائل. في بعض المهام العلمية، قفز معدل النجاح من 1.5% إلى 21%. حتى أن نموذجًا أصغر مع هذا المدرب المدرب تفوق على نموذج أكبر بكثير بدونه.

2. وقت التدريب (طريقة ViL)

هذا هو الجزء الثاني والأكثر إثارة للدهشة. لم يستخدم الباحثون المدرب لمساعدة الطالب أثناء الاختبار فحسب، بل استخدموا المدرب لتدريب الطالب.

وضعوا الطالب والمدرب المدرب في حلقة حيث يحاول الطالب، وينتقد المدرب، ويتعلم الطالب من هذا النقد.
المفاجأة: حتى عندما تسحب المدرب وتطلب من الطالب حل مسألة بمفرده (بدون أي مساعدة)، يكون الطالب أفضل بنسبة 30% مما كان عليه من قبل.
لماذا؟ الأمر يشبه الموسيقي الذي تدرب مع قائد أوركسترا صارم. حتى عندما يعزف منفردًا لاحقًا، يكون قد استوعب الانضباط والمهارات داخليًا. عملية التدريب نفسها جعلت الطالب أكثر ذكاءً، وليس مجرد فعل التحقق من العمل.

الملخص

تجادل الورقة البحثية بأن مستقبل الذكاء الاصطيذكي لا يكمثل فقط في جعل "المحلل" أكبر أو أذكى، بل في تعليم "المُتحقق" كيف يكون أفضل.

من خلال استخدام حيلة ذكية حيث يتعلم المُتحقق عن طريق مقارنة الإجابات بحل معروف، أنشأوا نظامًا يمكنه:

إصلاح الأخطاء في الوقت الفعلي أثناء الاختبار.
تعليم "المحلل" فعليًا كيف يصبح أذكى بشكل دائم.

هذا يحول "المُتحقق" من مجرد حارس ضعيف إلى محرك قوي للتحسين الذاتي.

ملخص تقني: التحقق ذاتي التدريب من أجل التحسين الذاتي في وقت التدريب ووقت الاختبار

1. صياغة المشكلة

تعالج الورقة البحثية الاختناق في توسيع نطاق نماذج الاستدلال: الاعتماد على المُحقِّقين (verifiers) عالي الجودة لكل من صقل الأداء في وقت الاختبار والتحسين الذاتي في وقت التدريب. تواجه النهج الحالية نمطين أساسيين من الفشل:

الركود في وقت الاختبار: غالبًا ما تتعثر حلقات (التحقق-الصقل) (V-R) لأن درجات المُحقِّق تتضخم (سوء المعايرة) بينما يستقر الدقة، أو لأن التغذية الراجعة تكون عامة جدًا بحيث لا يمكن الاستفادة منها.
القيود في وقت التدريب: تفشل طرق التدريب الذاتي عندما تدمج النماذج بيانات ذاتية التوليد سيئة. علاوة على ذلك، غالبًا ما يصل التعلم التعزيزي من المكافأة القابلة للتحقق (RLVR) إلى مستوى الثبات حيث لا يؤدي استهلاك المزيد من الحوسبة إلى أي مكاسب إضافية.

التحدي الجوهري هو أن تدريب مُحقِّق لاكتشاف أخطاء النموذج ذاتي التوليد يفتقر إلى إشارة إشراف. لا يمكن للنموذج تشخيص أخطائه في محاولاته الخاطئة من الصفر بشكل موثوق، ومع ذلك يمكنه تحديد العيوب عند عرض حل مرجعي عليه. تحاول الأنظمة الحالية تجاوز ذلك باستخدام التغذية الراجعة البشرية أو "المُحقِّقات الميتا" (meta-verifiers) الأقوى، وهي حلول غير قابلة للتوسع.

2. المنهجية

يقترح المؤلفون التحقق ذاتي التدريب (STV) وتدريب المُحقِّق داخل الحلقة (ViL) لفتح آفاق التحسين الذاتي في كلا الطرفين.

أ. التحقق ذاتي التدريب (STV)

يدرب STV مُحقِّقًا دون الحاجة إلى تغذية راجعة بشرية الجودة. إنه يستفيد من عدم تماثل رئيسي: بينما يكافح النموذج لتشخيص أخطائه بمفرده، يمكنه تحديد الفجوات المنطقية بدقة عند تزويده بحل مرجعي ( $y^\star$ ).

تقطير المعلم-الطالب (Teacher-Student Distillation):
- المعلم: مُحقِّق مشروط بالمرجع $V^\star(\cdot | x, y_{r-1}, y^\star(x))$ يرى المسألة، والمحاولة، والحل الصحيح. يقوم بتوليد حكم ( $v_r$ ) وتغذية راجعة بلغة طبيعية ( $f_r$ ).
- الطالب: مُحقِّق غير مشروط $V_\theta(\cdot | x, y_{r-1})$ يرى فقط المسألة والمحاولة.
هدف التدريب: يتم تدريب الطالب لمحاكاة توزيع مخرجات المعلم. يستخدم المؤلفون التقطير في السياسة (On-Policy Distillation - OPD) بدلاً من الضبط الدقيق تحت الإشراف (SFT) لتجنب مشكلات الانزياح التوزيعي حيث يواجه الطالب بادئات (prefixes) في وقت الاختبار لم يراها أثناء التدريب.
- الخسارة: $L_{OPD}(\theta) = \mathbb{E}_{(x, y_{r-1})} D_\alpha(V_\theta(\cdot | x, y_{r-1}) \parallel V^\star(\cdot | x, y_{r-1}, y^\star(x)))$
- يتم تعزيز الهدف بمكون التعلم التعزيزي للحكم (Verdict-RL) لتحسين دقة قرار القبول أو الرفض.
- الهدف الإجمالي: $L_{STV}(\theta) = L_{OPD}(\theta) + \lambda \cdot L_{RL}(\theta)$ .

ب. تدريب المُحقِّق داخل الحلقة (ViL)

بمجرد تدريب مُحقِّق STV، يقدم المؤلفون نموذجًا تدريبيًا جديدًا للمولد (generator):

الإجراء: يتم تدريب المولد عبر التعلم التعزيزي (RL) ضمن حلقة (التحقق-الصقل) باستخدام مُحقِّق STV المجمد لتقديم التغذية الراجعة. المكافأة هي الصحة القابلة للتحقق للحل النهائي.
الآلية: على عكس التدريب الذاتي القياسي، تظل الإشارة قابلة للتحقق لأن المُحقِّق يوفر سياقًا لتعظيم مكافأة معروفة.
النتيجة: يؤدي هذا إلى تدريب المولد على استيعاب التغذية الراجعة التشخيصية، مما يحسن ليس فقط أداءه مع وجود مُحقِّق، بل أداءه المستقل أيضًا (الجولة 0).

3. المساهمات الرئيسية

خوارزمية STV: طريقة قابلة للتوسع لتدريب المُحقِّقات لاكتشاف العيوب في الحلول المقبولة ولكن الخاطئة دون تغذية راجعة بشرية، وذلك عن طريق تقطير المعرفة من نسخة النموذج المشروطة بالمرجع.
تدريب ViL: إجراء تدريبي مبتكر يكسر مستوى الثبات القياسي لـ RLVR عبر تدريب المولد داخل حلقة (التحقق-الصقل)، مما يؤدي إلى تحسين كل من الأداء المُحقَّق وغير المُحقَّق (المستقل).
التحقق التجريبي: إثبات أن التحقق المدرب يمكن أن يحل محل حجم المولد، حيث يتفوق نموذج أصغر مع مُحقِّق مدرب بشكل كبير على نماذج أكبر بكثير بدون واحد.

4. النتائج التجريبية

أُجريت التجارب على DAPO (مسائل رياضية صعبة) و SciKnowEval (الاستدلال العلمي)، باستخدام Qwen3-8B كنموذج أساسي.

تحسينات وقت الاختبار (حلقات V-R)

الرياضيات (القسم الأصعب): يضاعف STV تقريبًا نتيجة pass@1 في الجولة النهائية مقارنة بالمُحقِّق غير المدرب. في القسم "الأصعب" حيث كانت نتيجة pass@1 للمولد الأساسي 0%، حقق الصقل الموجه بـ STV دقة غير صفرية.
الاستدلال العلمي: رفع STV نتيجة pass@1 من 1.5% إلى 21.0% في أصعب المسائل (تحسن بمقدار 14 ضعفًا).
استبدال الحجم: يتفوق نموذج Qwen3-8B الموجه بـ STV على نموذج Qwen3-32B (أكبر بـ 4 مرات) وحتى Qwen3-235B (أكبر بـ 30 مرة) في مهام الاستدلال العلمي بدون عملية تحقق.
من الضعيف إلى القوي: يؤدي مُحقِّق مدرب بحجم 4B إلى أداء تنافسي مع مُحقِّق 8B غير مدرب، ويماثل مُحقِّق 1.7B مدرب نموذج 8B غير المدرب.

تحسينات وقت التدريب (ViL)

كسر مستوى الثبات: بدءًا من مولد وصل بالفعل إلى حالة الثبات تحت RLVR القياسي، يحقق تدريب ViL زيادة نسبية قدرها 33% في pass@1 عند وجود المُحقِّق.
الربح المستقل: المثير للدهشة، تحسنت نتيجة pass@1 للجولة 0 (بدون مُحقِّق في وقت الاختبار) للمولد بنسبة 30% بالنسبة لأساس RLVR. يشير هذا إلى أن النموذج استوعب مهارات استدلال عامة من التغذية الراجعة التشخيصية.
المقارنة: إنفاق نفس القدر من الحوسبة على RLVR قياسي ممتد لا يحقق أي مكاسب إضافية، مما يؤكد فعالية ViL الفريدة.

تحليل الآلية

المعايرة: مُحقِّقات STV أكثر معايرة؛ حيث ترتبط درجاتها بالدقة، مما يمنع "اختراق المكافأة" حيث تتضخم الدرجات بينما تستقر الدقة.
جودة التغذية الراجعة: يظهر عزل الحكم (باستخدام الحقيقة الأرضية) أن النص التوضيحي لـ STV يضيف قيمة كبيرة (+3.2% فوق أحكام الحقيقة الأرضية)، مما يثبت جودة الإشارة التشخيصية.
التنوع: على عكس Best-of-N (BoN) التي تعمل على شحذ التوزيع، يقوم V-R مع STV بإعادة تشكيل توزيع المخرجات، مما يحسن pass@k عبر جولات متعددة دون قمع التنوع.

5. الأهمية والادعاءات

تذهب الورقة إلى أن الحدود التالية في الاستدلال تكمن في كيفية التدريب من أجل ومع التحقق.

التحول في النموذج: يجادل المؤلفون بأن مكاسب الاستدلال يجب أن تأتي من "تعلم التحقق" واستخدام مُحقِّقات أقوى لتدريب مولدات أقوى، وليس مجرد زيادة حجم معاملات المولد.
القابلية للتوسع: يوفر STV مسارًا للتحسين الذاتي لا يعتمد على التغذية الراجعة البشرية المكلفة أو نماذج "الأوراكل" الخارجية للإشراف.
التحسين الذاتي التكراري: يشير العمل إلى حلقة تكرارية حيث يتيح التحقق الأفضل عمليات صقل أكثر موثوقية في وقت الاختبار وتوليد تغذية راجعة أغنى لتدريب المولد، مما ينتج بدوره محاولات أصعب لتدريب المُحقِّق مستقبلاً.

يظل المؤلفون متواضعين بشأن النطاق، مشيرين إلى أنه بينما يعمل STV في الرياضيات والعلوم، فإن توسيع ذلك ليشمل قدرات أخرى (البرمجة، الاستدلال المفتوح) وتحديد التقسيم الأمثل للحوسبة بين تدريب المولد والمُحقِّق تظل أسئلة مفتوحة. ومع ذلك، تشير النتائج إلى أن تدريب التحقق هو مكون حاسم وقابل للتوسع لبناء أنظمة استدلال ذاتية التحسين.