🤖 machine learning

CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution

يُعد CoVerRL إطار عمل للتعلم التعزيزي الخالي من الملصقات، وهو يمنع "فخ الإجماع" المتمثل في انهيار الاستدلال من خلال تمكين نموذج واحد من التطور المشترك كـمُوَلِّد ومُحقِّق في آن واحد، مما يحافظ على دقة عالية للمكافأة ويتفوق بشكل كبير على النماذج المرجعية الحالية في اختبارات معايير الاستدلال الرياضي.

المؤلفون الأصليون: Teng Pan, Yuchen Yan, Zixuan Wang, Ruiqing Zhang, Gaiyang Han, Wanqi Zhang, Weiming Lu, Jun Xiao, Yongliang Shen

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Teng Pan, Yuchen Yan, Zixuan Wang, Ruiqing Zhang, Gaiyang Han, Wanqi Zhang, Weiming Lu, Jun Xiao, Yongliang Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث CoVerRL، مترجم إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

المشكلة: فخ "غرفة الصدى"

تخيل أنك طالب تحاول تعلم الرياضيات، لكن ليس لديك معلم. لديك فقط مجموعة من 100 طالب آخر (وهم في الواقع مجرد نسخ منك) لمساعدتك.

الطريقة القديمة للقيام بذلك (والتي تسمى TTRL) تعمل كالتالي:

تطلب من المجموعة حل مسألة ما.
إذا قال 60 شخصاً "الإجابة هي 42"، وقال 40 شخصاً "الإجابة هي 13"، فإنك تفترض أن 42 هي الإجابة الصحيحة لأنها تمثل الأغلبية.
تدرس الإجابة "42" وتحاول أن تصبح أكثر شبهاً بالأغلبية.

الفخ:
ماذا لو كانت المجموعة بأكملها مخطئة؟ ماذا لو كانت المسألة مخادعة، وارتكب الجميع نفس الخطأ لأنهم جميعاً أغفلوا تفصيلاً دقيقاً؟

تصبح الإجابة "42" بمثابة خطأ متسق ذاتياً.
ولأن الجميع متفقون، يعتقد النظام: "واو، نحن واثقون جداً! لا بد أننا على حق!"
يصبح الطالب (الذكاء الاصطناعي) أكثر ثقة في الإجابة الخاطئة شيئاً فشيئاً. تتوقف المجموعة عن التفكير بإبداع وتكتفي بتكرار نفس الخطأ مراراً وتكراراً. وهذا ما يسمى بـ "فخ الإجماع" (Consensus Trap). يقع الذكاء الاصطناعي في حلقة مفرغة من كونه مخطئاً بكل ثقة.

الحل: CoVerRL (ثنائي "الممثل والناقد")

أدرك مؤلفو هذه الورقة أن الاتفاق لا يعني الحقيقة. ولإصلاح ذلك، ابتكروا نظاماً جديداً يسمى CoVerRL.

بدلاً من أن يكون مجرد طالب يتحدث إلى حشد، يلعب الذكاء الاصطناعي الآن دورين في نفس الوقت، حيث يتبادلان الأدوار مثل مباراة التنس:

المولد (الممثل - The Actor): هذا هو "الطالب" الذي يحاول حل مسألة الرياضيات. يقوم بتوليد العديد من الإجابات المختلفة.
المتحقق (الناقد - The Verifier): هذا هو "المعلم" الذي يراجع العمل. هو لا يهتم كم عدد الأشخاص الذين قالوا "42"، بل ينظر إلى المنطق خطوة بخطوة ليرى ما إذا كانت الرياضيات منطقية بالفعل.

كيف يساعدان بعضهما البعض (التطور المشترك)

إليك السر السحري: إنهما يعلمان بعضهما البعض.

الخطوة 1: المولد يصنع مسودة.
يقوم "الممثل" بحل المسألة ويحصل على مجموعة من الإجابات. يستخدم "تصويت الأغلبية" لاختيار الإجابة المرجحة بأن تكون صحيحة (ملصق المسودة).
الخطوة 2: المتحقق يراجع المسودة.
ينظر "الناقد" إلى المنطق.
- السيناريو أ: قالت الأغلبية "42"، لكن "الناقد" يرى خطأً رياضياً في المنطق. يقول الناقد: "توقف! هذا خطأ، حتى وإن اتفق الجميع عليه".
- السيناريو ب: قالت الأغلبية "42"، ويتحقق "الناقد" من الخطوات ويقول: "نعم، المنطق سليم".
الخطوة 3: الدورة تعمل على التحسين.
- لأن "الناقد" كشف "خطأ الأغلبية"، يتعلم "المولد" ألا يثق في الحشد بشكل أعمى. يتعلم أن يفكر بعمق أكبر.
- ولأن "المولد" أصبح الآن ينتج إجابات أكثر منطقية، يمتلك "الناقد" بيانات أفضل للتعلم منها. يصبح أكثر ذكاءً في رصد الأخطاء.

إنها دورة حميدة: ناقد أفضل يصنع ممثلاً أفضل، وممثل أفضل يصنع ناقداً أفضل.

التشبيه: الكاتب والمحرر

فكر في كاتب ذكاء اصطناعي يحاول كتابة رواية غموض دون وجود محرر.

الطريقة القديمة (فخ الإجماع): يسأل الكاتب 100 من أصدقائه: "من قتل الخادم؟". إذا قال 90 صديقاً "الخادم هو الفاعل"، يفترض الكاتب أن هذه هي الحبكة. حتى لو لم يكن للأمر أي معنى، يستمر الكاتب في كتابة هذه الحبكة لأن "الجميع متفقون". وتصبح القصة أسوأ فأسوأ.
طريقة CoVerRL:
- الكاتب (المولد): يكتب مسودة.
- المحرر (المتحقق): يقرأ المسودة ويقول: "انتظر، الخادم كان ميتاً في بداية الكتاب! هذه الحبكة لا معنى لها".
- النتيجة: يقوم الكاتب بتعديل الحبكة. ويصبح المحرر أفضل في رصد الثغرات في الحبكة. المسودة التالية ستكون أفضل. يستمرون في القيام بذلك حتى تصبح القصة رائعة.

لماذا يهم هذا الأمر؟

اختبرت الورقة هذا الأسلوب على نماذج ذكاء اصطناعي شهيرة (مثل Qwen و Llama) باستخدام مسائل رياضية صعبة.

النتيجة: الطريقة القديمة (TTRL) تعثرت في النهاية، حيث انخفضت دقتها لأنها استمرت في تعزيز أخطائها.
CoVerRL: حافظت على حدتها. لم تكتفِ فقط بأن تصبح أفضل في حل الرياضيات، بل أصبحت أيضاً بارعة للغاية في مراجعة عملها الخاص.
- قفزت قدرتها على التحقق من الإجابات من حوالي 55% إلى أكثر من 85%.
- حلت المسائل الرياضية بشكل أفضل بكثير من الطرق القديمة.

الخلاية

تعلمنا هذه الورقة أن الثقة ليست هي نفسها الصحة.

لجعل الذكاء الاصطناعي أكثر ذكاءً دون معلمين بشريين، لا يمكننا فقط السماح له بالتصويت على الإجابة. يجب علينا إجباره على نقد تفكيره الخاص. من خلال الجمع بين "الفاعل" و"المراجع" وتركهم يتدربون معاً، ينجو الذكاء الاصطناعي من فخ تكرار أخطائه ويتعلم التفكير كخبير حقيقي.

إليك ملخص تقني مفصل لورقة البحث "CoVerRL: كسر فخ الإجماع عبر التطور المشترك للمولد والمتحقق عبر التعلم التعزيزي".

1. بيان المشكلة: "فخ الإجماع" (The Consensus Trap)

تعالج الورقة نمط فشل حرج في التعلم التعزيزي (RL) الخالي من الملصقات (Label-Free) للنماذج اللغوية الكبيرة (LLMs). تعتمد الأساليب المتطورة الحالية (مثل TTRL) على التصويت بالأغلبية لتوليد ملصقات وهمية (pseudo-labels) للتدريب دون وجود بيانات حقيقية (ground truth). والافتراض هنا هو أن الإجابة الأكثر تكراراً بين مسارات الاستدلال المتعددة هي الإجابة الصحيحة.

ومع ذلك، حدد المؤلفون ظاهرة أطلقوا عليها اسم "فخ الإجماع":

انهيار التنوع (Diversity Collapse): مع قيام التعلم التعزيزي بتعظيم الاتساق الذاتي، ينخفض تنوع مخرجات النموذج، مما يؤدي إلى تركز التنبؤات حول إجابة واحدة.
تعزيز الأخطاء (Reinforcement of Errors): إذا كانت إجابة الأغلبية خاطئة (أي "خطأ متسق ذاتياً")، فإن النموذج يعزز هذا الخطأ بثقة. وتظل إشارة المكافأة (المبنية على الإجماع) مرتفعة رغم أن الملصق خاطئ.
الركود (Stagnation): يخلق هذا حلقة تغذية راجعة مدمرة حيث تتدهور دقة المكافأة، ويفشل النموذج في التعافي من الأخطاء المنهجية لأن الإجماع الصرف لا يستطيع التمييز بين "الخطأ المتسق" و"الصواب المتسق".

فشلت المحاولات السابقة لحل هذه المشكلة باستخدام التحقق الذاتي (self-verification) لأن النماذج اللغوية الكبيرة لا تستطيع التحقق من استدلالها الخاص بشكل موثوق دون تدريب محدد، مما يخلق تبعية دائرية (لا يمكن للنموذج التحقق مما لا يمكنه توليده بشكل صحيح).

2. المنهجية: إطار عمل CoVerRL

يقترح المؤلفون إطار عمل CoVerRL (التطور المشترك للمتحقق والمولد عبر التعلم التعزيزي)، حيث يتبادل نموذج سياسة واحد ( $\pi_\theta$ ) بين دورين: المولد ( $\pi_{gen}$ ) والمتحقق ( $\pi_{ver}$ ). الابتكار الجوهري هو التمهيد ثنائي الاتجاه (bidirectional bootstrapping): حيث يقوم المولد بإنشاء ملصقات وهمية للمتحقق، ويقوم المتحقق بتصفية الأخطاء لتحسين إشارة تدريب المولد.

المكونات الرئيسية:

توليد الملصقات الوهمية مع التصفية:
- التصويت بالأغلبية: ينتج المولد $N$ من مسارات الاستدلال. وتعمل الإجابة الأكثر تكراراً كملصق وهمي "مسودة".
- تصفية الاتساق الذاتي: ينتقل النموذج إلى دور المتحقق لتمحيص العينات الإيجابية (تلك التي تطابق ملصق المسودة). إذا أشارت أغلبية أحكام التحقق إلى أن الاستدلال معيب، يتم استبعاد العينة. يستهدف هذا تحديداً وإزالة "الأخطاء المتسقة ذاتياً" قبل أن تفسد التدريب.
التطور المشترك عبر الدور المزدوج عبر الإنترنت (Online Dual-Role Co-Evolution):
- تدريب المتحقق التبايني (Contrastive Verifier Training): يتم تدريب المتحقق بدون ملصقات حقيقية باستخدام أزواج تباينية. فهو يقارن بين الإجابة الأكثر شيوعاً (التي تُعامل كـ "صحيحة") مقابل الإجابة الأقل تكراراً (التي تُعامل كـ "خاطئة"). هذا يخلق مجموعة بيانات متوازنة ( $|V^+| = |V^-|$ ) لمنع المتحقق من الانهيار نحو رفض جميع المدخلات.
- التصحيح الذاتي (Self-Correction): عندما يحدد المتحقق خطأً ( $v=0$ )، يعود النموذج إلى دور المولد لإنتاج $K$ من الحلول المنقحة بناءً على الاستعلام، والمحاولة الفاشلة، وتغذية المتحقق الراجعة.
GRPO المرتبط بالإجابة (Answer-Anchored GRPO):
- قام المؤلفون بتكييف تحسين السياسة النسبي للمجموعات (GRPO) لهذا الإعداد متعدد الخطوات.
- GRPO القياسي يجمع الاستجابات حسب بادئة الاستعلام (query prefix).
- GRPO المرتبط بالإجابة يجمع مسارات التحقق حسب الإجابة المستهدفة. بما أن مسارات التحقق المتعددة في المجموعة الإيجابية تستهدف نفس الإجابة، يتم تجميعها معاً لحساب المزايا (advantages). هذا يعزل تباين التحقق مع الحفاظ على استقرار تحسين التوليد.
تصميم المكافأة:
- تجمع مكافأة مركبة $r = r_f + r_a$ بين الالتزام بالتنسيق والدقة.
- بالنسبة للمولد، تُقاس الدقة مقابل إجابة الإجماع.
- بالنسبة للمتحقق، تُقاس الدقة مقابل الحكم المستهدف (صحيح/خاطئ) المستمد من الإعداد التبايني.

3. المساهمات الرئيسية

تحديد فخ الإجماع: تثبت الورقة تجريبياً أن التعلم التعزيزي القائم على التصويت بالأغلبية يؤدي إلى انهيار التنوع وتدهور المكافأة عندما تتقارب النماذج حول أخطاء منهجية.
إطار العمل التطوري المشترك: يعد CoVerRL أول إطار عمل يوحد التوليد والتحقق في عملية تعلم تعزيزي واحدة متعددة الخطوات حيث يدعم كل منهما الآخر دون الحاجة لملصقات خارجية.
التمهيد ثنائي الاتجاه: يثبت أن ملصقات الإجماع المشوشة يمكن أن تدرب متحققاً، وأن المتحقق المدرب يمكنه تصفية تلك الملصقات نفسها لخلق إشارات تدريب عالية الجودة للمولد، مما يكسر التبعية الدائرية.
Answer-Anchored GRPO: تكيف مبتكر لـ GRPO يجمع مسارات التحقق حسب الإجابة المستهدفة بدلاً من مجرد المطالبة (prompt)، مما يحسن استقرار التدريب.

4. النتائج التجريبية

تم تقييم إطار العمل على عائلات نماذج Qwen وLlama (تتراوح من 1.7 مليار إلى 7 مليارات بارامتر) عبر أربعة اختبارات مرجعية: MATH500, AMC, AIME24, و GPQA-Diamond.

مكاسب الأداء: يتفوق CoVerRL باستمرار على خط الأساس TTRL بنسبة تتراوح بين 4.7% إلى 5.9% في الدقة النهائية (Acc.@final) في اختبارات الاستدلال الرياضي.
- مثال: في نموذج Qwen3-1.7B، حقق CoVerRL نسبة 71.9% في MATH500 مقابل 65.0% لـ TTRL.
تحسن التحقق الذاتي: تتحسن قدرة التحقق بشكل كبير، حيث ترتفع من ~55% إلى أكثر من 85% دقة. وهذا يؤكد أن النموذج يتعلم فعلياً التحقق، وليس مجرد التوليد.
دقة المكافأة: على عكس TTRL، حيث تنخفض دقة المكافأة من ~95% إلى ~80% بسبب فخ الإجماع، يحافظ CoVerRL على دقة مكافأة تتجاوز 90% طوال فترة التدريب.
التعميم: تنتقل قدرة التحقق المتعلمة بشكل جيد إلى المهام خارج النطاق (GPQA)، حيث تتفوق النماذج المعززة بـ CoVerRL على نماذج أكبر بكثير (مثل Llama-3-70B) في اختبار RewardBench.
دراسات الاستئصال (Ablation Studies):
- إزالة مرشح التحقق (verification filter) يؤدي إلى انخفاض الأداء، مما يؤكد ضرورة تصفية الأخطاء المتسقة ذاتياً.
- إزالة العينات المتوازنة (مجموعات التحقق الموجبة والسالبة المتساوية) تؤدي إلى انهيار المتحقق (رفض جميع الإجابات).
- وضع التفكير (Thinking Mode) أمر بالغ الأهمية؛ فالنماذج التي تفتقر إلى الاستدلال الممتد أثناء التحقق تعاني من "انهيار الطول" وضعف الدقة.

5. الأهمية

يمثل CoVerRL خطوة هامة نحو التعلم التعزيزي الخالي من الملصقات لمهام الاستدلال. من خلال حل "فخ الإجماع"، فإنه يمكّن النماذج اللغوية الكبيرة من تطوير قدراتها الاستدلالية ذاتياً دون الاعتماد على بيانات حقيقية مكلفة أو متحققين خارجيين. يثبت إطار العمل أن التوليد والتحقق ليسا قدرتين متنافستين بل هما قدرتان تعززان بعضهما البعض. يقدم هذا النهج مساراً قابلاً للتوسع نحو إنشاء وكلاء ذكاء اصطناعي أقوياء وقادرين على التصحيح الذاتي للتعامل مع مهام الاستدلال المعقدة حيث لا تتوفر بيانات حقيقية.