🤖 AI

CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning

تقدم الورقة البحثية CoRE، وهي طريقة للتعلم التعزيزي في وقت الاختبار تستبدل التصويت بالأغلبية الهش بمكافآت إجماع قائمة على الرسوم البيانية مشتقة من ديناميكيات المكرر لتوفير إشارات متدرجة وذاتية الإشراف تعمل على تحسين الدقة وسرعة التقارب عبر مختلف النماذج والمعايير.

المؤلفون الأصليون: Ambuj Mehrish, Sebastiano Vascon

نُشر 2026-08-11

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ambuj Mehrish, Sebastiano Vascon

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يحاول فيه روبوت فائق الذكاء تعلم كيفية حل لغز معقد، ولكن لا يوجد أحد هناك ليخبره ما إذا كان قد أصاب الإجابة أم لا. هذه هي الحياة اليومية لنماذج الذكاء الاصطناعي الحديثة عندما تواجه أسئلة جديدة غير مصنفة. لكي تتعلم، تحتاج هذه النماذج عادةً إلى معلم يقول لها: "أحسنت!" أو "حاول مرة أخرى!" بناءً على مفتاح إجابة صحيح. ولكن ماذا يحدث عندما لا يكون هناك مفتاح إجابة؟ هنا يأتي دور مجال يسمى التعلم المعزز في وقت الاختبار (Test-Time Reinforcement Learning). إنها خدعة ذكية حيث يحاول الذكاء الاصطناعي تعليم نفسه من خلال توليد محاولات عديدة ومختلفة (تسمى "roll-outs") لنفس المشكلة، ثم النظر في عمله الخاص ليعرف ما الذي يجب أن يصدقه.

الطريقة القياسية للقيام بذلك تشبه التصويت في فصل دراسي. إذا أنتج الذكاء الاصطناعي 64 إجابة مختلفة، فإنه ببساطة يقوم بجمعها. إذا قالت 35 إجابة "42" و29 إجابة "17"، فإن الذكاء الاصطناعي يفترض أن "42" هي الحقيقة لأنها حصدت أكبر عدد من الأصوات. ثم يكافئ كل محاولة قالت "42" ويعاقب البقية. هذا يعمل بشكل جيد معظم الوقت، ولكنه يحتوي على عيب قاتل: إنه يعامل التخمين المحظوظ بنفس قدر معاملة الحل العبقري والمبني على منطق سليم، ويتجاهل احتمال أن يكون "الأغلبية" مخطئين بثقة. إذا كانت هناك مجموعة صغيرة من المحاولات الذكية والواثقة تقول "17"، بينما تصرخ مجموعة أكبر من المرتبكين قائلة "42"، فإن نظام التصويت سيقمع الأقلية الذكية. هذا البحث يسأل: هل يمكننا بناء طريقة أذكى ليستمع بها الذكاء الاصطناعي إلى نفسه، طريقة تهتم بكيفية اتفاق الإجابات، وليس فقط بعدد الإجابات التي اتفقت؟

المشكلة في صندوق الاقتراع

تخيل مجموعة من المحققين يحاولون حل جريمة. في الطريقة القديمة (طريقة "تصويت الأغلبية")، يكتفون برفع أيديهم. إذا أشار 60 محققًا إلى الخادم و40 إلى البستاني، فإن الخادم هو المذنب. ولكن ماذا لو كان الـ 60 الذين أشاروا إلى الخادم جميعهم مرتبكون، بينما الـ 40 الذين أشاروا إلى البستاني هم في الواقع الوحيدون الذين قرأوا الأدلة بشكل صحيح؟ سيقوم نظام التصويت بمعاقبة المحققين الأذكياء ومكافأة المرتبكين، مما يجعل الفريق بأكمله أقل ذكاءً بمرور الوقت.

هذا هو بالضبط ما يحدث لنماذج الذكاء الاصطناعي التي تستخدم التعلم المعزز القياسي في وقت الاختبار. فهي تولد مجموعة من الإجابات، وتحصي الفائزين، وتفترض أن الفائز هو المصيب. إذا ارتكب الذكاء الاصطناعي خطأً منهجياً كان شائعاً بالصدفة، فإنه يعزز هذا الخطأ. الأمر يشبه ديمقراطية مكسورة حيث يفوز الصوت الأعلى، حتى لو كان يصرخ بهراء.

دخول CoRE: طاولة المحققين المستديرة

يقترح مؤلفا هذا البحث، أمبوج ميرهيش وسباستيانو فاسكون، طريقة جديدة تسمى CoRE (المكافآت القائمة على الإجماع عبر التوازن - Consensus Rewards via Equilibrium). بدلاً من مجرد عد الرؤوس، يعامل CoRE محاولات الذكاء الاصطناعي كشبكة معقدة من العلاقات.

إليك كيف يعمل ذلك، باستخدام تشبيه بسيط:
تخيل أن محاولات الذكاء الاصطناعي الـ 64 هي أشخاص يجلسون في غرفة.

الرسم البياني (The Graph): بدلاً من مجرد الصراخ بالإجابات، يشكل هؤلاء الأشخاص شبكة ضخمة من الاتصالات. يتصل شخصان ببعضهما إذا أعطيا نفس الإجابة. لكن الاتصال ليس مجرد "نعم/لا"، بل يتم وزنه بناءً على مدى تشابه منطقهما (هل استخدما نفس المنطق؟) ومدة ثقتهما في كلامهما (هل تحدثا بيقين؟).
التوازن (The Equilibrium): يقوم النظام بعد ذلك بتشغيل محاكاة رياضية تسمى "ديناميكيات المكرر" (replicator dynamics). فكر في هذا كلعبة الكراسي الموسيقية حيث يبدأ الأشخاص الذين يحظون بأكبر قدر من الدعم من جيرانهم الواثقين والمنطقيين في الوقوف وتشكيل دائرة ضيقة وقوية. "المجموعة المهيمنة" هي المجموعة التي تمتلك أكبر قدر من الدعم المتبادل.
المكافأة (The Reward): بدلاً من إعطاء درجة بسيطة "ناجح" أو "راسب" لكل من صوّت للفائز، يعطي CoRE درجة متدرجة. إذا كانت إجابتك جزءاً من دائرة منطقية واثقة ومتماسكة، فستحصل على مكافأة عالية. وإذا كنت جزءاً من مجموعة ضعيفة ومرتبكة، فستحصل على مكافأة منخفضة. حتى لو كنت في الأقلية، إذا كانت مجموعتك هي الأكثر تماسكاً وثقة، فقد يختارك CoRE كفائز.

ما وجدوه

اختبر الباحثون طريقة "CoRE" الجديدة مقابل طريقة "تصويت الأغلبية" القديمة عبر سبعة نماذج مختلفة من الذكاء الاصطناعي وخمسة معايسات (benchmarks) في الرياضيات والعلوم. أجروا التجارب باستخدام ثلاثة بذور عشوائية مختلفة (أي ثلاث ظروف بداية مختلفة) للتأكد من أن النتائج حقيقية.

كانت النتائج واعدة للغاية:

درجات أفضل: في المتوسط، حسنت النماذج التي تستخدم CoRE دقتها بمقدار 21.7 نقطة مقارنة بنقطة بدايتها بدون أي تعلم. أما طريقة التصويت القديمة فلم تتحسن سوى بمقدار 20.4 نقطة.
الفوز في المعارك المتنازع عليها: السحر الحقيقي حدث عندما كانت الإجابات منقسمة. في الحالات التي كان فيها الذكاء الاصطناعي غير متأكد وكان "التصويت" متقارباً، تفوق CoRE على طريقة التصويت بما يصل إلى 7.5 نقطة. لقد نجح في إنقاذ "الأقلية الذكية" التي كان نظام التصويت سيتجاهلها.
تعلم أسرع: لم يصبح CoRE أفضل فحسب، بل وصل إلى ذلك بشكل أسرع. فقد وصل إلى نفس مستوى الدقة النهائي لطريقة التصويت في عدد خطوات أقل بنسبة تتراوح بين 54% إلى 70%. وهذا يشير إلى أن المكافآت المتدرجة والدقيقة من CoRE تعطي الذكاء الاصطناعي إشارة أكثر وضوحاً وفائدة للتعلم.

"منطقة الاستعادة"

يوضح البحث أيضاً متى يعمل هذا بأفضل شكل. وجدوا "منطقة استعادة" محددة. إذا كان الذكاء الاصطناعي سيئاً للغاية بحيث لا يستطيع حل المشكلة على الإطلاق، أو جيداً للغاية بحيث يتفق الجميع تماماً، فإن CoRE يعمل تماماً مثل طريقة التصويت القديمة (وهذا جيد). ولكن في المنطقة الوسطى الفوضوية — حيث توجد مجموعة صغيرة من الإجابات الصحيحة والواثقة تقاتل ضد مجموعة أكبر من الإجابات الخاطئة والواثقة — يتألق CoRE.

أثبت المؤلفون رياضياً أنه إذا كانت الإجابات الصحيحة أكثر ثقة ولو قليلاً من الإجابات الخاطئة، يمكن لـ CoRE قلب الطاولة واختيار الإجابة الصحيحة، حتى لو كانت هي الأقلية. الأمر يشبه قاضياً حكيماً يدرك أن المحققين الأربعين الذين لديهم حجة صلبة هم أكثر جدارة بالثقة من الستين محققاً الذين كانوا يخمنون فقط.

الخلاصة

يشير هذا البحث إلى أننا لسنا بحاجة إلى التخلص من نظام التصويت تماماً؛ ففي الواقع، يتضمن CoRE التصويت كحالة خاصة. ولكن من خلال إضافة طبقة من "الذكاء الاجتماعي" — عبر النظر في كيفية دعم الإجابات لبعضها البعض ومدى ثقتها — يمكننا تحويل التصويت الهش والقائم على "الكل أو لا شيء" إلى نظام مكافآت ذكي ومعاير.

يلاحظ المؤلفون بحذر أن هذا ليس عصا سحرية تصلح كل شيء. إذا كان الذكاء الاصطناعي تائهاً تماماً (عند "أرضية الكفاءة")، فلا يمكن لـ CoRE ابتكار إجابة صحيحة من العدم. ولكن بالنسبة للمشكلات الصعبة حيث يكون الذكاء الاصطناعي على وشك أن يكون على صواب ولكنه يرتبك بسبب الحشد، يقترح CoRE طريقة للاستماع إلى صوت العقل الهادئ والواثق بدلاً من مجرد الصرخة الأعلى. إنه يحول مجرد تعداد بسيط للرؤوس إلى محادثة متطورة، مما يساعد نماذج الذكاء الاصطناعي على التعلم بشكل أسرع وأذكى من أخطائها.

ملخص تقني: CoRE – مكافآت الإجماع عبر التوازن للتعلم التعزيزي في وقت الاختبار

بيان المشكلة

يهدف التعلم التعزيزي في وقت الاختبار (TTRL) إلى تحسين استدلال النماذج اللغوية على البيانات غير المصنفة في وقت الاختبار من خلال اشتقاق الإشراف من مخرجات النموذج نفسه (roll-outs). النهج القياسي، وهو التصويت بالأغلبية (Majority Voting)، يعامل مجموعة الـ $N$ من الإجابات التي تم أخذ عينات منها كصندوق اقتراع: حيث يحدد الإجابة الأكثر تكراراً كملصق زائف (pseudo-label) ويخصص مكافأة ثنائية (1 أو 0) للمسارات التي تطابق ذلك الملصق.

يعاني هذا النهج من ثلاث قيود حرجة:

التجميع الهش: يتجاهل الإجابات الصحيحة إذا كانت تشكل أقلية، حتى لو كانت متماسكة داخلياً. وعلى العكس من ذلك، قد يكافئ مجموعات الأغلبية الخاطئة، مما قد يؤدي إلى تضخيم الأخطاء المنهجية.
المكافآت الثنائية: يخصص مكافآت متطابقة لكل من الاستنباط المدعوم جيداً والتخمين المحظوظ، مما يفشل في التمييز بين جودة الاتفاق.
توزيع وزن الأسئلة بشكل موحد: يعامل كل سؤال بالتساوي، بغض النظر عما إذا كانت المخرجات تشكل إجماعاً متماسكاً أو مجموعة مجزأة من الحلول غير المتوافقة.

التحدي الجوهري هو بناء إشارة مكافأة من المخرجات غير المصنفة تلتقط البنية العلاقاتية والدعم المتبادل بين مسارات الاستدلال، بدلاً من مجرد عد الأصوات.

المنهجية: CoRE

يقترح المؤلفون CoRE (مكافآت الإجماع عبر التوازن)، وهو منهج يستبدل التصويت بالأغلبية بنهج قائم على الرسم البياني (Graph) للوصول إلى حالة التوازن. يعمل CoRE على نفس الـ $N$ من المخرقات كما في TTRL القياسي، ولكنه يعالجها بشكل مختلف لتوليد إشارات منقحة.

1. بناء رسم بياني للمخرقات (Roll-out Graph)

يبني CoRE رسماً بيانياً موزوناً $G=(V, E, \omega)$ حيث تمثل العقد الـ $N$ من المخرقات. تُعرف الحواف بواسطة مصفوفة تقارب $A'$ تجمع بين ثلاث إشارات:

الاتفاق على الإجابة: نواة صلبة (hard kernel) $K_{ans}$ تضمن وجود حواف فقط بين المخرقات التي لها نفس الإجابة المستخرجة.
تشابه الاستدلال: نواة ناعمة (soft kernel) $K_{rsn}$ تعتمد على تشابه جيب التمام لمتجهات $n$ -gram من نوع TF-IDF، تعمل على تقوية الروابط داخل فئة الإجابة الواحدة.
معايرة الثقة: تُشتق أوزان العقد $w_i$ من ثقة التوليد (متوسط لوغاريتم احتمالية الرمز/token). يتم قياس الحواف بمتوسط حسابي هندسي لثقة النقاط الطرفية ( $\sqrt{w_i w_j}$ )، مما يضمن أن المسارات عالية الثقة تعزز بعضها البعض بقوة أكبر.

مصفوفة التقارب النهائية $A'$ هي مصفوفة قطرية كتلية (block-diagonal)، حيث تقابل كل كتلة فئة إجابة فريدة.

2. استخراج المجموعة المهيمنة عبر ديناميكيات المكرر (Replicator Dynamics)

بدلاً من عد الأصوت، يستخرج CoRE مجموعة مهيمنة (Dominant Set - DS) من الرسم البياني باستخدام ديناميكيات المكرر (RD)، وهي عملية تحسين مستمدة من نظرية الألعاب التطورية.

التهيئة: يبدأ النظام من مركز الثقل (barycenter) للمخطط (simplex)، حيث يتم تخصيص كتلة أولية تتناسب مع حجم كل فئة إجابة (وهذا يمثل فعلياً البدء من التصويت بالأغلبية).
الديناميكيات: يقوم النظام بتحديث توزيع الكتلة $x$ بشكل تكراري بناءً على الشكل التربيعي $x^\top A' x$ . وتؤدي هذه العملية إلى التقارب نحو نقطة مستقرة $x^*$ حيث تتركز الكتلة على المجموعة الفرعية من المخرقات الأكثر دعماً لبعضها البعض.
النتيجة: يحدد دعم $x^*$ (العقد ذات الكتلة التي تتجاوز حداً معيناً) حالة الإجماع.

3. توليد المكافأة

من حالة التوازن $x^*$ ، يشتق CoRE ثلاث إشارات متميزة:

الملصق الزائف المنقح ( $y^*$ ): فئة الإجابة ذات أعلى كتلة توازن. قد تختلف هذه عن تصويت التعددية إذا ظهرت أقلية صغيرة ولكنها متماسكة للغاية ككتلة مهيمنة.
المكافآت المتدرجة ( $R_i$ ): تحصل كل مخرقة على مكافأة مستمرة تتناسب مع مدى تقاربها مع الإجماع، بدلاً من 0/1.
بوابة التماسك ( $w_q$ ): مقياس على مستوى السؤال يقيس التماسك الإجمالي للإجماع. تقوم هذه البوابة بتغيير حجم دالة الخسارة في تحديث السياسة (GRPO)، مما يؤدي إلى تصفية الأسئلة التي لا يوجد فيها إجماع موثوق.

المساهمات الرئيسية

1. الابتكار المنهجي

يعد CoRE أول طريقة لـ TTRL في وقت الاختبار تستخدم استخراج المجموعة المهيمنة لبناء المكافآت. فهو يحول مجموعة المخرقات من "صندوق اقتراع" إلى "رسم بياني"، مما يسمح باستعادة مجموعات الأقلية الصحيحة والمتماسكة والواثقة، حتى عندما تكون أقل عدداً. كما يتكامل مباشرة مع GRPO دون الحاجة إلى نماذج مساعدة أو مخرقات إضافية.

2. التحليل النظري

تقدم الورقة إطاراً نظرياً رصيناً:

التعميم: ثبت أن التصويت بالأغلبية هو حالة خاصة من CoRE (عند تجاهل تشابه الاستدلال وتوحيد الثقة).
عتبة الاستعادة: يشتق تحليل قيمة الكتل (block-value analysis) العتبة الدقيقة التي يمكن للأقلية الصحيحة فيها أن تتفوق على تعددية خاطئة. تعتمد هذه العتبة على نسبة أحجام المجموعات ومدى تماسكها الداخلي.
ضرب الثقة: يثبت التحليل أن معايرة الثقة تقلل بشكل ضربي من عتبة الاستعادة. وتحديداً، إذا كانت المخرقات الصحيحة أكثر ثقة من الخاطئة، فإن التماسك المطلوب لكي تفوز الأقلية ينخفض أسياً مع فجوة الثقة.

3. الأدلة التجريبية

تم التقييم عبر 7 نماذج أساسية (Qwen, DeepSeek, Llama, Mistral) و 5 معايسات (AMC, AIME, MATH-500, MATH-L4/5, GPQA-Diamond) مع 42 تكويناً من النماذج والمعايسات:

الأداء: يحسن CoRE الدقة بمقدار +21.7 نقطة فوق النموذج الأساسي غير المدرب في المتوسط عبر جميع الـ 42 خلية (نموذج-معيار)، متفوقاً على TTRL القائم على التصويت بالأغلبية (+20.4 نقطة). ومن الجدير بالذكر أن النماذج المتخصصة في الرياضيات وحدها أظهرت تحسناً متوسطاً قدره +25.0 نقطة.
الإجماع المتنازع عليه: يحقق CoRE مكاسب تصل إلى +7.5 نقطة فوق التصويت تحديداً في السيناريوهات التي يكون فيها الإجماع متنازعاً عليه (مثل مجموعات MATH-L4/L5).
كفاءة العينات: يصل CoRE إلى مرحلة استقرار الدقة النهائية لخط الأساس الخاص بالتصويت في عدد خطوات تحسين أقل بنسبة 54-70%.
دراسة الاستبعاد (Ablation): يؤدي حذف كل من البنية البيانية أو معايرة الثقة إلى خفض الأداء إلى مستويات قريبة من التصويت بالأغلبية، مما يؤكد أن التآزر بين التماسك الهيكلي والثقة أمر ضروري.

الأهمية والادعاءات

تدعي الورقة أن الإجماع ليس مجرد عدّ. من خلال نمذجة الدعم المتبادل بين مسارات الاستدلال، يحول CoRE آلية التصويت الهشة إلى إشارة مكافأة متدرجة ومعايرة وذاتية الإشراف.

الآلية: ينجح هذا النهج من خلال استعادة الإشراف من "المجموعات الصحيحة الأصغر، والمتماسكة، والواثقة" التي تغفلها عمليات عد الأصوات.
نطاقات التشغيل: تتركز المكاسب في "النطاق المتوسط" حيث توجد أقلية صحيحة متماسكة ولكنها ليست هي الأغلبية. وفي نطاقات "التشبع" (حيث الإجابات الصحيحة شبه إجماعية) أو نطاقات "أرضية الكفاءة" (حيث التخمين العشوائي)، يتراجع CoRE طبيعياً ليؤدي أداءً مشابهاً للتصويت بالأغلبية، متجنباً الإفراط في التكيف مع الضوضاء.
الإشراف الذاتي: يثبت CoRE أن التعامل مع المخرقات كرسم بياني بدلاً من عينات مستقلة يوفر إشارة تدريب أكثر كثافة، مما يحسن جودة الملصق الزائف وجودة تحديث السياسة.

يخلص المؤلفون إلى أن CoRE يمثل مكوناً جوهرياً في التعلم التعزيزي ذاتي الإشراف، حيث يقدم طريقة مبدئية للتعامل مع عدم الاتفاق أثناء التكيف في وقت الاختبار دون الحاجة لإشراف خارجي.