💬 NLP

CAMEL: Confidence-Gated Reflection for Reward Modeling

يُعد CAMEL إطار عمل للتأمل القائم على الثقة يجمع بين قرارات التفضيل الفعالة أحادية الرمز مع التصحيح الذاتي الانتقائي المدفوع بالتعلم التعزيزي للحالات منخفضة الثقة، مما يحقق دقة هي الأفضل في مجال نمذجة المكافأة مع عدد أقل بكثير من المعلمات ونسبة دقة إلى كفاءة متفوقة.

المؤلفون الأصليون: Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Kun Xu, Yang You

نُشر 2026-05-08

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Kun Xu, Yang You

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف حكماً ليقرر أي من إجابتين لسؤال ما هو الأفضل. لديك نوعان من الحكام:

العداء (The Sprinter): هذا الحكم ينظر إلى الإجابتين ويصرخ فوراً "أ هي الأفضل!" أو "ب هي الأفضل!". هو سريع جداً وغير مكلف للتوظيف، لكنه أحياناً يخطئ في التخمين لأنه لم يفكر بما يكفي.
المفكر (The Thinker): هذا الحكم يستغرق الكثير من الوقت. يكتب مقالاً مفصلاً يشرح فيه لماذا إحدى الإجابتين أفضل، ويتحقق من الحقائق والمنطق خطوة بخوة. هو دقيق جداً عادةً، لكنه بطيء ومكلف إذا تم توظيفه لكل سؤال.

لفترة طويلة، كان على الباحثين الاختيار بين العداء (سريع ولكنه يخطئ أحياناً) والمفكر (دقيق ولكنه بطيء).

إليك CAMEL: الحكم "المحكوم بالثقة"

تقدم الورقة البحثية نظاماً جديداً يسمى CAMEL (التفكير المعتمد على بوابة الثقة لنمذجة المكافأة). إنه يشبه توظيف حكم يجمع بين أفضل ما في العالمين: يبدأ كعداء، ولكن يمكنه التحول فوراً إلى مفكر إذا شعر بعدم اليقين.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "اختبار الحدس" (بوابة الثقة)

عندما يرى CAMEL سؤالاً وإجابتين، فإنه يتخذ قراراً سريعاً بناءً على شعور داخلي. يختار الفائز فوراً.

لكن إليك الخدعة: هو يعرف مدى ثقته بنفسه.

تخيل أنك تعبر جسراً.

إذا بدا الجسر مستقراً وكنت متأكداً بنسبة 100%، فستعبره بسرعة.
إذا بدا الجسر مهتزاً وشعرت بالقلق، فستتوقف وتفحص الجسر بعناية قبل المضي قدماً.

يفعل CAMEL الشيء نفسه. فهو يقيس "درجة ثقته" (بناءً على مدى تفضيله القوي لإحدى الإجابتين).

قيمة ثقة عالية: إذا شعر بأنه متأكد جداً، يتوقف فوراً ويعطي الإجابة. هذا يوفر الوقت والمال.
قيمة ثقة منخفضة: إذا شعر بالاهتزاز أو عدم اليقين، فإنه يضغط على زر "الإيقاف المؤقت". يقول: "انتظر، أنا لست متأكداً بشأن هذا"، ثم يبدأ في التفكير (التعمق).

2. "التفكير/التأمل" (التصحيح الذاتي)

عندما يقرر النظام أنه يجب أن يتأمل، فإنه لا يكتفي بالتخمين مرة أخرى. بل يأخذ لحظة ليفكر بصوت عالٍ. قد يقول: "لقد اخترت (أ) في البداية، ولكن دعني أتحقق من الحقائق مرة أخرى. أوه، أرى خطأً في (أ). في الواقع، (ب) هي الأفضل".

هذا "التفكير" هو عملية تصحيح النظام لأخطائه المحتملة قبل إعطاء الإجابة النهائية.

3. كيف دربوا هذا الحكم؟

قد تتساءل: "كيف تعلم حاسوباً أن يعرف متى يكون غير متأكد؟"

استخدم الباحثون طريقة تدريب ذكية تسمى زيادة البادئة الواقعية المضادة (Counterfactual Prefix Augmentation).

تخيل أنك تدرب طالباً. عادةً، تظهر له الإجابة الصحيحة.
لكن الباحثين خدعوا الطالب. لقد أجبروا الطالب على البدء بالإجابة الخاطئة (مثلاً: "يجب أن تقول أن أ هي الأفضل").
ثم طلبوا منه أن يفكر مجدداً. إذا أدرك الطالب قائلاً: "أوه انتظر، لقد أُجبرت على قول (أ)، ولكن (ب) هي الصحيحة في الواقع"، ثم غير رأيه، فقد حصل على مكافأة.
أما إذا تمسك بعناد بالإجابة الخاطئة، فلم يحصل على أي مكافأة.

لقد علم هذا النموذج أن يكون صادقاً بشأن شكوكه الأولية وأن يغير رأيه حقاً عندما يدرك أنه كان مخطئاً، بدلاً من مجرد تكرار ما قاله في البداية.

النتائج: سريع، رخيص، وأكثر ذكاءً

تزعم الورقة البحثية أن هذا النظام الجديد، CAMEL، هو نقطة تحول:

إنه عملاق صغير: يستخدم نموذجاً صغيراً نسبياً (14 مليار معلمة) ولكنه يتفوق على نماذج أكبر بكثير (70 مليار معلمة) من حيث الدقة.
إنه فعال: بما أنه "يفكر بعمق" (يتأمل) فقط في الأسئلة الصعبة، فإنه يوفر كمية هائلة من قدرة الحوسبة. في الأسئلة السهلة، يكون سريعاً مثل العداء. وفي الأسئلة الصعبة، يكون دقيقاً مثل المفكر.
النتيجة: في ثلاثة اختبارات رئيسية، حقق متوسط دقة بلغ 82.9% وتفوق بشكل كبير على النماذج الأفضل السابقة.

باختصار:
CAMEL هو حكم ذكي يعرف حدوده. لا يضيع الوقت في إعادة التفكير في الأسئلة السهلة، لكنه يرفض التخمين في الأسئلة الصعبة دون القيام بواجبه أولاً. وهذا يسمح له بأن يكون سريعاً للغاية ودقيقاً للغاية في آن واحد، مما يجعله يجد التوازن المثالي الذي لم تستطع الأنظمة السابقة تحقيقه.

ملخص تقني: CAMEL – الانعكاس الموجه بالثقة لنمذجة المكافأة

1. بيان المشكلة

تعد نماذج المكافأة (Reward Models - RMs) حاسمة لمواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية، وعادة ما يتم ذلك عبر التنبؤ بأي من إجابتين مرشحتين هي المفضلة. تتبع النهج الحالية عمومًا نموذجين متميزين، لكل منهما مقايضات مختلفة:

النماذج التمييزية القياسية (Scalar Discriminative Models): تقوم هذه النماذج بتعيين درجة عددية لكل إجابة وتستنتج احتمالية التفضيل الثنائي (على سبيلך عبر نموذج برادلي-تيري). وهي فعالة حاسوبيًا ومستقرة، لكنها تفتقر إلى القابلية للتفسير وغالبًا ما تعاني مع الحالات المعقدة التي تتطلب التحقق من الحقائق أو اتباع التعليمات بدقة.
نماذج التقييم التوليدية (Generative Evaluation Models): تولد هذه النماذج نقدًا نصيًا (غالبًا مع تبرير) قبل إصدار الحكم. ورغم أنها توفر شفافية أغنى وغالبًا ما تحقق أداءً أفضل في المقارنات الصعبة، إلا أنها تتحمل أعباءً حاسوبية كبيرة لأنها تولد رموزًا (tokens) لكل حالة، بما في ذلك الحالات البسيطة.

المشكلة الجوهرية التي يعالجها البحث هي المقايضة بين الكفاءة والقدرة التعبيرية: كيف يمكن تحقيق الدقة العالية والقدرات الاستدلالية للنماذج التوليدية دون التكاليف الباهظة لتوليد مسارات الاستدلال لكل استعلام؟ يفترض العمل أن العديد من المقارنات الثنائية بسيطة ولا تتطلب تفكيرًا عميقًا، ومع ذلك تتعامل النماذج الحالية مع جميع الحالات بالتساوي.

2. المنهجية: CAMEL

يقترح المؤلفون CAMEL (الانعكاس الموجه بالثقة)، وهو إطار عمل يتكون من مرحلتين يجمع بين النماذج القياسية والتوليدية عبر استدعاء الانعكاس بشكل انتقائي عند الحاجًة فقط.

2.1. الفكرة الجوهرية: الثقة كبديل للصعوبة

تعتمد الطريقة على ملاحظة تجريبية: فجوة الاحتمالية اللوغاريتمية (log-probability gap) بين رمزي الحكم الممكنين (مثل $A$ مقابل $B$ ) ترتبط ارتباطًا وثيقًا بصحة التنبؤ.

درجة الثقة ( $c(x)$ ): تُعرف بأنها الفرق المطلق بين الاحتمالات اللوغاريتمية لرمزي الحكم ( $A$ و $B$ ):
$c(x) = |\log P_\theta(v=A|x) - \log P_\theta(v=B|x)|$
الارتباط: أظهرت التحليلات عبر نماذج ومعايير متعددة وجود علاقة رتيبة قوية: التنبؤات ذات الثقة العالية تكون أكثر عرضة للصحة بشكل كبير، بينما تتركز الأخطاء في منطقة الثقة المنخفضة. وهذا يمكّن النموذج من استخدام توزيعه التنبئي كبديل موثوق لصعوبة الحالة دون تكاليف استدلال إضافية.

2.2. مسار الاستدلال (الخوارزمية 1)

يستخدم CAMEL إجراء استدلال موجه بالثقة:

الحكم الأولي: يقوم النموذج أولاً بتوليد حكم أولي من رمز واحد ( $v_0$ ).
فحص الثقة: يتم حساب درجة الثقة $c(x)$ من فجوة الاحتمالية اللوغاريتمية لـ $v_0$ .
قاعدة البوابة (Gating Rule):
- إذا كان $c(x) \geq \tau$ (حيث $\tau$ هو العتبة)، ينهي النموذج العملية فورًا ويعيد $v_0$ كحكم نهائي.
- إذا كان $c(x) < \tau$ ، يستدعي النموذج مرحلة الانعكاس (Reflection). حيث يولد مسار تبرير قصير ( $J$ ) لإعادة النظر في المقارنة ثم ينتج حكمًا نهائيًا ( $v_1$ ).

يخصص هذا النهج الحوسبة بشكل تكيفي: الحالات البسيطة تُحل برمز واحد، بينما الحالات الغامضة تستدعي استدلالًا أعمق.

2.3. التدريب عبر التعلم التعزيزي

لتدريب النموذج على استخدام هذه العملية ثنائية المرحلة بفعالية، استخدم المؤلفون تحسين السياسة النسبية للمجموعة (GRPO).

الهدف: تعظيم المكافأة بناءً على صحة الحكم النهائي ( $v_1$ )، مع ضبطها مقابل سياسة مرجعية ( $\pi_{ref}$ ) عبر تباعد KL.
تصميم المكافأة: تُستخدم مكافأة ثنائية بسيطة: $+1$ إذا طابق الحكم النهائي الحقيقة الأرضية (Ground Truth)، و $-1$ خلاف ذلك. لا تتطلب العملية مكافآت تنسيق إضافية.
تعزيز البادئة المتناقضة (Counterfactual Prefix Augmentation): مكون حاسم في استراتيجية التدريب. لكل حالة تدريب، يتعرض النموذج لمثالين معززين بنفس المدخلات ولكن مع أحكام أولية مفروضة (أحدهما مفروض أن يكون $A$ $A$ والآخر $B$ $B$ ).
- هذا يمنع مرحلة الانعكاس من التدهور إلى مجرد تكرار الحكم الأولي.
- إنه يجبر النموذج على تعلم ما إذا كان سيؤكد أو يراجع حكمه الأولي بناءً على الانعكاس، مما يتيح تصحيحًا ذاتيًا حقيقيًا.

3. المساهمات الرئيسية

التوصيف التجريبي: حدد العمل ووصّف الارتباط القوي بين فجوة الاحتمالية اللوغاريتمية للرمز الواحد وصحة الحكم الثنائي، مما جعل هذا الارتباط بديلًا قويًا لصعوبة الحالة.
إطار عمل CAMEL: تقديم إطار عمل ثنائي المرحلة يجمع بين نمذجة المكافأة القياسية والتوليدية من خلال الانعكاس الموجه بالثقة. ويتضمن ذلك التصميم المحدد لمطالبة "القاضي" (Judge prompt)، الذي يفكك القرارات إلى حكم أولي، وانعكاس اختياري، وحكم نهائي.
ابتكار التدريب: اقتراح تعزيز البادئة المتناقضة أثناء تدريب RL لتحفيز التصحيح الذاتي الفعال وضمان تعلم النموذج مراجعة الأحكام الأولية الخاطئة بدلاً من مجرد تكرارها.
الأداء المتفوق (State-of-the-Art): إثبات أن CAMEL يحقق أداءً متفوقًا في ثلاثة معايير رئيسية مع إنشاء حدود "باريتو" (Pareto frontier) أفضل تمامًا من حيث الدقة والكفاءة.

4. النتائج التجريبية

قيم المؤلفون CAMEL (المبني على نموذج Qwen3 بـ 14 مليار معلمة) على ثلاثة معايير مستخدمة على نطاق واسع: RewardBench، و RM-Bench، و JudgeBench.

الدقة: حقق CAMEL متوسط دقة قدره 82.9%، متفوقًا على أفضل النماذج السابقة (INF-ORM-Llama3.1-70B) بنسبة 3.2%. ومن الملاحظ أنه تفوق على نماذج بـ 70 مليار معلمة باستخدام 14 مليار معلمة فقط.
الكفاءة مقابل الدقة (حدود باريتو):
- CAMEL-Fast (بدون انعكاس) وصل إلى دقة خط الأساس أو تجاوزها باستخدام رمز واحد مولد فقط.
- CAMEL-Reflection (دائم الانعكاس) حقق أعلى الدرجات، ولكن بتكاليف أعلى.
- Full CAMEL (الموجه بالثقة) أنشأ حدود باريتو أفضل تمامًا من النماذج التوليدية القوية (مثل RM-R1-DeepSeek-32B). عند عتبات الثقة المتوسطة، حقق CAMEL دقة متفوقة بعدد أقل بكثير من الرموز المولدة.
دراسات الاستئصال (Ablation Studies):
- الانعكاس (Reflection): أدى إضافة الانعكاس إلى تحسين الدقة باستمرار عبر جميع المتغيرات، مما أكد قيمته كآلية صقل وقت التشغيل.
- التعزيز المتناقض (Counterfactual Augmentation): النماذج المدربة بدون هذا التعزيز (GRPO القياسي) كان أداؤها أسوأ من CAMEL، مما يؤكد ضرورة تعريض النموذج لأحكام أولية متنوعة لتعلم التصحيح الذاتي الفعال.
- انزياح الثقة (Confidence Shift): أظهر تحليل ما بعد التدريب أن النموذج أصبح أقل ثقة بشكل عام (انزاح التوزيع لليسار)، مما يشير إلى أنه تعلم أن يكون أكثر تحفظًا ويحدد الرموز الحرجة للمكافأة بشكل أفضل، بدแทนًا من التخمين المفرط في الثقة.

5. الأهمية والادعاءات

يزعم العمل أن CAMEL يمثل خطوة مهمة للأمام في نمذجة المكافأة من خلال حل التوتر بين الكفاءة والقدرة التعبيرية.

التخصيص المبدئي: من خلال الاستفادة من الاقتران القوي بين الثقة والصعوبة، يتجنب CAMEL "الهدر" في توليد الاستدلال للحالات البسيطة مع ضمان حصول الحالات الصعبة على الفحص اللازم.
القابلية للتوسع: تمكن الطريقة النماذج الأصغر (14B) من التفوق على النماذج الأكبر بكثير (70B) عن طريق تحسين ميزانية الاستدلال بدلاً من مجرد زيادة عدد المعلمات.
القدرة على التعميم: لوحظ الارتباط بين الثقة والدقة عبر نماذج أساسية متنوعة (Qwen, Llama, Gemma, Mistral, إلخ) ومجموعات بيانات مختلفة، مما يشير إلى أن آلية البوابة هي استراتيجية مستقلة عن النموذج.
النشر العملي: يوفر إطار العمل مقايضة مرنة حيث يمكن للمستخدمين ضبط عتبة الثقة ( $\tau$ ) لتلبية قيود موارد محددة (مثل زمن الاستجابة مقابل متطلبات الدقة) دون الحاجة لإعادة التدريب.

يخلص المؤلفون إلى أن الانعكاس الانتقائي، المدفوع بالبوابة الموجهة بالثقة والمُدرب عبر التعزيز المتناقض، هو استراتيجية قابلة للتطبيق ومتفوقة لنماذج المكافأة من الجيل القادم.