💬 NLP

C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences

تقترح الورقة البحثية إطار العمل C2، وهو إطار عمل قابل للتوسع يدرب نموذج مكافأة ليتعاون بشكل نقدي مع مولد معايير مستمد حصرياً من التفضيلات الثنائية، مما يؤدي بفعالية إلى تصفية المعايير المضللة لتحقيق أداء فائق دون الحاجة إلى عمليات تعليق خارجي مكلفة.

المؤلفون الأصليون: Akira Kawabata, Saku Sugawara

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Akira Kawabata, Saku Sugawara

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يقوم بتصحيح مجموعة من المقالات. أنت تريد أن تكون عادلاً، دقيقاً، ومتسقاً. ولكن في بعض الأحيان، تكون التعليمات التي تعطيها لنفسك (أو يعطيها لك شخص آخر) مربكة، غامضة، أو حتى خاطئة. إذا اتبعت تعليمات سيئة، فقد ترسب طالباً ممتازاً أو تنجّح طالباً سيئاً جداً.

هذه الورقة البحثية، بعنوان "C2: Scalable Rubric-Augmented Reward Modeling" (نمذجة المكافأة المعززة بالمعايير القابلة للتوسع)، تعالج مشكلة مشابهة جداً في عالم الذكاء الاصطناعي. الأمر يتعلق بتعليم نماذج الذكاء الاصطناعي كيفية الحكم على نماذج ذكاء اصطناعي أخرى دون الحاجة إلى كتابة إنسان لقاعدة بيانات مثالية لكل مهمة.

إليك قصة C2، مقسمة إلى مفاهيم وتشبيهات بسيطة.

المشكلة: فخ "كتاب القواعد السيئ"

في عالم الذكاء الاصطناعي، نستخدم غالباً نماذج المكافأة (لنطلق عليها اسم القضاة) لتقرير أي استجابة للذكاء الاصطناعي هي الأفضل. عادةً، يتم تدريب هؤلاء القضاة على بيانات بسيطة بنظام "نعم/لا" (مثل: "الاستجابة أ أفضل من الاستجابة ب").

لجعل القضاة أكثر ذكاءً، بدأ الباحثون في تزويدهم بـ معايير (قوائم مراجعة أو كتب قواعد).

الخبر الجيد: إذا كان كتاب القواعد مثالياً، يصبح القاضي عبقرياً.
الخبر السيئ: إنشاء كتب قواعد مثالية أمر مكلف وبطيء. لذا، بدأ الناس يطلبون من الذكاء الاصطناعي كتابة كتب قواعده الخاصة.

الاكتشاف: وجد المؤلفون أن كتب القواعد التي يولدها الذكاء الاصطناعي هي سلاح ذو حدين.

كتب القواعد عالية الجودة تجعل القاضي أكثر ذكاءً بكثير.
كتب القواعد منخفضة الجودة خطيرة؛ فهي لا تكتفي بعدم فعل أي شيء، بل إنها تُربك القاضي فعلياً، وتجعله أسوأ مما لو لم يكن لديه كتاب قواعد على الإطلاق.

الأمر يشبه أن تطلب من طالب كتابة دليل دراسي للاختبار. إذا كتب واحداً جيداً، ستتفوق في الاختبار. أما إذا كتب واحداً تافهاً مليئاً بالأكاذيب، فقد ترسب حتى لو كنت تعرف المادة.

الحل: C2 (تعاوني ولكن ناقد)

أدرك المؤلفان، "أكيرا" و"ساكو"، أن المشكلة ليست في كتاب القواعد فحسب، بل في العلاقة بين كاتب كتاب القواعد والقاضي.

اقترحا نظاماً يسمى C2، والذي يعامل هذه العلاقة كحوار تعاوني ولكن ناقد. فكر في الأمر كعلاقة بين محقق ومستشار.

المستشار (مولد المعايير): يحاول هذا الذكاء الاصطناعي كتابة كتاب قواعد لمساعدة المحقق.
المحقق (المتحقق/القاضي): ينظر هذا الذكاء الاصطناعي إلى القضية وكتاب القواعد. ولكن هنا تكمن الخدعة: المحقق لا يثق بالمستشار ثقة عمياء.

كيف يعمل C2 (مرحلة التدريب)

بدلاً من مجرد تعليم المستشار الكتابة، يعلم C2 كلاهما العمل معاً من خلال عملية التجربة والخطأ:

الخطوة 1. التجربة: يقوم النظام بتوليد العديد من كتب القواعد المختلفة لنفس المشكلة.
الخطوة 2. الاختبار: يتحقق النظام: "هل ساعد هذا الكتاب المحقق في الوصول إلى الإجابة الصحيحة؟ أم أنه أضله؟"
الخطوة 3. حلقة التغذية الراجعة:
- إذا ساعد كتاب القواعد المحقق، يقول النظام للمستشار: "عمل رائع! افعل المزيد من هذا". (تعاون).
- إذا أدى كتاب القواعد إلى تضليل المحقق، يقول النظام: "توقف! كانت هذه فكرة سيئة. لا تكتب ذلك مرة أخرى". (نقد).
- والأهم من ذلك، يتم تدريب المحقق أيضاً على قول: "انتظر، يبدو كتاب القواعد هذا مشبوهاً. سأتجاهله وأستخدم حكمي الخاص".

النتيجة: فلتر ذكي

بمجرد تدريبه، يعمل نظام C2 أثناء الاستخدام الواقعي كالتالي:

يقترح المستشار كتاب قواعد.
يقرأه المحقق ويسأل: "هل هذا مفيد أم مضلل؟"
إذا كان مفيداً: يستخدم المحقق كتاب القواعد لاتخاذ حكم فائق الدقة.
إذا كان مضللاً: يرمي المحقق كتاب القواعد في السلة ويحكم على القضية باستخدام عقله الخاص (دون كتاب القواعد).

لماذا يعد هذا أمراً مهماً للغاية؟

تظهر الورقة البحثية أن C2 يغير قواعد اللعبة لثلاثة أسباب:

إنه رخيص وقابل للتوسع: لا تحتاج إلى بشر مكلفين لكتابة معايير. يتعلم الذكاء الاصطناعي كتابتها والحكم عليها باستخدام بيانات بسيطة بنظام "أ أفضل من ب" فقط.
إنه آمن: لأن المحقق مدرب ليكون "ناقداً"، فإنه لن يقع ضحية للنصائح السيئة. إنه يقوم بتصفية الضجيج.
إنه قوي: اختبروا نموذجاً بـ 8 مليارات بارامتر (ذكاء اصطناعي متوسط الحجم) تم تدريبه باستخدام C2. لقد قدم أداءً يضاهي نموذجاً بـ 32 مليار بارامتر (أكبر بأربع مرات) يستخدم معايير كتبها بشر.

التشبيه: المتدرب والشريك الرئيسي

تخيل شركة محاماة:

الطريقة القديمة: يحاول الشريك الرئيسي (القاضي) القيام بكل شيء بمفرده.
الطريقة "الساذجة": يوظف الشريك الرئيسي متدرباً (المولد) لكتابة المذكرات القانونية. أحياناً يكون المتدرب عبقرياً، ولكن في كثير من الأحيان يكتب كلاماً غير مفهوم. إذا اتبع الشريك المتدرب بعمى، فسيخسر القضايا.
طريقة C2: يتدرب الشريك الرئيسي والمتدرب معاً. يتعلم المتدرب كتابة المذكرات التي تساعد بالفعل فقط. ويتعلم الشريك الرئيسي تمييز المذكرات السيئة فوراً وتجاهلها.
- النتيجة: يفوز الفريق بقضايا أكثر مما لو عمل الشريك الرئيسي بمفرده، ولا يحتاجون لتوظيف فريق من 100 محامٍ باهظ التكلفة للقيام بذلك.

باخت�اف شديد

C2 هو إطار عمل يعلم الذكاء الاصطناعي كيف يتعاون (توليد قواعد مفيدة) بينما يظل ناقداً (رفض القواعد السيئة). إنه يحول العملية الخطرة لـ "ذكاء اصطناعي يحكم على ذكاء اصطناعي" إلى نظام قوي، قابل للتوسع، وعالي الدقة، وكل ذلك دون الحاجة إلى ميزانية ضخمة لخبراء بشريين. إنه يثبت أنه إذا علمت الذكاء الاصطناعي كيف يكون ناقداً جيداً، فسيصبح حكماً أفضل بكثير.

إليك ملخص تقني مفصل لورقة البحث بعنوان "C2: نمذجة المكافأة المعززة بالمعايير القابلة للتوسع من التفضيلات الثنائية."

1. بيان المشكلة

تعد نماذج المكافأة (RMs) بالغة الأهمية لمحاذاة النماذج اللغوية الكبيرة (LLMs) مع القيم البشرية عبر التعلم التعزيزي من التغذية الراجعة البشرية (RLHF). ومع ذلك، غالبًا ما تعاني نماذج المكافأة القياسية ذات القيم القياسية (scalar RMs) في المجالات التي تتسم بمعايير تقييم ضمنية أو ذاتية (مثل الكتابة الإبداعية أو اتباع التعليمات).

التحقق المعزز بالمعايير (Rubric-Augmented Verification): يعد استخدام "المعايير" (معايير التقييم الصريحة) لتوجيه نموذج المكافأة حلاً واعدًا. ومع ذلك، تعتمد الطرق الحالية على التعليقات البشرية المكلفة أو النماذج المملوكة (proprietary models) لإنشاء هذه المعايير، مما يحد من قابليتها للتوسع.
فشل التوليد الذاتي (Failure of Self-Generation): يعد استخدام النموذج الأساسي لتوليد معاييره الخاصة (التوليد الذاتي) بديلًا قابلًا للتوسع، لكن المؤلفين وجدوا أنه غالبًا ما يفشل. فالمعايير منخفضة الجودة تؤدي إلى تضليل المتحقق (verifier)، مما يجعله يصدر أحكامًا خاطئة حتى لو كان سيصدر أحكامًا صحيحة بدون المعيار. يمثل هذا "فشلاً في التعاون" بين المولد والمتحقق.
التحدي الجوهري: كيف يمكننا بناء نظام تحقق معزز بالمعايير وقابل للتوسع باستخدام التفضيلات الثنائية فقط (البيانات الزوجية) بحيث يكون قويًا تجاه المعايير المضللة التي يتم توليدها؟

2. المنهجية: إطار عمل C2

يقترح المؤلفون إطار العمل C2 (Cooperative yet Critical - تعاوني ولكن ناقد)، والذي يدرب بشكل مشترك مولد المعايير (Rubric Generator) والمتحقق المعزز بالمعايير (Rubric-Augmented Verifier) ليعملا معًا بشكل تعاوني ناقد. الفكرة الجوهرية مستوحاة من نظرية الاتصال التعاوني: حيث يتعلم المتحدثون أي الإشارات تساعد المستمعين، ويتعلم المستمعون أي المتحدثين يمكن الوثوق بهم.

يعمل إطار العمل عبر ثلاث مراحل:

أ. تركيب أزواج المعايير التباينية (الخطوة 1)

بدلاً من الاعتماد على تسميات خارجية، يقوم C2 بتركيب معايير "مفيدة" و"مضللة" من بيانات التفضيل الثنائية:

الأساس (Baseline): يقوم نموذج أساسي بالحكم على مطالبة (prompt) بدون معيار لتحديد هامش الأساس ( $m_\emptyset$ ).
أخذ العينات (Sampling): يقوم النموذج بتوليد $K$ من المعايير المرشحة.
التوسيم (Labeling): يتم اختبار كل معيار لمعرفة مدى تأثيره في تحويل ثقة المتحقق نحو التسمية الصحيحة.
- المعيار المفيد ( $r^+$ ): يزيد الهامش للتنبؤات الصحيحة أو يقلب التنبؤات الخاطئة إلى صحيحة.
- المعيار المضلل ( $r^-$ ): يدفع المتحقق نحو التسمية الخاطئة أو يقلل الهامش للتنبؤات الصحيحة.
الاختيار: يتم اختيار المعيار الذي له أقوى تأثير إيجابي وأقوى تأثير سلبي لتشكيل زوج تبايني $(r^+, r^-)$ .

ب. مكونات التدريب (الخطوة 2)

مولد المعايير التعاوني ( $G_\phi$ ): يتم تدريبه باستخدام تحسين التفضيل المباشر (DPO). يعامل المعيار المفيد ( $r^+$ ) كناتج "مختار" والمعيار المضلل ( $r^-$ ) كناتج "مرفوض". هذا يعلم المولد إنتاج معاييد تساعد المتحقق حقًا.
المتحقق الناقد ( $V_\theta$ ): يتم تدريبه باستخدام تحسين السياسة النسبية للمجموعة (GRPO). يتم تدريبه على مهمتين:
1. بدون معيار: التنبؤ بالتفضيل القياسي.
2. المعزز بالمعيار: يستلم النموذج معيارًا ويجب عليه أولاً تقييم صلاحيته (بإخراج helpful أو misleading) قبل اتخاذ حكم نهائي.
- إشارة المكافأة: يتلقى المتحقق مكافأة مقابل التنبؤ الصحيح بالتفضيل ( $R_p$ )، والتنسيق الصحيح ( $R_f$ )، وتحديد صلاحية المعيار بشكل صحيح ( $R_r$ ).

ج. الاستدلال الانتقائي (الخطوة 3)

في وقت الاستدلال، يولد النظام معيارًا ويستعلم من المتحقق.

إذا قيم المتحقق المعيار على أنه helpful (مفيد)، فإنه يتبع المعيار لاتخاذ الحكم.
إذا قيم المتحقق المعيار على أنه misleading (مضلل)، فإنه يرفض المعيار ويعود إلى التقييم بدون معيار.
يضمن آلية الاختيار هذه أن النظام يستفيد فقط من المعايير عالية الجودة.

3. المساهمات الرئيسية

التوصيف التجريبي للمعايير المولدة ذاتيًا: يوضح المؤلفون أن المعايير المولدة ذاتيًا ثنائية المنوال: المعايير عالية الجودة تعزز الدقة بشكل كبير، بينما المعايير منخفضة الجودة تضعف الأداء فعليًا إلى ما دون خط الأساس الخالي من المعايير.
إطار عمل C2: طريقة مبتكرة لتدريب توليد المعايير والتحقق منها بشكل مشترك من التفضيلات الثنائية فقط، مما يلغي الحاجة إلى تسميات بشرية مكلفة للمعايير.
تصميم تعاوني-ناقد: من خلال تدريب المولد على إنتاج معايير مفيدة وتدريب المتحقق على تصفيتها بشكل ناقد، يتغلب C2 على "فشل التعاون" المتأصل في التوليد الذاتي الساذج.
القابلية للتوسع: يُمكّن C2 نموذجًا بـ 8 مليار معلمة من مطابقة أداء الأنظمة المعززة بالمعايير التي تستخدم معايير من نموذج أكبر بـ 4 أضعاف (32 مليار معلمة).

4. النتائج التجريبية

قيم المؤلفون C2 على النماذج الأساسية Tulu3-8B و Qwen3-8B مقابل خطوط أساس مثل نماذج الاستديلال (Reasoning RMs) القياسية (المدربة بـ GRPO) والتوليد الذاتي الساذج للمعايير.

التنبؤ بالتفضيل (RM-Bench):
- تفوق C2 على نماذج الاستدلال (Reasoning RMs) بمقدار 6.5 نقطة في RM-Bench (87.8% مقابل 81.3% لـ Qwen3-8B).
- طابق C2 أداء إعداد "المعيار الخارجي" (استخدام معايير من نموذج 32B) دون استخدام نموذج أكبر فعليًا.
- التوليد الذاتي الساذج (Reasoning RM + Self-Rubric) أدى في الواقع إلى إضعاف الأداء مقارنة بـ Base Reasoning RM، مما يؤكد خطر المعايير غير المفلترة.
التعلم التعزيزي من التغذية الراجعة (RLHF) في المهام النهائية (AlpacaEval 2.0):
- حققت السياسات المدربة باستخدام C2 كإشارة مكافأة زيادة قدرها 6.0 نقاط في معدل الفوز المتحكم في الطول على AlpacaEval 2.0 مقارنة بالسياسات المدربة باستخدام نماذج الاستدلال القياسية.
تحليل المتانة:
- كفاءة الحوسبة: مكاسب C2 ليست مجرد نتيجة لزيادة حوسبة الاستدلال؛ فهو يتفوق على خطوط الأساس المتساوية في الحوسبة.
- المتانة تجاه الضجيج: حتى عندما كانت 90% من المعايير المدخلة منخفضة الجودة، حافظ C2 على دقة عالية بفضل آلية الاستدلال الانتقائي، بينما انهارت خطوط الأساس.
- دراسة الاستئصال (Ablation): أدى حذف "المعايير المضللة" من التدريب إلى أكبر انخفاض في الأداء، مما يثبت أن تعلم ما لا يجب الوثوق به لا يقل أهمية عن تعلم ما يجب الوثوق به.

5. الأهمية

المحاذاة القابلة للتوسع: يوفر C2 مسارًا لنماذج مكافأة عالية الجودة وقابلة للتوسع دون عقبة التسمية البشرية للمعايير. فهو يستغل مجموعات بيانات التفضيل الثنائية الموجودة بالفعل (والتي تتوفر بكثرة) لتوليد الإشراف الدقيق اللازم.
التحقق الموثوق: يقدم مكون "المتحقق الناقد" آلية أمان ضد المعايير المهلوسة أو العدائية، مما يجعل عملية التحقق أكثر متانة من مناهج "اتباع المعايير" السابقة.
القدرة على التعميم: إطار العمل مستقل عن النموذج وقد أظهر نجاحًا عبر عائلات النماذج المختلفة (Tulu و Qwen)، مما يشير إلى إمكانية تطبيقه على نطاق واسع لتحسين محاذاة LLM في المجالات المعقدة والذاتية.

في الختام، يثبت C2 أنه من خلال نمذجة العلاقة التعاونية الناقدة صراحةً بين مولد المعايير والمتحقق، يمكن إنشاء نماذج مكافأة موثوقة وقابلة للتوسع تتفوق على نماذج الاستدلال الحديثة.