💬 NLP

ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning

تقدم الورقة البحثية ARES، وهو إطار عمل يقوم تلقائياً بتخليق بيانات تدريب قائمة على معايير تقييم (rubric) ضخمة ومحددة لكل حالة من الوثائق الخام لتعزيز أداء التعلم التعزيزي في النماذج اللغوية الكبيرة بشكل كبير، لا سيما للمهام المفتوحة المعقدة ومتعددة الأبعاد.

المؤلفون الأصليون: Xiaoyuan Li, Keqin Bao, Moxin Li, Yubo Ma, Yichang Zhang, Wenjie Wang, Fuli Feng, Dayiheng Liu

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaoyuan Li, Keqin Bao, Moxin Li, Yubo Ma, Yichang Zhang, Wenjie Wang, Fuli Feng, Dayiheng Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث ARES باستخدام لغة بسيية وتشبيهات إبداعية.

المشكلة الكبرى: فخ "الصح أو الخطأ"

تخيل أنك تعلم روبوتاً كيف يكتب. حالياً، أفضل طريقة لتعليم الروبوتات (النماذج اللغوية الكبيرة) لتصبح ذكية هي إعطاؤها مسائل رياضية أو ألغازاً برمجية. لماذا؟ لأن هذه المسائل لها إجابات واضحة. إذا حل الروبوت مسألة $2+2=4$ ، فإنه يحصل على نجمة ذهبية. وإذا قال $5$، فإنه يحصل على علامة X حمراء. هذا أمر سهل التحقق منه تلقائياً.

ولكن ماذا لو أردت من الروبوت أن يكتب قصيدة، أو يقدم نصيحة طبية، أو يتبع تعليمات معقدة؟ لا توجد إجابة واحدة "صحيحة". فالقصيدة يمكن أن تكون جميلة بطرق عديدة. والإجابة الطبية يجب أن تكون آمنة، دقيقة، ومتعاطفة.

تحاول الطرق الحالية إصلاح ذلك عبر الطلب من إنسان (أو ذكاء اصطناعي آخر) إعطاء تقييم بسيط مثل "جيد" أو "سيئ". لكن هذا يشبه معلماً يقول "عمل جيد" دون أن يخبر الطالب ما الذي فعله بشكل جيد أو ما الذي فاته. إنه وصف غامض جداً لدرجة لا تساعد الروبوت على التعلم بفعالية.

الحل: ARES (صانع المعايير الآلي)

يقترح المؤلفون ARES (التوليف الآلي للمعايير للتعلم المعزز القابل للتوسع). فكر في ARES كـ مساعد تدريس فائق الكفاءة ولا يكل، لا يكتفي فقط بتصحيح الأوراق، بل يكتب معايير التصحيح (الروبيرك) وأسئلة الاختبار في نفس الوقت.

إليك كيف يعمل، خطوة بخطوة:

1. المادة الخام (المكتبة)

تخيل مكتبة ضخمة من الكتب والمقالات (وثائق ما قبل التدريب) التي قرأها الروبوت بالفعل ولكن لم يتم اختباره فيها بعد.

الطريقة القديمة: قد تختار بعض الكتب، وتوظف خبراء لكتابة أسئلة الاختبار، ثم توظف خبراء آخرين لكتابة أدلة تصحيح تفصيلية (معايير) لكل سؤال. هذا أمر بطيء، مكلف، ويصعب توسيعه.
طريقة ARES: يأخذ ARES هذه الكتب الخام ويحولها تلقائياً إلى اختبار.

2. الخدعة السحرية (التوليد المشترك)

ينظر ARES إلى صفحة من النص ويقوم فوراً بثلاثة أشياء في خطوة واحدة:

يكتب سؤالاً: ينشئ سؤالاً بناءً على هذا النص (مثلاً: "ما هي الآثار الجانبية لهذا الدواء؟").
يكتب الإجابة: يعرف الإجابة الصحيحة بناءً على النص.
يكتب معيار التصحيح: وهذا هو السر. بدلاً من مجرد "صح/خطأ"، ينشئ ARES قائمة مراجعة بأوزان محددة.
- مثال: "هل ذكرت الأثر الجانبي؟ (+10 نقاط)". "هل حذرت من الحساسية؟ (+8 نقاط)". "هل اخترعت أثراً جانبياً وهمياً؟ (-10 نقاط)".

3. لمسة "الشخصية"

لجعل التدريب متنوعاً، لا يطرح ARES السؤال كآلة صماء، بل يخصص شخصية للسؤال.

تخيل نفس المقال الطبي.
الشخصية أ (طبيب): السؤال يطلب تفاصيل تقنية.
الشخصية ب (طالب): السؤال يطلب شرحاً مبسطاً.
الشخصية ج (مقدم رعاية): السؤال يطلب نصائح حول الرعاية اليومية.
هذا يضمن أن يتعلم الروبوت التحدث إلى أنواع مختلفة من الناس، وليس بأسلوب واحد فقط.

4. مراقبة الجودة (الفلتر)

قبل أن يرى الروبوت البيانات، يقوم ARES بفحص صارم للجودة:

هل السؤال قابل للإجابة دون النظر إلى الكتاب الأصلي؟ (مكتفٍ بذاته).
هل الإجابة موجودة بالفعل في الكتاب؟ (أمين للنص).
هل قائمة مراجعة التصحيح منطقية؟
إذا كان السؤال غامضاً جداً أو قائمة المراجعة معطلة، يقوم ARES باستبعادها.

لماذا هذا مهم (النتائج)

اختبر المؤلفون هذه الطريقة الجديدة على 100,000 مثال تم توليده عبر 10 مجالات مختلفة (مثل الرعاية الصحية، السفر، البرمجة، والعلوم الاجتماعية).

وقارنوا الروبوت المدرب باستخدام ARES بالطرق الأخرى:

القراءة القياسية: مجرد قراءة المزيد من الكتب (التعلم المستمر من النصوص).
التعلم بالتقليد: نسخ الإجابات تماماً (الضبط الدقيق تحت الإشراف).
التعلم المعزز الثنائي: الحصول على درجات "جيد/سيئ" فقط (التعلم المعزز بالتقييم الثنائي).

النتيجة:
أصبح الروبوت المدرب باستخدام ARES أفضل بشكل ملحوظ، خاصة في المهام مفتوحة النهايات.

الرعاية الصحية: تحسن بمقدار 6.4 نقطة. لقد تعلم تقديم نصائح أكثر أماناً واكتمالاً لأن المعايير عاقبت تجاهل تحذيرات السلامة.
اتباع التعليمات: تحسن بمقدار 15.5 نقطة. لقد تعلم اتباع قواعد معقدة (مثل "اكتب قصيدة بأسلوب شكسبير ولكن لا تستخدم حرف الـ 'e'") لأن المعايير قامت بتفكيك هذه القواعد إلى عناصر محددة وقابلة للتحقق.

الخلاصة

فكر في الطرق السابقة كمعلم يعطي فقط درجة نهائية "ناجح" أو "راسب".
ARES يشبه معلماً يعطيك تقرير درجات مفصل لكل واجب، يخبرك بالضبط ما هي النقاط التي اكتسبتها وما هي النقاط التي فقدتها، ثم يستخدم هذا التقرير لمساعدتك على التدرب خصيصاً على نقاط ضعفك.

من خلال أتمتة إنشاء تقارير الدرجات التفصيلية هذه من النصوص الخام، يسمح ARES للذكاء الاصطناعي بتعلم مهارات معقدة تشبه مهارات البشر (مثل الكتابة، تقديم المشورة، والتفكير المنطقي) بمقياس كان مستحيلاً في السابق.

ملخص تقني: ARES (توليف المعايير الآلي لتعزيز التعلم المعزز لنماذج اللغات الكبيرة القابل للتوسع)

بيان المشكلة

أثبت التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) فعالية عالية في تحسين نماذج اللغات الكبيرة (LLMs) في المجالات ذات النتائج التي يمكن فحصها تلقائيًا، مثل الرياضيات والبرمجة. ومع ذلك، يواجه هذا النموذج عائقًا أساسيًا في التوسع: فهو يعتمد على التحقق الثنائي على مستوى النتيجة، وهو أمر نادر ويصعب تنفيذه غالبًا في المهام المفتوحة مثل الرعاية الصحية، واتباع التعليمات، والكتابة المهنية.

تعاني المحاولات الحالية لإدخال المكافآت القائمة على المعايير (معايای التقييم متعددة الأبعاد) لمعالجة هذا القصور من مشكلتين رئيسيتين:

القابلية للتوسع: يتطلب بناء بيانات مصنفة وفق معايير محددة تدخلًا يدويًا من الخبراء لصياغة الأسئلة، والإجابات المرجعية، ومعايير التقييم، مما يمنع النشر على نطاق واسع.
الدقة: يتم تعريف العديد من المعايير الحالية على مستوى المهمة أو مجموعة البيانات، مما يجعلها تفشل في استيعاب متطلبات التقييم الدقيقة والفروق النوعية لكل سؤال على حدة.

وبناءً على ذلك، هناك نقص في مسارات العمل القابلة للتوسع التي يمكنها توليد بيانات معايير موزونة وخاصة بكل سؤال من وثائق ما قبل التدريب الخام، لتمكين تدريب التعلم المعزز (RL) في مجالات متنوعة ومفتوحة النهايات.

المنهجية: إطار عمل ARES

يقترح المؤلفون ARES (توليف المعايير الآلي لتعزيز التعلم المعزز القابل للتوسع)، وهو مسار مكون من ست مراحل مصمم لتحويل وثائق ما قبل التدريب الخام إلى نماذج جاهزة للتعلم المعزز تحتوي على أسئلة قائمة بذاتها، وإجابات مرجعية، ومعايير موزونة خاصة بكل سؤال.

1. مسار البيانات

يعمل المسار على وثائق ما قبل التدريب الخام (مثل DCLM، وFineWeb-Edu، وFinePDFs) من خلال المراحل التالية:

تصفية الوثائق: يقوم مصنف يعتمد على نموذج لغة كبير بإزالة الوثائق منخفضة الجودة، أو المليئة بالنصوص النمطية، أو الفقيرة بالسياق غير المناسبة لتوليد الأسئلة.
تخصيص المجال والشخصية: يتم وسم الوثائق المستبقاة بمجال دلالي (من 10 فئات) وشخصيات مستهدفة (مثل طبيب، طالب، مقدم رعاية). وهذا يهيئ عملية التوليد لإنتاج أنماط متنوعة من الأسئلة وعمق استدلالي متفاوت.
التوليد المشترك للأسئلة والأجوبة المعززة بالمعايير: يقوم نموذج توليد ( $M_{gen}$ $M_{g e n}$ ) بإنتاج العناصر التالية في آن واحد:
- سؤال قائم بذاته (يمكن الإجابة عليه دون الحاجة للوثيقة المصدر).
- إجابة مرجعية مستندة إلى الوثيقة المصدر.
- معيار خاص بالسؤال ( $R_q$ ) يتكون من مجموعة من المعايير الموزونة $\{(c_k, w_k)\}$ . يتضمن المعيار أوزانًا إيجابية للخصائص المرغوبة وأوزانًا سلبية لأنماذج الفشل الشائعة (مثل الهلوسة، أو نقص الإفصاحات الأمنية الحرجة).
التحقق من الجودة: يتم التحقق من صحة أزواج الأسئلة والأجوبة المولدة من حيث كونها قائمة بذاتها، ومدى أمانة الإجابة للمصدر، وخلوها من تسريب المعلومات (أي أن السؤال لا يكشف الإجابة بشكل بديهي).
التحقق من المعايير: يتم فحص المعايير للتأكد من أنها معايير جيدة الصياغة، وتغطية المتطلبات الرئيسية، ونطاقات الأوزان الصالحة، والتنوع الكافي.
تحويل التنسيق: يتم تسلسل الحالات التي تم التحقق منها في تنسيق متوافق مع تحسين السياسة النسبي للمجموعات (GRPO).

2. آلية المكافأة

على عكس المكافآت الثنائية، يستخدم ARES دالة مكافأة قائمة على المعايير للتدريب المعزز. بالنسبة لسؤال $q$ واستجابة $y$ ، يتم حساب المكافأة كالتالي:
$R_{rubric}(q, y; R_q) = \sum_{k=1}^{N_q} w_k^{(q)} \cdot J_\phi(q, y, c_k^{(q)})$
حيث أن $J_\phi$ هو حَكَم (Judge) يعتمد على نموذج لغة كبير يقوم بتسجيل درجة مدى تلبية الاستجابة للمعيار $c_k$ ، و $w_k$ هو وزن الأهمية. يوفر هذا إشرافًا تشخيصيًا كثيفًا، مما يسمح للنموذج بالحصول على رصيد جزئي للمكونات الصحيحة حتى لو كانت الاستجابة الإجمالية غير مثالية.

3. إعداد التدريب

يستخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO) كمحسن للتعلم المعزز. يتم تدريب السياسة لتعظيم المكافأة المتوقعة المستمدة من التقييم القائم على المعاياي، مع مقارنة مجموعة من الاستجابات المأخوذة لضبط المزايا.

المساهمات الرئيسية

مسار ARES: إطار عمل آلي وقابل للتوسع يحول وثائق ما قبل التدريب الخام إلى حالات جاهزة للتعلم المعزز تحتوي على أسئلة قائمة بذاتها، وإجابات مرجعية، ومعايير موزونة خاصة بكل سؤال.
مجموعة بيانات واسعة النطاق: بناء مجموعة بيانات مكونة من 100 ألف حالة مصنفة بالمعايير تغطي عشرة مجالات متنوعة (بما في ذلك العلوم الاجتماعية، والطب، والتكنولوجيا، والتعليم). توفر هذه المجموعة إشرافًا دقيقًا للمكافآت، وهي قدرة كانت مقتصرة سابقًا على مجموعات صغيرة منسقة يدويًا.
التحقق التجريبي: تقييم شامل عبر سبعة اختبارات معيارية يظهر أن التعلم المعزز القائم على المعايير والمُدرب باستخدام ARES يتفوق على التدريب المستمر (CPT)، والضبط الدقيق الموجه (SFT)، والتعلم المعزز ذي المكافأة الثنائية.

النتائج التجريبية

قام المؤلفون بتقييم نهج ARES-RL باستخدام Qwen3-4B-Base كنموذج أساسي مقابل أربعة خطوط أساس (Baselines): CPT، وNaturalReasoning (SFT)، وWebscale (التعلم المعزز ذو المكافأة الثنائية)، وARES-SFT (الضبط الدقيق الموجه على البيانات المولدة).

الأداء العام: حقق ARES-RL أعلى متوسط درجات عبر جميع الاختبارات السبعة، متفوقًا على CPT بمقدار 5.33 نقطة، وNaturalReasoning بمقدار 6.78 نقطة، والتعلم المعزز ذي المكافأة الثنائية بمقدار 4.39 نقطة.
المهام مفتوحة النهايات: لوحظت أكبر المكاسب في المهام متعددة الأبعاد ومفتوحة النهايات:
- اتباع التعليمات (IFEval): +19.27 نقطة عن التعلم المعزز ذي المكافأة الثنائية.
- الرعاية الصحية (HealthBench): +5.37 نقطة عن التعلم المعزز ذي المكافأة الثنائية.
- الكتابة (WritingBench): +1.15 نقطة عن التعلم المعزز ذي المكافأة الثنائية.
المهام المهيكلة: على الرغم من أن مجموعة البيانات تحتوي على أمثلة أقل للرياضيات (930) والبرمجة (1,631) مقارنة بالمجالات الأخرى، إلا أن ARES-RL حقق أيضًا نتائج هي الأفضل في مجالها (SOTA) على GSM8K وHumanEval+ وMBPP+، مما يشير إلى أن فوائد المكافآت القائمة على المعايير تنتقل إلى مهام الاستدلال المهيكلة.
دراسات الاستئصال (Ablation Studies):
- المهيكل مقابل الشمولي: تفوقت مناهج المعايير المهيكلة (ARES-RL وGeneral Rubric) على خطوط الأساس "الحَكَم الأعمى" (Blind Judge) الشمولية، مما يشير إلى أن تفكيك التقييم إلى معايير صريحة يوفر إشارات مكافأة أكثر فعالية.
- خصوصية السؤال: تفوق ARES-RL (المعايير الخاصة بالسؤال) على خط الأساس (General Rubric) في المتوسط، لا سيما في المهام ذات القيود المتغيرة (مثل IFEval)، مما يبرز أهمية تخصيص المعايير لكل سؤال.
- الاستقرار: بينما أدت المكافآت القائمة على الإجابة المرجعية أداءً جيدًا في اختبارات محددة مثل HealthBench، إلا أنها كانت غير مستقرة عبر أنواع المهام المتنوعة (مثل الانخفاض الكبير في IFEval)، بينما حافظ ARES-RL على أداء قوي.

الأهمية والادعاءات

يزعم البحث أن ARES يعالج العائق الحرج المتمثل في توسيع نطاق التعلم المعزز للمجالات مفتوحة النهايات من خلال أتمتة توليد إشارات مكافأة عالية الجودة ومتعددة الأبعاد. ويؤكد المؤلفون أن:

إشراف أغنى: توفر المكافآت القائمة على المعايير إشارات تعلم أكثر كثافة وتشخيصية من التحقق الثنائي أو المحاكاة القائمة على التقليد (SFT)، مما يمكن النماذج من التحسين لأجل جوانب دقيقة من جودة الاستجابة (مثل السلامة، والاكتمال، والالتزام بالقيود).
القابلية للتوسع: من خلال الاستفادة من وثائق ما قبل التدريب الخام، يلغي ARES الحاجة إلى التنسيق اليدوي من قبل الخبراء، مما يجعل التعلم المعزز القائم على المعايير متاحًا بنطاق واسع (100 ألف حالة) وتنوع في المجالات (10 مجالات) لم يكن ممكنًا في السابق.
التعميم: يوضح إطار العمل أن التعلم المعزز الذي يتم تحسينه باستخدام معايير متعددة الأبعاد يمكن أن يحسن الأداء ليس فقط في المجالات المفتوحة، بل يمكنه أيضًا الانتقال بفعالية إلى مهام الاستدلال المهيكل والبرمجة، حتى مع وجود بيانات محدودة خاصة بهذا المجال.

يخلص المؤلفون إلى أن ARES يمثل تحولًا من التنبؤ السلبي بالرموز (Tokens) إلى تحسين المكافآت المستهدف، محولًا الوثائق الخام إلى إشراف مركز لما بعد التدريب للقدرات المعقدة ومتعددة الأبعاد.