ملخص تقني: التفكير مع المعايير (Think-with-Rubrics)

1. بيان المشكلة

تتفوق أساليب التعلم التعزيزي (RL) الحالية للنماذج اللغوية الكبيرة (LLMs) في المهام القابلة للتحقق حيث توجد تسميات (labels) حقيقية. ومع ذلك، يظل توسيع التعلم التعزيزي ليشمل مهام اتباع التعليمات مفتوحة النهاية وغير القابلة للتحقق تحديًا نظرًا لافتقارها إلى إشارات مكافأة موثوقة. تعتمد الحلول الحالية غالبًا على مكافآت عددية (scalar rewards) أو نماذج مكافأة توليدية أحادية، والتي توفر إشرافًا سطحيًا للغاية لا يمكنه التقاط جودة الاستجابة بدقة.

بينما نجحت النماذج الحديثة القائمة على "المعايير كـ مكافأة" (Rubric-as-Reward) في تحسين ذلك من خلال تفكيك المهام إلى معايير مهيكلة وقابلة للتفسير، إلا أن هناك قيدًا حرجًا لا يزال قائمًا: تُعامل المعايير (rubrics) حصريًا كمقيمات خارجية. في الأطر الحالية، تُطبق المعاياي كعملية لاحقة (post-hoc) لقياس الأداء بعد أن يقوم النموذج بتوليد الاستجابة. هذا التصميم يمنع المعايير من توجيه عملية التوليد أو مسار التفكير الخاص بالنموذ ফুল بشكل نشط، مما يجعلها منفصلة عن مسار التفكير الأساسي للسياسة (policy).

2. المنهجية: التفكير مع المعايير (THINK-WITH-RUBRICS)

يقترح المؤلفون نموذج THINK-WITH-RUBRICS، وهو نموذج جديد يستبطن توليد المعايير كجزء أصيل من عملية التفكير الخاصة بالنموذج. بدلًا من توليد استجابة مباشرة، يقوم النموذج أولاً ببناء معيار ذاتي التوليد لتحديد معايير النجاح، ثم يولد استجابة مشروطة بتلك المعايير.

2.1 النموذج الجوهري

يتم تحليل مسار السياسة $\tau$ إلى خطوتين متتاليتين:

1. توليد المعايير: يقوم النموذج بتوليد معيار ذاتي التوليد $\hat{r}$ بناءً على التعليمات المدخلة $x$: $\hat{r} \sim \pi_\theta(\hat{r} | x)$.
2. توليد الاستجابة: يقوم النموذج بتوليد الإجابة النهائية $y$ مشروطة بكل من التعليمات والمعيار ذاتي التوليد: $y \sim \pi_\theta(y | x, \hat{r})$.

هذا يحول النموذج من منفذ سلبي إلى مفكر نشط يضع قواعد النجاح قبل البدء في التفكير.

2.2 سير عمل التدريب

تتكون عملية التدريب من مرحلتين:

المرحلة 1: التمهيد عبر الضبط الدقيق تحت الإشراف (SFT Warm-up)
لضمان التزام النموذج بتنسيق <rubric>...</rubric><answer>...</answer> المحدد ومنع التعلم التعزيزي من إضاعة الخطوات في محاولة الالتزام بالتنسيق، يقوم المؤلفون بعملية ضبط دقيق تحت الإشراف (SFT).

• تقطير المعلم (Teacher Distillation): يتم تقطير الاستجابات من نموذج Gemini-2.5-Flash على مجموعة بيانات Openrubrics.
• الهدف: تعظيم الاحتمالية (likelihood) عبر المسار بأكمله، مما يهيئ السياسة ببنية مستقرة تفصل بين بناء المعايير وتوليد الإجابة.

المرحلة 2: تدريب التعلم التعزيزي (RL Training)
يتم تحسين النموذج باستخدام خوارزمية DAPO مع نظام مكافأة مركب $R(\tau) = \alpha R_{gold} + \beta R_{self} + \gamma R_{fmt}$.

• متحقق المعايير (Rubric Verifier): يقوم متحقق متخصص وخفيف الوزن (مقطر من Qwen3-32B-Instruct) بتقييم ما إذا كانت الاستجابة تستوفي معايير محددة، ويخرج درجة امتثال موزونة.
• مكافأة اتساق المعيار الذهبي ($R_{gold}$): تقيس مدى امتثال الإجابة النهائية للمعايير "الذهبية" الحقيقية ($r^*$) من Openrubrics.
• مكافأة اتساق المعيار ذاتي التوليد ($R_{self}$): تقيس مدى امتثال الإجابة النهائية لمعيار النموذج الخاص الذي ولده ($\hat{r}$). هذا يفرض الاتساق الداخلي.
• مكافأة التنسيق ($R_{fmt}$): تمنع "تلاعب المكافأة" (مثل توليد معايير تافهة) من خلال ضمان تحليل المعايير والإجابة بنجاح وضمان وقوع عدد المعايير ضمن نطاق معقول (5–15، بقمة عند 10).

2.3 الفرضية الرئيسية

يفترض المؤلفون أن التحسين المشترك لـ $R_{gold}$ و $R_{self}$ يخلق حلقة تغذية راجعة: إذا كانت الإجابة تستوفي المعيار ذاتي التوليد وتجتاز أيضًا اختبار المعيار الذهبي بدرجة عالية، فإن المعيار ذاتي التوليد يتم تشجيعه ضمنيًا على التوافق مع المعيار الذهبي ($S(y, \hat{r}) \uparrow \land S(y, r^*) \uparrow \Rightarrow \hat{r} \approx r^*$).

3. المساهمات الرئيسية

1. تحول في النموذج (Paradigm Shift): تحويل المعايير من مقاييس تقييم خارجية إلى خطوات معرفية داخلية، مما يسمح للنماذج بتكييف المعايير ديناميكيًا مع سياقات محددة ضمن سلسلة التفكير.
2. سير عمل تدريب موحد: تقديم طريقة تجمع بين الإشراف عبر المعايير ذاتية التوليد والذهبية، مما يثبت أن الإشراف الصريح على جودة المعايير ليس ضروريًا؛ إذ يظهر تعلم المعايير من خلال تحسين اتساق الإجابة المشترك.
3. التطور الذاتي القابل للتوسع: إثبات قدرة النماذج على تحقيق أداء تنافسي باستخدام الإشراف من المعايير ذاتية التوليد فقط، مما يشير إلى مسار نحو التطور الذاتي القابل للتوسع دون الاعتماد على التوضيحات الخارجية.

4. النتائج التجريبية

أُجريت التجارب على نماذج Qwen3-8B و Qwen3-4B عبر ثلاثة اختبارات معيارية لاتباع التعليمات: IFEval و IFBench و InfoBench.

• مكاسب الأداء: يتفوق نموذج THINK-WITH-Rubrics باستمرار على خط الأساس "المعايير كـ مكافأة" (الذي يستخدم المعايير الذهبية فقط كمكافآت خارجية).
  • في نموذج 8B، حقق إعداد المكافأة المختلطة تحسنًا متوسطًا قدره 3.87 نقطة عن خط الأساس.
  • في نموذج 4B، بلغ التحسن 4.16 نقطة.
• تركيبة المكافأة: حقق إعداد المكافأة المختلطة (الذي يجمع بين الاتساق الذهبي وذاتي التوليد) أفضل النتائج. ومع ذلك، فإن إعداد "المكافأة ذاتية التوليد فقط" (57.17% متوسط) تفوق قليلاً على إعداد "المكافأة الذهبية فقط" (56.81%)، مما يؤكد جدوى التطور الذاتي.
• الكفاءة: كان متوسط طول التفكير لنموذج THINK-WITH-RUBRICS (231 توكن) أقصر بكثير من التفكير التقليدي (401 توكن)، مما يشير إلى أن المعايير تكثف المتطلبات الحيوية في عملية أكثر انسيابية.

تحليل الآلية

• تحسين الجودة الضمني: الإشراف عبر المعايير الذهبية يحسن ضمنيًا جودة المعايير ذاتية التوليد، حتى بدون مقارنة مباشرة على مستوى المعيار نفسه.
• الاتساق الداخلي: يحسن الإشراف عبر المعايير ذاتية التوليد بشكل كبير الاتساق بين معايير النموذج الخاصة وإجاباته. غالبًا ما تفشل النماذج غير المدربة في اتباع معاييرها المولدة؛ التوجيه الذاتي يخفف من عدم الاتساق الداخلي هذا.
• جودة المعايير مقابل الأداء: بينما يحسن الإشراف الذاتي فقط من أداء اتباع التعليمات، فإن المعايير الناتجة ليست بالضرورة مقيمات عامة أفضل (كما هو موضح في RewardBench-2). تكمن قيمتها في الحفاظ على اتساق القيود أثناء عملية التوليد الخاصة بالنموذج.

5. الأهمية والادعاءات

يزعم البحث أن THINK-WITH-RUBRICS يقدم حلاً قويًا لمواءمة النماذج اللغوية الكبيرة مع التعليمات مفتوحة النهاية من خلال سد الفجوة بين نمذجة المكافأة وتوليد السياسة.

• التوجيه النشط: من خلال معاملة المعايير كخطوات تفكير داخلية بدلًا من مجرد فحوصات خارجية، يقوم النموذج بتوجيه توليده بنشاط نحو النتائج المرغوبة، محاكيًا بذلك الإدراك الميتا معرفي (metacognition) البشري.
• إمكانية التطور الذاتي: القدرة على تحسين النموذج باستخدام المعايير ذاتية التوليد فقط تشير إلى مسار قابل للتوسع للتطور الذاتي، مما يقلل الاعتماد على التوضيحات الأرضية (ground-truth) الخارجية.
• القدرة على التعميم: يظل هذا النموذج فعالاً عبر أحجام مختلفة من النماذج (من 4B إلى 8B) وعبر تكوينات مختلفة لأوزان المكافأة، مما يظهر متانة عالية.

يخلص المؤلفون إلى أن دمج توليد المعايير في مسار التفكير هو نموذج عام لمواءمة المهام مفتوحة النهاية، مما يوفر نهجًا أكثر هيكلة واتساقًا ذاتيًا من طرق "التفكير" أو "سلسلة التفكير" التقليدية.