ملخص تقني: EVOLM – نماذج لغوية ذاتية التطور من خلال معايير تمييزية متطورة تطورياً

1. بيان المشكلة

تعتمد طرق ما بعد التدريب الحالية للنماذج اللغوية الكبيرة (LLMs)، وخاصة التعلم التعزيزي من التغذية الراجعة البشرية (RLHF)، بشكل كبير على الإشراف الخارجي لتوليد إشارات المكافأة. تشمل هذه المصادر تعليقات التفضيل البشرية، أو الأحكام القائمة على واجهات برمجة التطبيقات المملوكة (النموذج كحكم)، أو نماذج المكافأة القياسية (scalar reward models)، أو الإجابات الصحيحة القابلة للتحقق. كل منها يفرض سقفاً جوهرياً على تحسين النموذج: فالإدراك البشري لا يمكنه الإشراف على قدرات تتجاوز قدراته الخاصة؛ وواجهات برمجة التطبيقات المملوكة تخلق تبعيات وعوائق تكلفة؛ ونماذج المكافأة القياسية عرضة لـ "اختراق المكافأة" (reward hacking)؛ أما المكافآت القابلة للتحقق فتقتصر على المجالات التي تمتلك إجابات صحيحة (ground-truth).

بينما تختزن النماذج اللغوية الكبيرة معرفة تقييمية هائلة من مرحلة ما قبل التدريب، إلا أن الطرق الحالية تفشل في هيكلة هذه المعرفة الكامنة في شكل إشارة تدريب موثوقة ومستدامة ذاتياً. التحدي المركزي يكمس في استخراج وهيكلة هذه القدرة التقييمية في شكل يسمح بالتقييم الموثوق دون إشراف خارجي، مما يتيح للنموذج التحسن ذاتياً بما يتجاوز حدود معايير التقييم الثابتة.

2. المنهجية: EVOLM

يقترح المؤلفون EVOLM، وهو إطار عمل لما بعد التدريب يمكّن نموذجاً لغوياً واحداً من تطوير قدراته على التوليد (السياسة - policy) والتقييم (المعيار - rubric) بشكل متطور تطورياً (co-evolve). الابتكار الجوهري هو الهيكلة الصريحة للمعرفة التقييمية في معايير تمييزية (discriminative rubrics)—وهي معايير بلغة طبيعية مُحسّنة لمساعدة "حكم" صغير وثابت على التمييز بين الاستجابات المفضلة وغير المفضلة.

2.1 المكونات الأساسية

• نموذج السياسة ($\pi_\theta$): يولد الاستجابات للأسئلة.
• مولد المعايير ($\rho_\phi$): ينتج معايير تقييم خاصة بكل حالة (معايير) بلغة طبيعية لسؤال معين.
• الحكم الثابت ($J$): نموذج لغوي صغير وثابت (مثل Qwen3-1.7B) يقوم بتسجيل درجات الاستجابات بناءً على المعايير المولدة. تظل معاملات (parameters) الحكم ثابته طوال عملية التدريب.

2.2 هدف وآلية التدريب

يعامل EVOLM المعيار كمتغير كامن ويصيغ توليد المعايير عبر الاستدلال التبايني (variational inference). الهدف هو تعظيم المنفعة التمييزية للمعيار: يكون المعيار "جيداً" إذا أدى، عند تطبيقه بواسطة الحكم الثابت، إلى منح الاستجابة المفضلة ($a^+$) درجة أعلى من الاستجابة غير المفضلة ($a^-$).

تعظم دالة التدريب "الحد الأدنى للاحتمال الأدنى" (ELBO)، حيث تكافئ المعايير التي توسع الفجوة في الدرجات بين الاستجابة المفضلة والاستجابة غير المفضلة:
$$\mathcal{L}_{rubric}(\phi) = \mathbb{E}_{r \sim \rho_\phi(r|q)} [\log \sigma(J(q, r, a^+) - J(q, r, a^-))] - \text{KL}(\rho_\phi(r|q) \| \rho_{ref}(r|q))$$
في الممارسة العملية، يتم تحسين ذلك باستخدام مكافأة قائمة على الهامش (margin-based reward) مدمجة مع مكافأة التنسيق لضمان التزام المعيار بمخطط (schema) JSON مهيكل يمكن للحكم معالجته.

2.3 حلقة التدريب المتطورة تطورياً

تتبع الطريقة مرحلتين بالتناوب باستخدام خوارزمية GRPO (تحسين السياسة النسبية للمجموعة):

1. المرحلة الأولى (تحديث السياسة): يتم تجميد مولد المعايير. تقوم السياسة بتوليد الاستجابات، والتي يتم تسجيل درجاتها بواسطة الحكم الثابت باستخدام المعايير الحالية. يتم تحديث السياسة لتعظيم هذه المكافآت المستمدة من المعايير.
2. المرحلة الثانية (تحديث المعيار): يتم تجميد السياسة. يتم إنشاء أزواج التفضيل $(a^+, a^-)$ بالكامل من مخرجات السياسة نفسها. ينتج مولد المعايير معايير مرشحة، والتي يتم تقييمها بواسطة الحكم على كلا الاستجابتين. يتم تحديث مولد المعايير لتعظيم هامش الدرجات بين الاستجابة المفضلة وغير المفضلة.

2.4 بناء أزواج التفضيل

لتجنب الملصقات الخارجية، يبني EVOLM أزواج التفضيل بالكامل من مخرجات السياسة الخاصة باستخدام ثلاث طرق متكاملة:

• التباين الزمني (Temporal Contrast): يربط بين استجابة حالية ($a^+$) واستجابة سابقة ($a^-$) من نسخة سابقة للتدريب. ومع تحسن السياسة، يخلق الفارق الزمني منهجاً تعليمياً طبيعياً يزداد صعوبة.
• السؤال المستنتج (Inferred Question - IQ): تستنتج السياسة السؤال الذي تعالجه الاستجابة المفضلة، ثم تولد استجابة غير مفضلة لذلك السؤال المستنتج لاختبار الصلة.
• المعيار المشروط (Rubric-Conditioned - RC): يولد استجابة مفضلة مشروطة بالمعيار واستجابة غير مفضلة مشروطة بالسؤال فقط، لاختبار فائدة المعيار.

3. المساهمات الرئيسية

• إطار عمل ذاتي التطور: يعد EVOLM أول طريقة تُعرف جودة المعيار رسمياً بالمنفعة التمييزية وتدرب مولد المعايير بشكل نهائي (end-to-end) دون إشراف خارجي، أو واجهات برمجة تطبيقات مملوكة، أو أدوات تحقق خاصة بالمهمة.
• التطور المشترك (Co-Evolution): يؤسس إطار العمل حلقة تغذية راجعة حيث يجبر تحسن السياسة المعايير على أن تصبح أكثر حدة (لتبقى تمييزية)، وتوفر المعايير الأكثر حدة مكافآت أكثر إفادة لدفع المزيد من تحسين السياسة.
• آلية إثراء المعايير: يكشف التحليل النوعي أن المعاياي المدربة تتطور من تسميات مجردة إلى فحوصات ملموسة وقابلة للتحقق. فهي تدمج قيماً متوقعة محددة (مثلاً: "الإجابة هي 144") وتفكك القيود إلى مهام فرعية قابلة للتحقق بشكل فردي، مما يحول الحكم الشمولي إلى مطابقة أنماط يمكن حتى للأحكام الصغيرة القيام بها بموثوقية.
• التعميم: تنتقل المعاياي المتعلمة بفعالية إلى سياسات غير مرئية، وعائلات نماذج مختلفة، ومجالات خارج التوزيع (out-of-distribution) مثل مهام البحث العميق.

4. النتائج التجريبية

أُجريت التجارب باستخدام Qwen3-8B كنموذج للسياسة/مولد المعايير، وQwen3-1.7B كحكم ثابت.

• الأداء في المهام اللاحقة: حقق النموذج المدرب بـ EVOLM متوسط 69.3% في مجموعة اختبار OLMo3-Adapt (12 اختباراً مرجعياً)، متفوقاً على:
  • السياسات المدربة باستخدام معايير مستحثة من GPT-4.1 (66.7%).
  • السياسات المدربة باستخدام معايير مستحثة من Qwen3-8B (67.5%).
  • نماذج المكافأة القياسية المتطورة (SkyWork-RM-V2) بنسبة 59.7%.
  • طرق RL الأخرى القائمة على المعايير (RAR, RRD, RLCER, RUBRIC-ARM) والتي تراوحت بين 66.7% و67.6%.
• جودة المعايير: تفوقت المعايير المتعلمة على GPT-4.1 في RewardBench-2 بنسبة 25.7% (46.0% مقابل 20.3% في مقاييس محددة، رغم أن الملخص يشير إلى تحسن بنسبة 25.7% عن معايير GPT-4.1 في الاختبار المرجعي).
• التعميم:
  • عبر السياسات: حسنت المعايير المدربة على Qwen3-8B الأداء اللاحق على سياسات غير مرئية من Qwen3-4B وLlama-3.1-8B مقارنة بمعايير GPT-4.1.
  • عبر الأحكام: ظلت المعايير المدربة باستخدام حكم 1.7B فعالة عند اقترانها بأحكام أكبر (Qwen3-8B, OLMo-3-7B)، مما أظهر مكاسب كبيرة مقارنة بالنماذج المرجعية المستندة إلى التلقين (prompted baselines).
  • خارج التوزيع: في مهام البحث العميق (HealthBench, ResearchQA)، حققت معايير EVOLM توافقاً زوجياً أعلى مع معايير الخبراء البشر من GPT-4.1 (58.4% مقابل 52.5% في HealthBench).
• دراسات الاستبعاد (Ablation Studies):
  • حجم الحكم: أنتج الحكم الصغير 1.7B أفضل سياسة لاحقة، مما يشير إلى أن جودة محتوى المعيار أكثر أهمية من قدرة الحكم نفسه.
  • ديناميكيات التدريب: تفوق التدريب المتطور تطورياً (co-evolving) على التدريب المتسلسل (تدريب المعايير ثم السياسة)، مما يسلط الضوة على أهمية حلقة التغذية الراجعة التكيفية.
  • الإفراط في تحسين المكافأة: أنتج نموذج المكافأة القياسي، رغم هيمنته على الاختبارات الثابتة (RewardBench-2: 86.4%)، أضعف سياسة لاحقة، مما يؤكد أن المعايير الثابتة تفشل في التكيف مع توزيع السياسة المتغير.

5. الأهمية والادعاءات

يزعم البحث أن EVOLM يثبت أن هيكلة القدرة التقييمية للنموذج في معايير تمييزية متطورة تطورياً يتيح التحسن الذاتي دون إشراف خارجي.

يجادل المؤلفون بأن كل مصدر مكافأة خارجي يفرض سقفاً: فالإدراك البشري لا يمكنه الإشراف على قدرات تتجاوز قدراته، والمعايير الثابتة لا يمكنها التكيف مع توزيع المخرجات الذي تخلقه السياسة المتعلمة. من خلال تطوير معايير التقييم بالتزامن مع السياسة، يزيل EVOLM هذه القيود. وقد تبين أن هيكل التقييم المتعلم قابل للانتقال عبر السياسات والأحكام والمجالات غير المرئية، مما يشير إلى مسار نحو تحسين ذاتي مستقل وقابل للتوسع.

يضع هذا العمل المعايير (rubrics) ليس فقط كأداة للقابلية للتفسير، بل كآلية لاستخراج المعرفة التقييمية الكامنة من مرحلة ما قبل التدريب وهيكلتها في إشارة تدريب موثوقة ومستدمة ذاتياً.