🤖 machine learning

RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards

يُعد RubricEM إطار عمل للتعلم المعزز الميتاوي (meta-reinforcement learning) يعمل على تعزيز وكلاء البحث العميق عبر استخدام المعايير (rubrics) كواجهة مركزية لهيكلة تفكيك السياسة على مراحل، وتوفير تغذية راجعة دلالية كثيفة عبر خوارزمية GRPO المهيكلة للمراحل، وتطوير سياسة ميتاوية للتفكير، مما يحقق أداءً يضاهي الأنظمة المملوكة في معايير البحث طويلة المدى.

المؤلفون الأصليون: Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعيين فريق من الباحثين المبتدئين لكتابة تقرير طويل ومعقد حول موضوع مثل "كيف يؤثر النوم على الشيخوخة؟". في الماضي، كان تدريب هؤلاء الباحثين من الذكاء الاصطناوي يشبه إعطاءهم درجة نهائية فقط بعد تسليم المقال النهائي. إذا كان المقال سيئاً، فلن يعرف الذكاء الاصطناعي لماذا — هل كان البحث سطحياً؟ هل فاتته حقيقة رئيسية؟ هل كانت الخاتمة ضعيفة؟ كل ما عرفه هو أنه رسب، وكان عليه التخمين عما يجب فعله في المرة القادمة.

RubricEM هي طريقة تدريب جديدة تغير قواعد اللعبة. فبدلاً من الانتظار حتى النهاية، تمنح الذكاء الاصطناعي "نموذج تقييم" (قائمة مراجعة مفصلة لما يجعل الإجابة جيدة) قبل أن يبدأ، وتستخدم هذه القائمة لتوجيه كل خطوة من خطوات العملية.

إليك كيف يعمل الأمر، مقسماً إلى تشبيهات بسيطة:

1. "نموذج التقييم" كبوصلة مشتركة

فكر في نموذج التقييم ليس مجرد ورقة درجات للمعلم، بل كـ بوصلة مشتركة للفريق بأكمله.

الطريقة القديمة: يخمن الذكاء الاصطناوي ما يجب فعله، ويبحث عن المعلومات، ثم يكتب. وفي النهاية، يأتي القاضي ويقول: "عمل سيء".
طريقة RubricEM: قبل أن يبدأ الذكاء الاصطناعي في البحث حتى، يكتب قائمة المراجعة الخاصة به: "أحتاج إلى إيجاد أدلة على الروابط السببية، وليس مجرد الارتباطات. أحتاج إلى التمييز بين أنواع مختلفة من فقدان الذاكرة".
السحر: تُستخدم هذه القائمة نفسها من قبل الذكاء الاصطناوي للتخطيط، ومن قبل الذكاء الاصطناوي لمراجعة عمله، ومن قبل "القاضي" (ذكاء اصطناعي آخر) لتقييم العمل. الجميع يتحدثون نفس اللغة.

2. تقسيم الرحلة إلى "مراحل" (خط الإنتاج)

مهام البحث الطويلة تشبه بناء منزل. لا يمكنك فقط قول "ابنِ منزلاً" وتتوقع نتيجة جيدة. أنت بحاجة إلى مراحل: التخطيط، البحث، المراجعة، والبناء.

تجبر RubricEM الذكاء الاصطواعي على التوقف وتغيير مهامه في نقاط محددة:

المرحلة 1 (التخطيط): "هذه هي قائمة المراجعة الخاصة بي. ما الذي أحتاج إلى إيجاده؟"
المرحلة 2 (البحث): "لقد وجدت هذا. هل يتوافق مع قائمة المراجعة الخاصة بي؟ هل أحتاج للبحث أكثر؟"
المرحلة 3 (المراجعة): "لننظر في ملاحظاتي. هل أجبت بالفعل على السؤال، أم أنني كنت أهذي فقط؟"
المرحلة 4 (الإجابة): "حسناً، الآن سأكتب التقرير النهائي بناءً على المراجعة."

الفائدة: بدلاً من الحصول على درجة "راسب" كبيرة في النهاية، يحصل الذكاء الاصطناوي على درجة لكل مرحلة. إذا كانت مرحلة "البحث" ضعيفة، سيعرف الذكاء الاصطناوي بالضبط أين يجب أن يتحسن في المرة القادمة. هذا يشبه مدرباً يقول للعداء: "بدايتك كانت رائعة، لكن منعطفك عند المنحنى كان بطيئاً"، بدلاً من مجرد قول "لقد خسرت السباق".

3. دفتر "التأمل" (التعلم من الأخطاء)

هذا هو الجزء الأكثر تميزاً. عادةً، عندما يرتكب الذكاء الاصطناوي خطأً، فإنه يقوم فقط بتحديث حساباته الداخلية (الأوزان) وينسى التفاصيل المحددة لسبب فشله.

تضيف RubricEM سياسة ميتا-تأمل (Reflection Meta-Policy). فكر في هذا كـ دفتر ملاحظات مشترك أو ويكي للفريق.

بعد انتهاء المهمة وتقييمها، يُسأل الذكاء الاصطناعي: "ما هو أهم درس من هذه المحاولة؟"
يكتب ملاحظة قصيرة وذكية (تأمل) مثل: "في المرة القادمة، لا تقل فقط 'النوم سيء للذاكرة'. كن محدداً: 'النوم العميق ينظف سموم الدماغ، وهذا هو السبب الحقيقي'."
تُحفظ هذه الملاحظة في بنك نماذج التقييم (Rubric Bank).
العائد: إذا واجه الذكاء الاصطناعي (أو ذكاء اصطناعي مشابه) سؤالاً مشابهاً لاحقاً، يمكنه البحث عن هذه الملاحظة في البنك. الأمر يشبه وجود مهندس خبير يهمس في أذنك: "مهلاً، لقد رأيت هذا من قبل؛ إليك الحيلة التي نجحت في المرة الماضية".

4. "الرقصة غير المتزامنة" (القيام بشيئين في وقت واحد)

تدريب هذه الأنظمة يكون عادةً بطيئاً لأنك تضطر لانتظار انتهاء الذكاء الاصطناوي من المهمة، ثم تقييمه، ثم كتابة التأمل، ثم بدء المهمة التالية.

تستخدم RubicEM خدعة خط الإنتاج الذكية:

بينما ينشغل الذكاء الاصطناوي بالقيام بالعمل الشاق المتمثل في البحث وكتابة الدفعة التالية من التقارير، يقوم جزء منفصل من النظام بهدوء بتقييم الدفعة السابقة وكتابة التأملات.
بحلول الوقت الذي ينهي فيه الذكاء الاصطناوي الدفعة الجديدة، تكون الدروس المستفادة من الدفعة القديمة جاهزة بالفعل للاستخدام. هذا يجعل عملية التدريب أسرع وأكثر كفاءة.

النتائج

اختبرت الورقة البحثية هذا على نموذج يسمى RubricEM-8B (وهو نموذج ذكاء اصطناوي صغير نسبياً).

الأداء: تفوق على باحثي الذكاء الاصطناوي مفتوحي المصدر الآخرين، واقترب كثيراً من أداء الأنظمة المملوكة والمكلفة (مثل تلك التابعة لـ Google أو OpenAI) في مهام البحث المعقدة.
الكفاءة: حقق هذه النتائج بخطوات تدريب أقل من الطرق السابقة.
تعدد الاستخدامات: على الرغم من تدريبه على تقارير طويلة ومعقدة، إلا أنه أصبح أفضل في الإجابة على الأسئلة القصيرة والبسيطة أيضاً، مما يظهر أنه تعلم "مهارات بحث عامة" بدلاً من مجرد حفظ تنسيقات التقارير.

باخت تختصر

تعلم RubricEM الباحثين من الذكاء الاصطناوي من خلال:

منحهم قائمة مراجعة (نموذج تقييم) لاتباعها في كل خطوة.
تقييمهم في كل خطوة من العملية، وليس فقط النتيجة النهائية.
جعلهم يكتبون الدروس المستفادة (التأملات) في دفتر ملاحظات مشترك للاستخدام المستقبلي.
تشغيل التدريب بكفاءة ليتعلموا بشكل أسرع.

إنها تحول الذكاء الاصطناوي من طالب يحصل فقط على درجة نهائية إلى محترف لديه موجه، وقائمة مراجعة، ودفتر ملاحظات شخصي لأفضل الممارسات.

ملخص تقني: RubricEM

بيان المشكلة

يمثل تدريب وكلاء البحث العميق (deep research agents)—وهي أنظمة قادرة على التخطيط الذاتي، والبحث، وتقييم الأدلة، وتوليد تقارير طويلة الصيغة—تحديًا جوهريًا لتعلم التعزيز (Reinforcement Learning - RL). فخلافًا للمهام ذات الإجابات القابلة للتحقق من الصحة (مثل المسائل الرياضية أو توليد الأكواد البرمجية)، فإن مخرجات البحث العميق مفتوحة النهايات وتفتقر إلى مقاييس صحة موضوعية. وبناءً على ذلك، تواجه أساليب تعلم التعزيز التقليدية ثلاث عقبات رئيسية:

المكافآت المتفرقة والمتأخرة: عادة ما تكون التغذية الراجعة عامة ولا تصل إلا في نهاية مسارات طويلة متعددة الخطوات، مما يجعل عملية تخصيص الائتمان (credit assignment) صعبة.
الافتقار إلى التوجيه القابل لإعادة الاستخدام: تفشل طرق ما بعد التدريب التقليدية في تحويل المحاولات التي تم تقييمها إلى تحديثات بارامترية، حيث تعجز عن إنتاج توجيه صريح وقابل لإعادة الاستخدام للمحاولات المستقبلية.
الاستكشاف غير الفعال: بدون إشراف وسيط مهيكل، تعاني الوكلاء من صعوبة في تفكيك المهام المعقدة، مما يؤدي إلى تراكم الأخطاء عبر آفاق زمنية طويلة.

غالبًا ما تعتمد الجهود مفتوحة المصدر الحالية على وسطاء بحث قابلة للتحقق أو بيانات محاكاة عالية الجودة، بينما تظل الأنظمة المملوكة (مثل Gemini وOpenAI Deep Research) غامضة فيما يتعلق بمنهجيات التدريب الخاصة بها. السؤال المركزي الذي تعالجه الورقة هو: كيف يمكن لتعلم التعزيز تدريب وكلاء البحث العميق بما يتجاوز المكافآت القابلة للتحقق مع تمكين تخصيص الائتمان طويل الأمد والتعلم من الخبرة؟

المنهجية: RubricEM

يقترح المؤلفون RubricEM، وهو إطار عمل لتعلم التعزيز موجه بالمعايير (rubric-guided RL)، يعامل المعايير ليس فقط كمقيمات للإجابة النهائية، بل كواجهة مشتركة تهيكل تنفيذ السياسة، وتقييم الحكم، وذاكرة الوكيل. يدمج إطار العمل ثلاثة مكونات أساسية:

1. تفكيك السياسة الموجه بالمعايير (الهيكل الداعم المهيكل)

بدلاً من العملية التوليدية المتسلسلة المسطحة، يفرض RubricEM هيكل مراحل صريح على مسارات الوكيل: التخطيط $\to$ البحث $\to$ المراجعة $\to$ الإجابة.

المعايير المولدة ذاتيًا: خلال مرحلة التخطيط، يقوم الوكيل بتوليد معايير خاصة بالمهمة (قوائم مراجعة معرفية، معايير تحليلية، وقيود سلبية) توجه المراحل اللاحقة.
المعاييم التشغيلية: هذه المعايير ليست ثابتة؛ فهي تشترط استعلامات البحث، وتعمل كمرجع للتقييم الذاتي في مرحلتي البحث والمراجعة، وتحدد معايير التركيب النهائي.
التبرير النظري: تقدم الورقة برهانًا نظريًا (المبرهنة 1) يوضح أن معلومات المرحلة الصريحة تحسن بشكل صارم القيمة المتوقعة للسياسة مقارنة بالسياسة المسطحة عندما تكون السياقات المحلية غامضة عبر أوضاع اتخاذ القرار المختلفة (مثل البحث مقابل التركيب).

2. تحسين السياسة النسبي لمجموعات الهياكل المرحلية (SS-GRPO)

لمعالجة المكافآت المتفرقة، يقدم RubricEM خوارزمية تحسين السياسة النسبي لمجموعات الهياكل المرحلية (SS-GRPO).

تخصيص ائتمان كثيف: بد แทนًا من بث درجة نهائية واحدة لجميع الرموز (tokens)، يقوم SS-GRPO بتعيين درجات خاصة بكل مرحلة ( $R_{i,k}$ ) لمقاطع التخطيط، والبحث، والمراجعة، والإجابة باستخدام حكام موجهين بالمعايير.
التبعية المرحلية السببية: تحدد مصفوفة سببية $\Lambda$ كيفية مساهمة درجات المراحل اللاحقة في عائد المراحل السابقة ( $G^{\Lambda}_{i,k} = \sum_{j=k}^{K} \lambda_{k,j} R_{i,j}$ )، مما يضمن حصول المراحل المبكرة على الائتمان لتمكين النتائج الناجلة في المراحل اللاحقة.
حكم المعايير المتطور: يحافظ الحكم على مخزن (buffer) من المعايير التمييزية لكل مرحلة، متكيفًا مع التوزيع الحالي للسياسة. وهذا يسمي بإمكانية تقديم تغذية راجعة على مستوى العملية دون الحاجة إلى مكافآت وسيطة مثالية (oracle).

3. تدريب السياسة العليا للانعكاس (Reflection Meta-Policy)

يعامل RubricEM إعادة استخدام الخبرة كهدف صريح لتعلم التعزيز من خلال سياسة عليا ذات هيكل عظمي مشترك.

التدريب المشترك: يعمل الهيكل العظمي نفسه كسياسة للمهمة ومولد للانعكاس في آن واحد. بعد تقييم المسار، يقوم الهيكل بتوليد مرشحي انعكاس مستندة إلى المعايير (تلخص الدروس المستفادة).
اختيار محكوم بالحكم: يقوم حكم (LLM) بتقييم هذه المرشحات بناءً على فائدتها لـ التحسين داخل الحلقة (تحسين المحاولة الحالية) والنقل عبر الحلقات (تحسين المحاولات المستقبلية على الأسئلة ذات الصلة).
بنك المعايير: يتم تخزين أعلى انعكاس في النقاط ضمن بنك المعايير كذاكرة باللغة الطبيعية. أثناء التدريب، يسترجع الوكيل هذه الانعكاسات لتكييف عمليات التشغيل المستقبلية.
الكفاءة غير المتزامنة: لتجنب الاختناقات التسلسلية، يستخدم النظام خط معالجة غير متزامن حيث يتم توليد الانعكاس والتدريب للخطوة $N$ بالتوازي مع عمليات تشغيل المهمة للخطوة $N+1$ ، مما يضيف عبئًا ضئيلاً على وقت التنفيذ الفعلي.

المساهمات الرئيسية

إطار عمل RubricEM: بنية مبتكرة لتعلم التعزيز توحد تفكيك السياسة، وتخصيص الائتمان، وتطور الذاكرة تحت واجهة واحدة موجهة بالمعايير.
خوارزمية SS-GRPO: نسخة من خوارب GRPO خالية من الناقد (critic-free) ومدركة للمراحل، توفر تغذية راجعة دلالية كثيفة للتحسين طويل الأمد دون الحاجة إلى مكافآت مثالية على مستوى الخطوة.
التعلم التعزيزي الميتا عبر الانعكاس: طريقة لتدريب سياسة عليا ذات هيكل عظمي مشترك تقوم باستخلاص المسارات المقيمة إلى توجيهات قابلة لإعادة الاستخدام ومستندة إلى المعايير، مما يحول "المحاولات المقيمة" إلى "خبرة قابلة لإعادة الاستخدام".
التحقق التجريبي: دراسات استئصال شاملة واختبارات معيارية تثبت أن الجمع بين الهيكل الداعم، والائتمان المرحلي، وتدريب الانعكاس يحقق أداءً متفوقًا بعدد خطوات تدريب أقل مقارنة بالأعمال السابقة.

النتائج التجريبية

قيم المؤلفون نموذج RubicEM-8B (نموذج بـ 8 مليارات معلمة يعتمد على Qwen3) على أربعة اختبارات معيارية للأبحاث طويلة الصيغة: HealthBench، وResearchQA، وDeepResearchBench (DRB)، وResearchRubrics.

الأداء: حقق RubricEM-8B متوسط درجة يبلغ 55.5، وهو أعلى نتيجة بين النماذج غير المملوكة، متفوقًا على النماذج المرجعية القوية مثل DR Tulu-8B (53.6) وWebThinker-32B-DPO (49.0).
المقارنة بالأنظمة المملوكة: يقترب من أداء الأنظمة المملوكة (مثل OpenAI Deep Research وGemini Deep Research)، متفوقًا على Perplexity Deep Research في المتوسط ومتجاوزًا إياه في اختبار DRB.
الكفاءة: يصل النموذج إلى ذروة أدائه في 1,400 خطوة تعلم تعزيز، وهو أقل بكثير من الـ 1,900 خطوة التي يتطلبها DR Tulu، رغم بدئه من نموذج معلم أضعف (Gemini-3.1-Pro مقابل GPT-5).
التعميم: رغم تدريبه أساسًا على البيانات طويلة الصيغة، أظهر RubricEM قدرة قوية على النقل (zero-shot transfer) إلى الاختبارات قصيرة الصيغة (SimpleQA، 2Wiki، WebWalker، DSQA)، مما يشير إلى أن المهارات المتعلمة هي قدرات استخدام الأدوات وتأسيس الأدلة وليست مجرد تنسيق التقارير.
دراسات الاستئصال: يؤدي إزالة أي مكون (الهيكل الداعم، أو SS-GRPO، أو السياسة العليا) إلى تدهور الأداء، مما يؤكد أن المكونات الثلاثة ضرورية لتحقيق المكاسب الملحوظة.

الأهمية والادعاءات

تدعي الورقة أن RubricEM يقدم "وصفة" لتعلم التعزيز طويل الأمد بما يتجاوز المكافآت القابلة للتحقق: إظهار هيكل المهمة، وتخصيص الائتمان لهذا الهيكل، وتحويل المحاولات المقيمة إلى خبرة قابلة لإعادة الاستخدام.

ما وراء المكافآت القابلة للتحقق: يثبت العمل إمكانية تدريب وكلاء بحث عميق عالية الجودة دون وجود إجابات صحيحة (ground-truth)، بالاعتماد بدلاً من ذلك على التغذية الراجعة الدلالية الموجهة بالمعايير.
التعلم التعزيزي الميتا للوكلاء: يطور المجال من خلال الانتقال من التوجيه وقت الاستنتاج (مثل الأمثلة قليلة المرات) إلى التطور وقت التدريب، حيث تتطور معلمات الوكيل وذاكرته النصية معًا.
القابلية للتوسع: تشير النتائج إلى أن النماذج المدمجة (8B) يمكنها تحقيق أداء تنافسي في مهام البحث المعقدة عندما تُجهز بالبدائل الهيكلية والخوارزميات الصحيحة، مما يتحدى الاعتقاد بأن النماذج الضخمة المملوكة هي الوحيدة القادرة على إجراء بحث عميق.

حافظ المؤلفون على نبرة متواضعة، معترفين بالقيود مثل الاعتماد على حكام LLM خارجيين (مما يدخل الضوضاء والتكلفة) وعدم استقرار البنية التحتية في حلقات التدريب طويلة الأمد. ويرون أن العمل المستقبلي يمكن أن يستكشف حكامًا أقوى، وبنوك معايير قابلة للتدقيق البشري، وتطبيقات في مجالات أخرى ذات معايير جودة متعددة الأبعاد (مثل المراجعة العلمية أو التدريس).