💬 NLP

DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research

تقدم الورقة البحثية نموذج DR Tulu، وهو نموذج بحث عميق مفتوح المصدر تم تدريبه عبر التعلم التعزيزي باستخدام معايير التقييم المتطورة (RLER) التي تطور معايير التقييم بالتزامن مع السياسة، مما يمكّنه من التفوق على الوكلاء المفتوحين الحاليين ومنافسة الأنظمة المملوكة في مهام البحث طويلة المدى مع كونه أكثر فعالية من حيث التكلفة بشكل كبير.

المؤلفون الأصليون: Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca So

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Wen-tau Yih, Tongshuang Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم روبوت كيف يكون باحثاً

تخيل أنك تريد تعليم روبوت كتابة تقرير بحثي طويل ومفصل حول موضوع معقد، مثل "كيف تسبب الطفرات الجينية أمراضاً نادرة؟" أو "ما هو تاريخ الطاقة المتجددة؟".

معظم نماذج الذكاء الاصطناعي اليوم تشبه الطلاب الذين يدرسون فقط من أجل الاختبارات القصيرة. فهم بارعون في الإجابة على الأسئلة البسيطة مثل "ما هي عاصمة فرنسا؟"، لكنهم يعانون عندما يُطلب منهم كتابة تقرير مكون من 20 صفحة يتطلب البحث في مئات المواقع الإلكترونية، والتحقق من الحقائق، والاستشهاد بالمصادر.

قام مؤلفو هذه الورقة البحثية ببناء ذكاء اصطناعي جديد يسمى DR Tulu. إنه أول نموذج مفتوح المصدر تم تدريبه خصيصاً ليكون "باحثاً عميقاً". فهو لا يكتفي بالتخمين؛ بل يخطط، ويبحث في الويب، ويقرأ الأوراق البحثية، ويكتب تقريراً طويلاً وموثقاً جيداً.

المشكلة: كيف تُقيم تقريراً طويلاً؟

لتعليم الذكاء الاصطناعي كيف يؤدي بشكل أفضل، تستخدم عادةً طريقة تسمى التعلم التعزيزي (Reinforcement Learning). فكر في الأمر كتدريب كلب:

يقوم الكلب (الذكاء الاصطناعي) بحركة معينة.
إذا فعلها بشكل صحيح، يحصل على مكافأة (قطعة حلوى).
إذا أخطأ، لا يحصل على مكافأة.

المشكلة في التقارير البحثية الطويلة هي أنه من الصعب معرفة شكل التقرير "الجيد".

المعايير الثابتة (الطريقة القديمة): تخيل معلماً يعطي الكلب قائمة مراجعة ثابتة: "يجب أن يحتوي على 5 فقرات. يجب أن يذكر عام 1990". إذا كتب الكلب تقريراً رائعاً عن عام 1991، سيفشل المعلم الكلب لأنه لم يتبع القائمة الجامدة. القائمة لا تعرف ما الذي وجده الكلب بالفعل.
مشكلة "الكتاب المغلق": إذا طلبت من ذكاء اصطناعي وضع قائمة المراجعة بناءً على ما يعرفه مسبقاً فقط، فقد يغفل عن حقائق جديدة اكتشفها للتو على الإنترنت.

الحل: "المعايير المتطورة" (المعلم الذكي)

تقدم الورقة البحثية طريقة جديدة تسمى RLER (التعلم التعزيزي باستخدام المعايير المتطورة).

تخيل معلماً ذكياً لا يستخدم قائمة مراجعة ثابتة، بل يراقب الطالب (الذكاء الاصطناعي) وهو يقوم ببحثه في الوقت الفعلي.

الطالب يبحث: يذهب الطالب، يجد حقائق جديدة، ويكتب مسودة.
المعلم يتكيف: ينظر المعلم الذكي إلى ما وجده الطالب: "أوه، لم أكن أعرف بوجود هذه الحقيقة! يجب أن أضيف قاعدة جديدة لقائمة المراجعة الخاصة بي: (يجب شرح هذه الحقيقة الجديدة)".
حلقة التغذية الراجعة: يقوم المعلم بتحديث قائمة المراجعة أثناء تعلم الطالب. إذا حاول الطالب الغش (مثل نسخ النص دون قراءته)، سيضيف المعلم فوراً قاعدة: "لا يُسمى الغش مسموحاً".

من الناحية التقنية، تسمي الورقة البحثية هذه المعايير "المعايير المتطورة" (Evolving Rubrics). وهي معايير تقييم تتغير وتصبح أكثر ذكاءً مع استكشاف الذكاء الاصطناعي لمزيد من المعلومات. وهذا يسمح للذكاء الاصطناعي بالتعلم من اكتشافاته الخاصة بدلاً من أن يظل عالقاً في مجموعة ثابتة من القواعد.

النتيجة: باحث خارق بميزانية محدودة

درب المؤلفون DR Tulu باستخدام طريقة "المعلم الذكي" هذه. وإليك ما حدث:

إنه أكثر ذكاءً: تفوق DR Tulu على نماذج البحث مفتوحة المصدر الأخرى بفارق هائل. لقد كتب تقارير أفضل، ووجد حقائق أكثر دقة، واستشهد بالمصادر بشكل صحيح.
ينافس العمالقة: قدم أداءً يضاهي (وأحياناً يتفوق على) الأنظمة المملوكة للشركات الكبرى مثل OpenAI وGoogle.
إنه رخيص: هذا هو الفوز الأكبر. الأنظمة المكلفة تكلف حوالي 1.80 دولار لكل سؤال. أما DR Tulu فيكلف حوالي 0.002 دولار لكل سؤال. أي أنه أرخص بنحو 1,000 مرة.

اختبار "المرض الجيني"

لإثبات نجاح الطريقة، أعطى الفريق DR Tulu مهمة صعبة للغاية: تحليل الطفرات الجينية لمعرفة ما إذا كان يمكن علاجها بأدوية معينة. وهذه مهمة تُخصص عادةً للخبراء الطبيين البشريين.

نجح DR Tulu في البحث عبر قواعد البيانات الطبية، وإيجاد الأوراق البحثية ذات الصلة، وتلخيص تقرير شامل.
تمكن من منافسة أكثر أنظمة الذكاء الاصطناعي تكلفة وانغلاقاً في هذه المهمة.
فشلت نماذج أخرى مفتوحة المصدر لأنها لم تستطع إيجاد الاستشهادات الصحيحة أو التحقق من الحقائق.

الأدوات: "dr-agent-lib"

أصدرت الورقة البحثية أيضاً "صندوق أدوات" يسمى dr-agent-lib.

فكر في هذا كأنه سكين سويسري متعدد الاستخدامات لباحثي الذكاء الاصطناعي.
يتيح للذكاء الاصطناعي استخدام أدوات مختلفة: بحث Google، وقراءة صفحات ويب محددة، والبحث في الأوراق الأكاديمية.
والأهم من ذلك، يتعلم الذكاء الاصطناعي اختيار الأداة المناسبة للمهمة. إذا كان السؤال يتعلق بالعلم، فإنه يستخدم أداة "البحث عن الأوراق البحثية". وإذا كان عن الأخبار العامة، فإنه يستخدم "بحث الويب". هو لا يستخدم أداة واحدة بشكل أعمى.

الملخص

تقدم الورقة البحثية DR Tulu، وهو ذكاء اصطناعي مفتوح المصدر يتعلم كيفية إجراء بحث عميق وطويل المدى. يستخدم طريقة تدريب خاصة (المعايير المتطورة) حيث يتم تحديث "قواعد التقييم" الخاصة بالذكاء الاصطناعي في الوقت الفعلي بناءً على ما يكتشفه الذكاء الاصطناعي. وهذا يجعل الذكاء الاصطناعي أكثر ذكاءً، ودقة، وأرخص بكثير من أدوات البحث الحالية الأكثر تطوراً. وقد شارك المؤلفون الكود، والبيانات، والنموذج ليكون متاحاً للجميع.

ملخص تقني: DR Tulu: التعلم المعزز بالمعايير المتطورة للبحث العميق

بيان المشكلة

تُصمم وكلاء البحث العميق (DR) لتقديم إجابات متعمقة وموثقة جيداً للمهام المعقدة من خلال التخطيط، والبحث، وتوليف المعلومات من مصادر متنوعة. ومع ذلك، تواجه وكلاء البحث العميق مفتوحة المصدر الحالية قيوداً كبيرة:

عدم التطابق في التدريب: يتم تدريب معظم الوكلاء المفتوحين عبر التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) على مهام الأسئلة والأجوبة قصيرة الشكل وسهلة التحقق. هذا النهج لا يعمم على مهام البحث العميق طويلة الشكل والواقعية حيث تكون الإجابات معقدة وغير محددة بدقة.
نقص في إشارات المكافأة: يعد تحديد إشارات مكافأة موثوقة لتوليد المحتوى طويل الشكل والمفتوح أمراً صعباً. فالمعايير الثابتة والمحددة مسبقاً غالباً ما تفشل في استيعاب الفروق الدقيقة في الجودة، كما أن التقييم الدقيق يتطلب غالباً الوصول إلى معلومات خارجية واسعة ومحدثة تتجاوز المعرفة البارامترية للنموذج.
الافتقار إلى البنية التحتية المفتوحة: تعتمد الأنظمة المفتوحة الموجودة غالباً على أدوات مفردة، وتفتقر إلى دعم الاستشهاد الكامل، ولا تنشر بيانات التدريب والتعليمات البرمجية، مما يعيق إعادة الإنتاج ومزيد من الأبحاث.

المنهجية: التعلم المعزز بالمعايير المتطورة (RLER)

لمعالجة هذه التحديات، قدم المؤلفون DR Tulu-8B، وهو أول نموذج مفتوح بالكامل تم تدريبه من البداية للنهاية للمهام البحثية العميقة مفتوحة النهاية وطويلة الشكل. الابتكار الأساسي هو التعلم المعزز بالمعايير المتطورة (RLER)، وهو إطار عمل حيث تتطور معايير التقييم (الروبريكات) بالتزامن مع نموذج السياسة (policy model) أثناء التدريب.

المكونات الأساسية لـ RLER

المعيار كـمكافأة: بدلاً من المعايير الثابتة، يستخدم النظام معايير لكل عينة محددة بلغة طبيعية. يقوم نموذج لغوي كبير (LLM) "قاضٍ" بتقييم الاستجابات مقابل هذه المعايير لتوليد درجات.
المعايير المتطورة المدعومة بالبحث المعزز:
- التهيئة: لكل مطالبة تدريبية، يتم إنشاء معايير أولية بواسطة نموذج لغوي كبير ( $G_{rubric}$ ) باستخدام مستندات مسترجعة من واجهة برمجة تطبيقات بحث خارجية. هذا يربط المعايير بالمعرفة الخارجية المحدثة.
- التطور المشترك: أثناء التدريب، يقوم النظام بأخذ عينات من استجابات النموذج المتعددة (rollouts) وآثار البحث. ثم يقوم مولد المعايير بإنشاء معايير جديدة من خلال مقارنة هذه الاستجابات.
  - المعايير الإيجابية: تلتقط نقاط القوة أو المعرفة الجديدة ذات الصلة التي استكشفها النموذج الحالي والتي أغفلتها المعايير الحالية.
  - المعايها السلبية: تحدد السلوكيات غير المرغوب فيها الشائعة (مثل استغلال المكافأة "reward hacking"، أو النسخ الحرفي) التي لوحظت عبر الاستجابات.
- إدارة المخزن المؤقت (Buffer Management): لمنع النمو الخطي في عدد المعايير، تستخدم استراتيجية إدارة المخزن المؤقت لفلترة وترتيب المعايير بناءً على قدرتها التمييزية (الانحراف المعياري للمكافآت عبر الاستجابات)، مع الاحتفاظ فقط بالمعايير الأكثر إفادة.
المكافآت المساعدة: يتضمن الإطار مكافآت مساعدة لصحة التنسيق، والاستخدام الفعال لأدوات البحث، والاستشهادات عالية الجودة لدعم الادعاءات ذات الصلة.

مسار التدريب

النموذج الأساسي: يتم تهيئة النموذج من Qwen3-8B.
الضبط الدقيق تحت الإشراف (SFT): مرحلة "البداية الباردة" باستخدام 16 ألف مسار عالي الجودة (طويل وقصير الشكل) تم توليدها بواسطة نماذج معلمة (بما في ذلك GPT-5) لتقطير أنماط البحث واستخدام الأدوات.
التعلم المعزز عبر الإنترنت (Online RL): يخضع النموذج لتدريب RL باستخدام نسخة من خوارزمية GRPO (تحسين السياسة النسبي للمجموعات). تتضمن حلقة التدريب:
1. توليد مسارات وكيلة (agentic rollouts) مع استدعاءات أدوات حقيقية (بحث Google، تصفح الويب، بحث الأوراق العلمية).
2. تسجيل درجات الاستجابات مقابل المخزن المؤقت للمعايير المحدث ديناميكياً.
3. تحديث نموذج السياسة.
4. تحسين المخزن المؤقت للمعايير بإضافة معايير متطورة جديدة وتقليص المعايير ذات التباين المنخفض.
البنية التحتية: أصدر المؤلفون مكتبة dr-agent-lib، وهي مكتبة وكلاء قابلة للتوسيع تدعم استدعاءات الأدوات غير المتزامنة، والتخزين المؤقت العالمي، وتكامل البحث متعدد الأدوات.

المساهمات الرئيسية

DR Tulu-8B: أول نموذج بحث عميق مفتوح بالكامل مدرب من البداية للنهاية للمهام طويلة الشكل، قادر على إنتاج تقارير جيدة التوثيق وطويلة الشكل.
إطار عمل RLER: طريقة تدريب مبتكرة تولد معايير خاصة بكل حالة، مستندة إلى البحث وتتكيف مع القدرات المتطورة لنموذج السياسة، مما يسمح بتغذية راجعة أكثر تمييزاً أثناء التدريب.
النظام البيئي المفتوح: إصدار كامل حزمة التدريب، وبيانات التدريب، ومعايير التقييم، والبنية التحتية dr-agent-lib ، مما يوفر مجموعة كاملة وقابلة لإعادة الإنتاج لوكلاء البحث العميق.
معيار جديد: تقديم GeneticDiseasesQA، وهو مجموعة بيانات سريرية تحديّة تتطلب من النماذج توليف الأدلة لتحديد الأهلية العلاجية للمتغيرات الجينية.

النتائج التجريبية

تم تقييم النموذج عبر أربعة معايير بحث عميق طويلة الشكل: AstaBench-ScholarQA-CS2 (SQAv2)، و HealthBench، و ResearchQA، و DeepResearchBench (DRB).

الأداء مقابل النماذج المفتوحة: يتفوق DR Tulu-8B (RL) بشكل كبير على جميع وكلاء البحث العميق المفتوحين الحاليين. حقق متوسط درجة قدره 65.6، متجاوزاً أفضل نموذج مفتوح سابق (Tongyi DR-30B) بمقدار 15.6 نقطة مئوية. ومن الملاحظ أنه يتفوق على النماذج المفتوحة الأكبر حجماً (مثل النماذج ذات 32 مليار بارامتر) رغم استخدامه لنموذج أساسي بـ 8 مليارات بارامتر.
الأداء مقابل النماذج المملوكة: يضاهي DR Tulu-8B أو يتفوق على الأنظمة المملوكة (OpenAI Deep Research، Perplexity DR، Gemini 3 Pro + Search) في المتوسط. وفي اختبار SQAv2، حقق أعلى أداء بين جميع الأنظمة المختبرة.
كفاءة التكلفة: DR Tulu-8B فعال للغاية من حيث التكلفة. في SQav2، تبلغ تكلفته حوالي 0.0019 دولار لكل استعلام، وهو ما يعادل تقريباً 1,000 مرة أرخص من OpenAI Deep Research (1.80 دولار/استعلام) وأرخص بعدة مراتب من النماذج المفتوحة الأخرى.
التكيف مع الأدوات: يتعلم النموذج اختيار الأدوات المناسبة بناءً على المهمة. ففي مهام الأدبيات العلمية (SQav2)، يعتمد على البحث في الأوراق العلمية بنسبة 90% من الوقت؛ أما في المهام العامة (DRB)، فيستخدم البحث في الويب والتصفح بشكل متكرر أكثر.
GeneticDiseasesQA: في هذه المهمة السريرية المتخصصة، ينافس DR Tulu-8B أو يتفوق على الوكلاء المملوكين، مما يثبت القدرة على إنتاج استشهادات موثوقة وقابلة للتحقق حيث تفشل الوكلاء المفتوحون الآخرون.

الأهمية والادعاءات

يضع البحث DR Tulu و RLER كخطوة حاسمة نحو دمقرطة قدرات البحث العميق.

سد الفجوة: يعالج هذا العمل الحاجز طويل الأمد المتمثل في تدريب وكلاء البحث العميق على مهام واقعية طويلة الشكل من خلال توفير طريقة (RLER) تولد إشارات مكافأة موثوقة دون الحاجة إلى خبراء بشريين لتنقيح المعايير يدوياً لكل حالة.
قابلية إعادة الإنتاج: من خلال إصدار حزمة التدريب الكاملة (البيانات، الكود، النماذج، البنية التحتية)، يهدف المؤلفون إلى تمكين التقييم الصارم ومزيد من الأبحاث في المجتمع، وهي قدرة كانت محدودة سابقاً بالأنظمة المملوكة.
توسع المقيمين (Verifiers): يرى المؤلفون أن RLER يمثل بُعداً جديداً لتوسيع حسابات المقيم، حيث يتم توفير "المعلومات المميزة" (نتائج البحث الخارجية والاستجابات النموذجية المتناقضة) للقاضي لتحسين جودة التقييم، بدلاً من مجرد زيادة توكنات الاستدلال لنموذج المكافأة.
الادعاءات المتواضعة: يقر المؤلفون بأنه بينما يؤدي DR Tulu أداءً تنافسياً مع الأنظمة المملوكة، إلا أنه يُعتبر في المقام الأول أداة بحثية. ويؤكدون أن الاستخدام اللاحلي يتطلب تقييماً دقيقاً، وشفافية بشأن عدم اليقين، وإشرافاً بشرياً، لا سيما في المجالات عالية الخطورة مثل الرعاية الصحية. كما يشيرون إلى أن مكافأة التدريب لا تتوافق دائماً بشكل مثالي مع أداء التقييم اللاحق بسبب عدم التطابق في تصميم المعايير ونماذج القضاة.