MARS: Co-evolving Dual-System Deep Research via Multi-Agent Reinforcement Learning
تقدم الورقة البحثية إطار عمل MARS، وهو إطار عمل جديد للتعلم المعزز متعدد الوكلاء يعمل على التطور المشترك لنظامين معرفيين مزدوجين (الحدس السريع والاستدلال المتأني) للتغلب على عدم كفاءة الرموز (tokens) والقيود المعرفية لنماذج الاستدلال الكبيرة، محققاً أداءً هو الأفضل في فئته في المهام كثيفة المعرفة دون الحاجة إلى ضبط دقيق تحت الإشراف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
المشكلة الكبرى: "المُفرط في التفكير" و"المكتبة القديمة"
تخيل أن لديك مساعداً ذكياً للغاية ومتميزاً (ذكاء اصطناعي) بارع في حل الألغاز الصعبة. ومع ذلك، يعاني هذا المساعد من عيبين رئيسيين:
- المُفرط في التفكير: عندما تطلب منه قراءة مقال إخباري بسيط أو تلخيص صفحة ويب، فإنه أحياناً يغرق في وضع "التفكير العميق". يقوم بتحليل كل كلمة بدقة، مما يهدر الوقت والطاقة في أمور لا تتطلب تحليلاً عميقاً. الأمر يشبه استخدام مطرقة ثقيلة لكسر حبة جوز.
- المكتبة القديمة: معرفة هذا المساعد تتوقف عند اليوم الذي تم تدريبه فيه. إذا سألته عن شيء حدث بالأمس، فسيكون جاهلاً به. لا يمكنه البحث عن المعلومات بنفسه دون أن يصاب بالارتباك بسبب الحجم الهائل للمعلومات الجديدة.
الحل: MARS (فريق العقلين)
ابتكر الباحثون نظاماً جديداً يسمى MARS. وبدلاً من وجود عقل واحد يحاول القيام بكل شيء، قاموا ببناء فريق من "شخصيتين" متمايزتين تعملان داخل نفس الذكاء الاصطناعي، مستلهمين ذلك من طريقة عمل الأدمغة البشرية:
- النظام 1 (الكشاف السريع): هذا هو العقل "الحدسي". إنه سريع، فعال، وجيد في المسح الضوئي. مهمته هي النظر في جبل من المعلومات الجديدة (مثل 10 صفحات ويب مختلفة أو أوراق بحثية) واستخراج المعلومات الأكثر أهمية فقط بسرعة. إنه يشبه الكشاف الذي يركض في المقدمة، ويجمع الإمدادات المفيدة، ويترك الفضلات خلفه.
- النظام 2 (المفكر العميق): هذا هو العقل "المتأني". إنه بطيء، حذر، وماهر في حل ألغاز المنطق المعقدة. يأخذ الحقائق النقية والمصفاة من "النظام 1" ويستخدمها لحل المشكلة الفعلية.
الخدعة السحرية:
في الأنظمة السابقة، كان "الكشاف" و"المفكر" يُدربان بشكل منفصل. لم يكن الكشاف يعرف ما يحتاجه المفكر، لذا قد يلخص أشياء لا تهم المفكر، أو قد يغفل عن التفاصيل التي يحتاجها المفكر بشدة.
في MARS، هما يتطوران معاً. يتم تدريبهما معاً. يتعلم الكشاف بالضبط نوع المعلومات التي تساعد المفكر على حل اللغز، ويتعلم المفكر كيف يطلب الأشياء الصحيحة من الكشاف. إنهما يتشاركان نفس "النتيجة" (المكافأة)، لذا يعملان كفريق مثالي بدلاً من كونهما غريبين عن بعضهما البعض.
كيف يتم التدريب: "لعبة المجموعة"
لتعليم هذين النظامين العمل معاً دون معلم بشري (وهي طريقة تسمى "Zero RL"، وتعني أنهما يبدآن من الصفر دون أمثلة مكتوبة مسبقاً)، استخدم الباحثون لعبة تدريب ذكية تعتمد على تحسين السياسة النسبية للمجموعة (GRPO).
فكر في الأمر كفريق رياضي يتدرب من أجل بطولة:
- اجتماع الفريق (تعبئة الصناديق - Bin-Packing): عندما يخرج الفريق لجمع المعلومات، قد يجد 10 صفحات ويب مختلفة. هذا كثير جداً للقراءة في وقت واحد. يستخدم النظام استراتيجية "تعبئة الصناديق" (مثل وضع البقالة في حقائب). يقوم بتنظيم هذه الصفحات المختلفة والأحجام غير المتساوية في قطع مرتبة وسهلة الإدارة حتى يتمكن الكشاف من قراءتها جميعاً في وقت واحد دون أن يشعر بالإرهاق.
- لوحة النتائج (المكافآت المشتركة): يخرج الفريق ويحاول حل مشكلة ما. إذا حصلوا على الإجابة الصحيحة، يحصل كل من "الكشاف" و"المفكر" على نقطة. وإذا فشلوا، لا يحصل أي منهما على أي نقطة. هذا يجبرهما على التعاون.
- اللعب النظيف (التدرجات المنفصلة): هنا يكمن الجزء الصعب. على الرغم من مشاركتهما في النتيجة، حرص الباحثون على أن يحصل الكشاف على الفضل في "التلخيص الجيد" وأن يحصل المفكر على الفضل في "التفكير الجيد". إنه يشبه سباق التتابع: إذا فاز الفريق، يحصل كلا العدائين على ميدالية، لكن المدرب يعرف تماماً من ركض في المرحلة الأولى ومن ركض في المرحلة الثانية. هذا يضمن أن يتعلم الكشاف كيف يكون كشافاً أفضل، وليس مجرد مفكر أفضل.
- موازنة الفريق (العينات المتوازنة): أحياناً يتعين على الكشاف قراءة 5 صفحات، وأحياناً أخرى صفحة واحدة فقط. هذا يخلق عدم توازن في بيانات التدريب. يستخدم النظام طريقة أخذ عينات خاصة للتأكد من حصول الكشاف والمفكر على وقت ممارسة متساوٍ، حتى لا يهيمن أحدهما على عملية التعلم.
النتائج: فريق صغير، انتصارات كبيرة
اختبر الباحثون MARS في امتحان صعب للغاية يسمى HLE (آخر امتحان للبشرية)، والذي يغطي مواضيع متقدمة في العلوم والرياضيات والتاريخ.
- المستضعف: استخدم MARS نموذجاً صغيراً نسبياً (8 مليارات معلمة/parameter).
- العمالقة: قارنوه بنماذج أكبر بكثير (32 مليار أو 72 مليار معلمة) وحتى ببعض النماذج التجارية باهظة الثمن ذات "الذكاء الفائق" من شركات التقنية الكبرى.
- النتيجة: تفوق MARS على النماذج الأكبر التي تم تدريبها مسبقاً باستخدام أمثلة بشرية (الضبط الدقيق الخاضع للإشراف). بل إنه اقترب جداً من أداء أكثر النماذج التجارية تقدماً المتاحة، رغم بدئه من الصفر دون أي توجيه بشري وباستخدام "عقل" أصغر بكثير.
لماذا يهم هذا (وفقاً للورقة البحثية)
تزعم الورقة أن "الخلطة السرية" ليست مجرد امتلاك المزيد من الأدوات (مثل محركات البحث أو الآلات الحاسبة)؛ بل هي الشراكة.
- بدون "الكشاف" (النظام 1)، يغرق "المفكر" (النظام 2) في كم هائل من البيانات الخام ويرتكب الأخطاء.
- بدون "المفكر" (النظام 2)، يقوم "الكشاف" (النظام 1) بمجرد التلخيص دون حل المشكلة الفعلية.
- معاً، يخلقان نظاماً يمكنه قراءة كم هائل من المعلومات المحدثة واستخدامها لحل مشكلات الاستدلال المعقدة والمتعددة الخطوات بكفاءة.
باختاً، يعلم MARS الذكاء الاصطناعي متى "يمسح بسرعة" ومتى "يفكر بعمق"، وكيف يفعل كليهما معاً دون ارتباك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.