Search-E1: Self-Distillation Drives Self-Evolution in Search-Augmented Reasoning
تُعد Search-E1 طريقة تطور ذاتي تعزز وكلاء الاستدلال المعززين بالبحث باستخدام تقنيتي GRPO الخام والتقطير الذاتي غير المتصل فقط، وذلك لتحقيق أداء رائد في معايير الأسئلة والأجوبة دون الاعتماد على إشراف خارجي معقد أو وحدات مساعدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً ذكياً جداً ولكنه أخرق قليلاً (الذكاء الاصطناعي) يحاول الإجابة على أسئلة مسابقات ثقافية صعبة. لكي يحصل على الإجابة الصحيحة، يُسمح لهذا الطالب باستخدام مكتبة (محرك بحث) للبحث عن الحقائق، ولكن عليه أن يقرر متى يبحث وماذا يسأل.
الطرق الحالية معظمها تُعلم هذا الطالب عبر الانتظار حتى ينهي المقال بالكامل. إذا كانت الإجابة النهائية صحيحة، يمنحه المعلم نجمة ذهبية. وإذا كانت خاطئة، يمنحه علامة (X) حمراء. المشكلة هي؟ لا يعرف الطالب أي خطوة محددة كانت هي الخطأ. هل سأل السؤال الخطأ؟ هل قرأ الفقرة الخطأ؟ هل تشتت انتباهه؟ هو فقط يعرف أن المحاولة بأكملها فشلت.
Search-E1 هي طريقة جديدة وأبسط لتعليم هذا الطالب. فهي لا تحتاج إلى معلم بشري فائق الذكاء، أو روبوت إضافي متطور، أو نظام مكافآت خاص. بدلاً من ذلك، تستخدم تقنية "التطور الذاتي" (Self-Evolution) من خلال رقصة مكونة من خطوتين:
الخطوة 1: مرحلة "تجربة كل شيء" (GRPO)
أولاً، يُطلب من الطالب الإجابة على نفس السؤال خمس مرات.
- في محاولة ما، قد يتجول في المكتبة، ويسأل أسئلة سخيفة، ويفشل.
- وفي محاولة أخرى، قد يطرح الأسئلة المثالية، ويجد الكتاب الصحيح، ويصل إلى الإجابة الصحيحة بسرعة.
ينظر النظام إلى هذه المحاولات الخمس ويقول: "حسناً، المحاولة التي حصلت على الإجابة الصحيحة هي 'المعيار الذهبي' لهذه الجولة". ولكن، كما ذكرنا سابقاً، هذا يخبر الطالب فقط: "عمل جيد على هذا المقال بالكامل"، وليس "عمل جيد على طرح هذا السؤال المحدد".
الخطوة 2: مرحلة "العودة للوراء والتعلم" (Offline Self-Distillation)
هنا يحدث السحر. يأخذ النظام المحاولة الفاشلة ("الطالب") والمحاولة الناجحة ("المعلم").
إليك الحيلة الذكية:
- يعطي النظام الطالب السؤال الأصلي.
- يعطي النظام المعلم نفس السؤال، ولكنه يمنحه أيضاً ورقة غش: المسار الناجح الكامل الذي اتخذه الطالب في المحاولة الأخرى.
- يقرأ المعلم ورقة الغش ويقول: "لو كنت أجيب على هذا السؤال الآن، مع معرفة المسار الصحيح، فإليك بالضبط ما سأقوله تالياً".
- ثم يُجبر الطالب على الاستماع إلى المعلم ومحاولة مطابقة كلماته، خطوة بخطوة.
الطالب لا يُقال له فقط "كنت محقاً/مخطئاً". بل يتم إرشاده، كلمة بكلمة (token-by-token)، لكيفية التفكير بشكل أفضل. "أوه، لقد فهمت! عندما سألت 'من هو الرئيس؟'، سأل المعلم 'من كان الرئيس في عام 1990؟'.. وهذا هو الفرق!"
لماذا هذا الأمر مميز؟
- لا معلمين خارجيين: عادةً، للحصول على هذا المستوى من التفصيل، تحتاج إلى ذكاء اصطناعي فائق الذكاء (مثل نموذج بـ 72 مليار بارامتر) لتقييم كل خطوة. لكن Search-E1 يستخدم محاولات الطالب الناجحة الخاصة به كمعلم. إنه يشبه طالباً يراجع ورقة امتحانه بعد حصوله على درجة امتياز، بدلاً من انتظار أستاذ ليقوم بتصحيحها.
- لا آلات إضافية: الطرق الأخرى تضيف أدوات معقدة لتحديد أي الخطوات كانت جيدة. أما Search-E1 فيستخدم فقط حلقة "المحاولة وإعادة المحاولة" القياسية ويضيف خطوة "دراسة نجاحه الخاص" فيما بينها.
- النتائج: عندما اختبروا هذا على سبعة تحديات ثقافية مختلفة، حقق الطالب الذي يستخدم Search-E1 درجات أفضل بكثير من الطلاب الذين يستخدمون طرقاً أكثر تعقيداً. لقد كان بارعاً بشكل خاص في الأسئلة "متعددة الخطوات" (حيث يتعين عليك ربط عدة نقاط ببعضها)، لأن تلك الأسئلة تتضمن العديد من الخطوات التي يمكن أن تخطئ فيها، وهذه الطريقة تعالج الخطوات المعطلة تحديداً.
باختصار: يعلّم Search-E1 الذكاء الاصطناعي كيف يصبح أكثر ذكاءً من خلال السماح له بالفشل، ثم جعله يدرس محاولاته الناجحة كما لو كانت كتاباً مدرسياً مثالياً، ليتعلم بالضبط ما يجب قوله في كل لحظة دون الحاجة إلى أي مساعدة خارجية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.