DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution
تُعد DREvo طريقة مبتكرة للتطور الذاتي الموجه تعالج عدم استقرار النهج الحالية من خلال إعادة معايرة الخبرة التاريخية ديناميكيًا وتقطير اتجاهات بحث قابلة للتنفيذ، مما يحقق أداءً فائقًا ومسارات تطور أكثر سلاسة عبر معايير الاستدلال والوكالة ضمن ميزانيات محدودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية حل لغز ما. أنت تعطي الروبوت دماغاً (نموذج لغة كبير)، لكن هذا الدماغ يحتاج إلى جسد ومجموعة من القواعد للقيقة العمل الفعلي. يُسمى هذا الإعداد "الجسد والقواعد" بـ الحامل (Harness). فكر في الحامل كأنه نظام تشغيل الروبوت: هو الذي يقرر كيف يبحث الروبوت عن المعلومات، وكيف يستخدم أدوات مثل الآلة الحاسبة أو محرر الأكواد، وكيف يتذكر ما فعله للتو. إذا كان الحامل فوضوياً أو مربكاً، فحتى أذكى الأدمغة ستتعثر.
لفترة طويلة، كان بناء حامل جيد يشبه محاولة ضبط سيارة سباق يدوياً. كان على الخبراء التخمين بشأن الخطأ، وتعديل بعض الأسلاك، ثم الاختبار، والأمل في الحصول على نتيجة جيدة. ولكن مؤخراً، اكتشف العلماء أن الروبوتات يمكنها في الواقع مساعدة نفسها في إصلاح أجسادها. يمكنها تجربة تغيير ما، ورؤية ما إذا كان قد نجح، وتذكر النتيجة، ثم المحاولة مرة أخرى. يُسمى هذا التطور الذاتي (Self-evolution). الفكرة هي أنه إذا احتفظ الروبوت بمذكرات لكل محاولاته الماضية، فيمكنه التعلم من أخطائه ويصبح أفضل بمرور الوقت. لكن هنا تكمة المشكلة: مجرد امتلاك الروبوت لمذكرات لا يعني بالضرته يعرف كيف يقرأها. فأحياناً، قد تكون الحيلة التي نجحت بالأمس كارثة اليوم لأن وضع الروبوت قد تغير. يسأل هذا البحث: كيف نضمن أن الروبوت يتعلم الدروس الصحيحة من تاريخه دون أن يرتبك بسبب النصائح القديمة التي عفا عليها الزمن؟
المشكلة: مذكرات الروبوت المربكة
تخيل أنك تدرب كلباً على جلب كرة. ترمي الكرة، يركض الكلب، وأحياناً يمسك بها، وأحياناً أخرى يسقطها. أنت تكتب كل محاولة في دفتر ملاحظات. الآن، تخيل أن الكلب حصل على طوق جديد، أو أن الرياح بدأت تهب بشكل مختلف، أو أنك استبدلت كرة التنس بلعبة تصدر صوتاً عند الضغط عليها. إذا نظرت فقط إلى دفتر ملاحظاتك وقلت: "في المرة الماضية أسقط الكلب الكرة عندما ركض يساراً، لذا يجب عليه دائماً الركض يميناً"، فقد تكون مخطئاً. قد لا ينطبق ذلك الدرس القديم على الوضع الجديد.
هذا بالضبط ما يحدث مع وكلاء الذكاء الاصطناعي (AI agents). وجد الباحثون أنه عندما تحاول الروبوتات تحسين "حاملها" الخاص عبر النظر إلى تاريخ كامل من محاولاتها، فإنها غالباً ما تقع في حلقة مفرغة. قد تجرب إصلاحاً، وتراه يفشل، ثم تجرب شيئاً آخر، وتراه يفشل أيضاً، ثم فجأة تعود إلى طريقة فشلت قبل أسابيع. أداء الروبوت يقفز صعوداً وهبوطاً مثل الأفعوانية بدلاً من الصعود بسلاسة على تلة. أدرك الباحثون أن الروبوتات تعاني من مشكلتين رئيسيتين:
- مشكلة "هل لا يزال هذا صحيحاً؟": لم يتحقق الروبوت مما إذا كانت دروسه القديمة لا تزال صالحة. لقد عامل كل نجاح أو فشل سابق كما لو كان يحدث الآن، رغم أن كود الروبوت قد تغير.
- مشكلة "ماذا أفعل بعد ذلك؟": حتى لو تذكر الروبوت درساً ما، فإنه لم يكن يعرف بالضبط أي جزء من جسده يجب إصلاحه أو كيف يصلحه. كان الأمر أشبه بإخباره: "لقد أسقطت الكرة"، دون إخباره: "أنت بحاجة إلى إحكام قبضتك".
الحل: DREvo (المكتبي الذكي)
لحل هذه المشكلة، ابتكر المؤلفون طريقة جديدة تسمى DREvo. يمكنك التفكير في DREvo كمكتب بطل فائق التنظيم يدير مذكرات الروبوت. بدلاً من مجرد تسليم الروبوت كومة من الأوراق، يقوم DREvo بتنظيم المعلومات، والتحقق مما إذا كانت لا تزال ذات صلة، وإعطاء الروبوت تعليمات واضحة ومحددة لما يجب فعله تالياً.
يقوم DREvo بذلك عبر ثلاث خطوات ممتعة:
1. "صانع الملصقات" (تثبيت الأدلة على مستوى الوظيفة - Function-Level Evidence Anchoring)
في الطريقة القديمة، كانت مذكرات الروبوت عبارة عن كتلة ضخمة وفوضوية من النصوص. يقوم DREvo بتقطيع هذه الكتلة إلى قطع صغيرة مصنفة. إنه ينظر إلى كل تغيير أجراه الروبوت ويربطه بـ "وظيفة" محددة (مثل أداة معينة أو قاعدة ذاكرة). الأمر يشبه أخذ كتاب وصفات فوضوي وتسمية كل تغيير في المكونات بالخطوة التي ينتمي إليها بالضبط. بهذه الطريقة، عندما يريد الروبوت التعلم، يعرف بالضبط أي جزء من جسده يتحدث عنه الدرس السابق.
2. "فاحص الحداثة" (إعادة معايرة الأدلة بناءً على الحالة - State-Dependent Evidence Recalibration)
هذا هو الجزء الأهم. قبل أن يستخدم الروبوت درساً قديماً، يسأل DREvo سؤالين: "هل هذا الدرس لا يزال موثوقاً؟" و "هل يناسب هذا الدرس جسد الروبوت الحالي؟"
- الموثوقية: هل نجح هذا الدرس في كل مرة تم استخدامه فيها، أم كان مجرد تخمين محظوظ؟
- الحداثة: هل لا يزال كود الروبوت مشابهاً لما كان عليه عند تعلم هذا الدرس؟ إذا غير الروبوت "قبضته" (هيكل الكود الخاص به)، فقد لا يعمل درس قديم حول القبض.
يعطي DREvo "درجة" لكل درس. إذا كان الدرس قديماً أو تغير الروبوت كثيراً، تنخفض الدرجة ويتجاهله الروبوت. أما إذا كان الدرس حديثاً وموثوقاً، فتظل الدرجة عالية.
3. "صافرة المدرب" (استخلاص نية البحث المشروطة بالدور - Role-Conditioned Search Intent Distillation)
أخيراً، لا يعطي DREvo الروبوت قائمة من الحقائق فحسب؛ بل يعطيه خطة عمل. بناءً على الدروس ذات الدرجات العالية، يخصص DREvo للروبوت "دوراً" محدداً للمحاولة التالية:
- الاستغلال (Exploit): "هذه الحيلة نجحت بشكل رائع من قبل! افعلها مجدداً!"
- التجنب (Avoid): "هذه الحيلة تسببت في تحطم في المرة الماضية! لا تفعلها!"
- إعادة الاختبار (Retest): "لسنا متأكدين من هذا. لنحاول بحذر لنرى ما إذا كان سيعمل الآن."
- الاستكشاف (Explore): "ليس لدينا أدلة جيدة. لنحاول شيئاً جديداً تماماً."
هذا يحول شعور الروبوت الغامض بـ "أنا بحاجة لأن أصبح أفضل" إلى أمر واضح وقابل للتنفيذ مثل: "اذهب لإصلاح أداة الذاكرة باستخدام استراتيجية الاستغلال".
ماذا وجدوا؟
اختبر الباحثون DREvo في خمسة تحديات مختلفة، تتراوح من حل ألغاز الكيمياء وتشخيص الأعراض الطبية إلى إصلاح أكواد الكمبيوتر والتنقل في محطة طرفية افتراضية. وقارنوه بروبوتات أخرى حاولت تطوير نفسها وبروبوتات ذات حوامل من تصميم بشري.
كانت النتائج واعدة للغاية. تحت ميزانية محدودة من المحاولات (بمعنى أنهم لم يسمحوا للروبوت بالممارسة للأبد)، وجد DREvo أفضل الحوامل في كل فئة.
- في مهام التشخيص الطبي، وصل DREvo إلى دقة 89.2%، متفوقاً على ثاني أفضل طريقة بنسبة 2.4 نقطة مئوية.
- في الاستدلال القانوني، حقق 49.0%، متفوقاً على التالي له بنسبة 4.0 نقاط مئوية.
- في توقع التفاعلات الكيميائية، سجل 25.0%، وهو أعلى بـ 9.0 نقاط مئوية من المركز الثاني.
- بالنسبة لـ المهام الوكيلية (Agentic tasks) (مثل إصلاح الكود أو استخدام محطة طرفية)، حسن DREvo الأداء بمتوسط 16.2% في مهام الاستدلال و 13.8% في المهام الوكيلية مقارنة بالطرق الأخرى.
والأهم من ذلك، لاحظ الباحثون أن تقدم DREvo كان سلساً. بينما كانت درجات الروبوتات الأخرى تقفز صعوداً وهبوطاً بشكل جنوني (تراجع ثم تعافٍ)، كان دقة DREvo ترتفع بثبات. كما نجح في الحفاظ على "مساحة التفكير" (السياق) الخاصة به صغيرة، حوالي 2.9 ألف توكن (Token)، في حين احتاجت الطرق الأخرى إلى أكثر من 5.3 ألف توكن ومع ذلك كان أداؤها أسوأ.
الخلاصة
تشير الورقة البحثية إلى أن مجرد إعطاء الروبوت تاريخاً لمحاولاته السابقة ليس كافياً. لكي يتعلم حقاً، يحتاج الروبوت إلى نظام يمكنه التحقق مما إذا كانت الدروس القديمة لا تزال تنطبق وترجمة تلك الدروس إلى تعليمات واضحة ومحددة. يعمل DREvo كنظام لتلك المهمة، محولاً التاريخ الفوضوي من التجربة والخطأ إلى مسار سلس وموثوق للتحسن. إنه يوضح أنه من خلال كوننا أذكياء في كيفية استخدام تجاربنا الماضية، يمكننا مساعدة وكلاء الذكاء الاصطناعي على التطور بشكل أسرع وأكثر موثوقية، حتى عندما لا نملك وقتاً غير محدود لتركهم يمارسون.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.