SELAUR: Self Evolving LLM Agent via Uncertainty-aware Rewards
SELAUR هو إطار عمل للتعلم التعزيزي يعزز اتخاذ القرار متعدد الخطوات في وكلاء النماذج اللغوية الكبيرة (LLM agents) من خلال دمج مقاييس عدم اليقين الجوهري في تصميم المكافأة لتحسين كفاءة الاستكشاف واستقرار التعلم، مما يؤدي إلى معدلات نجاح أعلى في اختبارات القياس مثل ALFWorld وWebShop.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تُعلّم روبوتاً ذكياً جداً، ولكنه متوتر قليلاً، كيف يتنقل في متاهة ضخمة ومعقدة (مثل سوبر ماركت افتراضي أو منزل مليء بالمهام المنزلية). الهدف هو إيصال الروبوت إلى المخرج بنجاح.
في الماضي، كانت الطريقة التي نعلّم بها هذه الروبوتات بسيطة: إذا وصل إلى المخرج، نمنحه نجمة ذهبية. وإذا اصطدم بحائط أو تاه، نعطيه "إشارة سلبية" ونخبره أن يحاول مرة أخرى.
المشكلة في أسلوب "النجمة الذهبية" هذا هي أن الروبوت لا يتعلم أي شيء مفيد عندما يفشل. هو فقط يعرف أنه "فشل"، لكنه لا يعرف "لماذا" أو "أين" أخطأ. الأمر يشبه طالباً رسب في اختبار رياضيات، ثم قيل له فقط "لقد حصلت على درجة ضعيفة"، دون أن يرى المسائل المحددة التي واجه فيها صعوبة.
SELAUR هي طريقة جديدة وأكثر ذكاءً لتعليم هذه الروبوتات. إنها تشبه منح الروبوت مقياس ثقة ومدرباً يتحدث إليه أثناء حله للألغاز، وليس فقط في النهاية.
إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:
1. "حدس" الروبوت (عدم اليقين)
في كل مرة يقوم فيها الروبوت بحركة ما (مثل "التقاط الكوب الأحمر" أو "النقر على الزر الأزرق")، يكون لديه صوت داخلي صغير يقول: "أنا متأكد تماماً من هذا" أو "أنا مجرد أخمن".
- الطريقة القديمة: كان الروبوت يتجاهل هذا الشعور. كان فقط يفعل ما يعتقد أنه صحيح.
- طريقة SELAUR: ينتبه الروبوت لـ "حدسه".
- إذا كان الروبوت واثقاً (عدم يقين منخفض)، تقول له SELAUR: "عمل رائع! استمر في فعل ذلك".
- إذا كان الروبوت متردداً (عدم يقين مرتفع)، تقول له SELAUR: "مهلاً، يبدو أنك غير متأكد هنا. لنحاول مساراً مختلفاً أو لنفكر بعمق أكبر في هذه الخطوة".
2. قاعدة "الفشل هو كنز" (المكافآت المدركة للفشل)
هذه هي الخدعة السحرية. في الأيام الخوالي، كانت المحاولة الفاشلة وقتاً ضائعاً. أما مع SELAUR، فإن المحاولة الفاشلة هي في الواقع بيانات قيمة.
تخيل أن الروبوت يحاول شراء قميص معين عبر الإنترنت ولكنه اختار المقاس الخاطئ وفشل.
- الروبوت القديم: "لقد فشلت. لا أعرف لماذا. سأقوم فقط بتجربة أشياء عشوائية مرة أخرى".
- روبوت SELAUR: "لقد فشلت، ولكن انظر إلى مقياس الثقة الخاص بي! كنت غير متأكد جداً عندما نقرت على مقاس 'متوسط'. ذلك التردد كان دليلاً! لقد تعلمت أنني بحاجة للتحقق من المقاسات في المرة القادمة".
إن SELAUR يحول ارتباك الروبوت إلى درس. فهو يكافئ الروبوت على تحديد ارتباكه، حتى لو كانت النتيجة النهائية هي الفشل. هذا يساعد الروبوت على التعلم بشكل أسرع لأنه ليس مجرد مخمن؛ بل هو يحلل عملية تفكيره.
3. "فحص النقاط الثلاث" (الجمع بين المقاييس)
للتأكد من أن "حدس" الروبوت دقيق، لا تستخدم SELAUR طريقة واحدة فقط لقياس الثقة، بل تستخدم ثلاثة "حساسات" مختلفة (مثل فحص لوحة قيادة السيارة باستخدام عداد السرعة، ومقياس الوقود، ولمبة المحرك في آن واحد):
- الاعتلاج (Entropy): هل أفكار الروبوت مشتتة؟ (هل يفكر في عشرة أشياء مختلفة في وقت واحد، أم في شيء واحد فقط؟)
- أقل درجات الثقة (Least Confidence): ما مدى تأكد الروبوت بشأن خياره الأفضل؟
- الهامش (Margin): ما مدى تفوق خياره الأفضل مقارنة بالخيار الثاني الأفضل؟
من خلال الجمع بين هذه الثلاثة، يحصل الروبوت على صورة واضحة جداً لما إذا كان يقف على أرض مهتزة أو على أرض صلبة.
النتيجة: مستكشف أذكى
بسبب هذا النظام، يصبح الروبوت مستكشفاً أفضل.
- لا يعلق في حلقات مفرغة حيث يستمر في فعل نفس الشيء الخاطئ مراراً وتكراراً (لأنه يدرك: "أنا غير متأكد، لذا يجب أن أتوقف وأجرب شيئاً جديداً").
- يتعلم من كل محاولة، وليس فقط من النجاحات.
- يصبح أكثر استقراراً وموثوقية، تماماً مثل الإنسان الذي يتعلم من أخطائه بدلاً من تكرارها.
باختة القول: تُعلم SELAUR الوكلاء الذكيين (AI agents) كيف يستمعون إلى شكوكهم. فبدلاً من تجاهل الارتباك، تستخدم SELAUR هذا الارتباك كخريطة لإيجاد الطريق الصحيح، محولةً كل فشل إلى خطوة نحو النجاح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.