Agentic Reinforcement Learning with Self-Distilled Reward Shaping
تقدم هذه الورقة "التعلم التعزيزي الوكيل مع تشكيل المكافأة بالتقطير الذاتي" (ADRS)، وهو إطار عمل يعزز أداء وكلاء اللغة في المهام طويلة الأمد من خلال توليد ائتمان على مستوى الرمز المرتبط بالعائد عبر إشارات مهارة مميزة ومقطرة ذاتياً، يتم معايرتها وحجبها بشكل مشترك بواسطة ثقة المعلم والعوائد المحققة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيفية التنقل في منزل ضخم وفوضوي للعثور على شيء محدد، مثل كوب من الشاي الدافئ. لا يمكنك ببساطة أن تقول للروبوت "عمل جيد!" فقط بعد أن يجد الشاي في النهاية. فإذا انتظرت حتى تلك اللحظة، فلن يعرف الروبوت أي الخطوات المحددة كانت مفيدة؛ هل فتح الباب الصحيح؟ أم التقط الكوب الصحيح؟ أم أنه ظل يتجول لمدة عشر دقائق قبل أن يحالفه الحظ فحسب؟ هذا هو جوهر لغز التعلم التعزيزي (Reinforcement Learning): كيف تمنح الفضل للقرارات الصغيرة والمتوسطة التي تؤدي إلى نجاح كبير، خاصة عندما تكون المكافأة النهائية نادرة وبعيدة المنال؟
لحل هذه المعضلة، غالبًا ما يستخدم العلماء حيلة تسمى التقطير الذاتي (Self-Distillation). فكر في الأمر كطالب يؤدي اختبارًا، ثم مباشرة بعد ذلك، يقوم نفس الطالب بدور معلم صارم ليقيم إجاباته. نسخة "المعلم" تمتلك ورقة مرجعية خاصة (تسمى "المعلومات المميزة") لم تكن متاحة لـ "الطالب" أثناء تأدية الاختبار. ومن خلال مقارنة ما فعله الطالب بما كان سيفعله المعلم باستخدام الورقة المرجعية، يمكننا معرفة أي التحركات كانت ذكية وأيها كانت مجرد حظ. ومع ذلك، هناك عقبة؛ فمجرد كون المعلم يعتقد أن الإجابة "جيدة" لا يعني أنها أدت بالفعل إلى النتيجة الصحيحة. قد يكون المعلم واثقًا ولكنه مخطئ، أو واثقًا بشأن الشيء الخاطئ.
يقودنا هذا إلى دراسة جديدة أجراها باحثون من جامعة العلوم والتكنولوجيا في الصين ومجموعة علي بابا (Alibaba Group). لقد عالجوا مشكلة كيفية أخذ "ثقة المعلم" تلك وتحويلها إلى دليل موثوق للخطوة التالية للروبوت، دون السماح للروبوت أبدًا باستخدام الورقة المرجعية أثناء اللعبة الفعلية. وقد أطلقوا على طريقتهم الجديدة اسم ADRS (التعلم التعزيزي الوكيل مع تشكيل المكافأة المقطرة ذاتيًا).
وجد الباحثون أن مجرد نسخ درجة المعلم لا ينجح لأن ثقة المعلم يمكن أن تكون مضللة. فأحيانًا يكون المعلم متأكدًا جدًا من حركة تؤدي إلى الفشل، أو غير متأكد من حركة تؤدي إلى النجاح. ولإصلاح ذلك، يعمل نظام ADRS كمرشح ذكي. أولاً، يقوم بتطبيع درجات المعلم لتكون عادلة للمقارنة عبر أجزاء مختلفة من المهمة. ثم يتحقق مما إذا كانت ثقة المعلم تتوافق بالفعل مع النتيجة النهائية (هل أدت الحركة الواثقة إلى فوز؟). إذا اتفقت الثقة والنتيجة، يقوم المرشح بتعزيز درجة تلك الحركة؛ وإذا اختلفا، فإنه يخمد الإشارة. أخيرًا، يقوم بحقن هذه الإشارة المنقحة مباشرة في عملية تعلم الروبوت قبل أن يقرر الروبوت ما سيفعله بعد ذلك.
تشير النتائج إلى أن هذه الطريقة فعالة للغاية. فعند اختبارها على ثلاث مهام تحديّة مختلفة — التنقل في منزل افتراضي، التسوق في موقع إلكتروني محاكى، والبحث عن إجابات عبر الإنترنت — ساعدت ADRS الوكلاء الذكيين باستمرار على الأداء بشكل أفضل، خاصة في المهام الطويلة والمعقدة. على سبيل المثال، في مهمة التنقل في المنزل، ساعدت هذه الطريقة نموذجًا ذكاءً اصطناعيًا محددًا على تحقيق معدل نجاح بنسبة 94.5%، متفوقًا على أفضل المحاولات السابقة بفارق كبير. كما أظهرت الدراسة أن الذكاء الاصطناعي تعلم هذه المهارات باستخدام بيانات تدريب أقل من المعتاد، واستطاع الأداء بشكل جيد حتى عندما أصبحت المهام مختلفة قليلاً أو أكثر صعوبة. والأهم من ذلك، أثبت الباحثون أن الذكاء الاصطناعي لم يكن بحاجة إلى "الورقة المرجعية" أثناء اللعبة الفعلية؛ بل احتاج إليها فقط خلال مرحلة التدريب ليتعلم كيفية اتخاذ قرارات أفضل بمفرده. وهذا يشير إلى أنه من خلال معايرة كيفية ثقتنا في رأي "المعلم" بناءً على النتائج الواقعية، يمكننا تعليم وكلاء الذكاء الاصطناعي أن يكونوا أكثر موثوقية وكفاءة في حل المشكلات المعقدة متعددة الخطوات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.