Agent-G: Gaussian Guidance for Agentic Reinforcement Learning
يُعد Agent-G إطار عمل جديد للتعلم التعزيزي يعمل على تحسين عمق التوجيه القائم على التلميحات من خلال أخذ عينات من توزيع غاوسي مُقدّر عبر الإنترنت، مما يجعله يتفوق على الأساليب الحتمية والأساليب القائمة على الاستقصاء في المهام الوكيلية مع تقليل التكاليف الحسابية بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل برنامج حاسوب يحاول تعلم كيفية التنقل في عالم معقد، مثل روبوت يتحرك داخل منزل أو وكيل افتراضي يتسوق على موقع إلكتروني. غالبًا ما تتطلب هذه المهام سلسلة طويلة من القرارات، حيث يجب على البرنامج اتخاذ خطوات عديدة قبل أن ينجح أخيرًا أو يفشل. تكمن المشكلة الجوهرية في أن البرنامج لا يتلقى سوى إشارة في النهاية فقط تخبره ما إذا كان قد فاز أو خسر. وهذا يجعل التعلم صعبًا للغاية، تمامًا مثل محاولة تعلم ركوب الدراجة الهوائية من خلال إخبارك فقط بـ "عمل جيد" أو "لقد سقطت" بعد أن تكون قد قطعت ميلاً كاملاً، دون أي ملاحظات حول ما إذا كنت توجه الدراجة بشكل صحيح في منتصف الطريق. ولمساعدة البرنامج على التعلم، حاول الباحثون إعطاءه "تلميحًا" في بداية كل محاولة: وهو عبارة عن مقطع قصير لمسار مثالي سلكه خبير. هذا يمنح البرنامج دفعة للأمام، ويضعه قريبًا من خط النهاية حتى يتمكن من التعلم من الخطوات المتبقية. ومع ذلك، يظل هناك سؤال جوهري: ما هو مقدار المسار المثالي الذي يجب إظهاره؟ إذا أظهرت القليل جدًا، فسيظل البرنامج تائهًا؛ وإذا أظهرت الكثير، فسوف يكتفي بمجرد نسخ الخبير دون تعلم أي شيء جديد.
لفترة طويلة، عامل الباحثون هذا السؤال كما لو كان هناك مقدار مثالي واحد من المساعدة ينطبق على كل مهمة، أو حاولوا تخمين القدر المناسب لكل مهمة من خلال إجراء العديد من جولات التدريب الإضافية والمكلفة لاختبار مستويات مختلفة من المساعدة. يشير بحث جديد أجراه فريق من جامعة تشجيانغ وشركة بايدو (Baidu) إلى أن كلا النهجين يخطئان الهدف. فقد وجد الباحثون أن "النقطة المثالية" للمساعدة ليست نقطة واحدة دقيقة، بل هي نطاق. فبالنسبة لأي مهمة معينة، هناك حزمة من مستويات المساعدة المختلفة التي تعمل بشكل جيد، وهذه الحزمة تتغير بناءً على مدى صعوبة المهمة. وبدلاً من محاولة تحديد رقم دقيق واحد، طور الفريق طريقة تعاملت مع مقدار المساعدة الصحيح كنطاق مرن يتغير مع تعلم الكمبيوتر. وقد أطلقوا على نظامهم اسم "Agent-G2".
اختبر الباحثون فكرتهم في بيئتين مليئتين بالتحديات: عالم قائم على النصوص حيث يجب على الوكيل إكمال مهام منزلية مثل التقاط الأشياء أو التنظيف، ومتجر إلكتروني محاكى حيث يجب على الوكيل البحث عن عناصر محددة وشرائها. وقد استخدموا نموذجًا لغويًا ليكون بمثابة "عقل" لهؤلاء الوكلاء. وفي تجاربهم، اكتشفوا أن القدر الأكثر فعالية من المساعدة يشكل منحنى يشبه شكل الجرس حول النقطة المثالية. وهذا يعني أنه بالنسبة لمهمة صعبة، قد يعمل نطاق واسع من مستويات المساعدة، بينما بالنسبة لمهمة أسهل، قد يكون النطاق أضيق. والأهم من ذلك، وجدوا أن صعوبة المهمة مرتبطة ارتباطًا وثيقًا بطول مسار الخبير. فالمهمة التي تتطلب عشرين خطوة هي عمومًا أصعب من تلك التي تتطلب خطوتين فقط.
ولحل مشكلة العثور على مستوى المساعدة المناسب دون إضاعة الوقت، يقوم نظام "Agent-G2" بتجميع المهام حسب طولها، ثم يستخدم نتائج جولات التدريب الحالية لتعديل المساعدة للجولة التالية. فإذا كانت مجموعة المهام القصيرة تنجح بسهولة شديدة، يقوم النظام تلقائيًا بتقليل مقدار المساعدة المقدمة لها. وإذا كانت المهام الطويلة تفشل، فإنه يزيد من المساعدة. يقوم النظام بذلك عن طريق حساب نقطة مركزية ومدى انتشار لكل مجموعة من المهام، مما يخلق أساسًا لخريطة ديناميكية لمكان حدوث التعلم. بعد ذلك، يختار عشوائيًا مقدارًا محددًا من المساعدة من تلك الخريطة لكل محاولة جديدة. يسمح هذا النهج للنظام باستكشاف مجموعة متنوعة من نقاط البداية المساعدة في وقت واحد، مما يضمن حصول كل من المهام السهلة والصعبة على الدفعة المناسبة دون الحاجة إلى إجراء اختبارات إضافية لمجرد معرفة الإعدادات.
كانت النتائج مذهلة. ففي بيئة المهام المنزلية، حققت الطريقة الجديدة معدل نجاح قدره 95.3 بالمائة باستخدام نموذج أصغر و98.4 بالمائة باستخدام نموذج أكبر. وقد تفوقت هذه النتيجة على أقوى الأساليب الموجودة التي تستخدم التلميحات، وكذلك تلك التي تحاول التعلم بدون أي تلميحات على الإطلاق. ولعل الأهم من ذلك، أن الطريقة الجديدة حققت هذه النتائج باستخدام موارد حاسوبية أقل بكثير من الطرق السابقة التي حاولت تخمين مستوى المساعدة المناسب لكل مهمة على حدة. كانت تلك الطرق القديمة تتطلب تشغيل العديد من جولات التدريب الإضافية للعثور على الإجابة، وهو أمر بطيء ومكلف. أما النظام الجديد فقد تعلم الإعدادات الصحيحة أثناء العمل، مستخدمًا نفس البيانات التي كان يجمعها بالفعل لتحسين الوكيل.
كما أظهرت الدراسة أن النظام يعمل بشكل جيد عبر أحجام مختلفة من النماذج الحاسوبية، مما يثبت أن الطريقة التي يتم بها تقديم المساعدة لا تقل أهمية عن حجم "العقل" الذي يقوم بالتعلم. في الواقع، أدى النموذج الأصغر الذي يستخدم نظام التوجيه الذكي هذا إلى أداء أفضل من نماذج أكبر بكثير تستخدم طرقًا أقدم وأقل تطورًا. وأشار الباحثون إلى أن طريقتهم تعتمد على توفر مسار مثالي لكل مهمة للبدء به. وإذا لم تكن هذه المسارات المثالية موجودة، فلا يمكن استخدام النظام مباشرة. ومع ذلك، بالنسبة للعديد من المشكلات في العالم الحقيقي حيث يمكن للخبراء تقديم المسار الصحيح، فإن هذا النهج يقدم طريقة قوية لتعليم الذكاء الاصطناعي كيفية التعلم من أخطائه، بدلاً من مجرد نسخ ما يراه. ومن خلال التعامل مع التوجيه الصحيح كنطاق مرن بدلاً من رقم ثابت، وجد الباحثون طريقة أكثر كفاءة وقوة لمساعدة الآلات على إتقان الأهداف المعقدة طويلة المدى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.