SEAR: Sample Efficient Action Chunking Reinforcement Learning
تقدم الورقة البحثية خوارزمية SEAR، وهي خوارزمية تعلم تعزيزي غير متصل بالسياسة (off-policy) ذات كفاءة في استخدام العينات، تستفيد من ناقل سببي (causal transformer) لتقدير القيمة مع أهداف متعددة الآفاق واستراتيجية إعادة تخطيط بالأفق المتراجع لتمكين التعلم عبر الإنترنت بفعالية باستخدام كتل من الأفعال (action chunks)، متفوقة بذلك على الأساليب الرائدة في مهام التحكم في الأشياء المعقدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيف يلعب لعبة فيديو معقدة، مثل متاهة يتعين عليه فيها جمع المفاتيح، وفتح الأبواب، وحل الألغاز. في عالم الذكاء الاصطناعي، يُطلق على هذا اسم التعلم التعزيزي (Reinforcement Learning). فكر في الأمر كتدريب كلب؛ أنت تعطيه مكافأة (مكافأة/جائزة) عندما يفعل شيئًا صحيحًا، وهو يتعلم تكرار هذا السلوك. لكن الجزء الصعب هنا هو أنه إذا كانت اللعبة طويلة جدًا، فقد ينسى الكلب أن المكافأة التي حصل عليها في النهاية كانت بسبب أول شيء قام به. يحتاج إلى ربط النقاط بين البداية والنهاية.
ولمساعدة الروبوت على التعلم بشكل أسرع، يستخدم العلماء حيلة تسمى تجميع الأفعال (Action Chunking). فبدلاً من إخبار الروبوت: "حرك ذراعك لليسار"، ثم "حرك ذراعك للأعلى"، ثم "أمسك الكوب"، خطوة صغيرة تلو الأخرى، يقولون له: "إليك تسلسل كامل: تحرك يسارًا، ثم للأعلى، ثم أمسك". يشبه هذا تعليم عازف بيانو مقطعًا موسيقيًا كاملاً دفعة واحدة بدلاً من نوتة واحدة في كل مرة. يساعد هذا الروبوت على رؤية الصورة الكبيرة والتخطيط بشكل أفضل. ومع ذلك، هناك عقبة؛ فإذا أخبرت الروبوت فقط بعزف مقطع موسيقي كامل دون السماح له بالاستماع إلى الموسيقى أثناء العزف، فقد يتوه إذا عزف نوتة خاطئة. يجب أن يكون قادرًا على التوقف، والاستماع، وتعديل خطته باستمرار. تتناول هذه الورقة البحثية مشكلة كيفية تعليم هذه "الكتل" الكبيرة من الأفعال للروبوتات دون جعلها بطيئة جدًا أو غير قادرة على التفاعل عندما تسوء الأمور.
تعرف على SEAR (التعلم التعزيزي لتجميع الأفعال بكفاءة العينات)، وهي طريقة جديدة مصممة لتعليم الروبوتات كيفية التخطيط المسبق دون أن تفقد أعصابها. وجد الباحثون أنه بينما يعد إخبار الروبوت بتنفيذ تسلسل كامل من الحركات دفعة واحدة ("كتلة") أمرًا رائعًا للتعلم، فإن القيام بذلك بالطريقة القديمة غالبًا ما يؤدي إلى كارثة. إذا سلمت الروبوت قائمة من 10 حركات وقلت له "انطلق"، وارتكب خطأً في الحركة الثالثة، فسيستمر في المضي قدمًا بعشوائية حتى تنتهي القائمة. وبحلول الوقت الذي يدرك فيه أنه خرج عن المسار، يكون الأوان قد فات.
اكتشف المؤلفون أن السبب الرئيسي لفشل الطرق السابقة هو أنها لم تمنح الروبوت قدرًا كافيًا من "الممارسة" على الأجزاء الصغيرة من الخطة. تخيل محاولة تعلم رقصة من خلال ممارسة الأغنية الكاملة لمدة دقيقتين مرة واحدة فقط في اليوم؛ لن تتقن الخطوات الفردية أبدًا. تعالج SEAR هذه المشكلة باستخدام نوع خاص من المعلمين يسمى ناقد المحول السببي (Causal Transformer Critic). فبدلاً من مجرد تقييم الروبوت بناءً على النتيجة النهائية للمسار بأكمله، يقوم هذا المعلم بتقييم الروبوت في كل خطوة منفردة من التسلسل أثناء حدوثها. إنه يشبه مدرب الرقص الذي يوقف الموسيقى بعد كل حركة ليقول: "حركة قدم جيدة!" أو "انتبه لمرفقك!". هذا يمنح الروبوت قدرًا هائلاً من التغذية الراجعة من كل محاولة، مما يجعله يتعلم بشكل أسرع وأكثر كفاءة.
لكن تعلم الكتل الكبيرة هو نصف المعركة فقط. يحتاج الروبوت أيضًا إلى القدرة على الاستجابة بسرعة. ولحل هذه المشكلة، تستخدم SEAR استراتيجية ذكية تسمى إعادة التخطيط العشوائي (Random Replanning). بدلاً من إجبار الروبوت على تنفيذ قائمة الحركات كاملة التي خطط لها، تخبره SEAR بتنفيذ جزء عشوائي فقط من القائمة — ربما أول ثلاث حركات فقط — قبل التوقف والسؤال: "حسنًا، ما هي الخطة الآن؟" بناءً على موقعه الحالي. هذا يشبه نظام تحديد المواقع (GPS) الذي لا يعطيك مسارًا للرحلة بأكملها ويقول لك "قد فقط"، بل يعيد حساب مسارك كل بضعة كليومترات لتجنب الازدحام المروري. هذا يحافظ على ارتفاع "تغطية الحالة-الفعل" (state-action coverage)، مما يعني أن الروبوت يتعلم التعامل مع جميع أنواع المواقف، وليس فقط تلك التي خطط لها بدقة.
النتائج مبهرة. فعند اختبارها على معيار Metaworld، وهو مجموعة من 20 مهمة صعبة جدًا في التحكم الروبوتي (مثل التقاط الأشياء أو الضغط على الأزرار)، حققت SEAR معدل نجاح يتجاوز 80%. وهذه قفزة هائلة مقارنة بالطرق السابقة، التي لم تتجاوز نسبة نجاحها حوالي 60%. والأكثر إثارة للاهتمام، وجد الباحثون أن SEAR يمكنها التعلم باستخدام هذه الكتل الكبيرة أثناء التدريب، ولكن يمكنها بعد ذلك التحول إلى اتخاذ قرارات الخطوة الواحدة أثناء الاختبار الفعلي، لتصبح فعليًا متعلمًا فائق السرعة يعمل بالخطوة الواحدة، تم تدريبه عبر التفكير في كتل كبيرة.
كما اختبرت الورقة البحثية SEAR في إعداد "من التدريب غير المتصل إلى التدريب المتصل" (offline-to-online)، حيث يتعلم الروبوت أولاً من مجموعة ضخمة من فيديوهات الماضي (غير متصل) ثم يحاول التحسن من خلال القيام بالمهمة فعليًا (متصل). ومن خلال تطبيق تقنيات SEAR على طريقة موجودة تسمى QC، رأى الباحثون زيادة كبيرة في الأداء على مهام المكعب الثلاثي في OGBench، مما يثبت أن هذه الأفكار تعمل حتى عندما يبدأ الروبوت بـ "بداية جيدة" من البيانات السابقة.
ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس حلاً سحريًا لكل روبوت. فهم يشيرون إلى أن SEAR تعمل بشكل أفضل للمهام التي تستغرق وقتًا طويلاً لإكمالها ولا تتطلب ردود فعل في أجزاء من الثانية، مثل تجميع الأثاث أو تحريك الأشياء. لن تعمل جيدًا في الأشياء التي تتطلب ردود فعل فورية، مثل كلب آلي يركض عبر غابة، لأن نهج "التجميع" يمكن أن يؤدي إلى انخفاض جودة البيانات إذا كان الروبوت بحاجة إلى التفاعل بسرعة كبيرة. ولكن بالنسبة للمهام البطيئة والمتأنية والمعقدة في التحكم الروبوتي، تقترح SEAR طريقة قوية جديدة لتعليم الآلات كيفية التفكير مسبقًا، والتعلم بشكل أسرع، والبقاء يقظة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.