Decoupling Policy Extraction for Offline Reinforcement Learning

تخيل طالباً يحاول تعلم قيادة السيارة، ولكن بدلاً من الجليد خلف المقود والشعور بالطريق، يُجبر على دراسة فيديو واحد ثابت لسائق مثالي. لا يمكنه ارتكاب الأخطاء، ولا يمكنه تجربة منعطفات جديدة، ولا يمكنه تلقي ملاحظات من العالم الحقيقي. هذا هو تحدي التعلم المعزز غير المتصل (offline reinforcement learning)، وهو مجال يتعلم فيه الذكاء الاصطناعي اتخاذ القرارات باستخدام مجموعة ثابتة من البيانات الماضية فقط. في هذا الإعداد، يجب على الكمبيوتر أن يكتشف كيفية التصرف بشكل أفضل من الأمثلة التي رآها، دون أن يتمكن أبداً من اختبار تلك الأفكار الجديدة في الواقع. الطريقة التقليدية لتعليم هذه الأنظمة تتضمن جزأين يعملان في حلقة محكمة: جزء يتعلم ما هي الأفعال الجيدة، والآخر يتعلم كيفية تنفيذها. الجزء الأول يوجه الثاني باستمرار، ويخبره بتجربة أفعال تبدو ذات قيمة. ومع ذلك، ولأن البيانات مجمدة في الزمن، فإن هذا التوجيه يمكن أن يصبح خطيراً. فإذا ارتكب جزء "ما هو جيد" خطأً ما و بالغ في تقدير حركة محفوفة بالمخاطر، فإن جزء "كيفية التنفيذ" سيحاول القيام بها، مما يعزز الخطأ ويؤدي إلى الانحراف بعيداً عن السلوك الآمن والمثبت.

اقترح فريق من الباحثين في "Simplexity Robotics" ومعهد "Rensselaer Polytechnic Institute" طريقة مختلفة لحل هذه المشكلة، مقترحين أن هذين الجزأين يجب أن يتوقفا عن التواصل مع بعضهما البعض أثناء مرحلة التعلم. في نهجهم الجديد، يقومون بفصل مهمة التعلم من البيانات تماماً عن مهمة اختيار أفضل فعل. أولاً، يقومون بتدريب نموذج يهدف فقط إلى محاكاة السلوك الموجود في مجموعة البيانات، ليعمل مثل ناسخ مثالي لا يحاول أبداً التحسن أو التخمين في استراتيجيات جديدة. هذا النموذج يولد قائمة من عدة أفعال محتملة من المعروف أنها آمنة ومدعومة بالبيانات. بعد ذلك، يقوم نظام منفصل، تم تدريبه بشكل مستقل لتقدير القيمة، بالنظر إلى هذه القائمة واختيار الخيار الأفضل لتنفيذه. ومن خلال كسر حلقة التغذية الراجعة التي تربط عادة بينهما، وجد الباحثون أنهم يستطيعون تجنب فخ تضخيم الأخطاء. وقد أظهرت تجاربهم عبر ثلاثين مهمة مختلفة ومعقدة، تتراوح من التنقل في متاهات افتراضية إلى التحكم في أذرع روبوتية، أن هذا المنهج المنفصل تفوق باستمرار على الأساليب التقليدية المترابطة بشدة. وفي بعض الحالات، قفز معدل النجاح من أقل من النصف إلى ما يقرب من سبعين بالمائة، مما يثبت أن أفضل طريقة للتحسن أحياناً هي التوقف عن محاولة تحسين المتعلم بينما لا يزال يدرس.

يكمن جوهر المشكلة التي حددها الباحثون في كيفية تعلم أنظمة الذكاء الاصطناعي القياسية من البيانات الثابتة. في الإعداد النموذجي، يمتلك النظام "ناقداً" يقدر قيمة الأفعال و"ممثلاً" يتعلم كيفية أدائها. يخبر الناقد الممثل بأن هذه الحركات جيدة، ويحاول الممثل القيام بها. في سيناريو العالم الحقيقي حيث يمكن للروبوت الاستمرار في التفاعل مع البيئة، يعمل هذا بشكل جيد لأنه إذا ارتكب الناقد خطأً، فإن محاولات الممثل الجديدة ستولد بيانات جديدة تصحح الخطأ. ولكن في التعلم غير المتصل، تكون مجموعة البيانات مغلقة. فإذا اعتقد الناقد خطأً أن فعلاً خطيراً هو فعل ذو قيمة، سيحاول الممثل القيام به، ولأنه لا تصل بيانات جديدة لتصحيح الناقد، فإن الخطأ يزدت سوءاً. ينحرف الممثل إلى مناطق في مساحة الأفعال لم تغطها البيانات أبداً، وهي ظاهرة سماها الباحثون "حلقة تضخيم خارج التوزيع" (out-of-distribution amplification loop). ولمنع ذلك، تحاول الأساليب الحالية غالباً إجبار الممثل على البقاء قريباً من البيانات الأصلية، لكن هذا يخلق مقايضة صعبة: إذا قيدت الممثل كثيراً، فلن يتمكن من العثور على أفضل الحركات حتى ضمن البيانات الآمنة؛ وإذا تركته يذهب بعيداً، فسيقع في حلقة الخطأ.

ولحل هذه المشكلة، قام الباحثون بفك الارتباط بين العمليتين. لقد دربوا الممثل للقيام بشيء واحد فقط: نمذجة توزيع الأفعال الموجودة في مجموعة البيانات. لم يسمحوا للناقد بالتأثير على تدريب الممثل على الإطلاق. وبمجرد تدريب هذا النموذج "المقترح"، تم تجميده، مما يعني أنه لن يتغير أبداً. وفي اللحظة التي يحتاج فيها الروبوت لاتخاذ قرار، يقوم المقترح بتوليد مجموعة صغيرة من الأفعال المرشحة، والتي كانت جميعها مستندة إلى البيانات الآمنة والمرصودة. ثم يقوم ناقد منفصل، تم تدريبه بشكل مستقل لتقدير القيمة، بالنظر إلى هذه القائمة المحددة واختيار الخيار الأعلى تقييماً. لقد نقل هذا العمل عملية التحسين من مرحلة التدريب إلى لحظة اتخاذ القرار. فبدلاً من محاولة تعديل عقل الممثل ليكون أفضل، يقوم النظام ببساطة بتوليد خيارات آمنة ويترك للقاضي مهمة اختيار الفائز. هذا النهج يعني أن الناقد لم يعد مضطراً للقلق بشأن انحراف الممثل إلى مناطق خطيرة، لأن الممثل لم يكن مسموحاً له بالانحراف في المقام الأول. كان على الناقد فقط ترتيب الخيارات الآمنة التي قدمها المقترح المجمد.

كانت نتائج هذه التجربة مذهلة. اختبر الباحثون طريقتهم على ثلاثين مهمة مختلفة تتضمن سلوكيات موجهة نحو هدف، مثل جعل نملة روبوتية تتنقل في متاهة كبيرة أو روبوت بشري يتحرك عبر بيئة معقدة. وقارنوا طريقتهم المنفصلة بالتقنيات القياسية التي تبقي الممثل والناقد مرتبطين. في مهمة ملاحة تسمى AntMaze-Large، حققت الطريقة التقليدية التي تستخدم نوعاً معيناً من متعلم القيمة معدل نجاح يبلغ حوالي واحد وثلاثين بالمائة. وعندما طبق الباحثون نهجهم المنفصل مع نفس متعلم القيمة، ارتفع معدل النجاح إلى تسعة وأربعين بالمائة. وفي مهمة معالجة تتضمن مكعباً، كان التحسن أكثر دراماتيكية، حيث وصل النهج المنفصل إلى معدل نجاح بلغ تسعة وسبعين بالمائة مقارنة بواحد وعشرين بالمائ المائة للنهج التقليدي. ولعل الأمر الأكثر إثارة للدهشة هو أن الباحثين وجدوا أن نظاماً بسيطاً جداً لتعلم القيمة، والذي عادة ما يعاني في بيئات التعلم غير المتصل، أصبح فعالاً للغاية عند اقترانه بعملية الاختيار المنفصلة هذه. ففي مهمة حل الألغاز، حقق متعلم قيمة بسيط، مقترناً بطريقتهم، معدل نجاح بنسبة مائة بالمائة، متفوقاً بشكل هائل على الأنظمة الأكثر تعقيداً والمعيارية.

كشفت الدراسة أيضاً عن سبب نجاح هذا الفصل من خلال فحص ما يحدث عندما يُسمح للنظام بالنظر في المزيد من الخيارات. وجد الباحثون أن جعل المقترح يولد عدداً من المرشحين، بدلاً من واحد فقط، سمح للنظام باستكشاف المنطقة الآمنة من البيانات بشكل أكثر شمولاً. ومع ذلك، كان هناك حد؛ فإذا ولد النظام عدداً كبيراً جداً من المرشحين، تزداد فرصة تضمين فعل خطير خارج التوزيع، وقد يختاره نظام تقييم القيمة عن طريق الخطأ. وقد تم إيجاد التوازن الأمثل من خلال ضبط عدد المرشحين، وهو إعداد واحد يمكن تعديله دون إعادة تدريب النظام بأكمله. وتعد هذه المرونة ميزة كبيرة مقارنة بالأساليب التقليدية، التي تتطلب غالباً إعادة تدريب مكلفة لإصلاح التوازن بين السلامة والأداء. وأشار الباحثون إلى أن هذا النهج واعد بشكل خاص للأنظمة الروبوتية واسعة النطاق، حيث تكون إعادة تدريب نموذج ضخم أمراً مكلفاً حاسوبياً. ومن خلال إبقاء النموذج الرئيسي مجمداً واستخدام نظام قيمة خفيف الوزن لاتخاذ القرار النهائي فقط، يوفر هذا المنهج مساراً فعالاً حاسوبياً لتحقيق أداء أفضل.

يقر الباحثون بأن لهذه الطريقة حداً: يمكن للنظام فقط الاختيار من الأفعال التي يمكن للمقترح المجمد توليدها. فإذا لم يسبق رؤية أفضل فعل ممكن في البيانات الأصلية، فلا يمكن للنظام ابتكاره. ومع ذلك، ضمن حدود ما هو ممكن، وجد النهج المنفصل حلولاً أفضل من الطرق التقليدية المترابطة. ويشير العمل إلى أن الاعتقاد السائد منذ زمن طويل بأن التعلم والتحسين يجب أن يحدثا في آن واحد في حلقة واحدة قد لا يكون ضرورياً، أو حتى مرغوباً فيه، عند التعلم من البيانات الثابتة. فمن خلال فصل توليد الخيارات الآمنة عن اختيار الأفضل منها، قدم الباحثون مساراً أكثر وضوحاً واستقراراً للذكاء الاصطناعي للتعلم من الماضي دون الوقوع في فخ أخطائه. وتشير النتائج إلى أنه بالنسبة للتعلم غير المتصل، فإن الاستراتيجية الأكثر فعالية قد تكون التوقف عن محاولة تعليم الممثل أن يكون ذكياً أثناء التدريب، وبدلاً من ذلك تركه يتذكر الماضي ببساة، وترك مهمة التحسين لعين ناقدة منفصلة في لحظة الفعل.