RoMAN-Flow: Taming Autoregressive Normalizing Flows for Offline Reinforcement Learning in Robotic Manipulation
يُعد RoMAN-Flow إطار عمل للتعلم التعزيزي غير المتصل (offline reinforcement learning) يُمكّن من الاستخدام العملي لتدفقات التوزيع الطبيعي ذاتية الانحدار (autoregressive normalizing flows) في معالجة الروبوتات عبر توظيف هدف تحسين خالٍ من أخذ العينات وتقطير السياسة الناتجة إلى مولد ذي خطوة واحدة ومنخفض التأخير من أجل النشر الفعال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لطالما كان تطوير روبوتات يمكنها التحكم في الأشياء ببراعة تشبه براعة البشر هدفاً طالما سعى إليه الذكاء الاصطناعي، لكن تعليمها القيام بذلك دون توجيه بشري مستمر يظل تحدياً مستعصياً. تقليدياً، اعتمد المهندسون على التعلم المعزز، وهي عملية قائمة على التجربة والخطأ حيث يتعلم الروبوت من خلال التفاعل مع بيئته، ويتلقى مكافآت عند النجاح وعقوبات عند الفشل. ورغم قوة هذه الطريقة، إلا أنها غالباً ما تكون بطيئة، وخطيرة، وغير عملية في البيئات الواقعية حيث يمكن للأخطاء أن تكسر معدات باهظة الثمن. وقد ظهر بديل أكثر كفاءة: التعلم المعزز غير المتصل (offline reinforcement learning). فبدلاً من التعلم من خلال الفعل، يتعلم الروبوت عبر دراسة مكتبة ضخمة من استعراضات الأداء البشرية المسجلة مسبقاً؛ حيث يحلل هذه الأفعال الماضية ليعرف ما هو الأفضل، ويقوم بتحسين سلوكه دون الحاجة أبداً إلى لمس العالم المادي مرة أخرى. ومع ذلك، ظل هناك عائق كبير: فأكثر النماذج نجاحاً في توليد هذه الحركات المعقدة، والتي تعتمد على تقنيات الانتشار (diffusion) أو مطابقة التدفق (flow-matching)، تشبه "الصناديق السوداء"؛ فهي تستطيع إنتاج حركات ممتازة، لكنها لا تستطيع بسهولة حساب الاحتمالية الدقيقة لأي فعل محدد، مما يجعل من الصعب تحسينها رياضياً باستخدام بيانات المكافأة من المكتبة غير المتصلة.
قام فريق من الباحثين في جامعة العلوم والتكنولوجيا في الصين والجامعة الصينية في هونغ كونغ بتطوير إطار عمل جديد يسمى RoMAN-Flow لحل هذه العقبة المحددة. يعتمد نهجهم على نوع من نماذج الذكاء الاصطناعي يُعرف باسم "التدفق الطبيعي ذاتي الانحدار" (autoregressive normalizing flow). وبخلاف النماذج التي تشبه الصناديق السوداء، يسمح هذا الهيكل للنظام بحساب الاحتمالية الدقيقة لأي فعل يولده، وهو أمر بالغ الأهمية للتحسين الرياضي المطلوب في التعلم غير المتصل. واجه الباحثون مشكلة فريدة مع هذا النموذج: فبينما يتفوق في حساب الاحتمالات، فإنه بطيء للغاية في توليد أفعال جديدة لأنه يجب أن يبنيها قطعة قطعة، تماماً كما يكتب الشخص جملة كلمة بكلمة. وتخلق هذه العملية المتسلسلة تأخراً طويلاً جداً بالنسبة للروبوت للاستجابة في الوقت الفعلي. وللتغلب على ذلك، ابتكر الفريق استراتيجية مكونة من جزأين: أولاً، أنشأوا طريقة تدريب تعمل على تحسين سياسة الروبوت من خلال تحليل المكافآت في البيانات غير المتصلة دون مطالبة النموذج البطيء بتوليد أفعال جديدة أبداً. ثانياً، بمجرد تحسين النموذج، استخدموا تقنية تسمى "التقطير" (distillation) لضغط نموذج "المعلم" المعقد والبطيء إلى نموذج "طالب" أسرع بكثير، يمكنه التنبؤ بتسلسل كامل من الحركات فوراً.
اختبر الباحثون إطار العمل هذا عبر مجموعة متنوعة من البيئات المحاكية وعلى منصة روبوتية حقيقية مجهزة بذراع ذات سبعة مفاصل ويد ذات اثني عشر إصبعاً. وفي عمليات المحاكاة، التي شملت مهاماً تتراوح من نقل الأشياء إلى مواقع محددة إلى حل الألغاز المعقدة، أظهر النظام قدرته على التعلم بفعالية من البيانات الساكنة. وفي مجموعة اختبار تضم خمسين مهمة تلاعب مختلفة، حسّنت الطريقة معدل نجاح الروبوت بشكل ملحوظ بعد مرحلة التدريب غير المتصل، حيث وصلت إلى متوسط معدل نجاح يتجاوز الثمانين بالمائة. وعند مقارنتها بالنماذج الرائدة الأخرى، كان النهج الجديد منافساً، وغالباً ما تفوق على الأنظمة التي كانت أكبر بكثير وأكثر تكلفة من الناحية الحسابية. والأهم من ذلك، أن عملية التقطير لم تضحِّ بالأداء في سبيل السرعة؛ فقد احتفظ النموذج المقطر النهائي بجميع مهارات النسخة الأصلية الأبطأ تقريباً، مع تقليل الوقت المستغرق لتوليد تسلسل من الأفعال بمعامل يزيد عن ثمانية أضعاف. وهذا يعني أن الروبوت يمكنه الآن التخطيط لحركته التالية في حوالي ثمانين مللي ثانية، وهي سرعة كافية للتحكم العملي في الوقت الفعلي.
كما تحقق الفريق من هذه النتائج على روبوت مادي في مختبر حقيقي، حيث طُلب منه القيام بمهام دقيقة مثل التقاط دورق، ووضعه على ميزان، والتحكم في أسطوانات. وفي هذه التجارب الواقعية، أثبت التدريب غير المتصل فعاليته العالية في صقل سلوك الروبوت. فقد حسّن النظام متوسط معدل نجاحه في هذه المهام الفيزيائية من حوالي سبعة وخمسين بالمائة إلى أكثر من ثمانين بالمائة. وكانت التحسينات الأكثر دراماتيكية في المهام التي تتطلب وضعاً دقيقاً، حيث قفز معدل النجاح بأكثر من ستين نقطة مئوية. ويشير هذا إلى أن القدرة على حساب الاحتمالات الدقيقة سمحت للروبوت بفهم الحركات المحددة الأكثر احتمالاً للنجاح بشكل أفضل، حتى عند مواجهة الضجيج والتباينات غير المتوقعة في العالم الحقيقي. وقد حافظ النموذج المقطر على هذا المستوى العالي من الأداء، مما أثبت أن التسريع لم يأتِ على حساب الموثوقية.
يشير هذا العمل إلى أن الطريق نحو روبوتات أكثر قدرة لا يتطلب بالضرورة نماذج أكبر وأكثر تعقيداً يصعب تدريبها أو بطيئة جداً في الاستخدام. فمن خلال الجمع بين نموذج يمكن تحسينه رياضياً وطريقة تجعله سريعاً، أظهر الباحثون أنه من الممكن إنشاء سياسات روبوتية تتسم بالمهارة العالية والاستجابة السريعة في آن واحد. وتشير النتائج إلى أن التدفقات الطبيعية ذاتية الانحدار، التي كانت تُعتبر ذات يوم بطيئة جداً للنشر العملي، يمكن جعلها قابلة للتطبيق في الروبوتات الواقعية. لقد نجح إطار العمل في سد الفجوة بين المزايا النظرية للتعلم القائم على الاحتمالية والمتطلبات العملية للتحكم الروبوتي، مما يقدم أداة جديدة لتعليم الآلات كيفية التلاعب ببيئتها بدقة واستقلالية أكبر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.