Learning the Right Abstraction: Neural Reduced Dynamics for Complex Robot Control
تقدم هذه الورقة إطار عمل "الديناميكيات المختزلة العصبية" (NRD) الذي يتعلم تجريدات للحالة ذات صلة بالتحكم لتمكين التعلم المعزز عالي الإنتاجية، حيث نجح في تدريب السياسات في نموذج أسرع بأربعة مراتب عشرية من المحاكيات عالية الدقة التي تنتقل بفعالية إلى المهام الروبوتية المعقدة عبر تضاريس متنوعة دون تدهور في الأداء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تواجه الروبوتات التي تتحرك في العالم الحقيقي مشكلة جوهرية: فيزياء حركتها معقدة للغاية. فعندما تسير مركبة فوق تربة ناعمة، تغوص الأرض وتتحرك؛ وعندما تتحرك ذراع روبوتية، تتفاعل مفاصلها مع الجاذبية ووزنها الخاص. ولفهم هذه القوى، يستخدم المهندسون محاكيات عالية الدقة—وهي برامج حاسوبية تعمل كمختبرات افتراضية. تحسب هذه البرامج كل تفصيل من الاحتكاك، والتشوه، والتلامس، مما يوفر بيئة واقعية لاختبار سلوك الروبوت قبل أن يلمس الأجهزة الحقيقية. ومع ذلك، تأتي هذه الواقعية بثمن باهظ؛ إذ إن تشغيل هذه المحاكاة التفصيلية بطيء للغاية لدرجة أن الحاسوب قد يستغرق ساعات لمحاكاة بضع ثوانٍ فقط من حياة الروبوت. هذه السرعة تجعل من المستحيل تقريبًا تعليم الروبوتات مهارات جديدة باستخدام طرق التعلم الحديثة، والتي تتطلب ملايين المحاولات التدريبية لمعرفة ما ينجح وما لا ينجح.
ولحل هذه المشكلة، حاول الباحثون لفترة طويلة بناء نماذج "متعلمة"—وهي برامج حاسوبية مبسطة تحاكي سلوك المحاكي ولكنها تعمل بسرعة أكبر بكثير. كان التحدي دائمًا يتمثل في إيجح المستوى المناسب من التبسيط. فإذا كان النموذج بسيطًا جدًا، فإنه سيفتقر إلى الفيزياء الحاسمة التي يحتاجها الروبوت للبقاء، مثل كيفية انزلاق الإطار على الطين. وإذا كان معقدًا جدًا، فسيظل بطيئًا للغاية بحيث لا يمكن الاستفادة منه. السؤال المركزي ليس فقط كيفية جعل النموذج أسرع، بل كيفية تجريده من التفاصيل غير الضرورية مع الحفاظ على الحقائق الفيزيائية المحددة التي يعتمد عليها المتحكم فعليًا.
قام فريق من الباحثين في جامعة ويسكونسن–ماديسون بتطوير نهج جديد لهذه المشكلة، حيث ابتكروا إطار عمل أطلقوا عليه اسم "الديناميكيات العصبية المختزلة" (neural reduced dynamics). ويُظهر عملهم أن مفتاح النجاح لا يكمن فقط في ضغط البيانات، بل في الاختيار الدقيق للمتغيرات الفيزيائية التي يجب الاحتفاظ بها وتلك التي يجب التخلص منها بناءً على المهمة المحددة التي يحاول الروبوت القيام بها. وبدلاً من محاولة تعلم كل تفصيل من تفاصيل آلة معقدة، تُعلم طريقتهم النموذج التركيز فقط على الحركات والقوى المحددة التي تهم وظيفة معينة، بينما يتم حساب الباقي باستخدام قواعد رياضية معروفة. وهذا يسمح للنموذج بالعمل أسرع بآلاف المرات من المحاكي الأصلي، ومع ذلك ينتج متحكمًا للروبوت يعمل بشكل مثالي عند اختباره في البيئة البطيئة والواقعية.
اختبر الباحثون هذه الفكرة على نظامين روبوتيين مختلفين تمامًا. الأول كان مركبة ذات عجلات تشبه السيارات العسكرية من طراز "هامي"، مصممة للقيادة عبر ثلاثة أنواع من التضاريس: أرض صلبة مستوية، وأرض صلبة متعرجة، وتربة ناعمة قابلة للتشوه. والنظام الثاني كان مركبة مجنزرة، مثل الدبابة، مزودة بذراع روبوتية مثبتة في مقدمتها. احتاج الباحثون إلى تعليم المركبة ذات العجلات اتباع مسار بدقة، وتعليم المركبة المجنزرة الوصول إلى أهداف محددة بكل من مساراتها وذراعها. وفي كلتا الحالتين، كان المحاكي عالي الدقة بطيئًا جدًا لتدريب الروبوتات مباشرة.
لسد هذه الفجوة، جمع الفريق أولاً بيانات من المحاكي البطيء عن طريق قيادة الروبوتات عبر مناورات مختلفة. ثم استخدموا هذه البيانات لتدريب شبكة عصبية متخصصة. وكان الابتكار الحاسم في كيفية تصميم المدخلات لهذه الشبكة؛ فهم لم يغذوا الشبكة بالحالة الكاملة للروبوت، بل قدموا لها حالة "مختزلة"—وهي مجموعة أصغر من الأرقام التي تلتقط الفيزياء الأساسية فقط. بالنسبة للمركبة ذات العجلات، شمل ذلك سرعة الهيكل، وميله، والضغط على كل إطار، مما يخبر النموذج بمدى انزلاق الإطارات. وبالنسبة للمركبة المجنزرة، احتاج النموذج فقط إلى معرفة سرعة المسارات وزاوية الدوران. أما بالنسبة للذراع الروبوتية، فقد ركز النموذج حصريًا على مواضع وسرعات المفاصل.
والأهم من ذلك، أن الباحثين لم يطلبوا من النموذج تعلم كل شيء؛ فقد تركوا النموذج يتعلم الأجزاء التي يصعب التنبؤ بها، مثل كيفية تفاعل الإطارات مع التربة الناعمة أو كيفية تسارع المفاصل. أما بالنسبة للأشياء التي يمكن حسابها بدقة باستخدام الرياضيات القياسية، مثل الموقع العام للروبوت على الخريطة أو الموقع الدقيق لطرف الذراع، فقد استخدموا صيغًا بسيطة لحساب تلك القيم بعد أن يقوم النموذج بتوقعه. سمح هذا الفصل للنموذج بأن يظل صغيرًا وسريعًا مع الحفاظ على دقته. كما أضافوا إشارة "سياق" بسيطة للنموذج، تخبره ما إذا كانت الأرض صلبة أم ناعمة، حتى يتمكن من ضبط توقعاته وفقًا لذلك دون الحاجة إلى تخمين نوع التضاريس من الصفر.
بمجرد تدريب النموذج، قام الباحثون بتجميده، مما يعني أنهم توقفوا عن تغيير إعداداته الداخلية، واستخدموه كبيئة لتدريب سياسة التحكم للروبوت. قاموا بتشغيل آلاف النسخ من هذا النموذج السريع بالتوازي على بطاقة رسوميات واحدة. سمح هذا الإعداد للروبوت بالممارسة ملايين المرات في غضة دقائق. تعلمت سياسة التحكم بالكامل داخل هذا العالم السريع والمبسط.
جاء الاختبار الحقيقي عندما نقل الباحثون السياسات التي تم تدريبها في النموذج السريع إلى المحاكي البطيء عالي الدقة. أرادوا معرفة ما إذا كان الروبوت سيعمل أيضًا عند إزالة الافتراضات المبسطة واستعادة التعقيد الكامل للفيزياء. كانت النتائج مذهلة؛ فالمركبة ذات العجلات، التي تدربت على مزيج من بيانات التربة المستوية والناعمة، تمكنت من القيادة عبر جميع التضاريس الثلاثة، بما في ذلك سطح متعرج لم تره من قبل. لقد أدت أداءً أفضل من الروبوتات التي تم تدريبها خصيصًا على نوع واحد فقط من التضاريس، مما أظهر أن النموذج المتعلم قد التقط القواعد العامة للقيادة بدلاً من مجرد حفظ مسارات محددة.
كما نجحت المركبة المجنزرة وذراعها أيضًا؛ حيث وصلت السياسة التي تم تدريبها للمركبة إلى كل موقع من مواقعها المائة ضمن هامش خطأ يقل عن ثلاثة أربع المتر. أما الذراع الروبوتية، التي تدربت على الوصول إلى نقاط محددة في الفضاء، فقد نجحت في الوصول إلى 97 من أصل 100 هدف بخطأ يقل عن خمسة سنتيمترات. والأهم من ذلك، أن الذراع لم تصطدم أبدًا بالأرض أو بالمركبة نفسها، ولم تنتهك أبدًا حدود مفاصلها الخاصة، رغم أنها لم ترَ المحاكي المعقد والكامل أثناء تدريبها.
كان الفرق في السرعة بين النهجين هائلًا؛ فقد كان المحاكي عالي الدقة يعمل ببطء شديد لدرجة تجعل تدريبه غير عملي. وفي المقابل، كانت نماذج الديناميكيات العصبية المختزلة تعمل أسرع بنحو 10,000 إلى 58,000 مرة، اعتمادًا على المهمة المحددة. جعل هذا التسريع من الممكن تكرار عملية تعلم سلوك الروبوت بسرعة، مما سمح للباحثين بتحسين عملية التدريب حتى يتعلم الروبوت أداء مهامه بموثوقية.
تخلص الدراسة إلى أن الطريقة الأكثر فعالية لتسريع تعلم الروبوتات ليست بناء نسخة مبسطة عامة من العالم، بل بناء نموذج مصمم خصيصًا لفيزياء المهمة المعنية. ومن خلال الاحتفاظ بالمتغيرات التي يحتاجها المتحكم فعليًا وحساب الباقي باستخدام الرياضيات المعروفة، يمكن إنشاء بيئة تعلم سريعة ودقيقة بما يكفي لإنتاج نتائج واقعية. ويؤكد الباحثون أنه بينما تم إثبات نجاحهم في المحاكاة، فإن الطريقة توفر مسارًا واضحًا لتدريب الروبوتات المعقدة دون أن تعيقها السرعة البطيئة لحسابات الفيزياء التفصيلية. ويشير العمل إلى أن مستقبل تعلم الروبوتات يكمن في إيجاد التوازن الصحيح بين ما يجب على النموذج تعلمه وما يمكنه ببساطة حسابه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.