Where to Touch, How to Contact: A Hierarchical RL-MPC Framework for Geometry-Aware Sim-to-Real Manipulation

لطالما كانت الروبوتات أسياداً في أرض المصنع، حيث تتحرك بدقة على طول مسارات مبرمجة مسبقاً لتجميع السيارات أو فرز الطرود. ومع ذلك، عندما تخطو هذه الآلات إلى الفوضى غير المتوقعة للعالم الحقيقي، لا سيما عندما يتعين عليها التعامل مع الأشياء دون مجرد التقاطها، فإنها غالباً ما تعاني. يكمن التحدي في المعالجة "الغنية بالتلامس"، حيث يجب على الروبوت دفع أو تمرير أو تدوير أو قلب جسم ما لتحريكه. وخلافاً للرفع البسيط، تعتمد هذه الأفعال على تفاعلات معقدة ومتغيرة بين الجسم وذراع الروبوت والبيئة المحيطة. فإذا دفع الروبوت صندوقاً بقوة زائدة، فقد ينزلق بعيداً؛ وإذا دفعه بزاوية خاطئة، فقد ينقلب الصندوق أو يعلق. لسنوات، حاول الباحثون تعليم الروبوتات كيفية التعامل مع هذه المواقف من خلال تدريبها باستخدام كميات هائلة من البيانات، آملين أن تتعلم الآلة قواعد الفيزياء من خلال التجربة والخطأ. ومع ذلك، فإن هذا النهج غالباً ما يكون بطيئاً، ويستهلك الكثير من البيانات، ويفشل في العمل عندما يُوضع روبوت تم تدريبه في محاكاة حاسوبية في غرفة حقيقية.

اقترح فريق من الباحثين طريقة مختلفة لحل هذه المشكلة عبر محاكاة كيفية تفكير البشر في تحريك الأشياء. فبدلاً من محاولة تعلم كل حركة عضلة صغيرة وتفاصيل الاحتكاك دفعة واحدة، قاموا بتقسيم المهمة إلى مستويين متميزين من التفكير. في المستوى العالي، يقرر الروبوت أين يلمس الجسم وما هو النتيجة العامة التي يريد تحقيقها، مثل "ادفع المقبض لجعل الصندوق ينزلق للأمام". وفي المستوى المنخفض، يقوم نظام منفصل بمعرفة كيفية تنفيذ تلك الخطة في الوقت الفعلي، مع التكيف مع الفيزياء الدقيقة للحظة، مثل ما إذا كان الجسم يلتصق أو ينزلق. هذا الإطار الجديد، الذي يجمع بين "عقل" قائم على التعلم و"عضلة" قائمة على الفيزياء، يسمح للروبوتات بالتعلم بشكل أسرع ونقل مهاراتها من المحاكاة إلى الواقع دون أي تدريب إضافي.

اختبر الباحثون هذه الفكرة على ذراع روبوت مجهزة بأداة بسيطة تشبه العصا، حيث طُلب منها أداء مهام تتطلب عدم الإمساك بالأشياء. في أحد السيناريوهات، كان على الروبوت دفع كتل مختلفة على شكل حروف من مواضع بداية عشوائية إلى أهداف محددة. وفي سيناريو آخر، كان عليه إعادة توجيه مكعب، عبر قلبه وتدويره حتى يستقر في وضعية مرغوبة. وفي سين الثالث، كان عليه استخدام درج للمساعدة في قلب جسم ما فوق طاولة. وكان مفتاح نجاحهم هو نوع محدد من التعليمات أطلقوا عليه اسم "نية التلامس". هذه ليست أمراً مفصلاً لكل حركة مفصل، بل هي هدف رفيع المستوى يقول: "المس الجسم هنا، واهدف إلى إيصاله إلى ذلك الموضع". تقوم سياسة المستوى العالي للروبوت، المدربة باستخدام التعلم المعزز، بالتنبؤ بهذه النية بناءً على ما تراه. وبمجرد تحديد النية، يتولى متحكم المستوى المنخفض المهمة. يعمل هذا المتحكم كآلة حاسبة سريعة للغاية، حيث يخطط باستمرار للحركات القليلة القادمة لضمان بقاء عصا الروبوت على اتصال بالجسم في النقطة المختارة وتحريكه نحو الهدف، مع التكيف فورياً إذا انزلق الجسم أو اصطدم بشيء ما.

إن ما يجعل هذا النهج فعالاً بشكل خاص هو فصل "ماذا" عن "كيف". فالسياسة عالية المستوى تحتاج فقط إلى فهم شكل الجسم والهدف، متجاهلة الفيزياء المعقدة والفوضوية للتلامس. وهذا يسمح لها بالتعلم بسرعة والتعميم على أشكال لم ترها من قبل. في اختباراتهم، تعلم الروبوت دفع حروف غير مرئية بنجاح شبه مثالي بعد كمية صغيرة نسبياً من التدريب. وبالمقارنة، فإن النظام الذي يحاول تعلم العملية بأكملة من الصفر، دون هذا الفصل في المهام، تطلب بيانات أكثر بكثير وفشل في الأداء بنفس الكفاءة. وجد الباحثون أن طريقتهم احتاجت إلى حوالي أربعين ضعفاً أقل من خطوات القرار لتعلم مهمة ما مقارنة بهذه الأساليب التقليدية (من البداية إلى النهاية). علاوة على ذلك، ولأن السياسة عالية المستوى تركز على الهندسة بدلاً من الديناميكيات الفيزيائية المحددة، يمكن تدريبها في محاكاة حاسوبية بسيطة ثم نشرها على روبوت حقيقي دون أي تعديل.

كانت نتائج هذا الفصل مذهلة في كل من المحاكاة والعالم الحقيقي. فعندما نقل الباحثون الروبوت المدرب من الحاسوب إلى ذراع روبوت "فرانكا" (Franca) المادية، أدى المهام بموثوقية عالية دون أي ضبط دقيق. وفي مهمة دفع الحروف، حقق الروبوت نسبة نجاح 100% في الحروف التي رآها أثناء التدريب، ونسبة 95% في الحروف التي لم يسبق له مواجهتها. وحتى في المهمة الأكثر تعقيداً المتمثلة في قلب مكعب في فضاء ثلاثي الأبعاد، نجح الروبوت في كل مرة تقريباً. وفي الاختبارات الواقعية، نجح الروبوت في دفع حروف غير مرئية وإعادة توجيه الأشياء، وغالباً ما أكمل المهمة في أقل من عشر قرارات عالية المستوى. وكانت الإخفاقات الطفيفة ناتجة عن مشكلات عملية مثل فقدان الكاميرا لتتبع الجسم، وليس بسبب خلل في منطق الروبوت. وقد أثبت هذا أن الروبوت قد تعلم حقاً استراتيجية قوية للتفاعل مع العالم، بدلاً من مجرد حفظ مجموعة محددة من الحركات.

كما استكشفت الدراسة ما يحدث عند إزالة أجزاء من هذا النظام، مما أكد أن كل مكون ضروري. فعندما أزال الباحثون القدرة على وضع أهداف وسيطة، غال فالدوران حول نفسه أو في الزوايا لأنه كان يحاول الوصول إلى الوجهة النهائية مباشرة دون خطة. وعندما أزالوا المعلومات المتعلقة بمكان التلامس الآمن دون الاصطدام بالبيئة، واجه الروبوت صعوبة في إيجاد نقاط تلامس صالحة. أظهرت هذه الاختبارات أن الروبوت يحتاج إلى كل من إدراك شكل الجسم ووضع خطة لتحريكه على مراحل للنجاح. كما أثبت الإطار تفوقه على الأساليب الأخرى التي تحاول تعلم ديناميكيات التلامس مباشرة، والتي غالباً ما تعلق في حلقات محلية أو تتطلب كميات هائلة من البيانات للوصول إلى النتائج. ومن خلال إسناد حسابات الفيزياء الصعبة إلى متحكم مخصص، يتم تحرير نظام التعلم للتركيز على القرارات الاستراتيجية الأكثر أهمية.

في نهاية المطاف، يقدم هذا العمل مساراً جديداً لجعل الروبوتات أكثر قدرة في البيئات غير المنظمة. فهو يشير إلى أن أفضل طريقة لتعليم الآلة كيفية التعامل مع العالم المادي ليست بإجبارها على تعلم كل تفاصيل الفيزياء دفعة واحدة، بل بإعطائها تسلسلاً هرمياً من المهام. يتعلم الروبوت التفكير في الهندسة والاستراتيجية، بينما يتولى نظام منفصل وموثوق التنفيذ الفيزيائي المباشر. هذا النهج لا يجعل التعلم أسرع وأكثر كفاءة فحسب، بل يسد أيضاً الفجوة بين المحاكاة والواقع، مما يسمح بتدريب الروبوتات في عوالم افتراضية ثم وضعها للعمل فوراً في العالم الحقيقي. وبينما يتطلع الباحثون إلى الأمام، فإنهم يهدفون إلى توسيع هذا الإطار ليشمل أيدٍ أكثر تعقيداً ذات أصابع متعددة، رغم إقرارهم بأن الطريقة الحالية تعتمد على التتبع الدقيق لموضع الجسم وقد تواجه تحديات مع العدد الهائل لنقاط التلامس في المهام الأكثر براعة. ومع ذلك، تظهر النتائج حالياً طريقة واضحة وقوية لتعلم الآلات فن لمس وتحريك العالم من حولها.