Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو معالجة تشبه البشر من خلال التحكم عن بُعد المعزز بالتعلم التعزيزي وVLA المكون من خليط من الخبراء المهرة".

1. بيان المشكلة

تتناول الورقة البحثية الفجوة الكبيرة بين نماذج الرؤية واللغة والعمل (VLA) الحالية وبين المعالجة الماهرة التي تشبه البشر. وبينما نجحت نماذج VLA في مهام الالتقاط والوضع البسيطة باستخدام مقابض ذات درجات حرية (DoF) منخفضة، إلا أنها تعاني في المعالجة داخل اليد الغنية بالتلامس وثنائية اليد (مثل تقشير تفاحة). حدد المؤلفون ثلاث عقبات حرجة:

• اكتساب البيانات: التحكم عن بُعد في أنظمة ثنائية اليد ذات درجات حرية عالية (63 درجة حرية) للقيام بمعالجة دقيقة داخل اليد يمثل عبئاً إدراكياً كبيراً على البشر، مما يؤدي إلى عروض توضيحية منخفضة الجودة أو غير متسقة.
• تعلم المهارات المتعددة: تتطلب المهام المعقدة التبديل بين مراحل متميزة (الحركة العامة الموجهة بالرؤية، القطع الموجه بالقوة، والدوران الموجه باللمس)، وهو أمر يصعب على نموذج أحادي ضخم إتقانه في مساحة عمل ذات أبعاد عالية.
• تباين الأنماط (Modality Heterogeneity): غالباً ما يؤدي الدمج الساذج لبيانات القوة واللمس في هيكل VLA إلى تدهور الأداء لأن هذه الأنماط لها دلالات فيزيائية وديناميكيات زمنية مختلفة مقارنة بالرؤية واللغة.

2. المنهجية

يقترح المؤلفون إطار عمل متكاملاً يتكون من مكونين متآزرين: IMCopilot و MoDE-VLA.

أ. IMCopilot (مساعد المعالجة داخل اليد)

IMCopotilot هو مجموعة من المهارات الذرية المدربة باستخدام التعلم التعزيزي (RL) والمصممة لتلعب دوراً مزدوجاً:

1. مساعد الاستقلالية المشتركة (جمع البيانات): أثناء التحكم عن بُعد، يتحكم المشغلون البشريون في حركات الذراع العامة عبر هيكل خارجي، ولكنهم يفعلون مهارات داخل اليد المدربة مسبقاً (مثل الحفاظ على القبضة المستقرة، وتدوير الأشياء) عبر دواسات قدم. هذا يتجاوز عدم قدرة الإنسان على التنسيق الدقيق بين الأصابع المتعددة، مما ينتج بيانات عرض توضيحي عالية الدقة.
2. أداة أولية قابلة للاستدعاء (التنفيذ الذاتي): أثناء الاستدلال، يمكن لنموذج VLA استدعاء IMCopilot كمهارة منخفضة المستوى. يخرج نموذج VLA إشارة تشغيل ($c$)؛ إذا كانت $c > 0.5$، يتولى IMCopilot التحكم في اليد للمعالجة داخل اليد بينما يستمر VLA في التحكم في الأذرع.

التدريب: يتم تدريب المهارات باستخدام خوارزمية (PPO) في المحاكاة (IsaacLab) مع بنية "الممثل-الناقد غير المتماثل" (asymmetric actor-critic) وتقنية "توزيع المعلم-الطالب" لضمان انتقال المهارة من المحاكاة إلى الواقع.

ب. MoDE-VLA (VLA المكون من خليط من الخبراء المهرة)

MoDE-VLA هو بنية مبتكرة تدمج أنماط القوة واللمس في هيكل VLA مدرب مسبقاً (بناءً على OpenPI-0/π0) دون تدهور معرفته المدربة مسبقاً.

• البنية: تقدم مساراً مخصصاً لإشارات القوة (عزم دوران مفاصل الذراع) واللمس (قوة الشد سداسية درجات الحرية عند أطراف الأصابع).
• بناء الرموز (Token Construction): يتم إسقاط مدخلات القوة واللمس في فضاء التضمين وتكرارها عبر أفق العمل مع ترميزات موضعية للسماح بالمعالجة الخاصة بكل خطوة زمنية.
• خليط الخبراء المتفرق (Sparse Mixture-of-Experts): يقوم طبقة MoE على مستوى الرمز بتوجيه رموز القوة/اللمس عبر خبراء متخصصين. يسمح هذا للشبكة باختيار خبراء مختلفين ديناميكياً لأنظمة معالجة مختلفة (مثل الوصول في الفضاء الحر مقابل بدء التلامس مقابل القبضة المستقرة).
• الحقن المتبقي (Residual Injection): يتم حقن مخرجات طبقة MoE كـ تصحيح متبقي لتنبؤ الهيكل الأساسي بالعمل. يضمن ذلك أنه عندما تكون معلومات التلامس غير ذات صلة (في الفضاء الحر)، يتلاشى التصحيح، مما يحافظ على السلوك القوي المدرب مسبقاً. الحقن محدد لكل نمط: تعمل رموز القوة على تحسين حركات الذراع، بينما تعمل رموز اللمس على تحسين حركات اليد.

3. المساهمات الرئيسية

1. إطار عمل IMCopilot: نظام موحد يحل مشكلة نقص البيانات عبر تعزيز التحكم عن بُعد بمهارات التعلم التعزيزي، ويحل تحدي تعدد المهارات من خلال العمل كأداة هرمية قابلة للاستدعاء لـ VLA.
2. بنية MoDE-VLA: طريقة مبتكرة لدمج أنماط القوة واللمس المتباينة في نماذج VLA باستخدام الانتباه الذاتي المخصص، وتوجيه MoE المتفرق، والحقن المتبقي، مما يتيح التحسين المدرك للتلامس دون نسيان المعرفة المدربة مسبقاً.
3. أول عملية تقشير تفاح ذاتية بيديْن ماهرتين: أثبت المؤلفون نجاح أول عملية تقشير تفاح ذاتية باستخدام يدين، وهي مهمة تتطلب التآزر الكامل بين الرؤية والقوة واللمس والتدوير داخل اليد.

4. النتائج التجريبية

تم تقييم الإطار في أربع مهام متزايدة التعقيد: تجميع التروس، توصيل الشاحن، إعادة ترتيب الأنابيب، وتقشير التفاح.

• اكتساب البيانات (س1):

  • IMCopilot مقابل التحكم عن بُعد: حقق IMCopilot نسبة نجاح بلغت 89% في مهام المعالجة داخل اليد (مثل تدوير الأشياء)، مقارنة بـ 34% فقط للتحكم عن بُعد الصرف. بالنسبة للأشياء الصغيرة مثل كرات البينج بونج، نجح التحكم عن بُعد بنسبة 10% فقط، بينما وصل IMCopilot إلى 83%.
  • التغذية الراجعة: أدى إضافة التغذية الراجعة البصرية للقوة/اللمس للمتحكم عن بُعد إلى تقليل وقت إكمال المهمة وزيادة معدلات نجاح العرض التوضيحي.

• أداء السياسة (س2):

  • MoDE-VLA مقابل النموذج المرجعي (π0): حقق MoDE-VLA متوسط معدل نجاح (SR) قدره 34%، متفوقاً على النموذج المرجعي بنسبة 19%.
  • تفاصيل المهام:
    • تجميع التروس: تحسن بنسبة +20% (ضروري لاكتشاف بدء التلامس).
    • توصيل الشاحن: تحسن بنسبة +10%.
    • تقشير التفاح: حقق معدل نجاح 30% ونسبة إكمال قشرة (PCR) بلغت 73%. فشل النموذج المرجعي في إكمال الحلقات الكاملة بسبب الانزلاق.

• دراسات الاستئصال (Ablation Studies) (س3):

  • استشعار القوة: تسبب إزالة مدخلات القوة في أكبر انخفاض (انخفاض متوسط SR بنسبة 11%)، مما يؤكد ضرورتها لمهام الإدخال.
  • استشعار اللمس: أدت إزالة مدخلات اللس إلى تقليل SR بنسبة 8%، مما أثر بشكل أساسي على استقرار القبضة واكتشاف الانزلاق.
  • IMCopilot: أدى إزالة IMCopilot وإجبار VLA على تعلم التدوير مباشرة إلى انخفاض نسبة إكمال قشرة التفاح (PCR) من 73% إلى 25%، مما يثبت ضرورة وجود مهارات منخفضة المستوى مخصصة للتدوير داخل اليد.

5. الأهمية

يمثل هذا العمل خطوة كبيرة نحو براعة روبوتية تشبه البشر. من خلال الجمع بين الاستقلالية المشتركة (لحل مشكلة نقص البيانات) مع التحكم الهرمي (VLA للتخطيط، وRL للتنفيذ) ودمج الحواس المتخصص (MoDE)، أثبت المؤلفون أن الروبوتات يمكنها أداء مهام معقدة وغنية بالتلامس كانت غير ممكنة سابقاً للتعلم من الطرف إلى الطرف. إن التنفيذ الناجح لتقشير التفاح بواسطة روبوت ثنائي الأذرع مع أيدٍ ماهرة يعد معياراً للمهام المستقبلية في المعالجة الغنية بالتلامس، مما يثبت أن دمج التغذية الراجعة الفيزيائية وتعلم المهارات النمطية أمر ضروري للتقدم لما وراء روبوتات الالتقاط والوضع البسيطة.