Visual Prompting for Robotic Manipulation with Annotation-Guided Pick-and-Place Using ACT

ملخص تقني: التلقين البصري للتحكم الروبوتي في المناولة باستخدام التقاط وتوضع الأشياء الموجه بالتعليقات التوضيحية عبر تقنية ACT

بيان المشكلة
تواجه مهام الالتقاط والوضع (pick-and-place) الروبوتية في بيئات المتاجر الصغيرة عقبات كبيرة بسبب الترتيبات الكثيفة للأشياء، والانسدادات المتكررة، والتباين العالي في خصائص الأشياء (اللون، الشكل، الحجم، الملمس). كما أن النهج التقليدي الذي يعتمد على القواعد المحددة مسبقاً، أو البيئات المهيكلة، أو تقسيم المشهد الشامل غالباً ما يفتقر إلى القدرة على التكيف المطلوبة للتعامل مع العناصر الجديدة والتخطيطات الديناميكية. علاوة على ذلك، فإن التخطيط التقليدي خطوة بخطوة قد يكون عرضة للأخطاء في المهام طويلة المدى، مما يؤدي إلى تراكم الأخطاء والفشل.

المنهجية
يقترح المؤلفون مسار عمل للإدراك والحركة يجمع بين التلقين البصري الموجه بالتعليقات التوضيحية وتقنية تقسيم الإجراءات باستخدام المحولات (ACT)، وهي خوارزمية التعلم بالتقليد.

• التلقين البصري: بدلاً من مطالبة الروبوت بإجراء تحليل معقد وشامل للمشهد، يستخدم النظام تعليقات توضيحية لـ "صناديق الإحاطة" (bounding boxes) لتوفير توجيه مكاني مهيكل. تحدد هذه التعليقات بوضوح الشيء المستهدف للالتقاط ومكان الوجهة للوضع. يستخدم النظام كاميرتين من نوع Intel RealSense (طراز D435i على المعصم وD415 على الطاولة) لالتقاط بيانات RGB والعمق. تُستخدم صور RGB، المعززة بالتلقينات البصرية (صناديق الإحاطة)، كمدخلات مباشرة للشبكة العصبية.
• تقسيم الإجراءات باستخدام المحولات (ACT): خوارزمية التحكم الأساسية هي ACT، والتي تستبدل التخطيط الصارم خطوة بخطوة بالتنبؤ بتسلسلات إجراءات "مقسمة".
  • البنية: يستخدم النموذج بنية قائمة على المحولات (Transformer). يقوم مشفر CVAE بمعالجة بيانات العروض البشرية (الإجراءات والملاحظات بدون صور) لتوليد متغير كامن ($z$). ثم يتنبأ فك تشفير المحول (Transformer decoder) بتسلسل من الإجراءات المستقبلية (إجراء "مقسم") بناءً على الحالة الحالية، والمتغير الكامن، والمدخل البصري (صورة RGB مع صناديق الإحاطة).
  • التدريب: يتم تدريب النظام عبر التعلم بالتقليد باستخدام عروض بشرية تم جمعها عبر التحكم عن بعد (3D space mouse). يهدف هدف التدريب إلى تقليل خطأ إعادة البناء بين قطع الإجراءات المتوقعة والفعلية، مع تنظيم عبر حد تباعد KL.
• الإعداد التجريبي: تم تنفيذ النظام على ذراع روبوتية من نوع Universal Robots UR5e مجهزة بقبضة Robotiq ذات إصبعين. أُجريت التجارب في بيئة محاكاة وبيئة واقعية لمتجر صغير باستخدام ست فئات متميزة من المنتجات (مثل أوعية النودلز، علب الشوكولاتة، زجاجات الشاي) التي تمثل أشكالاً ومواد متنوعة.

المساهمات الرئيسية

1. التلقين البصري الموجه بالتعليقات التوضيحية: تقديم التلقين البصري القائم على صناديق الإحاطة لتوجيه المناولة الروبوتية. يقلل هذا النهج من تعقيد فهم المشهد مع ضمان تنفيذ المهمة من خلال توفير إشارات مكانية خفيفة الوزن وفعالة.
2. نظام ACT التكيفي: تنفيذ تقنية ACT لتمكين الذراع الروبوتية من تنفيذ تسلسلات إجراءات سلسة ومقسمة مستمدة من العروض البشرية، بدلاً من الاعتماد على التخطيط التدريجي الصارم.
3. إطار تقييم منهجي: تحليل تجريبي مهيكل عبر ثلاثة مستويات تصاعدية من تعقيد المهام (سيناريوهات: بسيطة، معقدة، وأكثر تعقيداً) لتقييم كيفية تأثير التلقين البصري وتنوع الأشياء على الأداء الروبوتي.

النتائج
تم تقييم النظام عبر ثلاثة سيناريوهات تتضمن ترتيبات 3×3 من المنتجات:

• السيناريو البسيط: تسعة صناديق متشابهة مع هدف واحد محاط بتعليق توضيحي. حقق النظام نسبة نجاح بلغت 90%، مما أظهر الموثوقية في البيئات المتجانسة.
• السيناريو المعقد: تسعة منتجات متنوعة مع هدف واحد محاط بتعليق توضيحي. انخفضت نسب النجاح الأولية إلى 70% بسبب التباينات في خصائص الأشياء (الانعكاسية، الانزلاق). وبعد زيادة بيانات العرض بمقدار 20% خصيصاً لحالات الفشل، تحسن أداء النظام بشكل ملحوظ، محققاً نسبة نجاح 100% عبر جميع فئات الأشياء في هذا السيناريو.
• السيناريو الأكثر تعقيداً: تسعة منتجات متنوعة في مواقع متغيرة مع تحديد موقع كل من الالتقاط والوضع بتعليقات توضيحية. كانت نسبة النجاح الأولية 70%. نظراً لزيادة الصعوبة، قام الباحثون بجمع ضعف كمية البيانات الموضحة بشرياً لكل منتج. بعد هذه الزيادة في البيانات، تحسن الأداء، ومع ذلك، لا تزال بعض فئات الأشياء (مثل زجاجات الشاي العاكسة، والبرطمانات الزلقة) تظهر معدلات نجاح أقل (80%) مقارنة بالصناديق الصلبة (90%).

تحليل الفشل
حدد البحث أنماط فشل محددة، بما في ذلك عدم محاذاة الأصابع، وضعف قوة القبضة مما يؤدي إلى الانزلاق (خاصة على الأسطح الزلقة)، وعدم محاذاة الوضع. كشفت خرائط الحرارة (Attention heatmaps) أن نموذج ACT ينجح في نقل التركيز من موقع الالتقاط إلى موقع الوضع، متكيفاً مع استراتيجيته بناءً على التلقينات البصرية. ومع ذلك، شكلت الأشياء ذات الأسطح العاكسة أو الملامس الناعمة تحديات مستمرة، مما أدى إلى عدم المحاذاة وفشل الإمساك.

الأهمية والادعاءات
يزعم البحث أن الجمع بين التلقين البصري وتقسيم الإجراءات يسمح للروبوتات بتفسير والعمل بناءً على حد أدنى من التعليقات التوضيحية المعلوماتية لمهام المناولة في العالم الحقيقي بكفاءة. يمثل النهج المقترح خطوة للأمام نحو إنشاء أنظمة روبوتية قادرة على التعامل مع تنوع الأشياء المعقدة مع تحسين الاستقلالية والمتانة.

يحافظ المؤلفون على موقف متواضع بشأن قيود عملهم؛ حيث يقرون صراحة بأن النظام يتطلب كميات كبيرة من البيانات، ويعتمد بشدة على بيانات عرض بشرية متنوعة وعالية الجودة. وبناءً على ذلك، لا يدعي البحث القدرة على التعميم الشامل دون بيانات تدريب كافية. وقد تم تحديد العمل المستقبلي في التركيز على تعزيز البيانات (Data augmentation) لتوسيع مجموعات البيانات اصطناعياً، بدلاً من الادعاء بوجود حلول فورية لندرة البيانات. ويخلص البحث إلى أنه بينما يعزز هذا النهج استقرار الإمساك ودقة الوضع، فإن فعاليته تظل مرتبطة بجودة وكمية عروض التدريب البشرية.