A Rapid Deployment Pipeline for Autonomous Humanoid Grasping Based on Foundation Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "خط إنتاج للنشر السريع للقبض الآلي للبشر (Humanoid) بناءً على النماذج التأسيسية (Foundation Models)."

1. بيان المشكلة

إن النشر التقليدي للروبوتات البشرية (Humanoid) للتعامل مع أجسام جديدة هو عملية بطيئة وتستهلك الكثير من الموارد. يتطلب سير العمل التقليدي عادةً من 1 إلى يومين لكل جسم، ويتضمن:

• جمع مجموعات البيانات المرئية.
• تحديد مربعات الإحاطة (Bounding Boxes) يدوياً.
• الحصول على نماذج ثلاثية الأبعاد (3D Meshes) دقيقة باستخدام أجهزة متخصصة وباهظة الثمن (مثل الماسحات الضوئية بالليزر أو الضوء المهيكل).
• تدريب نماذج محددة للإدراك وتخطيط القبض.

هذا الاعتماد على الأجهزة المتخصصة والعمالة اليدوية يخلق حاجز دخول مرتفعاً، مما يعيق التكرار السريع والنشر في المواقع الميدانية في البيئات الديناميكية. علاوة على ذلك، غالباً ما تعاني نماذج الرؤية واللغة والعمل (VLA) الناشئة من زمن انتقال عالٍ في الاستنتاج (Inference Latency)، وتتطلب بيانات تدريب مسبق ضخمة، وتفتقر إلى القابلية للتفسير اللازمة للمهام الصناعية الدقيقة.

2. المنهجية

يقترح المؤلفون خط إنتاج للنشر السريع متكامل النهاية إلى النهاية يضغط دورة التهيئة إلى حوالي 30 دقيقة. يدمج النظام ثلاثة مكونات من النماذج التأسيسية في بنية نموذجية، مستبدلاً الأجهزة المتخصصة بأجهزة تصوير تجارية (هواتف ذكية/كاميرات RGB-D).

يتكون خط الإنتاج من ثلاث مراحل متميزة:

أ. تحضير الأصول في وضع عدم الاتصال (مرحلة "الإعداد")

1. الوسم التلقائي: يتم جمع مجموعة بيانات صغيرة (150 صورة) من زوايا رؤية متنوعة، وتُرفع إلى Roboflow، الذي يستخدم نموذج Segment Anything Model (SAM) لتوليد تسميات مربعات الإحاطة تلقائياً مع حد أدنى من المراجعة البشرية.
2. تدريب الكاشف: يتم ضبط نموذج YOLOv8n خفيف الوزن بدقة على البيانات الموسومة تلقائياً. تستغرق هذه العملية حوالي 10 دقائق على وحدة معالجة مركزية (CPU) قياسية.
3. إعادة البناء ثلاثي الأبعاد: بدلاً من المسح بالليزر، تتم معالجة صورة واحدة للجسم بواسطة Meta SAM 3D لإنشاء نموذج ثلاثي الأبعاد منسوج (Textured 3D Mesh). يتم تصدير هذا النموذج بتنسيقات متوافقة مع كل من Unity (للمحاكاة) و FoundationPose (للتتبع). تستغرق هذه الخطوة حوالي 5 دقائق.

ب. الإدراك عبر الإنترنت (مرحلة "وقت التشغيل")

يعمل النظام بشبكة متتالية بمعدل إطارات الكاميرا (30 هرتز):

• الكشف: يقوم YOLOv8 بالكشف عن الجسم كل 5 إطارات لتقليل الحمل على وحدة معالجة الرسومات (GPU)، حيث يخرج مربع إحاطة ودرجة ثقة.
• تتبع الوضعية: يحدد مربع الإحاطة منطقة اهتمام (ROI) لنموذج FoundationPose، وهو مقدر لوضعية 6-درجات حرية (6-DoF) يعمل بنظام الصفر المعرفي (Zero-shot). يستخدم FoundationPose النموذج ثلاثي الأبعاد المولد بواسطة SAM 3D كقالب لتتبع وضعية الجسم من مدخلات RGB-D دون الحاجة لإعادة التدريب.
• إدارة الحالة: تقوم آلة حالة محدودة (Finite-state machine) بإدارة المتتبع (غير مهيأ ← تتبع ← مفقود)، وتتعامل مع إعادة التهيئة في حال فقدان الجسم أو فشل الكشف.

ج. التنفيذ من المحاكاة إلى الواقع (Sim-to-Real)

• التخطيط: يقوم مخطط الحركية العكسية (IK) القائم على Unity باستهلاك الوضعية المقدرة. ويقوم بتوليد مسار قبض متعدد المراحل (اقتراب، قبض، رفع، تحرير) باستخدام توأم افتراضي للروبوت.
• التحكم: يتم تطبيع أوامر المفاصل وبثها عبر بروتوكول UDP إلى جسر C++ يعمل مع Unitility SDK.
• الأجهزة: يتحكم النظام في روبوت بشري من نوع Unitree G1 مزود بيد دقيقة من نوع Dex3، ويعمل في وضع التحكم في الموضع (Position Control Mode).

3. المساهمات الرئيسية

1. تكامل النماذج التأسيسية: نجحت الورقة في ربط Robofle (SAM) و Meta SAM 3D و FoundationPose لإنشاء خط إنتاج كامل من الإدراك إلى الفعل، مما يلغي الحاجة إلى الماسحات الضوئية بالليزر والنمذجة ثلاثية الأبعاد اليدوية.
2. التهيئة السريعة: قلل خط الإنتاج وقت النشر لجسم جديد من أيام إلى ~30 دقيقة (5 دقائق لجمع البيانات + 5 دقائق للوسم + 10 دقائق للتدريب + 5 دقائق لإعادة البناء + 5 دقائق للتهيئة).
3. التكيف الصفري (Zero-Shot): يحقق النظام تتبع 6-درجات حرية (6-DoF) لأي جسم باستخدام صورة واحدة فقط لتوليد النموذج، مما يلغي الحاجة لإعادة تدريب النموذج لكل جسم.
4. التحقق من العمومية: تم التحقق من بنية النظام في مهمة مختلفة هيكلياً (تطبيق غراء نافذة السيارة)، مما أثبت إمكانية إعادة استخدام خط الإنتاج ببساطة عن طريق استبدال نموذج الجسم، وفئة الكاشف، وقالب المسار.
5. المنهجية النموذجية مقابل منهجية VLA: على عكس نماذج VLA المتكاملة، يوفر هذا النهج النموذجي قابلية تفسير أعلى، وسهولة في التصحيح، وزمن انتقال أقل، مما يجعله أكثر ملاءمة للتعامل الدقيق في السيناريوهات الواقعية.

4. النتائج التجريبية

تم تقييم النظام على روبوت Unitree G1 باستخدام زجاجة مشروب أسطوانية ولاحقاً في مهمة تطبيق الغراء.

• أداء الكشف: حقق YOLOv8 دقة mAP@0.5 = 0.995 ودقة (Precision) بلغت 1.000 في مجموعة التحقق. زمن الاستنتاج هو ~30.8 مللي ثانية (32 إطار في الثانية)، مما يلبي متطلبات الوقت الفعلي.
• تتبع الوضعية:
  • السيناريو الثابت: دقة تحديد موقع دون المليمتر (σ < 1.05 مم).
  • السيناريو الديناميكي: معدل نجاح تتبع بنسبة 100% دون الحاجة لإعادة تهيئة.
  • الانسداد الجزئي: حافظ على الاستقرار مع انخفاض طفيف في الدقة (σ = 6.40 مم).
• التنفيذ الفيزيائي: نجح الروبوت في الإمساك بزجاجة في خمسة مواضع مختلفة داخل مساحة العمل وأدى مهمة تطبيق غراء مستمرة.
• الكفاءة: يعمل خط الإنتاج بالكامل بسرعة 15–17 إطار في الثانية في وضع التصحيح (Debug mode) ويمكن أن يصل إلى 30 هرتز عند تعطيل التصوير المرئي، مما يتزامن تماماً مع مخطط Unity.

5. الأهمية والقيود

الأهمية:
يظهر هذا العمل أن الجمع بين النماذج التأسيسية وأجهزة التصوير اليومية (مثل الهواتف الذكية أو كاميرات RGB-D القياسية) يمكن أن يخفض بشكل كبير حاجز النشر للروبوتات البشرية. إنه ينقل النموذج من "أجهزة متخصصة + هندسة يدوية" إلى "أجهزة تجارية + ذكاء اصطناعي مؤتمت"، مما يسمح بالتكيف السريع مع البيئات غير المنظمة والأجسام الجديدة.

القيود والعمل المستقبلي:

• الأجسام العاكسة/الشفافة: يواجه SAM 3D صعوبة مع المواد اللامعة أو الشفافة (مثل الزجاجات الزجاجية)، مما ينتج أحياناً نماذج غير مستقرة. الحلول الحالية تتضمن التدخل اليدوي باستخدام برامج CAD.
• الانسداد الكامل: إذا تم حجب الجسم بالكامل لأكثر من 3 ثوانٍ، يدخل النظام في حالة "مفقود" (LOST). تعتمد عملية الاسترداد على إعادة الكشف بواسطة YOLO، والتي قد تفشل إذا تغيرت وضعية الجسم بشكل كبير.
• الفجوة بين المحاكاة والواقع (Sim-to-Real): رغم النجاح، تشير الورقة إلى نقص في التحديد الكمي المنهجي للفرق في المسار بين محاكاة Unity والتنفيذ الفيزيائي للروبوت.

في الختام، توفر هذه الورقة إطار عمل قوياً وقابلاً للتوسع لنشر المناورات البشرية، مما يثبت أن المهام عالية الدقة يمكن أتمتتها بسرعة دون العوائق التقليدية لجمع البيانات والنمذجة ثلاثية الأبعاد.