On the Generalization Capabilities, Design Choices and Limitations of Keypoint Imitation Learning

ملخص تقني: حول قدرات التعميم، وخيارات التصميم، والقيود الخاصة بتعلم محاكاة النقاط المفتاحية (Keypoint Imitation Learning)

بيان المشكلة
تتطلب عمليات التحكم الروبوتي في البيئات غير المهيكلة سياسات يمكنها التعميم على الأجسام، والوضعيات، وتغيرات المشهد غير المرئية. وبينما يعد "التعلم بالمحاكاة" (Imitation Learning) نهجاً واعداً، فإن السياسات القياسية القائمة على الصور الملونة (RGB) تتطلب عادةً مجموعات بيانات ضخمة للتعامل مع هذه التباينات بفعالية. وهذا يحفز استكشاف التمثيلات الوسيطة، مثل النقاط المفتاحية (Keypoints)، التي توفر ترميزاً دلالياً مدمجاً ودقيقاً. ورغم أن نماذج التأسيس البصري (Visual Foundation Models) تتيح الآن استخراج النقاط المفتاحية بجهد واحد (one-shot) دون الحاجة لتدريب خاص بالمهمة، إلا أنه لا يزال من غير الواضح كيفية دمج هذه التمثيلات بشكل أمثل في مسارات تعلم المحاكاة، وما هي استراتيجيات الاستخراج الأكثر فعالية، وما إذا كانت تتفوق حقاً على التمثيلات الأخرى المتمحورة حول الأجسام مثل خرائط العمق أو أقنعة التجزئة (Segmentation Masks).

المنهجية
يقترح المؤلفون مسار عمل مكون من ثلاث مراحل لتعلم محاكاة النقاط المفتاحية (KIL):

1. تحديد النقاط المفتاحية: يقوم مشغل بشري بتحديد 3 إلى 6 نقاط مفتاحية دلالية يدوياً على صورة مرجعية لكل فئة من فئات الأجسام.
2. استخراج التمثيل: باستخدام نماذج التأسيس البصري، يقوم النظام باستخراج النقاط المفتاحية المقابلة من كل إطار ملاحظة أثناء التدريب والاستنتاج. ويتم رفع المواقع ثنائية الأبعاد (2D) إلى ثلاثة أبعاد (3D) باستخدام خصائص الكاميرا (Intrinsics) والخصائص الخارجية (Extrinsics) لكاميرا RGB-D المعايرة. يبحث البحث في ثلاث استراتيجيات استخراج:
   • مطابقة الصور (Image Matching - IM): حساب الواصفات (Descriptors) للنقاط المفتاحية المرجعية وإيجاد أفضل المطابقات عبر تشابه جيب التمام (Cosine Similarity) في إطارات الملاحظة.
   • مطابقة المثيل (Instance Matching - IN): توسيع نطاق مطابقة الصور عن طريق توليد أقنعة للمثيل أولاً عبر كاشف مفتوح المفردات (Open-vocabulary detector)، ثم حصر البحث عن الواصفات ضمن أقنعة أجسام محددة.
   • التتبع (Tracking - T): استخدام نموذج تتبع مخصص يتم تهيئته بواسطة مطابقة المثيل لتتبع النقاط المفتاحية عبر الزمن.
3. تعلم السياسة: يتم ترميز تسلسل النقاط المفتاحية ثلاثية الأبعاد الناتج بواسطة مشفر محول (Transformer Encoder) ويُغذى إلى سياسة الانتشار (Diffusion Policy - رأس الإجراء) للتنبؤ بأفعال الروبوت. تأخذ السياسة تاريخاً من الملاحظات والحالات الحسية الخاصة (Proprioceptive States) كمدخلات.

المساهمات الرئيسية

• إرشادات التصميم: يجمع البحث طرق KIL السابقة ويوفر إرشادات عملية من خلال المقارنة المنهجية بين طرق الاستخراج (IM، IN، T)، ونماذج التأسيس (RADIO، DIFT، DINO)، وبنيات السياسة (مشفرات المحولات مقابل الدمج المباشر).
• التقييم واسع النطاق: أجرى المؤلفون أكثر من 2000 تجربة واقعية عبر منصتين روبوتيتين وخمس مهام تلاعب مختلفة (مثل وضع الأحذية/الأكواب، صب الزجاجات، التقاط الأقلام).
• التوسيع ليشمل حالات متعددة للمثيل: يوسع هذا العمل نطاق KIL ليشمل المهام التي تتضمن مثيلات متعددة من نفس فئة الأجسام، مما يعالج قصوراً في الدراسات السابقة التي ركزت على جسم واحد.
• تحليل القيود: يحدد البحث بشكل صريح ويحدد كمياً قيود نماذج التأسيس الحالية، لا سيما فيما يتعلق بالمتانة تجاه التغيرات الكبيرة في اتجاه الجسم والانسداد (Occlusion).

النتائج

• أداء التعميم: حقق KIL معدل نجاح إجمالي بنسبة 75% عبر خمس مهام، متفوقاً بشكل كبير على خط الأساس لسياسة الانتشار القائمة على RGB التقليدية (47%). واتسعت الفجوة في الأداء بشكل دراماتيكي تحت تغيرات المشهد (KIL: 70% مقابل RGB: 10%).
• المقارنة مع خطوط الأساس المتمحورة حول الأجسام: أدى KIL أداءً يضاهي S2-diffusion (73%)، وهو خط أساس متمحور حول الأجسام يستخدم خرائط العمق وأقنعة التجزئة، مما يشير إلى أن النقاط المفتاحية لا توفر بطبيعتها تمثيلاً متفوقاً على التمثيلات الوسيطة الأخرى في جميع السياقات.
• طرق الاستخراج: حققت طرق مطابقة الصور، ومطابقة المثيل، والتتبع أداءً متشابهاً (متوسط نجاح 70-75%). وقد تم اختيار "مطابقة الصور" كطريقة افتراضية نظراً لبساطتها وانخفاض تكلفتها الحسابية.
• نماذج التأسيس: بالنسبة لمطابقة الصور، تفوق نموذج RADIOv2.5-B (85% في مهام محددة) على DINOv3-B وDIFT. ومع ذلك، أظهر DIFT متانة أعلى عند دمجه مع مطابقة المثيل أو التتبع.
• تصميم المشفر: قدم المشفر المخصص (Transformer Encoder) أداءً يضاهي نهج الدمج البسيط (85% نجاح)، لكنه تفوق بشكل ملحوظ على النسخة التي أضافت درجات تشابه جيب التمام إلى المواقع ثلاثية الأبعاد (والتي تراجعت إلى 7% بسبب الإفراط في التخصيص/Overfitting على درجات التشابه).
• مهام متعددة الأجسام: في المهام التي تتطلب التلاعب بجسمين، حقق KIL معدل إكمال مهمة بنسبة 61-63%، متفوقاً على خط أساس RGB (48%) ومماشياً لـ S2-diffusion (58%).
• المتانة تجاه الاتجاه: كانت النتيجة الحاسمة هي حساسية KIL لاتجاه الجسم. عندما شملت وضعيات الأجسام نطاقاً كاملاً قدره ±180 درجة، انخفض أداء KIL بنسبة 55% (في مطابقة الصور) و28% (في التتبع). في المقابل، انخفضت نماذج RGB وS2 بمقدار 10% و9% على التوالي، مما يشير إلى أن نماذج التأسيس الحالية تفتقر إلى المتانة تجاه التغيرات الكبيرة في الاتجاه.

الأهمية والادعاءات
يخلص البحث إلى أن KIL هو نهج كفء في استخدام البيانات يوفر فوائد تعميم كبيرة مقارنة بسياسات RGB الخام، لا سيما في المشاهد التي تحتوي على مشتتات أو تغيرات في الخلفية. ومع ذلك، يطرح المؤلفون ادعاءً متواضعاً بأن KIL لا يتفوق عالمياً على التمثيلات البديلة المتمحورة حول الأجسام مثل S2-diffusion. إن أداء KIL يعتمد بشدة على قدرات نماذج التأسيس المستخدمة للاستخراج؛ وتحديداً، يرث KIL قيود هذه النماذج فيما يتعلق بالتعامل مع الانسداد والثبات تجاه تغيير الاتجاه. يوضح العمل أنه بينما توفر النقاط المفتاحية تمثيلاً مدمجاً، فإن فائدتها مقيدة بمتانة مسار الاستخراج، مما يشير إلى أن التحسينات المستقبلية قد تتطلب ضبطاً دقيقاً (Fine-tuning) لنماذج الاستخراج من البداية إلى النهاية أو استخدام تمثيلات هجينة.