Spatially Prompted Visual Trajectory Prediction for Egocentric Manipulation

ملخص تقني: التنبؤ بالمسار البصري الموجه مكانيًا للتحكم من منظور الشخص الأول (Egocentric)

تعريف المشكلة: التنبؤ بالمسار البصري الموجه مكانيًا (SP-VTP)

تعتمد سياسات التحكم الروبوتية الحالية غالبًا على التعليمات اللغوية أو معرفات المهام المنفصلة لتحديد الأهداف. ومع ذلك، في البيئات المزدحمة التي تحتوي على أشياء متشابهة بصريًا، قد تكون الأوصاف اللغوية (مثل "التقط الشوكة") أو معرفات المهام غامضة أو تفشل في تحديد مثيل معين أو منطقة وضع محددة. يرى المؤلفون أنه في مثل هذه السيناريوهات، يكون تحديد الهدف مكانيًا بطبيعته قبل أن يكون لغويًا: "التقط هذا الشيء وضعه هناك".

ولمعالجة ذلك، صاغ البحث إطارًا جديدًا يسمى التنبؤ بالمسار البصري الموجه مكانيًا (SP-VTP). في هذا الإطار:

• المدخلات: يتلقى النموذج صورة من منظور الشخص الأول للإطار الأول مع محفزات مكانية ثابتة (نقاط أو صناديق إحاطة) تشير إلى الكائن المستهدف ومنطقة الوضع المستهدفة.
• المهمة: يجب على النموذج التنبؤ بمسارات النهاية الطرفية (End-Effector) المستقبلية بناءً على ملاحظات متدفقة من منظور الشخص الأول.
• المخرجات: على عكس التتبع أو التأسيس البصري (Visual Grounding) الذي ينتج أقنعة أو صناديق، فإن المخرج هو تسلسل من حركات النهاية الطرفية (6D) وحالات القابض (Gripper).
• التحديات: تجمع المشكلة بين أربعة صعوبات متميزة:
  1. تحديد المهمة الثابت: يتم تعريف الكائن والهدف فقط في الإطار الأول.
  2. التنفيذ الديناميكي: تتحرك الكاميرا، ويحجب القابض المشهد، وتنتقل الأشياء من مكانها بعد الإمساك بها.
  3. تمييز المثيل (Instance Disambiguation): تتطلب الفوضى والمشتتات من نفس الفئة تتبعًا مستمرًا على مستوى المثيل.
  4. الحركة المعتمدة على المرحلة: قد يتطلب نفس زوج (الكائن-الهدف) حركات مختلفة في مراحل تنفيذ مختلفة.

المنهجية

مجموعة البيانات: EgoSPT

لدراسة SP-VTP، قدم المؤلفون مجموعة بيانات EgoSPT، وهي عبارة عن مسارات تحكم موجهة مكانيًا من منظور الشخص الأول.

• الجمع: تم جمع البيانات باستخدام واجهة تحكم عالمية (UMI) معدلة مجهزة بكاميرا GoPro (عدسة عين السمكة 170 درجة) لفيديو منظور الشخص الأول، وهاتف iPhone لتتبع مسار النهاية الطرفية (6-DoF) عبر تقنية SLAM البصرية-القصورية.
• المحتوى: تحتوي مجموعة البيانات على 2,841 حلقة "التقط وضع" (pick-and-place) تتضمن خمس شوكات متشابهة بصريًا وتسعة أهداف (أطباق، أوعية، أكواب).
• الهيكل: منظمة في ثلاثة مشاهد تزداد صعوبة:
  • المشهد 1: تخطيطات مهيكلة (ظروف نظيفة).
  • المشهد 2: تخطيطات مزدحمة (مشتتات وغموض مكاني).
  • المشهد 3: مشاهد فرعية مزدحمة عشوائيًا مع عينات توضيحية قليلة لكل تكوين.
• التعليقات التوضيحية: تتضمن كل حلقة تعليقات لتأسيس الكائن والهدف في الإطار الأول (صناديق الإحاطة) ومسارات مستعادة للنهاية الطرفية ثلاثية الأبعاد.

النموذج: SPOT (سياسة الكائن-الهدف الموجهة مكانيًا)

يقترح المؤلفون SPOT، وهو سياسة مصممة لدمج المحفزات المكانية مع الملاحظات البصرية لتوليد قطع مسار مستقبلية. تتكون البنية من ثلاث وحدات رئيسية:

1. مشفر المهمة (Task Encoder):

   • يعالج الإطار الأول ($I_0$) والمحفزات المكانية (الكائن $p_{obj}$ والهدف $p_{tgt}$).
   • تمثيل المحفز المزدوج: يتم تشفير المحفزات بطريقتين متكاملتين:
     • بصريًا: يتم رسم صناديق الإحاطة على الإطار الأول.
     • إحداثيًا: يتم تشفير إحداثيات الصندوق كرموز مكانية باستخدام ميزات الموضع فوريه (Fourier) وشبكة MLP.
   • الدمج: يستخرج نموذج DINOv2 ViT-B/14 مجمد رموز الصورة. وتقوم رموز المحفز (المطعمة بالأدوار) باستعلام هذه الرموز البصرية عبر الانتباه المتقاطع (Cross-attention) لاستخراج الأدلة ذات الصلة بالمهمة، مما يدمج سياق المشهد العالمي مع معلومات الكائن/الهدف المحددة.

2. مشفر الملاحظة (Observation Encoder):

   • يشفر الإطار الحالي من منظور الشخص الأول ($I_t$) باستخدام نفس الخلفية البصرية المجمدة لضمان مساحة بصرية مشتركة مع مشفر المهمة.
   • يدمج تاريخ المسار الأخير ($h_t$) عبر شبكة MLP خفيفة وتضمينات الموضع الزمني.
   • يقوم بدمج رموز الصورة الحالية ورموز التاريخ لتشكيل سياق التنفيذ.

3. مولد المسار (Trajectory Generator):

   • يأخذ رموز المهمة والملاحظة المدمجة كشرط (Conditioning).
   • يتنبأ بقطعة مسار مستقبلية ($A_t \in \mathbb{R}^{H \times 10}$) تمثل الترجمة النسبية، والدوران ثلاثي الأبعاد (6D)، وعرض القابض.
   • الهدف: يستخدم التنفيذ الافتراضي مطابقة التدفق (Flow Matching) للتنبؤ بمجال السرعة للمسار، رغم أن رأس الانتشار (Diffusion head) مدعوم أيضًا. يتم تدريب النموذج على إزالة الضجيج من رموز المسار المتداخلة.

بروتوكول التقييم

يؤكد البحث على استخدام تقسيمات مدركة للمشهد لمنع تسرب البيانات والمبالغة في تقدير التعميم. يتم الاحتفاظ بجميع الحلقات من نفس وحدة المشهد ضمن قسم واحد (تدريب أو تحقق). تشمل مقاييس التقييم خطأ الإزاحة النهائي (FDE)، وL2 للموقع، وL2 للدوران، وL1 لعرض القابض.

النتائج الرئيسية

المقارنة مع النماذج المرجعية للمحفزات

تظهر التجارب التي تقارن بين نماذج المحفزات المختلفة (بدون محفز، نقطة، صندوق إحاطة، بصري، صندوق إحاطة + بصري) أن المحفزات المكانية تحسن الأداء بشكل كبير مقارنة بالنماذج المرجعية غير المحفزة.

• إن الجمع بين المحفزات البصرية (الصناديق المرسومة) والمحفزات الإحداثية (رموز الصناديق) يعطي أفضل النتائج الإجمالية، حيث يقلل FDE من 0.1739 (بدون محفز) إلى 0.1147.
• المحفزات البصرية وحدها فعالة بشكل خاص لدقة الدوران، بينما توفر المحفزات الإحداثية هندسة صريحة مفيدة للترجمة في المشاهد المزدحمة.

دراسات الاستئصال (Ablation Studies)

• مشفر الرؤية: تفوق نموذج DINOv2-Base على النماذج التأسيسية الأخرى (SigLIP, SAM, EVA2, PE) في دقة النهاية والترجمة، خاصة في المشاهد المزدحمة (المشهد 2 و3).
• المجمد مقابل غير المجمد: أدى إبقاء الخلفية البصرية مجمدة إلى تحقيق تعميم أفضل من ضبطها (Fine-tuning)، مما يشير إلى أن تكييف الخلفية مع توزيع المهام المحدود يؤدي إلى فرط التخصيص (Overfitting).
• رأس المسار: يتفوق رأس مطابقة التدفق (Flow Matching) باستمرار على رأس الانتشار (Diffusion) عبر جميع المقاييس.
• أفق التاريخ: يوفر أفق تاريخ متوسط ($K=4$) أفضل توازن، حيث يقدم سياق حركة كافيًا دون إدخال ملاحظات قديمة.

الأداء النوعي

تظهر التصورات أن نموذج SPOT ينجح في استنتاج مرحلة الحركة المحلية الصحيحة من المحفزات الثابتة والملاحظات الحالية. وبينما يؤدي تجميع المسارات طويلة المدى إلى تراكم الأخطاء المحلية (Compounding errors)، إلا أن النموذج يحافظ على الهيكل الهندسي الخشن لمسار التحكم، بما في ذلك حركات الاقتراب والعودة.

الأهمية والادعاءات

يدعي البحث تأسيس SP-VTP كمهمة جديدة، بسيطة، وقابلة للتوسع للتحكم الموجه مكانيًا من منظور الشخص الأول. وتتمثل مساهماته الرئيسية في:

1. الصياغة: تحديد أول إطار يضع التحكم من منظور الشخص الأول كمسألة تعتمد على الرؤية، وتنبؤ بالمسار الموجه مكانيًا، متميزة عن التخطيط المشروط باللغة أو التتبع القياسي.
2. مجموعة البيانات: تقديم EgoSPT، التي توفر التأسيسات اللازمة لاستعادة الحركة ثلاثية الأبعاد لدراسة هذه المشكلة.
3. السياسة: اقتراح SPOT، الذي يثبت أن دمج المحفزات المكانية (المرسومة والإحداثية) مع التاريخ البصري يتنبأ بفعالية بالمسارات المستقبلية في تكوينات المشاهد الجديدة.
4. التقييم: وضع بروتوكول تقييم مدرك للمشهد يختبر التعميم الحقيقي عبر المشاهد بدلاً من حفظ التخطيط.

يضع المؤلفون التوجيه المكاني كواجهة مباشرة ومنخفضة الغموض لتحديد أهداف التحكم في البيئات المزدحمة، مما يوفر بديلًا عمليًا للتعليمات القائمة على اللغة حيث يكون السياق البصري هو الأهم.