ملخص تقني: SlotVLA – نحو نمذجة تمثيلات علاقات الأشياء في المناولة الروبوتية

بيان المشكلة

أدت التطورات الأخيرة في نماذج الرؤية واللغة والفعل (VLA) إلى تحسين المناولة الروبوتية من خلال دمج الشروط اللغوية مع الإشارات البصرية. ومع ذلك، تعتمد البنى الحالية المتطورة (مثل OpenVLA و $\pi^0$) على تضمينات بصرية كثيفة يتم إنشاؤها بواسطة مشفرات مدربة مسبقاً (مثل DINOv2 و SigLIP). تنتج هذه المشفرات مئات الرموز البصرية (عادةً 256-512) لكل إطار، مما يؤدي إلى تكاليف حوسبة باهظة مع زيادة عدد الرموز. علاوة على ذلك، غالباً ما تدمج التضمينات الكثيفة سمات الأشياء مع الإشارات الخلفية والمعلومات الزائدة، مما يحد من القابلية للتفسير ويحجب الإشارات ذات الصلة بالمهمة عن وحدة فك تشفير الفعل.

بينما يوفر التعلم المرتكز على الأشياء في الرؤية الحاسوبية تمثيلات منفصلة، فإن تطبيقها مباشرة على الروبوتات يكون غير مثالي. فغالباً ما تفشل النهج المرتكزة كلياً على الأشياء في التقاط الإشارات العلاقاتية الجوهرية، مثل التفاعلات بين القابض (gripper) والشيء، وهي أمور بالغة الأهمية للمناولة المجسدة. وتتجاهل الطرق الحالية هذه العلاقات أو تعتمد على تسميات توضيحية خارجية (صناديق الإحاطة/نقاط العلام) مما يحد من المرونة. هناك حاجة لإطار عمل يمكنه نمذجة كل من الأشياء وتفاعلاتها باستخدام تمثيل مدمج وفعال في عدد الرموز يدعم الاستدلال متعدد المهام.

المنهجية: SlotVLA

يقترح المؤلفون SlotVLA، وهو إطار عمل مصمم لتحويل التضمينات البصرية الكثيفة إلى تمثيلات موجزة ومنظمة للأشياء والعلاقات. يتكون هذا النهج من ثلاثة مكونات رئيسية:

1. المشفر المرتكز على الأشياء والمدرك للمهمة

يقوم هذا الوحدة بضغط الرموز البصرية الكثيفة إلى مجموعة صغيرة من "الفتحات" (slots) المرتكزة على الأشياء ($S_t$) بتوجيه من تصفية المهام القائمة على اللغة.

• انتباه الفتحات مع الاتساق الزمني: يستخدم المشفر "انتباه الفتحات" (باستخدام GRU) لتعيين الرقع البصرية الكثيفة إلى فتحات قابلة للتعلم. وتعمل آلية "نقل الفتحات" (slot carryover) على تهيئة الفتحات عشوائياً عند الزمن $t=0$ ونشرها من الخطوة الزمنية السابقة لضمان اتساق هوية الشيء عبر الإطارات.
• تصفية الفتحات المدركة للمهمة: ليست كل الأشياء المكتشفة ذات صلة بمهمة معينة. تقوم آلية الانتباه المتقاطع ثنائي الاتجاه (BCA) بحساب درجات الصلة بين فتحات الأشياء وتضمينات وصف المهمة. وتعمل عملية اختيار Top-$k$ على الاحتفاظ بالفتحات الأكثر صلة فقط (عادةً 2-4)، مما يؤدي إلى تصفية الخلفية والأشياء غير ذات الصلة.

2. المشفر المرتكز على العلاقات

لمعالجة نقص النمذجة العلاقاتية في النهج القياسية المرتكزة على الأشياء، يقدم SlotVLA مشفراً مرتكزاً على العلاقات يقوم بإنشاء رموز العلاقات ($R_t$).

• نمذجة التفاعل: تدمج استعلامات العلاقات القابلة للتعلم المعلومات من كل من الرقع البصرية الكثيفة ($V_t$) وفتحات الأشياء المصفاة ($S_t$) عبر كتلة انتباه متقاطع (CAB).
• المخرج: تعمل هذه العملية على التقاط التفاعلات بشكل صريح، مثل العلاقات بين القابض والشيء وسياق الشيء والخلفية، مما ينتج مجموعة من رموز العلاقات التي تكمل فتحات الأشياء.

- فك تشفير الفعل

تجمع التمثيل النهائي بين فتحات الأشياء المدركة للمهمة ($S_t$)، ورموز العلاقات ($R_t$)، وتضمينات اللغة ($P$)، وحس الروبوت الخاص ($o_t$).

• التكامل مع LLM: يتم تغذية هذه المدخلات متعددة الوسائط في وحدة فك تشفير نموذج لغوي كبير (LLM) مجهز بتقنية LoRA لفك تشفير الفعل.
• كفاءة الرموز: العدد الإجمالي للرموز ($N_S + N_R$) أصغر بكثير من المدخل الكثيف ($N$)، مما يتيح استدلالاً لاحقاً أكثر كفاءة.

استراتيجية التدريب

يتم تدريب النموذج في مرحلتين:

1. المرحلة الأولى (تدريب المشفر): الإشراف على المشفر المرتكز على الأشياء والمدرك للمهمة باستخدام خسائر صناديق الإحاطة، والشيئية (objectness)، والأقنعة (Hungarian matching)، بالإضافة إلى خسارة التتبع لضمان الاتساق الزمني، وخسارة عدم توازن الفئات لضمان صلة المهمة.
2. المرحلة الثانية (الضبط الدقيق): يتم تجميد معاملات المشفر. ويتم ضبط المشفر المرتكز على العلاقات وفك تشفير الفعل بشكل مشترك باستخدام خسارة التقاطع مع الإنتروبيا (cross-entropy) على لوغاريتمات الفعل.

المساهمات الرئيسية

1. مجموعة بيانات LIBERO+

يقدم المؤلفون LIBERO+، وهو معيار دقيق للغاية يوسع مجموعة LIBERO الحالية.

• التوضيحات: على عكس LIBERO الأصلية، توفر LIBERO+ إشرافاً صريحاً على مستوى الأشياء، بما في ذلك صناديق الإحاطة ثنائية الأبعاد، وأقنعة الأشياء على مستوى البكسل، والمعرفات الزمنية على مستوى الحالة عبر وسائط RGB-D.
• صلة المهمة: تتضمن أسماء طبيعية خاصة بالمهام لتحديد الأشياء النشطة وذات الصلة بالمهمة، مما يسمح بتقييم الاستدلال على علاقة الأشياء.
• المجموعات الفرعية: تتكون مجموعة البيانات من أربعة مجموعات فرعية (LIBERO-Goal، LIBERO-Object، LIBERO-Spatial، LIBERO-Long) مع تباين في عدد الأشياء وتعقيد التخطيط.

2. إطار عمل SlotVLA

يعد SlotVLA أول إطار عمل VLA يجمع بين الفتحات المرتكزة على الأشياء مع الرموز المرتكزة على العلاقات للمناولة الروبوتية.

• يحقق تمثيلاً مدمجاً من خلال التصفية لأجل صلة المهمة والنمذجة الصريحة للتفاعلات.
• يقلل من عدد الرموز البصرية بمقدار مرتب من الحجم مقارنة بالنماذج الأساسية الكثيفة مع الحفاظ على أداء تنافسي.

النتائج التجريبية

أُجريت التجارب على معيار LIBERO+، حيث تمت مقارنة متغيرات SlotVLA مع النموذج الأساسي ذي الرموز الكثيفة OpenVLA.

• كفاءة الرموز: يقلل SlotVLA عدد الرموز من 256 (OpenVLA) إلى حوالي 4-28 رمزاً، مما يؤدي إلى تقليل GFLOPs بمقدار 3-4 أضعاف.
• الأداء في المهام البسيطة: في المجموعات الفرعية ذات التخطيطات البسيطة وعدد قليل من الأشياء (LIBERO-Goal و LIBERO-Object)، يحقق SlotVLA معدلات نجاح تنافسية أو متفوقة مقارنة بـ OpenVLA.
  • LIBERO-Goal: OpenVLA (0.77) مقابل SlotVLA-ORC (0.86).
  • LIBERO-Object: OpenVLA (0.70) مقابل SlotVLA-ORC (0.91).
• الأداء في المهام المعقدة: في المجموعات الفرعية ذات التخطيطات المكانية المعقدة وعدد الأشياء المرتفع (LIBERO-Spatial و LIBERO-Long)، يتراجع الأداء.
  • LIBERO-Long: OpenVLA (0.56) مقابل SlotVLA-ORC (0.31). يعزو المؤلفون ذلك إلى محدودية وجود عدد قليل جداً من الفتحات (مثلاً 4) لتمثيل مشاهد تحتوي على ما يصل إلى 29 شيئاً، حيث تلتقط النماذج الأساسية الكثيفة سياقاً عالمياً أكبر.
• دراسات الاستئصال (Ablation Studies):
  • تصفية الوعي بالمهمة: تعد تصفية الفتحات غير ذات الصلة أمراً حاسماً؛ فبدونها، ينخفض الأداء بشكل كبير، خاصة في البيئات المعقدة.
  • الاتساق الزمني: يؤدي إزالة الاتساق الزمني إلى انخفاض حاد في الأداء (على سبيل المثال، ينخفض ORC من 0.86 إلى 0.40 في LIBERO-Goal)، مما يسلط الضوء على ضرورة استقرار هويات الفتحات.
  • عدد الفتحات: غالباً ما يؤدي زيادة عدد الفتحات بما يتجاوز العدد الأمثل الصغير (4) إلى إدخال الضجيج أو إضعاف التأسيس العلاقاتي، بدلاً من تحسين الأداء.

الأهمية والادعاءات

يدعي البحث أن الترميز المرتكز على علاقة الأشياء يقدم توازناً واعداً بين الكفاءة، والقابلية للتفسير، والفعالية للمناولة الروبوتية متعددة المهام.

• الكفاءة: من خلال تقليل عدد الرموز البصرية بشكل جذري، يتيح SlotVLA التحكم الروبوتي في ظل ميزانيات حوسبية محدودة.
• القابلية للتفسير: يفك النهج القائم على الفتحات الارتباط بين الكيانات ويقوم بالتصفية لأجل صلة المهمة، مما يجعل عملية استدلال النموذج أكثر شفافية مقارنة بالتضمينات الكثيفة والمتشابكة.
• القيود: يقر المؤلفون بتواضع أن النهج، رغم فعاليته، يواجه صعوبة في التوسع للمهام ذات الأفق الطويل والمزدحمة للغاية حيث يتجاوز عدد الأشياء سعة الفتحات. كما يشيرون إلى أن الاعتماد على صناديق الإحاطة والأقنعة الخاضعة للإشراف للتدريب قد يحد من التطبيق المباشر في البيئات الواقعية دون مثل هذه التوضيحات.

في الختام، يرى المؤلفون أن LIBERO+ و SlotVLA يمثلان خطوة تأسيسية نحو ذكاء اصطناٍ اصطناعي مجسد، مهيكل، وفعال، ومنظم، مما ينقل النموذج من الإدراك الكثيف إلى الاستدلال المدمج والمدرك للعلاقات.