ملخص تقني: قياس أداء تعميم الإمكانات (Affordance Generalization) باستخدام BusyBox

بيان المشكلة

أظهرت نماذج الرؤية واللغة والعمل (VLA) قدرات واعدة في التعميم في مجالات اللغة والرؤية، مثل فهم التعليمات الجديدة أو التعرف على الأشياء في بيئات جديدة. ومع ذلك، لا تزال هناك فجوة حرجة في تعميم الإمكانات (Affordance Generalization): وهي قدرة الروبوت على التعامل مع أشياء غير مألوفة من خلال التعرف على إمكاناتها الفيزيائية (مثل الأزرار، المفاتفات، أو المنزلقات) بناءً على المظهر البصري والخبرة السابقة مع أشياء مماثلة. وبينما تعمل الواجهات المصممة بشرياً على توحيد هذه العناصر لتسهيل التعميم البشري، فإن نماذج VLA الحالية تكافح لنقل مهارات التلاعب الأساسية هذه إلى تكوينات فيزيائية جديدة، حتى عندما تظل الإمكانات الكامنة متطابقة تماماً. تركز الاختبارات المعيارية الحالية غالباً على التلاعب الغني بالتلامس أو البيئات المحاكية التي تفتقر إلى العيوب الفيزيائية والنمطية المطلوبة لاختبار التعميم الحقيقي للإمكانات.

المنهجية

معيار BusyBox

قدم المؤلفون BusyBox، وهو معيار فيزيائي، نمطي، وقابل لإعادة التشكيل مصمم للتقييم المنهجي لتعميم إمكانات نماذج VLA.

• التصميم: يتكون BusyBox من ست وحدات متشابكة: شاشة (E Ink مع مصابيح LED)، أزرار، منزلقات، مقبض، مفاتيح، وأسلاك. تم طباعة هذه المكونات بتقنية ثلاثية الأبعاد لضمان نسبة قوة إلى وزن عالية، مما يجعلها سهلة التعامل بواسطة روبوتات ثنائية اليد قياسية (مثل Mobile Aloha بحد حمل 750 جراماً).
• قابلية إعادة التشكيل: يمكن تبديل الوحدات، تدويرها (90 درجة، 180 درجة، 270 درجة)، وإعادة ترتيبها لإنشاء تكوينات بصرية متميزة مع الحفاظ على نفس مجموعة الإمكانات. حددت الورقة ثلاثة تكوينات محددة للتقييم:
  1. النمطي (Canonical): الترتيب القياسي المستخدم لجمع البيانات.
  2. شبه المبعثر (Semi-shuffled): يتم نقل أو تدوير ثلاث وحدات (الأزرار، الأسلاك، الشاشة) بالنسبة للتكوين النمطي.
  3. المبعثر كلياً (Fully shuffled): يتم نقل أو تدوير جميع الوحدات الخمس القابلة للتلاعب بالنسبة للتكوين النمطي.
• القياس والأجهزة: يتضمن النظام أدوات قياس إلكترونية اختيارية (Raspberry Pi 0، توسعة USB، مستشعرات تعتمد على Arduino) لتسجيل حالة جميع عناصر التحكم تلقائياً (مواضع المفاتيح، قيم المنزلقات، حالات الأسلاك) بتردد 10 هرتز. يسمح هذا بالتحقق الدقيق من إتمام المهمة دون الاعتماد كلياً على الملاحظة البصرية.

جمع البيانات

• منصة الروبوت: روبوت Trossen Mobile Aloha ثنائي الذراع مجهز بكاميرات معصم.
• مجموعة البيانات: جمع المؤلفون 1,993 عرضاً تجريبياً يتم التحكم فيها عن بُعد (teleoperated) تغطي ثماني عائلات من المهام (ضغط الأزرار، تحريك المنزلقات، تدوير المقابض، قلب المفاتيح، سحب/إدخال الأسلاك، تحريك الصندوق، وحركات الذراع).
• البروتوكول: لضمان المتانة، تم جعل الحالات الأولية عشوائية عبر نص برمي (script) (بتغيير مواضع المنزلقات، حالات المفاتيح، تكوينات الأسلاك، واتجاه الصندوق) بدلاً من الاعتماد على حدس المشغل. اتبع المشغلون تعليمات صارمة لضمان الكفاءة والحركة النشطة، مع تقنيات محددة للمهام ثنائية اليد (مثل تثبيت الصندوق أثناء قلب المفاتيح).
• الترميز (Annotation): جميع العروض التجريبية مشروحة لغوياً بتعليمات المهام التي تشير إلى الألوان، المواضع، والمقابض المحددة.

البروتوكول التجريبي

قيم المؤلفون نموذجين من نماذج VLA مفتوحة الأوزان والأكثر تطوراً: $\pi_0.5$ و GR00T-N1.6.

1. الضبط الدقيق (Fine-tuning): تم ضبط كلا النموذجين بدقة حصرياً على مجموعة البيانات التي جُمعت من تكوين BusyBox النمطي.
2. التقييم: تم اختبار النماذج بعد الضبط الدقيق على مجموعة ثابتة مكونة من 60 تعليمات مهمة عبر جميع التكوينات الثلاثة (النمطي، شبه المبعثر، المبعثر كلياً).
3. معايير النجاح: تُعتبر المحاولة ناجحة فقط إذا اكتملت المهمة في غضون 30 ثانية و ظلت جميع عناصر التحكم التي لم تُذكر في التعليمات في حالاتها الأولية. هذا المعيار الصارم يعاقب على "الإفراط في الحل" أو إزعاج الأجزاء الأخرى من النظام.

النتائج الرئيسية

تكشف التجارب عن فجوة كبيرة بين الأداء داخل التوزيع (in-distribution) وتعميم الإمكانات:

• الأداء داخل التوزيع (النمطي): قدم كل من $\pi_0.5$ و GR00T-N1.6 أداءً جيداً إلى حد ما في التكوين النمطي، مما يشير إلى أن جودة وتنوع مجموعة البيانات كانت كافية لتعلم مهام محددة عندما تتطابق الظروف البصرية مع بيانات التدريب.
• الأداء خارج التوزيع (المبعثر): تدهور الأداء بشكل حاد في التكوينات المبعثرة، رغم أن الإمكانات كانت متطابقة مع مجموعة التدريب.
  • شبه المبعثر: انخفضت معدلات النجاح بشكل كبير في جميع الفئات، بما في ذلك تلك التي ظلت فيها الوحدة المستهدفة (مثل المفاتيح) في مكانها الأصلي. يفترض المؤلفون أن التغيير في الجوار البصري للوحدات أدى إلى إرباك النماذج.
  • المبعثر كلياً: تدهور الأداء بشكل أكبر. أظهر GR00T-N1.6 ميلاً لـ "الهلوسة" بشأن مواضع الوحدات بناءً على الذاكرة الحسية (proprioceptive memory) للتكوين النمطي، حيث يحرك الأذرع إلى حيث يجب أن تكون الوحدة بدلاً من حيث هي موجودة فعلياً. أما $\pi_0.5$ فغالما كان يتوقف عن العمل (freezes) عند مواجهة تخطيطات بصرية غير متوقعة.
• الاختلافات السلوكية: مال GR00T-N1.6 إلى الاستمرار في تعديل عناصر التحكم حتى بعد إتمام المهمة (مما يؤدي أحياناً إلى "إلغاء حل" المهمة)، بينما مال $\pi_0.5$ إلى التوقف فوراً عند الإتمام ولكنه واجه صعوبة في التعافي من عدم التطابق البصري.

المساهمات الرئيسية

1. معيار BusyBox: معيار فيزيائي مفتوح المصدر لتقييم تعميم الإمكانات الأساسية، بما في ذلك ملفات CAD كاملة للطباعة ثلاثية الأبعاد وقائمة بالمواد الإلكترونية.
2. مجموعة البيانات: مجموعة بيانات مشروحة لغوياً تضم 1,993 عرضاً تجريبياً للتلاعب ثنائي اليد على تكوين BusyBox النمطي.
3. النماذج المرجعية التجريبية: بروتوكول تجريبي ونتائج أساسية تثبت أن حتى نماذج VLA القوية مفتوحة الأوزان ($\pi_0.5$، GR00T-N1.6) تكافح لتعميم الإمكانات عندما تتغير التكوينات البصرية، مما يسلط الضوء على مجال رئيسي للتحسين المستقبلي.

الأهمية

ترى الورقة أن تعميم الإمكانات هو مطلب أساسي لكي تعمل الروبوتات بسلاسة في البيئات المصممة بشرياً وأن تُعتبر ذكية. ومن خلال إثبات أن النماذج الحالية المتفوقة تفشل في تعميم مهارات التلاعب الأساسية عبر إعادة الترتيب الفيزيائي البسيط، يحدد هذا العمل قصوراً حرجاً في أبحاث VLA الحالية. صُمم BusyBox ليكون قابلاً للتكرار بسهولة في مختبرات الروبوتات لتشجيع المجتمع على تطوير وتقييم طرق جديدة لتحسين هذه المهارة العليا (meta-skill) المحددة. يرى المؤلفون أن BusyBox ليس مجرد منصة اختبار، بل هو أداة لإلهام التجارب في التفكير المكاني، والتصحيح اللفظي، والتفاعل بين الإنسان والروبوت، مستلهمين ذلك من لعبة Keep Talking and Nobody Explodes.