Zero-shot 2D Grounding with Novel Affordance Types

تخيل أنك تعلم روبوتًا كيفية التفاعل مع العالم. يمكنك إخبار الروبوت كيف يبدو "السكين"، ويمكنه العثور على واحد في صورة. لكن معرفة ماهية السكين لا تعني نفس الشيء مع معرفة ما يمكنك فعله به. هذا هو الفرق بين التعرف على الأشياء و"الإمكانية الوظيفية" (Affordance). الإمكانية الوظيفية هي كلمة منمقة تعني الإشارات الخفية التي يعطيها لنا الشيء حول كيفية استخدامه. فالمقبض في الكوب "يسمح" بالإمساك؛ والجانب المسطح للسكين "يسمح" بالقطع؛ وقشرة البرتقالة "تسمح" بالتقشير. لكي تكون الروبات مفيدة حقًا في مطابخنا وغرف معيشتنا الواقعية والفوضوية، يجب أن تفهم هذه الأفعال، وليس فقط الأشياء.

لقد كان التحدي الكبير هو أن معظم عقول الروبوتات يتم تدريبها مثل الطلاب الذين يدرسون فقط لاختبار محدد. إذا تعلم الروبوت كيفية "قطع" تفاحة، فقد يرتبك عندما يُطلب منه "قطع" طماطم، أو قد لا يعرف كيفية "تقشير" موزة إذا لم يسبق له رؤية هذا الفعل المحدد من قبل. الأمر يشبه طالبًا يحفظ الإجابات في ورقة عمل رياضية، ولكنه يتجمد عندما يسأله المعلم سؤالاً مشابهاً بأرقام مختلفة. لقد حاول العلماء بناء روبوتات يمكنها التعامل مع هذه التعليمات الجديدة غير المرئية، ولكن حتى الآن، كان التركيز ينصب في الغالب على تعليمهم أشياء جديدة، وليس أفعالاً جديدة.

تقدم هذه الورقة البحثية طريقة جديدة لتعليم الروبوتات كيفية التعامل مع "أنواع الإمكانات الوظيفية الجديدة" — أي ببساطة طرق جديدة لاستخدام الأشياء التي لم يتم تعليمهم إياها صراحةً. لاحظ الباحثان، هومينج تشانج وريموند أ. ييه من جامعة بوردو، أن نماذج الذكاء الاصطناًعي الحالية بارعة في العثور على أشياء جديدة ولكنها سيئة جدًا في فهم أفعال جديدة. لقد أنشأوا مجموعة جديدة من التحديات (تسمى معايير الاختبار) لاختبار هذه المهارة المحددة. ووجدوا أن أفضل النماذج الحالية، وهي نماذج ذكية جدًا في التعرف على الأشياء، تفشل تمامًا عندما يُطلب منها العثور على المكان المناسب لـ "تقشير" أو "الجلوس على" شيء ما إذا لم تكن تلك الأفعال المحددة موجودة في بيانات تدريبها.

ولإصلاح ذلك، بنى الفريق نظامًا جديدًا يسمى AffordAnything. فكر فيه كمحقق لا ينظر فقط إلى الصورة بأكملها، بل يركز على التفاصيل الصغيرة. يدرك هذا النظام أن المكان الذي تتفاعل فيه مع جسم ما يكون عادةً جزءًا محددًا منه (مثل مقبض الكوب أو حافة الكتاب). وبدلاً من محاولة حفظ كل فعل ممكن، يستخدم هذا النظام نموذج ذكاء اصطناعي قوي ومُدرب مسبقًا (نموذج لغوي بصري) لتقسيم الجسم إلى قطع صغيرة ومعرفة أي قطعة تتوافق مع كلمة الفعل. على سبيل المثال، إذا طلبت منه "القطع"، فإنه يبحث عن الحافة الحادة؛ وإذا طلبت منه "الإمساك"، فإنه يبحث عن المقبض.

اختبر الباحثون نسختين. النسخة الأولى، AffordAnything، هي نسخة "خالية من التدريب"، مما يعني أنها تعمل مباشرة دون الحاجة إلى إعادة تعليمها. وقد أدت بالفعل بشكل أفضل بكثير من الطرق الموجودة. أما النسخة الثانية، AffordAnything+، فهي ترقية "قابلة للتدريب" تتعلم كيفية دمج هذه الإشارات مع بعضها البعض بشكل أفضل مع القليل من الممارسة فقط. وفي مجموعات الاختبار الجديدة الخاصة بهم، حسّن هذا النموذج المطور دقة العثور على المكان الصحيح بنسبة 12.3% (مقاسة كزيادة مطلقة في IoU@0.4) مقارنة بأفضل طريقة سابقة.

تجادل الورقة البحثية صراحةً ضد فكرة أن مجرد استخدام نماذج ذكاء اصطناعي أكبر وأذكى أو مجرد التعرف على الأشياء هو أمر كافٍ. لقد أظهروا أن أكثر النماذج تقدمًا تفشل عندما يكون الفعل جديدًا. كما أظهروا أنه بينما يمكن لهذه النماذج التعرف على "السكين"، إلا أنها لا تعرف تلقائيًا كيفية "التقشير" به ما لم تكن مصممة خصيصًا للبحث عن العلاقة بين الفعل وشكل الجسم. وتشير النتائج إلى أنه لجعل الروبوتات قابلة للتكيف حقًا، نحتاج إلى التوقف عن تعليمها قائمة ثابتة من الأفعال والبدء في تعليمها كيفية التفكير في أجزاء الجسم التي تجعل الفعل ممكنًا. ويأمل المؤلفون أن يساعدت هذه الطريقة الجديدة في اختبار وبناء هذه الأنظمة الروبوتات لتصبح أكثر مرونة وجاهزية للعالم الحقيقي، حيث تتغير التعليمات باستمرار.