Evidence-Gated Task and Motion Planning with Vision-Language Models
تقترح هذه الورقة إطار عمل "اكتساب الأدلة وبوابة الجدوى" (EAFG)، وهو إطار يدمج نماذج الرؤية واللغة مع تخطيط المهام والحركة لاكتساب الأدلة البصرية ديناميكياً وبوابات قرارات التخطيط، مما يؤدي إلى تحسين معدلات النجاح في مهام التلاعب طويلة الأمد تحت ظروف الرصد الجزئي من خلال منع التنفيذ بناءً على افتراضات غير مثبتة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تواجه الروبوتات التي تتحرك في منازلنا ومطابخنا تحديًا جوهريًا: يجب عليها أن تفهم ليس فقط ما يجب القيام به، بل وما إذا كان بإمكانها القيام به بالفعل. لاتباع تعليمات بسيطة مثل "اصنع حساءً"، يحتاج الجهاز إلى الربط بين عالمين مختلفين تمامًا. أولاً، يجب أن يستوعب معنى الكلمات، مدركًا أن الحساء يتطلب مكونات مثل الدجاج والملح، وأن هذه الأشياء تحتاج إلى تسخين. هذا هو مجال اللغة والمنطق السليم. ثانيًا، يجب أن يفهم العالم المادي، مدركًا بالضبط أين يوجد القدر، وما إذا كان يمكن فتح باب الخزانة دون الاصطدام بجدار، وما إذا كان ذراع الروبوت يمكنه الوصول إلى مرطبان التوابل. لسنوات، حاول الباحثون دمج هاتين المهارتين، باستخدام نماذج حاسوبية متقدمة يمكنها الرؤية والقراءة للمساعدة في تخطيط أفعال الروبوت. ومع ذلك، ظلت هناك مشكلة مستمرة: ماذا يحدث عندما ينظر الروبوت إلى المطبخ ولا يستطيع رؤية كل ما يحتاجه؟ إذا كان مكون حيوي مخفيًا داخل درج مغلق، أو إذا لم يكن موجودًا على الإطلاق، فقد يخمن الروبوت بناءً على ما يعرفه من بيانات التدريب الخاصة به. قد يخطط لالتقاط جزرة غير موجودة، مما يؤدي إلى فشل المهمة أو جعل الآلة في حالة ارتباك وهي تحاول مرارًا وتكرارًا الإمساك بمساحة فارغة.
اقترح فريق من الباحثين من جامعة واسيدا وجامعة فلندرز طريقة جديدة لحل هذه المشكلة، تجبر الروبوت على "النظر قبل القفز". نهجهم، الذي يسمى "اكتساب الأدلة وبوابة الجدوى" (Evidence Acquisition and Feasibility Gating)، يغير ترتيب العمليات. فبدلاً من محاولة طهي الحساء فورًا بناءً على تخمين، يعمل الروبوت أولاً كـ "مستكشف فضولي". لقد تمت برمجته لتوليد مهام صغيرة وآمنة مصممة فقط لجمع المعلومات، مثل فتح خزانة مغلقة أو تحريك صندوق قد يحجب الرؤية. وبمجرد أن يقوم الروبوت بهذه الأفعال، يلتقط صورة جديدة للمشهد. ثم يقوم نموذج رؤية ولغة قوي بمراجعة هذه الأدلة البصرية الجديدة لتقرير الخطوة التالية. يطرح النظام سؤالًا بسيطًا ولكنه حاسم: "هل لدي الآن دليل كافٍ لتخطيط مهمة الطهي؟" إذا كانت الإجابة نعم، يستمر الروبوت في تخطيط تسلسل خطوات الطهي الكاملة. وإذا كانت الإجابة لا، ولكن لا تزال هناك أماكن للبحث، يعود الروبوت إلى مرحلة الاستكشاف. وإذا كانت الإجابة لا، وأصبح من الواضح أن عنصرًا مطلوبًا مفقود، يتوقف الروبوت تمامًا بدلاً من إضاعة الوقت في محاولة استخدام شيء ليس موجودًا.
اختبر الباحثون هذه الطريقة في بيئة مطبخ محاكية مصممة لمحاكاة تعقيدات المنزل الحقيقي. تم إعطاء الروبوت ذراعًا واحدة وكُلف بمهمة صنع حساء الدجاج، وهي عملية تتضمن العثور على المكونات، واستخدام الموقد، وإدارة الحاويات المختلفة. وضعوا ثلاثة سيناريوهات متميزة لمعرفة كيفية أداء النظام الجديد مقارنة بالطرق القديمة التي لا تتحقق من الأدلة أولاً. في السيناريو الأول، كانت جميع العناصر الضرورية موجودة ومدرجة بوضوح في التعليمات. هنا، أدى النظام الجديد بشكل جيد مثل النهج القياسي، مما أثبت أن إضافة خطوة التحقق الإضافية هذه لا تبطئ الروبوت أو تربكه عندما يكون كل شيء واضحًا. ظهر الفرق الحقيقي في السيناريو الثاني، حيث كانت التعليمات غامضة. قيل للروبوت "اصنع حساء دجاج" دون إخباره باستخدام الملح أو الفلفل. بدون النظام الجديد، نادرًا ما نجح الروبوت لأنه لم يكن يعرف ضرورة البحث عن هذه التوابل المخفية. مع طريقة جمع الأدلة، نجح الروبوت في فتح الخزائن، والعثور على الملح والفلفل، وأكمل الوصفة في أربعين بالمائة من التجارب، وهو تحسن كبير عن النموذج الأساسي.
اختبر السيناريو الثالث قدرة النظام على التعرف على المهمة المستحيلة. أُمر الروبوت بصنع حساء بالملح والفلفل والجزر، لكن الجزر لم يكن في المطبخ. غالبًا ما كان النظام القياسي يعلق في حلقة مفرغة، محاولًا مرارًا وتكرًا العث على الجزر المفقود أو استخدامه، مما يهدر الوقت والطاقة. ومع ذلك، تعلم النظام الجديد التوقف. من خلال البحث بنشاط في الأماكن المحتملة التي قد يتواجد فيها الجزر وعدم العثور على شيء، قررت "بوابة" النظام الداخلية التوقف. في هذه الاختبارات، توقف النظام بشكل صحيح في تسعين بالمائة من المرات لأحد النماذج وفي مائة بالمائة كاملة للآخر، بينما قلل بشكل كبير من عدد المحاولات الفاشلة للإمساك بالخضروات المفقودة. إن القدرة على قول "لا يمكنني القيام بهذا" لا تقل أهمية عن القدرة على النجاح، لأنها تمنع الروبوت من التصرف بناءً على افتراضات خاطئة.
يقر الباحثون بأن طريقتهم ليست مثالية. فهي تعتمد على قدرة الروبوت على فتح الأبواب وتحريك الأشياء للحصول على رؤية أفضل. إذا فشل الروبوت في فتح خزانة بسبب مشكلة ميكانيكية أو قيد مادي، فقد لا يجد الأدلة التي يحتاجها، حتى لو كان الشيء موجودًا هناك. رغم هذا القصور، يوضح هذا العمل مسارًا واضحًا للأمام للروبوتات التي تحتاج إلى العمل في بيئات غير مؤكدة. فمن خلال إدراج خطوة لجمع المعلومات النشط قبل مرحلة التخطيط النهائية، يضمن النظام أن أفعال الروبوت مبنية على ما يمكنه رؤيته بالفعل، وليس على ما يفترضه فحسب. هذا التحول من التخمين إلى التحقق يسمح للروبوتات بالتعامل مع الواقع الفوضوي وغير المكتمل للمساحات البشرية بشكل أكثر فعالية، مما يجعلها شركاء أكثر موثوقية في مهام تتراوح من طهي وجبة إلى تنظيم غرفة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.