-sight: Unifying Vision-Language-Action and Latent World Modeling
يُعد -sight نموذجاً تأسيسياً موحداً للروبوتات يدمج التحكم في الرؤية واللغة والعمل مع نمذجة العالم الكامنة من خلال التنبؤ بالرموز المكانية والأفعال المستقبلية مباشرة ضمن فضاء الرموز الأصلي لنموذج الرؤية واللغة (VLM)، محققاً أداءً هو الأفضل في فئته عبر معايير متنوعة دون الاعتماد على إعادة بناء البكسلات أو المشفرات الخارجية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لطالما عانت الروبوتات في محاولة التحرك عبر العالم بمرونة البشر الحدسية. فبينما يمكن برمجتها لتكرار حركة معينة بدقة، إلا أنها غالباً ما تفشل عندما تتغير البيئة قليلاً أو عندما تتطلب المهمة سلسلة من الخطوات التي يجب أن تتكيف في الوقت الفعلي. ولتجسير هذه الفجوة، طور العلماء أنظمة تجمع بين الرؤية واللغة والعمل. وتسمح هذه الأنظمة للروبوت بفهم أمر مثل "ضع الكوب على الطاولة" ثم معرفة كيفية تحريك ذراعه للقيام بذلك. ومع ذلك، لا تزال هناك عقبة كبيرة قائمة: معظم هذه الأنظمة تنظر فقط إلى اللحظة الحالية؛ فهي ترى المشهد الحالي وتقرر الحركة التالية، لكنها لا تستبق حقاً ما سيحدث بعد ذلك. وبدون هذه القدرة على استشراف المستقبل القريب، قد تتعثر الروبوتات عندما تتطلب المهمة تنسيق حركات معقدة، مثل المشي أثناء حمل جسم ما أو التنقل حول عوائق تتغير أثناء حركتها.
يحاول نهج جديد يسمى "Z-sight"، طوره باحثون في "Maven Robotics" وجامعة جنوب كاليفورنيا، حل هذه المشكلة من خلال منح الروبوت شكلاً من أشكال "البصيرة". فبدلاً من مجرد التفاعل مع ما يراه الآن، يتعلم النظام التنبؤ بما سيبدو عليه العالم المرئي في جزء من الثانية من المستقبل، ويستخدم هذا التنبؤ لتوجيه أفعاله. لا يتعلق الأمر بتوليد فيديو كامل للمستقبل، وهو أمر مكلف حاسوبياً وبطيء، بل يتنبأ النظام بالأنماط البصرية الجوهرية التي يستخدمها دماغ الروبوت لفهم المشهد. ومن خلال تعلم تخيل اللحظة التالية بالتزامن مع اتخاذ القرار بشأن الحركة التالية، يمكن للروبوت تخطيط مساره بسلاسة أكبر، مما يسمح له بالتعامل مع المهام المعقدة التي تسببت في توقف أو فشل الأنظمة الأخرى سابقاً.
بنى الباحثون هذا النظام عبر تدريبه على مجموعة ضخمة من البيانات، بما في ذلك آلاف الساعات من مقاطع الفيديو التي تظهر بشرًا يؤدون مهامًا يومية وتسجيلات من روبوتات متنوعة. انقسمت عملية التدريب إلى مراحل؛ أولاً، تعلم النظام فهم الحركات البشرية واللغة من فيديوهات لأشخاص يقومون بأشياء مثل فتح الأبواب أو طي الملابس. ثم تعرض لبيانات من أنواع مختلفة من الروبوتات، ليتعلم ترجمة تلك الملاحظات الشبيهة بالبشر إلى الميكانيكا المحددة للحركة الروبوتية. وأخيراً، تم ضبط النظام بدقة على روبوت محدد، وهو آلة بشرية الشكل تسمى "Unitree G1"، لإتقان مهام مثل دفع كرسي تحت طاولة أو رمي النفايات في سلة المهملات. وطوال هذه العملية، تم تعليم النظام القيام بشيئين في آن واحد: التنبؤ بالحالة البصرية المستقبلية للعالم وتوليد الأفعال الفيزيائية اللازمة للوصول إلى تلك الحالة.
يكمن الابتكار الجوهري في كيفية تعامل النظام مع هذه التنبؤات. فقد اعتمدت العديد من المحاولات السابقة لمنح الروبوتات بصيرة على توليد إطارات فيديو كاملة للمستقبل أو استخدام أنظمة منفصلة ومجمدة لتخمين ما سيحدث، وكانت هذه الطرق إما بطيئة جداً أو غير متصلة بطريقة رؤية الروبوت الخاصة. يتجنب "Z-sight" هذه العثرات من خلال التنبؤ بالمستقبل مباشرة بنفس "اللغة البصرية" التي يستخدمها الروبوت لفهم الحاضر. فهو لا يحاول إعادة إنشاء فيديو مثالي من حيث البكسلات، بل يتنبأ بالرموز البصرية المجردة (tokens) التي تمثل المشهد. وهذا يسمح للروبوت برؤية المستقبل كمجموعة من الاحتمالات المتكاملة تماماً مع فهمه الحالي، مما يمكنه من تعديل أفعاله فوراً مع تطور المستقبل المتوقع.
تم اختبار نتائج هذا النهج في كل من بيئات المحاكاة الحاسوبية والتجارب الواقعية. في بيئة محاكاة مصممة لاختبار تنسيق الجسم الكامل، حقق النظام معدل نجاح بنسبة 81.9 بالمائة في مجموعة متنوعة من المهام المعقدة، متفوقاً على أقوى الأساليب الحالية بفارق كبير. وعند اختباره على الروبوت الحقيقي "Unitree G1" في غرفة واقعية، نجح في 73.3 بالمائة من التجارب عبر ست مهام مختلفة، شملت تحريك الأشياء، والتنقل حول الأثاث، وأداء أعمال منزلية متعددة الخطوات. وبالمقارنة، نجح النظام التالي الأفضل في 53.3 بالمائ@ من هذه المحاولات الواقعية فقط. ووجد الباحثون أن قدرة النظام على استباق المستقبل كانت حاسمة للمهام التي تتطلب تسلسلاً من الحركات، مثل المشي نحو كرسي، ثم دفعه، ثم وضع جسم فوقه. وبدون هذه البصيرة، كان الروبوت غالباً ما يكمل الجزء الأول من المهمة ثم يتوقف عند محاولة الانتقال إلى الخطوة التالية.
ولضمان أن التحسينات ناتجة عن آلية الاستباق نفسها وليس فقط من امتلاك نموذج أكبر أو أكثر تعقيداً، أجرى الباحثون عدة تجارب مضبوطة. فقد اختبروا نسخاً من النظام لا يمكنها التنبؤ بالمستقبل ووجدوا أنها تؤدي بشكل أسوأ بكثير، حتى مع امتلاكها نفس القدرة الحوسبية. كما اختبروا ما إذا كان النظام يعتمد على المحتوى المحدد لتنبؤاته أم مجرد حقيقة كونه يقوم بالتنبؤ؛ فعندما استبدلوا المستقبل المتوقع بضوضاء عشوائية أو بصورة ثابتة حالية، انهار أداء الروبوت، مما يشير إلى أنه كان يستخدم بالفعل التفاصيل المحددة لتنبؤه المستقبلي لتوجيه حركاته. علاوة على ذلك، تمكن النظام من إجراء هذه التنبؤات والقرارات المعقدة بسرعة هائلة، حيث عالج كتلة مكونة من 30 خطوة في 110 مللي ثانية فقط، وهو ما يكفي للتحكم في روبوت في الوقت الفعلي دون تأخير.
استكشف البحث أيضاً كيف يتصرف النظام عندما تسوء الأمور. فمن خلال تعطيل تدفق التنبؤ عمداً أثناء الاختبار، لاحظ الباحثون أن الروبوت يمكنه التكيف؛ فإذا قيل للنظام إن تنبؤه غير موثوق، فإنه سيعتمد أكثر على ما يمكنه رؤيته الآن بدلاً من التخمين فيما قد يحدث. تشير هذه المرونة إلى أن النظام قد تعلم طريقة قوية للموازنة بين التخطيط والاستجابة. وأشار الباحثون إلى أنه بينما يعد النظام فعالاً للغاية، فإنه يتنبأ حالياً بالمستقبل بناءً على ما يراه فقط، دون اختبار خيارات أفعال مختلفة صراحة قبل الالتزام بواحد منها. وهذا يترك المجال أمام الإصدارات المستقبلية لمقارنة النتائج المحتملة المختلفة قبل اتخاذ الإجراء، مما يعزز قدرته على التخطيط.
في النهاية، يثبت "Z-sight" أن الروبوت ليس بحاجة لتوليد فيديوهات كاملة للمستقبل لفهم ما سيأتي بعد ذلك. فمن خلال تعلم التنبؤ بالمستقبل في نفس المساحة البصرية المجردة التي يستخدمها لفهم الحاضر، يحقق النظام مستوى من التنسيق والقدرة على التكيف كان من الصعب بلوغه سابقاً. يسمح هذا النهج للروبوت بالتحرك بإحساس بالاستمرارية، مما يجسّر الفجوة بين رؤية العالم والعمل داخله. إن نجاح هذه الطريقة على الروبوتات البشرية في المحاكاة والواقع يشير إلى أن هذه الطريقة في الجمع بين الإدراك والتنبؤ والعمل يمكن أن تصبح أساساً معيارياً لآلات أكثر قدرة واستقلالية في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.