VGGT-DP: Generalizable Robot Control via Vision Foundation Models
يُعد VGGT-DP إطار عمل للتحكم في الروبوتات يتميز بالقدرة على التعميم، حيث يعمل على تعزيز أداء سياسة الرؤية والحركة من خلال دمج الأولويات الهندسية المستمدة من نموذج إدراك ثلاثي الأبعاد مُدرب مسبقاً مع التغذية الراجعة للحس العميق، مع استخدام إعادة استخدام الرموز لكل إطار وتقليم الرموز العشوائي لتحسين التجذر المكاني، والمتانة، وكفاءة الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لطالما عانت الروبوتات من أجل التحرك بمرونة الكائنات الحية. لعقود من الزمن، قام المهندسون ببرمجة الآلات بقواعد جامدة مكتوبة يدويًا، تخبرها بالضبط كيفية تحريك أذرعها في كل موقف محتمل. نجح هذا النهج في المصانع التي تسيطر عليها الظروف، لكنه فشل فشلاً ذريعًا عندما تغير العالم ولو بشكل طفيف. وفي السنوات الأخيرة، ساد نهج جديد يتمثل في تعليم الروبوتات من خلال عرض الأمثلة عليها، تمامًا كما يتعلم الطفل من خلال مراقبة والديه. يشاهد الروبوت إنسانًا يؤدي مهمة ما ويحاول تقليد الحركات. ومع ذلك، غالبًا ما تفتقر أنظمة التعلم هذه إلى فهم عميق للمساحة؛ إذ يمكنها التعرف على جسم ما، لكنها تفشل كثيرًا في استيعاب كيفية استقرار ذلك الجسم في الفضاء ثلاثي الأبعاد بالنسبة لجسم الروبوت نفسه. وتحد هذه الفجوة في الفهم المكاني من قدرة الروبوت على التعامل مع المهام المعقدة أو التكيف عند تغير زاوية الكاميرا أو تغير البيئة.
قام فريق من الباحثين بتطوير نظام جديد مصمم لسد هذه الفجوة، مستلهمًا من طريقة عمل الرؤية البيولوجية. في الطبيعة، لا تعتمد الحيوانات على حاسة واحدة للتنقل؛ بل تجمع بين ما تراه وبين شعور داخلي مستمر بموقع جسمها، وهو ما يعرف بـ "الحس العميق" (proprioception). هذا التغذية الراجعة الداخلية تسمح لذبابة بالهبوط على ورقة شجر متحركة أو لقط بالمشي على حافة ضيقة دون السقوط. وقد ابتكر الباحثون، بقيادة شيجيا غي وزملاؤه في جامعة تسينغوا ومؤسسات أخرى، إطار عمل يسمى VGGT-DP يحاكي هذه الاستراتيجية البيولوجية. فبدلاً من الاعتماد على التعليمات اللغوية أو الإشارات البصرية البسيطة، يقوم نظامهم بدمج نموذج بصري قوي مُدرب مسبقًا مع مستشعرات الحالة الداخلية للروبوت. ويسمح هذا الجمع للروبوت ببناء خريطة ثلاثية الأبعاد قوية لمحيطه وفهم مكان أطرافه بالضبط داخل تلك المساحة.
جوهر هذا النظام الجديد هو محرك بصري تم تدريبه على كميات هائلة من بيانات إعادة البناء ثلاثية الأبعاد. وبينما تُصمم نماذج رؤية الروبوت القياسية غالبًا لتكون صغيرة وسريعة، مضحية بالتفاصيل من أجل السرعة، يستخدم هذا النظام نموذجًا واسع النطاق قادرًا على التنبؤ بالعمق، وزوايا الكاميرا، والموقع الدقيق لكل نقطة في المشهد. وجد الباحثون أنه باستخدام هذا النموذج البصري الضخم، اكتسب الروبوت إحساسًا أقوى بالهندسة. ومع ذلك، فإن تشغيل مثل هذا النموذج الكبير في الوقت الفعلي أمر مكلف حاسوبيًا وبطيء. ولحل هذه المشكلة، ابتكر الفريق حيلة ذكية تسمى "إعادة استخدام الرموز لكل إطار" (frame-wise token reuse). في بث الفيديو النموذجي، تتداخل العديد من الإطارات بشكل كبير؛ حيث لا يتغير الخلفية ومعظم الأشياء من مللي ثانية إلى أخرى. يدرك النظام الجديد هذا ويتوقف عن إعادة حساب الميزات البصرية للأجزاء من الصورة التي لم تتغير، حيث يعالج فقط المعلومات الجديدة الواردة في الإطار الأخير، ويعيد استخدام البيانات المخزنة مؤقتًا من اللحظات السابقة. لقد قلل هذا النهج بشكل كبير من الوقت الذي يستغرقه الروبوت في "التفكير"، مما جعل النموذج البصري القوي عمليًا للاستخدام في العالم الحقيقي.
ولضمان مطابقة رؤية الروبوت لواقعه الفيزيائي، أضاف الباحثون طبقة من الإشراف الداخلي. فقد علموا النظام البصري التنبؤ بزوايا مفاصل الروبوت وموضع يده بناءً على ما يراه فقط. فإذا رأت "عيون" الروبوت يدًا تمتد نحو كوب، يجب أن يكون النظام قادرًا على تخمين مكان تلك اليد في الفضاء بدقة. أجبر هذا النموذج البصري على التوافق تمامًا مع الحالة الداخلية للروبوت، مما خلق حلقة تغذية راجعة وثيقة. أما القطعة الأخيرة من اللغز فتمثلت في طريقة تسمى "تقليم الرموز العشوائي" (random token pruning)، حيث يتجاهل النظام عمدًا أجزاء صغيرة وعشوائية من البيانات البصرية أثناء التدريب. تعمل هذه التقنية كنوع من اختبار الإجهاد، مما يجبر الروبوت على تعلم الشكل العام وهيكل المشهد بدلاً من حفظ التفاصيل المحددة، مما يجعله أكثر مرونة تجاه المعلومات المفقودة أو الضوضاء.
وعند اختباره في مجموعة من المهام الصعبة التي تتضمن المناولة، مثل التقاط الأشياء من الثقوب، أو كنس العناصر إلى سلة، أو سحب عصا، أظهر النظام الجديد تحسنات ملحوذبة مقارنة بالأساليب الموجودة. وفي السيناريوهات الصعبة التي تتطلب استدلالًا مكانيًا دقيقًا، حقق النهج الجديد معدلات نجاح أعلى بكثير من النماذج الرائدة السابقة. فعلى سبيل المثال، في مهمة تتطلب التقاط جسم من حفرة عميقة، نجح النظام الجديد في 55% من المحاولات، بينما حقق أفضل أسلوب سابق (DP3) 14% فقط. كما أثبت النظام فعالية عالية في مهام مثل كنس العناصر إلى كومة، حيث نجح بنسبة 44% مقارنة بـ 15% فقط للمنافس التالي الأفضل. تشير هذه النتائج إلى أن منح الروبوتات فهمًا هندسيًا عميقًا للمساحة أكثر أهمية بكثير من مجرد إضافة قدرات لغوية للمناولة المعقدة.
ومع ذلك، كان الباحثون حذرين في الإشارة إلى مواضع قصور النظام. فبينما تفوق في المهام التي تتطلب استدلالًا مكانيًا معقدًا، لم يتفوق دائمًا على النماذج الأقدم والأبسط في المهام الأساسية جدًا، مثل الوصول إلى جسم قريب. في هذه السيناريوهات البسيطة، أدخل النموذج البصري الثقيل أحيانًا تعقيدًا غير ضروري. والأهم من ذلك، عانى النظام عندما تغيرت زاوية الكاميرا ولو بشكل طفيف؛ فعندما اختبر الباحثون الروبوت مع تدوير الكاميرا بمقدار خمس درجات فقط، انخفض معدل النجاح بشكل حاد من ما يقرب من 40% إلى الصفر تقريبًا. يشير هذا إلى أنه على الرغم من أن النظام قد تعلم فهم الفضاء ثلاثي الأبعاد جيدًا، إلا أنه لم يتعلم بعد أن يكون مرنًا بما يكفي للتعامل مع وجهات النظر الجديدة التي لم تكن موجودة في بيانات التدريب الخاصة به. ويقترح الباحثون أن العمل المستقبلي يجب أن يركز على جعل هذه التمثيلات البصرية أكثر متانة تجاه تغيرات المنظور.
تخلص الدراسة إلى أن الطريق نحو روبوتات أكثر قدرة لا يكمن في جعلها أكثر ذكاءً من خلال اللغة، بل في جعل رؤيتها أكثر تجذرًا في الواقع الفيزيائي. فمن خلال الجمع بين نموذج بصري واسع النطاق يفهم الهندسة ثلاثية الأبعاد مع الحس الداخلي لجسم الروبوت، أنشأ الباحثون نظامًا يمكنه التنقل والمناولة في العالم بمستوى من الدقة لم يسبق له مثيل في التعلم بالتقليد. يوضح هذا العمل أن المفتاح للتحكم العام في الروبوتات هو الفهم المكاني العميق للبيئة، المدعوم بالوعي الداخلي بحالة الروبوت نفسه. وبينما لا تزال التحديات قائمة، لا سيما في التعامل مع التغيرات غير المتوقعة في زوايا الكاميرا، فإن النتائج تقدم اتجاهًا واضحًا لمستقبل التحكم في الروبوتات: إعطاء الأولوية للتجذر المكاني والإلهام البيولوجي على التعقيد اللغوي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.