Geo-VLA: Geometry-Aware Vision-Language-Action Planning via Internalization of Map Semantics

إن قيادة السيارة تتطلب ما هو أكثر من مجرد رؤية الطريق أمامك؛ فهي تتطلب فهماً للقواعد غير المرئية التي تحكم الحركة. يجب أن تعرف المركبة أين ينتهي المسار، وكيف سينحني المنعطف، وكيف تتصل الطرق المختلفة عند التقاطع. لعقود من الزمن، حاول المهندسون تعليم الحواسيب كيفية القيادة من خلال عرض الكاميرات عليها، لكن الكاميرات لا تلتقط إلا ما هو مرئي في اللحظة الراهنة. إنها تكافح لاستيعاب البنية الدائمة للطريق، مثل المسار الدقيق الذي سيتخذه مسار معين حول منعطف أو القواعد المحددة لتقاطع معقد. هذه الفجوة بين رؤية العالم وفهم هندسته هي ما حال دون أن يصبح القيادة الذاتية الكاملة حقيقة موثوقة في البيئات المعقدة. يتجه الباحثون الآن إلى نهج جديد يجمع بين الرؤية واللغة، باستخدام نماذج ضخمة يمكنها "قراءة" و"الاستنتاج" حول الصور لاتخاذ قرارات القيادة. ومع ذلك، غالباً ما تفشل هذه الأنظمة المتقدمة عندما ينحني الطريق بشكل حاد أو عندما يكون التقاطع صعباً، لأنها تعتمد بشكل مفرط على المظهر البصري للطريق بدلاً من شكله واتصاله الجوهري.

قام فريق من الباحثين من جامعة العلوم والتكنولوجيا في بكين بتطوير طريقة جديدة تسمى Geo-VLA لحل هذه المشكلة تحديداً. كان هدفهم هو تعليم نماذج القيادة هذه فهم هندسة الطريق دون إجبارها على حمل خرائط رقمية جاهزة وثقيلة تتطلب تحديثات مستمرة وأجهزة معقدة لقراءتها. وبدلاً من إعطاء السيارة خريطة لتنظر إليها أثناء القيادة، علم الباحثون السيارة كيفية "استيعاب" الخريطة داخلياً خلال مرحلة التدريب. لقد أنشأوا مجموعة بيانات خاصة تسمى Geo-QA، تربط صور كاميرا القيادة بالأسئلة والأجوبة المستمدة من بيانات الخرائط غير المتصلة بالإنترنت (offline). تركز هذه الأسئلة على البنية الثابتة للطريق، وتسأل أشياء مثل كيف ينحني المسار أو أين تنتهي منطقة قابلة للقيادة. ومن خلال تدريب النموذج على الإجابة على هذه الأسئلة، يتعلم النظام التعرف على أشكال الطرق وتوصيلاتها كما لو كان يقرأ خريطة، رغم أنه لا يرى سوى صورة الكاميرا أثناء القيادة الفعلية.

تعمل هذه العملية في مرحلتين متميزتين. أولاً، يتم تعريض النموذج لآلاف الأزواج من (الصورة-السؤال-الجواب). يتعلم النموذج ربط التفاصيل البصرية لمشهد الطريق بالحقائق الهندسية الدقيقة الموجودة في بيانات الخريطة. تعمل هذه الخطوة كدرس عميق في بنية الطريق، مما يسمح للنموذج ببناء تمثيل ذهني لكيفية تخطيط الطرق. وبمجرد اكتمال هذا التعلم، يقوم الباحثون بتثبيت هذا الفهم الجديد ويستخدمونه لتعليم النموذج كيفية توجيه السيارة. والأهم من ذلك، عندما توضع السيارة تحت الاختبار على الطريق، فهي لا تحتاج إلى أي بيانات خريطة، ولا مستشعرات إضافية، ولا برامج معقدة للبحث عن معلومات الطريق. إنها ببساطة تنظر من خلال كاميرتها الأمامية، تماماً كما كانت تفعل من قبل، ولكن استنتاجها الداخلي الآن موجه بالمعرفة الهندسية التي امتصتها. وهذا يعني أن النظام يظل بسيطاً وسريعاً، متجنباً التأخيرات والأخطاء التي تأتي من محاولة مطابقة الفيديو المباشر مع خريطة رقمية في الوقت الفعلي.

تم اختبار نتائج هذا النهج على منصة محاكاة قيادة قياسية معروفة باسم NAVSIM v1. وقارن الباحثون طريقتهم الجديدة بالأنظمة الحالية التي تعتمد على خرائط عالية الدقة أو مدخلات معقدة أخرى. تفوق نظام Geo-VLA باستمرار على أسلافه، حيث حقق درجة 92.1 على مقياس شامل يقيس السلامة والراحة والتقدم. تمثل هذه الدرجة نقطة مرتفعة جديدة لمخططات القيادة ذات الكاميرا الواحدة، متجاوزة الأرقام القياسية السابقة بهامش صغير ولكنه مهم. أثبت النظام فعالية خاصة في التنقل عبر المنعطفات والتقاطعات، حيث كانت النماذج القديمة غالباً ما تنحرف عن المسار أو تفشل في اتباع المسار الصحيح. ومن خلال تعلم قواعد الطريق عبر اللغة والأسئلة بدلاً من بيانات الخريطة الخام، أنتج النموذج مسارات بقيت أقرب إلى المسار المقصود واحترمت الحدود الفيزيائية للطريق.

كشفت الدراسة أيضاً أن تعليم النموذج عن هياكل الطرق الثابتة كان أكثر أهمية بكثير من تعليمه عن الأجسام المتحركة مثل السيارات الأخرى أو المشاة. فعندما اختبر الباحثون نسخة من النظام ركزت فقط على العناصر الديناميكية، لم يتحسن الأداء. يشير هذا إلى أنه بينما يمكن للنموذج رؤية الأشياء المتحركة بشكل جيد جداً، فإنه يكافح لفهم الهندسة الثابتة للطريق دون توجيه محدد. يسد منهج Geo-VLA هذه الفجوة من خلال توفير ذلك التوجيه أثناء التدريب، مما يسمح للنظام باتخاذ قرارات أكثر أماناً وكفاءة. ويشير الباحثون إلى أن نهجهم يعتمد على جودة بيانات الخريطة المستخدمة لإنشاء أسئلة التدريب، وأن العمل المستقبلي سيحتاج إلى اختبار كيفية سلوك النظام في حركة المرور التفاعلية مع السائقين البشر الآخرين. ومع ذلك، فإن الدراسة توضح حالياً أن السيارة يمكنها تعلم شكل الطريق من خلال المحادثة والأسئلة، حاملة تلك المعرفة معها كدليل صامت وغير مرئي.