Retrieval-Augmented Safety Knowledge for Vision-Language-Action Models in Autonomous Vehicles
تقترح هذه الورقة إطار عمل للتعليق الوصفي المعزز بالاسترجاع يقوم بحقن سياسات تجنب الاصطدام المستخلصة وقواعد القيادة الرسمية في نماذج الرؤية واللغة والعمل، مما يحسن دقة التنبؤ بمسار المركبات ذاتية القيادة بشكل كبير لتطابق أداء الحقيقة الأرضية من خلال معالجة التفاصيل الحرجة المتعلقة بالسلامة والتي غالباً ما تغفل عنها النماذج القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تتعلم المركبات ذاتية القيادة كيفية القيادة من خلال مراقبة العالم عبر الكاميرات والاستماع إلى أوصافها الداخلية لما تراه. هذه الأنظمة، المعروفة بنماذج الرؤية واللغة والعمل (vision-language-action models)، لا تكتفي بمعالجة الصور الخام فحسب؛ بل تترجم ما تراه إلى كلمات، ثم تستخدم تلك الكلمات لتقرر أين توجه المقود وكيفية التحكم في السرعة. والفكرة هي أنه إذا استطاعت السيارة وصف مشهد ما بلغة معينة، فيمكنها التفكير فيه بشكل يشبه السائق البشري. ومع ذلك، هناك فجوة كبيرة في كيفية تعلم هذه الأنظمة؛ فهي تُدرب بالكامل تقريبًا على مقاطع فيديو للقيادة العادية والآمنة. فهي ترى ملايين الأميال من القيادة السلسة على الطرق السريعة، لكنها ترى قليلًا جدًا من لحظات الخطر. ولأن الحوادث نادرة بطبيعتها، فإن البيانات اللازمة لتعليم السيارة كيفية التصرف عندما تسوء الأمور تكون شحيحة. كما أن جمع لقطات حقيقية لحوادث الاصطدام أمر صعب ومعقد أخلاقيًا، وغالبًا ما تفشل عملية إنشاء حوادث وهمية في محاكاة الكمبيوتر في التقاط الواقع الفوضوي للاصطدام الحقيقي. وبدون التعرض لهذه اللحظات الخطرة، قد تجد السيارة ذاتية القيادة صعوبة في التعرف على الخطر حتى يفوت الأوان لتجنبه.
لقد طور باحثون في جامعة ويسترن طريقة لسد هذه الفجوة دون الحاجة إلى إعادة تدريب نظام القيادة بالكامل أو جمع فيديوهات حوادث جديدة. فبدلاً من تعليم السيارة من خلال عرض المزيد من الحوادث لها، قاموا بتعليمها عبر منحها مكتبة من دروس السلامة التي يمكنها الرجوع إليها في الوقت الفعلي. بدأ الفريق بـ 1500 مقطع فيديو حقيقي من كاميرات لوحة القيادة (dashcam) لحوادث مرورية فعلية. واستخدموا ذكاءً اصطناعيًا قويًا لمشاهدة كل حادث وتدوين ما حدث بالضبط، وما هي المخاطر الخفية، وما الذي كان ينبغي على السائق فعله لمنع التصادم. ومن هذه الفيديوهات الـ 1500، استخلصوا مجموعة مدمجة من 98 قاعدة أو سياسة سلامة قابلة لإعادة الاستخدام، تغطي الأسباب الشائعة للحوادث مثل الكبح المفاجئ، أو ضعف الرؤية، أو الفشل في إعطاء حق الأولوية. وربطوا هذه القواعد بـ 18 قاعدة قيادة رسمية، مثل الحفاظ على مسافة آمنة. خلق هذا قاعدة بيانات صغيرة وقابلة للبحث من المعرفة المتعلقة بالسلامة.
عندما تقود المركبة ذاتية القيادة، ينظر النظام إلى المشهد الحالي من خلال الكاميرا ويبحث فورًا في هذه القاعدة عن قواعد السلامة التي تتطابق مع ما يراه. إذا رصدت السيارة موقفًا يشبه حادثًا سابقًا، يقوم النظام باستدعاء النصيحة المتعلقة بالسلامة ويغذي بها مولد وصف المشهد الخاص بالسيارة. يقوم هذا المولد بعد ذلك بكتابة وصف جديد وأكثر حذرًا للمشهد، وصف يسلط الضوء على المخاطر ويقترح إجراءات دفاعية. يتم بعد ذلك تمرير هذا الوصف المثرى إلى مخطط القيادة في السيارة، والذي يستخدم النص لحساب المسار المستقبلي. والنتيجة هي أن عملية اتخاذ القرار في السيارة يتم توجيهها بواسطة تذكير بكيفية تجنب الحوادث، حتى لو لم تكن السيارة قد تعرضت لحادث خلال تدريبها.
اختبر الباحثون هذه الطريقة باستخدام مجموعة بيانات قيادة قياسية تحتوي على آلاف مشاهد القيادة الحقيقية من اليابان. وقارنوا تنبؤات مسار السيارة عندما استخدمت الأوصاف العادية مقابل التنبؤات التي تمت باستخدام الأوصاف المعززة بالسلامة. كانت النتائج واضحة: إضافة المعرفة المسترجعة من قواعد السلامة جعلت تنبؤات السيارة أكثر دقة بشكل ملحوظ. وفي أفضل الحالات، قلل النظام متوسط الخطأ في مسارها المتوقع بنسبة 10.2 بالمئة مقارنة بما كانت عليه عندما لم تكن تملك معرفة بالسلامة. والأهم من ذلك، أن تنبؤات السيارة باستخدام مكتبة السلامة كانت دقيقة تقريبًا كما لو أنها حصلت على أوصاف مثالية كتبها البشر للمشهد. وهذا يشير إلى أن النظام نجح في تعلم استخدام القواعد المسترجعة لفهم المشهد بشكل أفضل، مما أغلق الفجوة بفعالية بين الوصف العام والوصف الحرج المتعلق بالسلامة.
كما بحثت الدراسة في مدى فعالية النظام في المواقف الخطرة، وهي حالات وشيكة الوقوع لحواد، لم تكن جزءًا من بيانات التدريب الأصلية. في هذه الاختبارات، مال النظام الذي لا يملك مكتبة السلامة إلى وصف المشهد بشكل سلبي، حيث يقترح غالبًا أن تستمر السيارة في سرعتها أو مسارها. أما عندما كانت مكتبة السلامة مفعلة، فقد وصف نفس النظام نفس المشاهد بحذر أكبر بكثير، موصيًا بأن تبطئ السيارة من سرعتها، أو تزيد مسافة التبعية، أو تفسح الطريق للمركبات الأخرى. وقد ترجم هذا التحول في اللغة مباشرة إلى سلوك أكثر أمانًا، مما أظهر أن النظام يمكنه تعميم الدروس المستفادة من الحوادث الماضية على مخاطر جديدة وغير مرئية.
أحد الجوانب الأكثر عملية لهذا النهج هو كفاءته. فقد تم القيام بالعمل الشاق لإنشاء مكتبة السلامة خارج نطاق التشغيل (offline)، قبل أن تخرج السيارة إلى الطريق. وبمجرد بناء المكتبة، لا تحتاج السيارة إلى إعادة التدريب أو التحديث بمجموعات بيانات ضخمة جديدة لتعلم قاعدة سلامة جديدة. فالباحثون ببساطة يقومون بتحديث المكتبة، وتكتسب السيارة فورًا إمكانية الوصول إلى تلك المعرفة الجديدة خلال رحلتها التالية. وهذا يعني أن النظام يمكنه التكيف مع أنواع جديدة من الحوادث أو قوانين المرور المختلفة دون العملية المكلفة والمستهلكة للوقت المتمثلة في إعادة تدريب نموذج الذكاء الاصطناعي بالكامل. وتؤكد الدراسة أن حقن المعرفة المنظمة المتعلقة بالسلامة في لحظة اتخاذ القرار هو وسيلة قوية لجعل المركبات ذاتية القيادة أكثر أمانًا وموثوقية، وأكثر استعدادًا للأحداث الخطيرة النادرة التي تميز القيادة في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.