NARRATE: A Multimodal Real-World Australian Driving Dataset for Human-Centred Explanations in Automated Driving
تقدم الورقة البحثية NARRATE، وهي مجموعة بيانات قيادة أسترالية واقعية متعددة الوسائط تضم 2,050 حدثاً مشروحة ببيانات مستشعرات متزامنة وتفسيرات أنشأها السائقون، وذلك بهدف تطوير نماذج للقيادة الذاتية تتمحور حول الإنسان وتراعي المجال المعرفي.
تخيل أنك تجلس في المقعد الخلفي لسيارة تقود نفسها بنفسها. تتباطأ المركبة، أو تنعطف، أو تتوقف، وتجد نفسك تتساءل عن السبب. لكي تشعر هذه التكنولوجيا بالأمان والموثوقية، يجب أن تكون قادرة على إخبارك بما تراه ولماذا تتخذ خطوة ما، باستخدام كلمات يمكن للراكب البشري فهمها بالفعل. إن الحاجة إلى التواصل الواضح هي جوهر مجال بحثي جديد يركز على جعل الذكاء الاصطناعي في السيارات قابلاً للتفسير. يحاول العلماء تعليم الآلات ليس فقط القيادة، بل سرد قراراتها بطريقة تطابق طريقة تفكير السائقين البشر. ويكمن التحدي في فهم الفجوة بين ما تحسبه الحواسب وما يلاحظه ويتوقعه الإنسان فعلياً على الطريق. ولجسر هذه الفجوة، يجب على الباحثين أولاً فهم كيف يشرح البشر أنفسهم خيارات القيادة الخاصة بهم في منتصف حركة المرور الحقيقية.
لقد اتخذ فريق من الباحثين في أستراليا خطوة كبيرة نحو حل هذا اللغز من خلال إنشاء مجموعة جديدة من بيانات القيادة الواقعية تسمى NARRATE. فبدلاً من الاعتماد على محاكاة الكمبيوتر أو سؤال الناس عما قد يفعلونه في عالم افتراضي، قام الفريق بتسجيل خمسة وثلاثين سائقاً خبيراً ومدرباً على القيادة وهم يقودون مسارات عادية عبر شوارع بريسبان. تم تجهيز السائقين بمركبة مليئة بالكاميرات والليزر وأجهزة الاستشعار التي التقطت كل تفصيل في الطريق، وحركة السيارة، والبيئة المحيطة. وبينما كانوا يقودون، طلب منهم الباحثون شرح أفعالهم في الوقت الفعلي، ثم مرة أخرى بعد الرحلة أثناء مشاهدة إعادة فيديو لما حدث للتو. هذا النهج المزدوج التقط كلاً من الأفكار السريعة والبديهية التي تراود السائقين أثناء وجودهم خلف المقود، والتأملات الأكثر تفصيلاً التي يقدمونها بمجرد زوال ضغط اللحظة.
تحتوي مجموعة البيانات الناتجة على ألفي وخمسين حدثاً محدداً من أحداث القيادة، كل منها مقترن بكلمات السائق نفسه التي تشرح ما رآه، وما فهمه عن الموقف، وما اعتقد أنه قد يحدث بعد ذلك. وقد نظم الباحثون هذه التفسيرات باستخدام إطار عمل يجزئ الوعي البشري إلى ثلاثة أجزاء: ملاحظة تفصيل ما، وفهم معنى ذلك التفصيل بالنسبة للقيادة الحالية، والتنبؤ بما يمكن أن يحدث في المستقبل. على سبيل المثال، قد يلاحظ السائق ضوء مرور يتحول إلى اللون الأصفر، ويفهم أنه بحاجة إلى التباطؤ، ويتوقع أن سيارة خلفه قد لا تتوقف في الوقت المناسب. ومن خلال وسم الكلمات المنطوقة للسائقين بهذه الطبقات من الوعي، أنشأ الفريق خريطة غنية لكيفية اتصال التفكير البشري بالعالم المادي.
عندما اختبر الباحثون ما إذا كانت نماذج الكمبيوتر يمكنها التعلم من هذه البيانات، وجدوا أن الآلات كانت جيدة جداً في تحديد الهيكل الأساسي للوعي البشري. فإذا قرأ النموذج تفسير السائق، كان بإمكانه تحديد ما إذا كان السائق يلاحظ شيئاً ما فحسب، أو يفهم معناه، أو يتوقع خطراً مستقبلياً. ومع ذلك، كشفت الدراسة أيضاً أن المهمة تصبح أصعب بكثير عندما يتعلق الأمر بالتفاصيل الدقيقة. فبينما استطاعت الحواسيب بسهما التعرف على فئات واسعة مثل "اتباع سيارة" أو "التوقف عند إشارة ضوئية"، إلا أنها واجهت صعوبة في التمييز بين اثنين وثلاثين نوعاً محدداً من مواقف القيادة بناءً على النص وحده. وبالمثل، عندما طُلب منها توليد تفسيرات جديدة من الصفر، أنتجت نماذج الكمبيوتر نصوصاً صحيحة لغوياً ولكنها غالباً ما افتقرت إلى الدقة الغنية بالسياق التي يوفرها السائقون البشر بشكل طبيعي.
تشير النتائج إلى أنه بينما يمكن للذكاء الاصطناعي تعلم الهيكل العظمي للتفكير البشري، فإنه لا يزال يفتقر إلى الإدراك العميق والبديهي للسياق الذي يأتي من سنوات من الخبرة في القيادة. تُظهر مجموعة البيانات أن التفسيرات البشرية ليست مجرد أوصاف للأفعال؛ بل هي منسوجة بالملاحظات للبيئة، وتفسيرات لمستخدمي الطريق الآخرين، وتوقعات للأحداث المستقبلية. وخلص الباحثون إلى أنه لكي تتمكن المركبات ذاتية القيادة من التواصل حقاً مع ركابها، فإنها تحتاج إلى تجاوز مجرد بيانات أجهزة الاستشعار البسيطة وتعلم التفكير بطريقة تحاكي العقل البشري. توفر مجموعة البيانات الجديدة هذه أساساً حاسماً لهذا العمل، حيث تقدم لمحة نادرة عن أفكار وكلمات السائقين الذين يعرفون الطرقات بشكل أفضل.
ملخص تقني: NARRATE – مجموعة بيانات قيادة أسترالية واقعية متعددة الوسائط للتفسيرات المتمحورة حول الإنسان
بيان المشكلة مع انتقال المركبات ذاتية القيادة (AVs) من البيئات المحكومة إلى الطرق العامة، تصبح القدرة على تفسير قرارات القيادة أمراً بالغ الأهمية للسلامة، والثقة، والتفاعل بين الإنسان والمركبة. وبينما تتضمن مجموعات بيانات القيادة الحالية غالباً تعليقات لغوية طبيعية، إلا أن هذه التعليقات هي في الغالب مكتوبة من قبل مراقبين، أو تم إعدادها لاحقاً (post-hoc)، أو مستمدة من المحاكاة، أو مولدة من بيانات المستشعرات بدلاً من استخلاصها من السائق الذي قام بالفعل نفسه. تترك هذه الفجوة سؤالاً تجريبياً دون إجابة حول كيفية قيام السائقين ذوي الخبرة بتفسير قراراتهم بشكل طبيعي في حركة المرور الحقيقية وما هي المعلومات الموقفية التي يعطونها الأولوية. علاوة على ذلك، تفتقر معظم مجموعات البيانات واسعة النطاق إلى التنوع الجغرافي، مما يؤدي إلى عدم مراعاة العوامل الخاصة بالمنطقة، مثل القيادة على الجانب الأيسر، وقواعد المرور الأسترالية، واللوحات الإرشادية، وهي عوامل حاسمة لتدريب نماذج التفسير المدركة للمجال.
المنهجية يقدم المؤلفون NARRATE (التبرير الطبيعي للأفعال والوعي بالواقع من خلال التفسيرات)، وهي مجموعة بيانات متعددة الوسائط تم جمعها في بريزبان، كوينزلاند.
جمع البيانات: تتكون مجموعة البيانات من 2,050 حدثاً مشروحاً من 35 سائقاً ذا خبرة (30 من غير المدربين و5 من المدربين المرخصين) يقودون سيارة من طراز كيا نيرو (Kia Niro SUV) مجهزة بجهاز استشعار (4 كاميرات عديمة الفقد، ليدار (LiDAR)، نظام تحديد المواقع العالمي/نظام الملاحة بالقصور الذاتي/وحدة قياس القصور الذاتي، وناقل بيانات CAN bus).
بروتوكول التوقيت المزدوج: لالتقاط كل من البروز اللحظي والاستدلال التأملي، تم جمع التفسيرات عبر طريقتين:
داخل المركبة: تفسيرات فورية تم استخلاصها أثناء القيادة عبر بروتوكولات "التفكير بصوت عالٍ" أو مطالبات الباحث بعد المناورات الآمنة.
بعد القيادة: مقابلات شبه منظمة مدفوعة بالفيديو باستخدام لوحة تحكم لإعادة العرض متعددة المشاهد، مما يسمح للسائقين بالتوسع في شرح الأحداث بعد وقوعها.
إطار الشرح (Annotation Framework):
الوعي الموقفي (SA): يتم شرح التفسيرات على مستوى النطاق (span level) باستخدام إطار عمل "إندزلي" ثلاثي المستويات: المستوى الأول الإدراك (المعلومات الملحوظة)، المستوى الثاني الاستيعاب (الصلة بالقيادة)، والمستوى الثالث التوقع (توقع الحالات أو المخاطر المستقبلية).
سياق السيناريو: يتم وسم الأحداث بتصنيفات سياق السيناريو التي تشمل ست فئات عالية المستوى (مثل الامتثال المروري، إدارة المخاطر) و32 فئة دقيقة.
تسميات الأفعال: يتم تسمية أفعال السائق (مثل التباطؤ، تغيير المسار) وفئات عدم الفعل.
الاختبارات المرجعية (Benchmarks): تحدد الورقة أربع مهام مرجعية منفصلة للمشاركين: تصنيف الوعي الموقفي (SA)، تصنيف سياق السيناريو، تصنيف فعل السائق، وتوليد التفسير.
المساهمات الرئيسية
مجموعة بيانات متمحورة حول الإنسان: مورد فريد لتفسيرات القيادة في العالم الحقيقي التي أنتجها السائقون أنفسهم، والتي تلتقط كلاً من الاستدلال اللحظي والتأملي.
التأسيس متعدد الوسائط: كل حدث متزامن مع تدفقات بصرية (4 كاميرات)، ليدار، تحديد الموقع، والحركة الكينماتيكية، مقترنة بتفسيرات نصية حرة.
التعليقات المنظمة: توفر مجموعة البيانات تعليقات منظمة على مستوى النطاق للوعي الموقفي (الإدراك، الاستيعاب، التوقع) وعلامات سياق السيناريو متعددة التصنيفات، مما يتيح دراسة كيفية صياغة السائقين لاستدلالهم الموقفي.
الوعي بالمجال: من خلال التركيز على القيادة الأسترالية (القيادة على اليسار، قواعد طريق محددة)، تعالج مجموعة البيانات الحاجة إلى نماذج تفسير مدركة للمجال، متميزة عن مجموعات البيانات الأمريكية أو الأوروبية.
النتائج تقيم الورقة النماذج الأساسية على المهام المرجعية الأربع:
تصنيف الوعي الموقفي (SA): يمكن للنماذج تعلم بنية الوعي الموقفي من اللغة. غالباً ما يتم التعبير عن المستويين الأول والثاني (L1 و L2) ويتنبأ بهما بسهولة (غالباً بسبب انتشار التصنيفات)، بينما يوفر المستوى الثالث (L3 - التوقع) إشارة أكثر تمييزاً حيث تتفوق نماذج المحولات (مثل RoBERTa) على النماذج الأساسية الغالبة.
تصنيف السياق: يمكن استعادة السياق عالي المستوى (6 فئات) جزئياً من النص (حقق RoBERTa معدل F1 كلي ~0.41). ومع ذلك، يظل التعرف على السياق الدقيق (32 فئة) تحدياً كبيراً، حيث حققت النماذج معدل F1 كلياً يقارب الصفر، مما يشير إلى أن النص وحده غير كافٍ لفهم السيناريو التفصيلي دون وجود أساس بصري أو خرائطي أغنى.
تصنيف فعل السائق: يعد النص أقوى وسيط منفرد للتنبؤ بالفعل (دقة RoBERta ~0.73). وبينما توفر الميزات الكينماتيكية إشارة مفيدة، فإن الدمج البسيط مع الميزات البصرية المجمدة لا يحسن بشكل كبير معدل F1 الكلي مقارنة بالنص وحده، ويرجع ذلك أساساً إلى عدم توازن الفئات.
توليد التفسير: لا يزال توليد تفسيرات السائق الطبيعية من المدخلات المنظمة (الفعل، السياق، الكينماتيكا) مشكلة مفتوحة. تتفوق المولدات المضبوطة (T5, GPT-2) على نماذج الاسترجاع الأساسية ولكنها تحقق درجات مطلقة متواضعة (على سبيل المثال، BLEU-4 ~0.036)، مما يعكس تنوع وإيجاز التفسيرات البشرية حيث توجد صياغات متعددة صالحة لحدث واحد.
الأهمية والادعاءات تضع الورقة NARRATE ليس كحل لجميع تحديات القيادة الآلية، بل كخطوة تأسيسية نحو نماذج تفسير متمحورة حول الإنسان ومدركة للمجال. تكمن أهميتها الأساسية في نقل مصدر بيانات التفسير من المراقبين الخارجيين إلى السائقين أنفسهم، استناداً إلى إطار عمل "إندزلي" للوعي الموقفي. ويدعي المؤلفون أن مجموعة البيانات تتيح دراسة كيفية إدراك السائقين للمواقف الموقفية وتفسيرها وتوقعها في سياقات العالم الحقيقي. تشير نتائج الاختبارات المرجعية إلى أنه بينما يمكن تعلم الوعي الموقفي عالي المستوى من اللغة، فإن التعرف على السياق الدقيق وتوليد التفسيرات الطبيعية يتطلبان تكاملاً متعدد الوسائط بشكل أكبر وليس من المسائل التي حُلت بعد بواسطة النماذج القائمة على النص فقط. تهدف مجموعة البيانات إلى أن تكون بمثابة بيئة اختبار لتطوير نماذج تتماشى مع أنماط الاستدلال البشري في القيادة الآلية.