Beyond Fixed Thresholds and Domain-Specific Benchmarks for Explainable Multi-Task Classification in Autonomous Vehicles
تقترح هذه الورقة منهجية اختيار عتبة تكيفية للتغلب على قيود العتبات الثابتة في الإدراك متعدد المهام للقيادة الذاتية، وتقدم مجموعة بيانات IUST-XAI-AD لتمكين القابلية للتفسير عبر الثقافات وتقييم أكثر قوة لأنظمة المركبات ذاتية القيادة.
تخيل أنك تعلم روبوتاً قيادة السيارة. أنت لا تريد من الروبوت أن يعرف فقط ماذا يفعل (مثل "توقف" أو "انعطف يساراً")، بل تريده أيضاً أن يشرح لماذا يفعل ذلك (مثل "بسبب وجود مشاة" أو "لأن الإشارة حمراء"). هذا هو هدف الذكاء الاصطناعي القابل للتفسير (Explainable AI) في السيارات ذاتية القيادة.
ومع ذلك، وجد مؤلفو هذه الورقة مشكلتين كبيرتين:
قاعدة "المقاس الواحد للجميع": معظم الروبوتات مبرمجة بقاعدة جامدة: "إذا كنت متأكداً بنسبة تزيد عن 50%، اتخذ قراراً". يطلق المؤلفون على هذا اسم "العتبة الثابتة" (fixed threshold). هم يجادلون بأن هذا يشبه قولك لإنسان: "إذا كنت متأكداً بنسبة 50% أنها تمطر، فخذ مظلة". هذا لا يعمل جيداً! فأحياناً تحتاج لأن تكون متأكداً بنسبة 90% قبل أن تتصرف (مثل التوقف من أجل طفل)، وأحياناً تكون نسبة 50% كافية. تُظهر الورقة أن استخدام قاعدة الـ 50% الواحدة لكل موقف يجعل الروبوت يرتكب أخطاء أكثر.
"التحيز الغربي" في التدريب: معظم الروبوتات يتم تدريبها على بيانات من أماكن مثل كاليفورنيا أو ألمانيا. لكن القيادة في طهران، إيران، مختلفة تماماً. هناك المزيد من الدراجات النارية، وعادات مرورية مختلفة، وتخطيطات طرق مختلفة. إذا دربت الروبوت فقط على الطرق الغربية، فقد يرتبك عندما يرى شارعاً شرق أوسطياً فوضوياً.
إليك كيف حل المؤلفون هذه المشكلات، مشروحة ببساًطة:
1. ضبط "قرص الثقة" (العتبة)
تخيل عقل الروبوت وكأن لديه قرص تحكم في مستوى الصوت لكل قرار.
الطريقة القديمة: الجميع كان يضبط القرص عند الدرجة "5" (ثقة 50%) ولا يلمسه أبداً بعد ذلك.
الطريقة الجديدة: اختبر المؤلفون القرص عند كل الإعدادات من 1 إلى 10. ووجدوا أنه بالنسبة لبعض المهام (مثل اتخاذ قرار "التوقف")، يعمل الروبوت بشكل أفضل عندما يكون القرص مضبوطاً عند الدرجة "3" (ثقة 30%). أما بالنسبة لمهام أخرى (مثل شرح سبب التوقف)، فإن الدرجة "4" (40%) هي الأفضل.
التشبيه: تخيل أنك حارس أمن يفحص الهويات.
إذا كنت صارماً جداً (عتبة عالية)، فلن تسمح لأحد بالدخول، حتى لو كانوا ودودين (ستفقد فرصاً جيدة).
إذا كنت متساهلاً جداً (عتبة منخفضة)، فستسمح للجميع بالدخول، بما في ذلك الأشخاص السيئين (سترتكب أخطاء خطيرة). لقد وجد المؤلفون أنه بالنسبة لأنواع مختلفة من "الأشخاص السيئين" (مهام القيادة المختلفة)، فأنت بحاجة إلى مستويات مختلفة من الصرامة. ومن خلال ضبط "قرص الصرامة" لكل وظيفة محددة، أصبح الروبوت أكثر ذكاءً وأماناً.
2. "مدرسة القيادة الشرق أوسطية" الجديدة (مجموعة البيانات)
أدرك المؤلفون أن مجموعات بيانات القي القيادة الحالية تشبه مدرسة تعليم قيادة تعلمك فقط كيفية القيادة في طرق سريعة فارغة ومستقيمة في أوروبا. لم تعلمك كيفية التعامل مع شارع سوق مزدحم وفوضوي في إيران.
الحل: أنشأوا مجموعة بيانات جديدة تسمى IUST-XAI-AD.
ماذا يوجد فيها: 958 صورة حقيقية تم التقاطها في مدينة قم، إيران.
لماذا هي مميزة: إنها تشبه "المستوى الصعب" في ألعاب الفيديو. فهي تحتوي على عدد أكبر بكتم من الدراجات النارية، والمشاة، وأنماط المرور المعقدة مقارنة بمجموعات البيانات القياسية.
النتيجة: عندما اختبروا الروبوت الخاص بهم على هذا "المستوى الصعب"، واجه صعوبة أكبر مما واجهه في الطرق الأوروبية السهلة. وهذا يثبت أن مجموعة البيانات الجديدة هي اختبار أفضل وأقوى لمعرفة ما إذا كان الروبوت مستعداً حقاً للعالم الحقيقي.
3. الـ "لماذا" تهم بقدر أهمية الـ "ماذا"
يجب على الروبوت القيام بشيئين في آن واحد:
الإجراء: "أوقف السيارة".
السبب: "بسبب عبور شخص ما".
وجد المؤلفون أن الروبوت في الواقع أفضل في تخمين الإجراء (توقف/انطلق) منه في تخمين السبب (لماذا؟). إنه يشبه طالباً يمكنه الإجابة على أسئلة "صح/خطأ" بسهولة، ولكنه يعاني في كتابة مقال يشرح لماذا الإجابة صحيحة. ومن خلال استخدام "أقراص الضبط" (العتبات) الخاصة بهم، ساعدوا الروبوت على التحسن في كل من الإجراء والتفسير.
الخلاصة
تقول الورقة:
توقفوا عن استخدام قاعدة الـ 50% نفسها لكل شيء. اضبطوا مستويات الثقة بناءً على المهمة المحددة.
لا تختبروا الروبوتات على الطرق الغربية فقط. يجب عليكم اختبارها على طرق متنوعة وفوضوية (مثل تلك الموجودة في الشرق الأوسط) لمعرفة ما إذا كانت آمنة حقاً.
القابلية للتفسير هي المفتاح. السيارة ذاتية القيادة ليست مجرد آلة؛ بل يجب أن تكون قادرة على إخبارك لماذا اتخذت قراراً حتى يتمكن البشر من الوثوق بها.
من خلال إصلاح "الأقراص" والاختبار على "طرق أصعب"، وضع المؤلفون أساساً أفضل للسيارات ذاتية القيادة التي يمكن الوثوق بها في أي مكان في العالم، وليس فقط في الأماكن التي تشبه كاليفورنيا.
ملخص تقني: ما وراء العتبات الثابتة والمعايير المحددة بنطاقات معينة للنماذج التفسيرية لتصنيف المهام المتعددة في المركبات ذاتية القيادة
بيان المشكلة تعتمد أنظمة القيادة الذاتية على نماذج التعلم العميق التي غالبًا ما تكون "صناديق سوداء"، مما يفتقر إلى الشفافية المطلوبة للنشر في البيئات الحرجة التي تتعلق بالسلامة وثقة البشر. وبينما ظهرت أطر تعلم المهام المتعددة للتنبؤ بالأفعلات القيادية والمنطق الكامن وراءها في آن واحد (الذكاء الاصطناعي القابل للتفسير أو XAI)، تواجه الأساليب الحالية عقبتين رئيسيتين. أولاً، تعتمد بشكل أساسي على عتبات ثقة ثابتة (عادةً 0.5) لتحويل مخرجات النموذج المستمرة إلى تنبؤات منفصلة. وهذا النهج "الموحد للجميع" يتجاهل التباين في التعقيد وعدم توازن الفئات المتأصل في مهام التنبؤ المختلفة، مما قد يؤدي إلى أداء دون المستوى الأمثل أو مخاطر تتعلق بالسلامة. ثانًا، تعاني معايير التقييم الحالية، مثل Berkeley Deep Drive (BDD-OIA) وnuScenes Action and Reasons (nu-AR)، من انحياز شديد نحو سياقات القيادة الغربية. هذا النقص في التنوع الثقافي يحد من تقييم قدرة النموذج على التعميم عبر أنماط المرور المختلفة، والبنى التحتية للطرق، وسلوكيات القيادة الموجودة عالميًا، لا سيما في مناطق الشرق الأوسط.
المنهجية يقترح المؤلفون تقدماً منهجياً ذا شقين لمعالجة هذه الفجوات:
تحليل حساسية عتبة الثقة: بدلاً من استخدام عتبة ثابتة، يقدم المؤلفون إطاراً منهجياً لتحسين حدود القرار لتصنيف المهام المتعددة. حيث يحددون عتبات ثقة منفصلة (τA للفعل و τR للسبب) ويجرون بحثاً شبكياً عبر النطاق [0, 1] بخطوة قدرها 0.1. يقيم الإطار أربعة مقاييس متميزة: F1-action-overall، وF1-action-mean، وF1-reason-overall، وF1-reason-mean. يسمح هذا بتحديد أزواج العتبات المثلى التي تعظم الأداء لمهام محددة، مع الإقرار بأن تنبؤات الفعل والسبب قد تتطلب مستويات ثقة مختلفة.
بناء مجموعة بيانات IUST-XAI-AD: لمعالجة نقص المعايير متنوعة الثقافات، يقدم المؤلفون مجموعة بيانات IUST-XAI-AD. تم جمع هذه المجموعة في مدينة قم بإيران، وتتكون من 958 صورة ملتقطة بكاميرا لوحة القيادة (dash-cam) تحت ظروف إضاءة متنوعة. تم ترميز كل صورة يدوياً من قبل خبراء بـ:
تسميات الأسباب (Reason Labels): 21 فئة تشرح قرار القيادة (مثل "عائق: شخص"، "إشارة المرور خضراء"). يتم تحليل مجموعة البيانات من حيث التعقيد باستخدام درجة مرجحة (C) تأخذ في الاعتبار كثافة المشاة، والراكبين (على الدراجات)، والمركبات، مع تخصيص أوزان أعلى لمستخدمي الطريق الأكثر عرضة للخطر (المشاة والراكبين) ليعكس ملف المخاطر المرتفع لديهم.
المساهمات الرئيسية يقدم البحث ثلاث مساهمات مترابطة:
تحسين العتبة المنهجي: إثبات أن العتبات الثابتة ليست مثالية لسيناريوهات المهام المتعددة. يقدم المؤلفون منهجية لتحديد العتبات المثلى الخاصة بكل مهمة، مما يكشف أن ذروة الأداء تختلف بشكل كبير بين مهام الفعل ومهام السبب.
معيار جديد (IUST-XAI-AD): تقديم مجموعة بيانات مصممة خصيصاً للرؤية الحاسوبية القابلة للتفسير في سياقات القيادة الفارسية. تعالج مجموعة البيانات هذه الانحياز الثقافي والإقليمي في المعايير الحالية، حيث توفر بيئة أكثر تحدياً بكثافة أعلى للأجسام وأنماط حركة مرور متميزة.
التحقق الشامل عبر السياقات: تقييم واسع لنموذج مهام متعددة يعتمد على آلية الانتباه (attention-based) عبر ثلاث مجموعات بيانات (BDD-OIA، وnu-AR، وIUST-XAI-AD). يتضمن ذلك تحليلاً مقارناً لأداء النموذج، ومقاييس التعقيد، وتضمينات الميزات (feature embeddings) لتقييم المتانة عبر البيئات الثقافية المختلفة.
النتائج التجريبية
حساسية العتبة: يكشف التحليل على مجموعة بيانات BDD-OIA أن عتبة 0.5 التقليدية ليست مثالية. حيث تحدث ذروة F1-action-overall عند عتبة 0.3 (71.85%)، بينما تحدث ذروة F1-reason-overall عند عتبة 0.4 (54.77%). تحدد الدراسة "منطقة تشغيل متينة" بين 0.3 و0.5 حيث تظل جميع المقاييس ضمن 1% من قيمتها القصوى، مما يشير إلى أنه بينما يعد الضبط مفيداً، فإن نطاقاً من العتبات يمكن أن يحقق نتائج قريبة من المثالية.
تعقيد مجموعة البيانات: تظهر مجموعة بيانات IUST-X_XAI-AD تعقيداً أعلى بكثير (درجة 2.0038) مقارنة بـ BDD-OIA (0.8062) وnu-AR (0.5752). ويعود ذلك إلى كثافة أعلى للمركبات (1.66 لكل صورة مقابل 0.70 في BDD-OIA) وكثافة أعلى بكثير للراكبين (0.164 لكل صورة، وهو ما يعادل 19-24 ضعفاً في مجموعات البيانات الغربية)، مما يعكس ظروف حركة المرور المختلطة الشائعة في مدن الشرق الأوسط.
أداء النموذج: عند اختباره على IUST-XAI-AD، تفوق نموذج المؤلفين القائم على الانتباه على خط الأساس NLE-DM في 9 من أصل 12 مقياساً. ومع ذلك، انخفضت مقاييس الأداء الإجمالية (درجات F1) بشكل كبير في IUST-XAI-AD مقارنة بـ BDD-OIA، مما يشير إلى أن الاختلافات الثقافية والبيئية تمثل تحديات جديدة جوهرية تكافح النماذج الحالية للتعميم عليها دون تكييف محدد.
تحليل الميزات: تظهر تصورات t-SNE للميزات المتعلمة أن النموذج ينجح في تجميع البيانات حسب فئات الأفعال والسياق البيئي (على سبيل المثال، فصل البنية التحتية للمرور عن العوائق الديناميكية)، رغم بقاء بعض التداخل.
الأهمية والادعاءات يدعي البحث أن عمله يدفع بمستوى التقدم في التعلم القابل للتفسير للمهام المتعددة في القيادة الذاتية من خلال توفير أدوات منهجية وموارد تقييم عملية.
منهجياً: يتحدى البحث الممارسة القياسية للعتبات الثابتة، مجادلاً بأن اختيار العتبة يجب أن يكون خياراً تصميمياً بناءً على الأولويات التشغيلية المحددة (مثل الموازنة بين الدقة والاستدعاء) بدلاً من كونه مشكلة تحسين ثابتة.
عملياً: تعمل مجموعة بيانات IUST-XAI-AD كأداة حاسمة لتقييم التعميم عبر الثقافات للأنظمة ذاتية القيادة، مما يسلط الضوء على الفجوات المنهجية في متانة النماذج التي تغفلها التقييمات أحادية المجال.
الأثر الأوسع: يؤكد المؤلفون أن مساهماتهم المشترنة تسرع تطوير أنظمة قيادة ذاتية أكثر موثوقية، وقابلية للتفسير، وتكيفاً ثقافياً مناسبة للنشر العالمي. ويشددون على أن التحقق الشامل عبر سياقات متنوعة ضروري لتقييم السلامة الحقيقية ومتانة هذه الأنظمة.
يختتم البحث بالإشارة إلى أنه بينما يضع العمل الحالي حجر الأساس للتنوع الثقافي وتحسين العتبة، يجب أن تبحث الأبحوث المستقبلية في الضبط الدقيق وحساسية العتبة خصيصاً لظروف الطقس القاسية، وتوسيع التقييم ليشمل نطاقاً أوسع من مجموعات البيانات المتنوعة جغرافياً.