Leakage-Resistant Evaluation of Calibrated Multimodal Driver Drowsiness Detection Across Drivers and Routes

تخيل أنك تحاول تعليم روبوت كيفية رصد متى يوشك إنسان على النوم خلف المقود. تعطي الروبوت كاميرا، وساعة ذكية، ومستشعر لوحة قيادة لمراقبة السائق. لكن الجزء الصعب هنا هو أنه إذا لم تكن حذراً، فقد يعتمد الروبوت على طرق مختصرة. قد يتعلم التعرف على وجه سائق معين أو طريق محدد يقود فيه، بدلاً من تعلم ما يعنيه "النعاس" فعلياً. الأمر يشبه المذاكرة لاختبار رياضيات عبر حفظ إجابات أسئلة التدريب بدلاً من تعلم القواعد الرياضية. إذا تغيرت أسئلة الاختبار ولو قليلاً، سيفشل الروبوت. هذا هو مشكلة "تسرب البيانات" في الذكاء الاصطناعي.

لبناء نظام آمن حقاً، نحتاج إلى التأكد من أن الروبوت يتعلم العلامات العالمية للنعاس — مثل الأجفان الثقيلة، أو ردود الفعل البطيئة، أو التغيرات في معدل ضربات القلب — لكي يتمكن من العمل مع أي سائق، وعلى أي طريق، حتى تلك التي لم يره من قبل. ونحتاج أيضاً إلى التأكد من أن الروبوت لا يكتفي بمجرد التخمين بين "مستيقظ" أو "نائم"، بل يمكنه أن يخبرنا بمدى "تأكده". إذا كان الروبوت متأكداً بنسبة 99% أن السائق نائم، فنحن نريد أن نتمكن من الوثوق بهذا الرقم. هذه الورقة البحثية تغوص بعمق في هذه الأسئلة، وتعمل كحكم صارم للتحقق مما إذا كانت الادعاءات السابقة حول كواشف القيادة أثناء النعاس كانت عادلة حقاً أم أنها كانت مجرد تخمينات محظوظة بناءً على الاعتماد على طرق مختصرة.

---

تدقيق المحقق العظيم للنعاس

في هذه الدراسة، قرر فريق من الباحثين لعب دور "محققي التسرب". أخذوا مجموعتين ضخمتين من البيانات — إحداهما تحتوي على 225,000 ملاحظة من 15 سائقاً على الطرق السريعة، والتضاريس الوعرة، وشوارع المدن، والأخرى تضم أكثر من 87,000 قراءة لتوصيل الجلد من 20 شخصاً — وأخضعوهاما لاختبار صارم لا يسمح بالطرق المختصرة. كان هدفهم هو معرفة ما إذا كانت أفضل النماذج أداءً من الدراسات السابقة لا تزال قادرة على القيام بعملها عندما لا يُسمح لها بالتلصص على الإجابات أو حفظ بيانات السائقين المحددين.

تنظيف "الطرق المختصرة"
أولاً، قام الباحثون بتنظيف البيانات بعناية. أدركوا أن بعض أعمدة البيانات كانت تشبه إعطاء المحقق مفتاح الإجابات. على سبيل المثال، إذا تضمنت البيانات عموداً يقول حرفياً "حدث كبح مفاجئ"، فيمكن للكمبيوتر ببساطة تخمين "نعسان" كلما حدث كبح، دون أن يفهم فعلياً حالة السائق. كما أزالوا أي أعمدة كانت مجرد طرق مختلفة لكتابة تسمية "النعاس". وبمجرد تجريدهم من هذه "الطرق المختصرة"، تبقى لديهم الإشارات الخام والصادقة: معدل ضربات القلب، وضغط القبضة، وحركة القدم، وبيانات المركبة.

الطرق الأربع للاختبار
لرؤية ما إذا كانت النماذج ذكية حقاً أم مجرد حافظة، استخدم الفريق أربع استراتيجيات مختلفة للاختبار، مثل تغيير قواعد اللعبة لمعرفة من يعرف القواعد حقاً:

1. تقسيم الصفوف العشوائي: خلط جميع البيانات مثل أوراق اللعب. هذا هو "الوضع السهل" حيث يرى الكمبيوتر أجزاءً من نفس السائق والطريق في كل من تدريبه واختباره.
2. التقسيد الزمني: التأكد من أن الكمبيوتر يتعلم فقط من الماضي للتنبؤ بالمستقبل، مثل مشاهدة فيلم ومحاولة تخمين النهاية دون رؤية آخر 20 دقيقة.
3. استبعاد السائق: هذا هو اختبار "السائق الجديد". يتعلم الكمبيوتر من 10 سائقين ويتم اختباره على 5 لم يقابلهم من قبل.
4. استبعاد المسار: اختبار "العالم الجديد" الأقصى. يتعلم الكمبيوتر على الطرق السريعة والطرق الوعرة، ولكن يتم اختباره في حركة مرور المدن الكثيفة التي لم يرها من قبل.

الفائز: "الدماغ الشامل"
اختبر الباحثون ثلاثة أنواع مختلفة من أدمغة الذكاء الاصطناعي: مفكر خطي بسيط (الانحدار اللوجستي)، ومتعلم أشجار معقد يسمى Pooled HGB (تعزيز التدرج القائم على المدرجات التكرارية)، وفريق من المتخصصين يصوتون على الإجابة (CQMF، أو دمج الأنماط المرجح النوعية والمعاير).

الفائز المفاجئ كان Pooled HGB. فكر في هذا النموذج كأنه محقق واحد فائق الذكاء ينظر إلى كل شيء في وقت واحد — معدل ضربات القلب، وحركة القدم، وسرعة السيارة — بشكل متزامن. لم يحاول فصل الأدلة إلى فئات مختلفة؛ بل ترك البيانات تتحدث مع بعضها البعض.

• عند اختباره على سائقين جدد (استبعاد السائق)، كان هذا النموذج دقيقاً للغاية. حصل على درجة 0.9990 (من 1.0) للتمييز بين المستيقظ والنائم، ودرجة 0.9819 لإيجاد لحظات النعاس النادرة.
• كما كان صادقاً جداً بشأن ثقته. كانت "درجة براير" الخاصة به (وهي مقياس لمدى مطابقة ثقته للواقع) ضئيلة جداً عند 0.00355، مما يعني أنه عندما يقول "أنا متأكد بنسبة 90%"، فإنه يكون محقاً في معظم الأحيان.

"فريق المتخصصين" فشل
كان الباحثون يأملون أن يكون "فريق المتخصصين" (CQMF) أفضل. الفكرة هي: أن يراقب ذكاء اصطناعي واحد القلب، وآخر اليدين، وثالث السيارة، ثم يصوتون على الإجابة. لكن هذا النهج أدى في الواقع إلى أداء أسوأ. فعندما حاول الفريق دمج آرائهم المنفصلة، فقدوا الروابط الدقيقة بين الإشارات. اتضح أن المحقق الواحد الذي يرى الصورة الكاملة أفضل من لجنة من المتخصصين الذين لا يستطيعون التحدث مع بعضهم البعض. لقد التقط "الدماغ الشامل" حقيقة أن نمطاً معيناً من ضربات القلب قد يعني شيئاً مختلفاً اعتماداً على ما تفعله السيارة، وهو أمر فات المتخصصين المنفصلين.

"عقوبة الطريق الجديد"
هنا يصبح الأمر أقل مثالية قليلاً. عندما اختبر الباحثون النموذج على نوع جديد تماماً من الطرق (استبعاد المسار)، انخفض الأداء.

• في الطرق السريعة، كان النموذج لا يزال رائعاً.
• ولكن في مسارات المدن المزدحمة، انخفضت القدرة على رصد السائقين النعسانين. انخفضت "الحساسية" (عدد السائقين النعسانين الذين تم رصدهم بالفعل) إلى 0.7216.
  هذا يكشف عن "عقوبة انتقال المسار". لقد تعلم النموذج أن السائقين النعسانين على الطرق السريعة يبدون بطريقة معينة، لكن القيادة في المدينة فوضوية ومختلفة. إذا أخذت نموذجاً تدرب فقط على الطرق السريعة ووضعته في مدينة مزدحمة، فقد يخطئ في رصد السائقين النعسانين.

اختبار الإجهاد لـ "المستشعر المعطل"
الحياة الواقعية فوضوية. المستشعرات تتعطل، والأسلاك ترتخي، والبيانات تُفقد. قام الباحثون بمحاكاة ذلك عن طريق حذف 10%، و20%، و30%، وحتى 50% من البيانات عشوائياً لمعرفة ما سيحدث.

• صمد نموذج "الدماغ الشامل" (Pooled HGB) بشكل جيد بشكل غير متوقع. فحتى مع فقدان 50% من البيانات، لا يزال يحقق درجة جيدة بلغت 0.6630.
• أما "فريق المتخصصين" (CQMF) فقد انهار بشكل أسرع، حيث انخفض إلى 0.5260 مع فقدان 50% من البيانات.
  يشير هذا إلى أن امتلاك نموذج واحد قوي يمكنه التعامل مع الأجزاء المفقودة أفضل من الاعتماد على فريق من المتخصصين الذين قد يصمتون جميعاً إذا فشل مستشعر أحدهم.

لغز توصيل الجلد
نظر الفريق أيضاً إلى مجموعة بيانات ثانية تتضمن توصيل الجلد (مدى تعرق جلدك عندما تكون متوتراً أو ناعساً). حتى بعد إزالة "الطرق المختصرة"، لا يزال النموذج يعمل بشكل مذهل، بدرجة 0.9994. ومع ذلك، فإن الباحثين حذرون؛ فقد أشاروا إلى أنه نظراً لأنهم لم يمتلكوا سجلات الفيديو أو الصوت الأصلية، فلم يكن بإمكانهم التأكد بنسبة 100% من أن تسميات "النعاس" كانت دقيقة تماماً في المقام الأول. الأمر يشبه الحصول على درجة كاملة في اختبار، لكنك لا تعرف ما إذا كان المعلم قد صححه بإنصاف. لذا، بينما تبدو الأرقام رائعة، لا يمكنهم الادعاء بأن هذا يثبت عمل النظام في العالم الحقيقي بعد.

الخلاصة

هذه الورقة لا تخبرنا فقط أي نموذج ذكاء اصطناٍ هو "الأفضل". إنها تعلمنا كيفية التوقف عن الاعتماد على الطرق المختصرة. الاستنتاج الرئيسي هو أنك لا يمكنك الوثوق بنظام رصد النعاس أثناء القيادة ما لم تختبره على سائقين وطرق لم يسبق له رؤيتها من قبل.

وجدت الدراسة أن نموذجاً واحداً قوياً ينظر إلى جميع البيانات معاً (Pooled HGB) هو الأكثر موثوقية. إنه أفضل من محاولة دمج نماذج منفصلة، وهو قوي بما يكفي للتعامل مع البيانات المفقودة. ومع ذلك، تحذر الدراسة أيضاً من أن أفضل النماذج ليست مثالية. إذا نقلت نظاماً من طريق سريع إلى مدينة مزدحمة، أو إذا بدأت المستشعرات في الفشل، فقد يخطئ النظام في رصد الخطر.

يخلص المؤلفون إلى أنه رغم امتلاكنا لأداة قوية جداً لرصد النعاس في الوقت الحالي، إلا أننا لسنا مستعدين لوضعها في كل سيارة بعد. نحن بحاجة إلى مزيد من الاختبارات في العالم الحقيقي، وبيانات أفضل من المستشعرات الخام، ونظام يعرف متى يكون مرتبكاً ويجب أن يطلب المساعدة. وحتى ذلك الحين، يعمل هذا البحث كـ "تدقيق تسرب" حاسم، لضمان أننا عندما ندعي أن نظاماً ما آمن، فإننا لا نخدع أنفسنا بتخمين محظوظ.