Leakage-Resistant Evaluation of Calibrated Multimodal Driver Drowsiness Detection Across Drivers and Routes

Imaginez que vous essayez d'apprendre à un robot à repérer quand un humain est sur le point de s'endormir au volant. Vous donnez au robot une caméra, une montre connectée et un capteur de tableau de bord pour surveiller le conducteur. Mais voici la partie délicate : si vous n'êtes pas prudent, le robot pourrait s'appuyer sur des raccourcis. Il pourrait apprendre à reconnaître le visage spécifique du conducteur ou la route spécifique sur laquelle il circule, plutôt que d'apprendre réellement ce qu'est l'état de "somnolence". C'est comme étudier pour un examen de mathématiques en mémorisant les réponses aux questions d'entraînement au lieu d'apprendre les formules. Si les questions de l'examen changent ne serait-ce qu'un peu, le robot échoue. C'est le problème de la "fuite de données" (data leakage) en intelligence artificielle.

Pour construire un système véritablement sûr, nous devons nous assurer que le robot apprend les signes universels de la somnolence — comme des paupières lourdes, des réactions ralenties ou des changements de fréquence cardiaque — afin qu'il puisse fonctionner sur n'importe quel conducteur, sur n'importe quelle route, même celles qu'il n'a jamais vues auparavant. Nous devons également nous assurer que le robot ne se contente pas de deviner "éveillé" ou "endormi", mais qu'il puisse nous dire à quel point il est sûr de lui. Si le robot est sûr à 99 % que le conducteur dort, nous voulons pouvoir faire confiance à ce chiffre. Ce document explore en profondeur ces questions, agissant comme un arbitre strict pour vérifier si les affirmations précédentes concernant les détecteurs de somnolence au volant étaient réellement équitables ou s'il s'agissait simplement de coups de chance basés sur l'utilisation de raccourcis.

---

Le Grand Audit du Détective de la Somnolence

Dans cette étude, une équipe de chercheurs a décidé de jouer le rôle de "détectives de la fuite". Ils ont pris deux collections massives de données — l'une comprenant 225 000 observations de 15 conducteurs sur des autoroutes, des terrains accidentés et des rues de ville, et une autre de plus de 87 000 lectures de conductance cutanée provenant de 20 personnes — et les ont soumises à un test rigoureux, sans aucun raccourci autorisé. Leur objectif était de voir si les modèles les plus performants des études précédentes pouvaient toujours faire leur travail lorsqu'on ne leur permettait pas de jeter un coup d'œil aux réponses ou de mémoriser les conducteurs spécifiques.

Le nettoyage des "Raccourcis"
D'abord, les chercheurs ont nettoyé les données. Ils ont réalisé que certaines colonnes de données étaient comme donner la clé des réponses au détective. Par exemple, si les données incluaient une colonne indiquant littéralement "Un freinage brusque a eu lieu", l'ordinateur pourrait simplement deviner "Somnolent" chaque fois qu'un freinage se produit, sans réellement comprendre l'état du conducteur. Ils ont également supprimé toute colonne qui n'était qu'une autre façon d'écrire l'étiquette "somnolent". Une fois ces "raccourcis" éliminés, il ne restait que les signaux bruts et honnêtes : fréquence cardiaque, pression de la main, mouvement des pieds et données du véhicule.

Les quatre façons de tester
Pour voir si les modèles étaient réellement intelligents ou simplement des mémorisateurs, l'équipe a utilisé quatre stratégies de test différentes, comme changer les règles d'un jeu pour voir qui connaît réellement les règles :

1. Division par lignes aléatoires (Random Row Split) : Mélanger toutes les données comme un jeu de cartes. C'est le "mode facile" où l'ordinateur voit des fragments du même conducteur et de la même route à la fois dans son entraînement et dans son test.
2. Blocs temporels (Time-Blocked) : S'assurer que l'ordinateur n'apprend que du passé pour prédire le futur, comme regarder un film et essayer de deviner la fin sans avoir vu les 20 dernières minutes.
3. Conducteur exclu (Driver-Held-Out) : C'est le test du "nouveau conducteur". L'ordinateur apprend de 10 conducteurs et est testé sur 5 qu'il n'a jamais rencontrés.
4. Itinéraire exclu (Route-Held-Out) : Le test ultime du "nouveau monde". L'ordinateur apprend sur des autoroutes et des routes accidentées, mais est testé sur un trafic urbel dense qu'il n'a jamais vu auparavant.

Le Gagnant : Le cerveau "Tout-en-un"
Les chercheurs ont testé trois types différents de cerveaux d'IA : un penseur linéaire simple (Régression Logistique), un apprenant par arbres complexe appelé Pooled HGB (Gradient Boosting basé sur l'histogramme), et une équipe de spécialistes qui votent sur la réponse (CQMF, ou Fusion de Modalités Pondérée par la Qualité et Calibrée).

Le grand gagnant surprise fut le Pooled HGB. Voyez ce modèle comme un détective unique et super intelligent qui regarde tout en même temps — fréquence cardiaque, mouvement des pieds et vitesse de la voiture — simultanément. Il n'a pas essayé de séparer les indices en différentes catégories ; il a simplement laissé les données se parler entre elles.

• Lorsqu'il a été testé sur de nouveaux conducteurs (Driver-Held-Out), ce modèle était incroyablement précis. Il a obtenu un score de 0,9990 (sur 1,0) pour distinguer l'état d'éveil de l'état de sommeil, et un score de 0,9819 pour détecter les moments rares de somnolence.
• Il était également très honnête sur sa confiance. Son "score de Brier" (une mesure de la correspondance entre sa confiance et la réalité) était un infime 0,00355, ce qui signifie que lorsqu'il disait "Je suis sûr à 90 %", il avait presque toujours raison.

L'échec de l'"Équipe de Spécialistes"
Les chercheurs espéraient que l' "Équipe de Spécialistes" (CQMF) serait meilleure. L'idée était : avoir une IA qui surveille le cœur, une autre qui surveille les mains et une troisième qui surveille la voiture, puis les faire voter. Mais cette approche a en fait donné de moins bons résultats. Lorsqu'ils ont essayé de combiner leurs opinions distinctes, ils ont perdu les connexions subtiles entre les signaux. Il s'avère qu'un détective unique qui voit l'image globale est meilleur qu'un comité de spécialistes qui ne peuvent pas communiquer entre eux. Le cerveau "Tout-en-un" a capturé le fait qu'un certain profil de fréquence cardiaque peut signifier quelque chose de différent selon ce que fait la voiture, ce que les spécialistes séparés ont manqué.

La pénalité du "Nouvel Itinéraire"
C'est ici que les choses sont un peu moins parfaites. Lorsque les chercheurs ont testé le modèle sur un type de route complètement nouveau (Route-Held-Out), la performance a chuté.

• Sur les autoroutes, le modèle était toujours excellent.
• Mais sur les itinéraires urbains denses, la capacité à repérer les conducteurs somnolents a chuté. La "sensibilité" (le nombre de conducteurs endormis qu'il a réellement détectés) est tombée à 0,7216.
  Cela révèle une "pénalité de transfert d'itinéraire". Le modèle a appris que les conducteurs somnolents sur autoroute ont un certain profil, mais la conduite en ville est chaotique et différente. Si vous prenez un modèle entraîné uniquement sur autoroute et que vous le déposez dans une ville animée, il pourrait manquer les conducteurs endormis.

Le test de stress du "Capteur Cassé"
La vie réelle est désordonnée. Les capteurs se cassent, les fils se desserrent et les données se perdent. Les chercheurs ont simulé cela en supprimant aléatoirement 10 %, 20 %, 30 % et même 50 % des données pour voir ce qui se passerait.

• Le modèle "Tout-en-un" (Pooled HGB) a résisté étonnamment bien. Même avec 50 % de données manquantes, il a réussi à obtenir un score décent de 0,6630.
• L' "Équipe de Spécialistes" (CQMF) s'est effondrée beaucoup plus vite, tombant à 0,5260 avec 50 % de données manquantes.
  Cela suggère qu'avoir un modèle robuste capable de gérer les pièces manquantes est préférable à la dépendance envers une équipe de spécialistes qui pourraient tous devenir silencieux si leur capteur spécifique tombe en panne.

Le mystère de la conductance cutanée
L'équipe a également examiné un second ensemble de données impliquant la conductance cutanée (la façon dont votre peau transpire lorsque vous êtes stressé ou endormi). Même après avoir supprimé les "raccourcis", le modèle a tout de même performé de manière incroyable, avec un score de 0,9994. Cependant, les chercheurs restent prudents. Ils ont noté que, comme ils ne possédaient pas les journaux vidéo ou audio originaux, ils ne pouvaient pas être sûrs à 100 % que les étiquettes "somnolent" étaient parfaitement exactes en premier lieu. C'est comme obtenir un score parfait à un examen, mais ne pas savoir si le professeur a corrigé de manière équitable. Ainsi, bien que les chiffres semblent excellents, ils ne peuvent pas affirmer que cela prouve que le système fonctionne dans le monde réel pour l'instant.

L'essentiel à retenir

Ce document ne se contente pas de nous dire quel modèle d'IA est le "meilleur". Il nous enseigne comment arrêter de compter sur les raccourcis. La principale conclusion est que vous ne pouvez pas faire confiance à un système de détection de somnolence du conducteur à moins de le tester sur des conducteurs et des routes qu'il n'a jamais vus auparavant.

L'étude a montré qu'un modèle unique et puissant qui examine toutes les données ensemble (Pooled HGB) est le plus fiable. Il est meilleur que l'essai de combinaison de modèles séparés, et il est assez robuste pour gérer les données manquantes. Cependant, l'étude nous avertit également que même le meilleur modèle n'est pas parfait. Si vous déplacez un système de l'autoroute vers une ville animée, ou si les capteurs commencent à faillir, le système pourrait manquer le danger.

Les auteurs concluent que, bien que nous ayons un outil très solide pour repérer la somnolence actuellement, nous ne sommes pas encore prêts à en mettre dans chaque voiture. Nous avons besoin de tests plus fréquents en conditions réelles, de meilleures données provenant de capteurs bruts, et d'un système qui sache quand il est confus et doive demander de l'aide. En attendant, cette recherche sert d'audit de fuite crucial, garantissant que lorsque nous affirmons qu'un système est sûr, nous ne nous trompons pas nous-mêmes avec un coup de chance.