Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que votre seul indice soit un flux de caméra de sécurité vacillant et granuleux. Vous ne cherchez pas un voleur ; vous cherchez un conducteur sur le point de s'endormir au volant. C'est le monde des systèmes de surveillance du conducteur (DMS), un domaine de l'informatique dédié à notre sécurité en observant notre apparence pendant que nous conduisons. Pendant des années, ces systèmes se sont appuyés sur des astuces simples, comme compter le temps pendant lequel vos yeux restent fermés ou vérifier si vous déviez de votre trajectoire. Mais la véritable histoire s'écrit dans les minuscules contractions involontaires de nos muscles faciaux. Les scientifiques appellent ces petits mouvements des « Unités d'Action » (AU). Considérez une AU comme une commande musculaire atomique unique — comme le tressautement spécifique qui se produit quand vous bâillez, ou le resserrement subtil de vos paupières lorsque vous luttez contre le sommeil. Le défi est qu'à l'intérieur d'une voiture, la lumière change, passant d'un soleil aveuglant à l'obscurité totale, votre tête oscille, et parfois vous portez des lunettes de soleil. C'est un environnement chaotique où un ordinateur doit repérer un tressautement musculaire qui dure moins d'une seconde, souvent caché derrière des ombres ou des vitres.

Ce document présente un nouveau type de détective numérique appelé le « Twin Cycle Autoencoder » (TCA). Au lieu de simplement regarder un instantané pour deviner ce qu'un conducteur ressent, ce système utilise deux « boucles » ingénieuses pour apprendre l'histoire d'un visage au fil du temps. La première boucle, la branche « Spatiale », apprend à reconnaître les mouvements musculaires tout en ignorant l'identité de la personne ou ce qu'elle porte. La seconde boucle, la branche « Temporelle », agit comme un monteur voyageant dans le temps, regardant la vidéo en avant puis en arrière pour s'assurer que l'histoire du mouvement est cohérente dans les deux sens. En forçant ces deux boucles à être d'accord entre elles, le système apprend à détecter même les signes les plus ténus de fatigue, comme un clignement d'œil lent ou une bouche entrouverte, même lorsque la caméra rencontre des difficultés. Les chercheurs ont testé cela sur des jeux de données standards et sur un simulateur de conduite en conditions réelles, constatant que leur système « jumeau » est bien plus performant pour capturer ces signes subtils et éphémères de somnolence que les méthodes plus anciennes, et qu'il est assez rapide pour être utilisé dans une vraie voiture dès aujourd'hui.

Le Problème : Le Chaos de l'Habitacle

Détecter la somnolence dans une voiture est notoirement difficile. Dans un laboratoire calme, une caméra peut facilement repérer un bâillement. Mais à l'intérieur d'un véhicule en mouvement, le monde est un chaos de défis. Le soleil peut frapper directement l'objectif, puis la voiture entre soudainement dans un tunnel sombre. Le conducteur peut tourner la tête pour vérifier un angle mort, ou porter des lunettes de soleil qui cachent ses yeux. De plus, les signes de fatigue sont souvent incroyablement subtils. Un conducteur n'est peut-être pas encore endormi ; il peut simplement éprouver une micro-expression de fatigue — un minuscule tressautement du sourcil ou un clignement bref, presque invisible. Ces signaux sont si faibles et si courts que les anciens modèles informatiques, qui regardent généralement une image à la fois, passent souvent totalement à côté. Ils éprouvent également des difficultés car il n'y a pas assez de données étiquetées ; il est coûteux et difficile d'obtenir des milliers d'heures de vidéo de conduite où chaque tressautement musculaire a été marqué manuellement par un expert.

La Solution : Le Twin Cycle Autoencoder

Les auteurs proposent une solution appelée le Twin Cycle Autoencoder (TCA). Pour comprendre son fonctionnement, imaginez que vous essayez d'apprendre à un robot à reconnaître un mouvement de danse spécifique, mais que vous n'avez pas de vidéo de la danse, seulement un tas de photos aléatoires.

1. Les Deux Branches (Les Jumeaux)
Le TCA est construit comme une paire de jumeaux qui se spécialisent dans des compétences différentes mais travaillent ensemble :

• Le Jumeau Spatial (Le Détecteur de Ressemblance) : Cette branche examine une seule image de la vidéo. Son travail est de supprimer tout ce qui n'est pas le mouvement musculaire. Elle ignore l'identité du conducteur, sa coiffure ou s'il porte un chapeau. Elle se concentre purement sur l'« Unité d'Action » — la forme musculaire spécifique. Elle utilise une astuce de « cycle » : elle tente de reconstruire le visage à partir des données musculaires. Si elle parvient à reconstruire le visage correctement, elle sait qu'elle a capturé la bonne information musculaire.
• Le Jumeau Temporel (Le Monteur Voyageant dans le Temps) : Cette branche examine un court clip de vidéo (environ 1,6 seconde). Elle regarde le visage bouger vers l'avant dans le temps, puis elle essaie de lire la vidéo à l'envers. Elle utilise également une astuce de « cycle » ici : si le mouvement fait sens en allant vers l'avant, il doit aussi faire sens en allant vers l'arrière. Cela aide le système à comprendre le rythme d'un bâillement ou d'un clignement d'œil, plutôt que d'être simplement une image statique d'une bouche.

2. La Poignée de Main (Alignement Latent)
Ces deux jumeaux ne travaillent pas de manière isolée. Ils sont connectés par un mécanisme de « poignée de main ». Le système force la compréhension du visage par le Jumeau Spatial à un moment précis à correspondre à la compréhension du mouvement par le Jumeau Temporel à ce même moment. Cela garantit que l'« apparence » et le « mouvement » racontent la même histoire. Si le Jumeau Temporel voit un bâillement commencer, le Jumeau Spatial doit être d'accord sur le fait que la bouche s'ouvre, même si l'éclairage est mauvais.

3. Apprendre sans Professeur (Auto-supervision)
L'un des aspects les plus puissants de ce système est sa façon d'apprendre. Habituellement, pour entraîner une IA, vous avez besoin d'un ensemble de données massif où des humains ont étiqueté chaque tressautement musculaire. Mais dans la conduite, ces données sont rares. Le TCA contourne cela en utilisant l'« apprentissage auto-supervisé ». Il peut observer des heures de vidéos de conduite non étiquetées (où personne n'a marqué les AU) et utiliser ses astuces de « cycle » pour apprendre les règles du mouvement facial par lui-même. Il apprend à quoi ressemble un visage « normal » et comment il bouge, simplement en regardant la vidéo en avant et en arrière. Ce n'est que plus tard qu'il utilise une petite quantité de données étiquetées pour affiner sa capacité à détecter des signes spécifiques de fatigue.

Ce Qu'Ils Ont Trouvé

Les chercheurs ont testé leur système « Jumeau » contre plusieurs autres méthodes populaires, incluant des systèmes qui regardent simplement des images uniques, des systèmes utilisant des filtres vidéo 3D, et des systèmes utilisant des réseaux de graphes. Ils l'ont testé sur des benchmarks standards (DISFA et BP4D) ainsi que sur un ensemble de données de conduite naturaliste enregistré dans un simulateur avec de vrais conducteurs.

• Meilleur pour Détecter le Subtil : Le TCA a systématiquement surpassé les autres méthodes. Il était particulièrement efficace pour détecter les AU de faible intensité ou très rapides, telles que l'AU45 (fermeture des yeux) et l'AU43 (fermeture lente des yeux), qui sont des signes clés de somnolence. Il a également bien performé pour l'AU26 (ouverture de la mâchoire), qui indique un bâillement.
• Le Pouvoir du Temps : Lorsqu'ils ont supprimé la branche « Temporelle » (le monteur voyageant dans le temps), les performances du système ont chuté de manière significative. Cela a prouvé que regarder le mouvement au fil du temps est crucial pour détecter la fatigue.
• Le Pouvoir de l'Auto-apprentissage : Lorsqu'ils ont comparé une version du TCA utilisant un pré-entraînement auto-supervisé (apprendre à partir de vidéos non étiquetées) à une version qui ne le faisait pas, la version pré-entraînée était bien meilleure. Cela suggère que le système a réussi à apprendre des motifs utiles à partir des heures de séquences de conduite non étiquetées, comblant ainsi l'écart causé par le manque de données étiquetées.
• Vitesse en Conditions Réelles : Le système n'était pas seulement précis ; il était rapide. Testé sur un ordinateur embarqué (NVIDIA Jetson Xavier NX) pouvant être installé dans une voiture, le système tournait à 28,4 images par seconde. C'est assez rapide pour fournir des alertes en temps réel à un conducteur, dépassant les 10 à 15 ips habituellement considérées comme nécessaires pour les systèmes de sécurité.

Les Limites et Étapes Futures

Le système n'est pas parfait. Les chercheurs ont constaté que lorsque les conducteurs portaient des lunettes de soleil, le système éprouvait des difficultés avec les AU liées à la partie supérieure du visage (comme les sourcils ou les paupières). Les lunettes de soleil bloquaient la vue, et le système ne pouvait pas « deviner » le mouvement à partir de la partie inférieure du visage seule. Cependant, il est resté robuste pour les actions du bas du visage comme le bâillement, car la bouche reste visible.

L'article conclut que cette approche par « Double Cycle » est une voie viable pour la prochaine génération de surveillance du conducteur. Il suggère qu'en combinant les cycles spatiaux et temporels, et en utilisant l'apprentissage auto-supervisé pour tirer profit des données non étiquetées, nous pouvons construire des systèmes qui soient à la fois précis et pratiques pour de vraies voitures. Les travaux futurs se concentreront sur l'enseignement au système comment mieux gérer les occlusions (comme les lunettes de soleil) et sur la combinaison des indices faciaux avec d'autres données, comme les mouvements du volant, pour obtenir une image encore plus claire de la fatigue du conducteur.