💻 computer science

Mixture-of-Modality-Experts with Holistic Token Learning for Fine-Grained Multimodal Visual Analytics in Driver Action Recognition

Ce papier propose un cadre d'apprentissage multimodal basé sur un mélange d'experts par modalité (MoME) et une stratégie d'apprentissage de jetons holistiques (HTL) pour améliorer la reconnaissance fine des actions de conduite en adaptant dynamiquement la fusion des données et en réduisant les ambiguïtés.

Auteurs originaux : Tianyi Liu, Yiming Li, Wenqian Wang, Jiaojiao Wang, Chen Cai, Yi Wang, Kim-Hui Yap

Publié 2026-04-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianyi Liu, Yiming Li, Wenqian Wang, Jiaojiao Wang, Chen Cai, Yi Wang, Kim-Hui Yap

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚗 Le Défi : Reconnaître les gestes du conducteur dans une voiture intelligente

Imaginez que vous êtes dans une voiture du futur, une "cabine intelligente". Cette voiture doit comprendre ce que fait le conducteur : est-il en train de boire un café ? De regarder son téléphone ? De s'endormir ? Ou de conduire prudemment ?

Le problème, c'est que la voiture ne voit pas toujours bien.

Parfois, il fait nuit (la caméra normale est aveugle).
Parfois, il y a des reflets ou des ombres.
Parfois, le conducteur bouge très peu (juste un petit mouvement de main), ce qui est difficile à détecter.

La voiture utilise plusieurs "yeux" (caméras RGB, infrarouge, capteurs de profondeur), mais chaque œil a ses propres forces et faiblesses selon la situation.

🧠 L'ancienne méthode : Le chef rigide

Jusqu'à présent, les systèmes informatiques fonctionnaient un peu comme un chef d'orchestre très rigide. Il disait : "On écoute la caméra 1 à 30%, la caméra 2 à 30%, et la caméra 3 à 40%". Peu importe s'il fait nuit ou s'il y a du brouillard, les pourcentages ne changeaient pas.

Le problème : Si la caméra infrarouge est la seule qui voit bien dans le noir, le système continue de lui faire confiance à seulement 30%, ce qui est inefficace. De plus, les mouvements subtils (comme un petit clignement d'yeux) étaient souvent ignorés car le système regardait l'image globale.

✨ La nouvelle solution : MoME et HTL

Les chercheurs (Tianyi Liu et son équipe) ont proposé une nouvelle approche avec deux idées clés, qu'on peut comparer à une équipe de détectives très performante.

1. MoME : L'équipe d'experts spécialisés (Mixture-of-Modality-Experts)

Au lieu d'un chef rigide, imaginez une réunion de spécialistes.

Il y a un expert "Vision de jour" (caméra RGB).
Il y a un expert "Vision de nuit" (caméra Infrarouge).
Il y a un expert "Vision 3D" (capteur de profondeur).

La magie de MoME :
Dans ce nouveau système, il y a un modérateur intelligent (le "Gate"). À chaque instant, ce modérateur regarde la situation et demande aux experts : "Qui voit le mieux ce qui se passe maintenant ?".

Si c'est la nuit, le modérateur dit : "L'expert Infrarouge, tu prends les commandes ! Les autres, écoutez-le."
Si c'est le jour, il laisse la caméra normale guider la décision.

C'est comme un orchestre où le chef d'orchestre change dynamiquement selon l'instrument qui joue le mieux à ce moment précis, au lieu de suivre une partition fixe.

2. HTL : L'apprentissage par "étiquettes" complètes (Holistic Token Learning)

Même avec les meilleurs experts, ils peuvent parfois manquer les détails fins. Imaginez que vous regardez un film au cinéma.

L'ancienne méthode : On se concentrait uniquement sur le titre du film (le "token de classe"). On savait que c'était un film d'action, mais on ne voyait pas les détails de l'action.
La nouvelle méthode (HTL) : On regarde aussi chaque scène, chaque mouvement de caméra et chaque détail du décor (les "tokens spatio-temporels").

L'analogie du professeur et de l'élève :
Le système utilise une technique d'enseignement en deux sens :

Auto-enseignement : Un expert regarde ses propres notes profondes (ce qu'il a compris au fond de lui) pour corriger ses notes superficielles. C'est comme un étudiant qui relit son cours pour mieux comprendre les détails.
Entraide entre experts : L'expert "Nuit" partage ses indices avec l'expert "Jour". Même si l'expert Jour ne voit pas bien dans le noir, il apprend des indices que l'expert Nuit a détectés.

Cela permet de repérer des gestes très subtils, comme un doigt qui bouge légèrement pour changer de station de radio, ce que les anciens systèmes rataient.

🏆 Le Résultat : Une voiture plus sûre et plus intelligente

En combinant ces deux idées (l'équipe d'experts qui s'adapte + l'apprentissage des détails fins), les chercheurs ont obtenu de meilleurs résultats sur des tests réels (le jeu de données Drive&Act).

Plus de précision : Le système fait moins d'erreurs, même dans des situations difficiles (nuit, mouvements lents).
Plus de fiabilité : Il ne se trompe pas sur les classes d'actions difficiles (comme distinguer "regarder son téléphone" de "regarder le rétroviseur").
Interprétabilité : On peut même voir pourquoi la voiture a pris une décision (grâce aux "étiquettes" qu'elle a analysées), ce qui est crucial pour la confiance dans les véhicules autonomes.

En résumé

Ce papier propose de remplacer un système de reconnaissance rigide par une équipe dynamique d'experts qui s'entraide et qui prête attention aux moindres détails. C'est comme passer d'un policier qui regarde juste l'heure à une équipe de détectives qui observe chaque indice, chaque ombre et chaque mouvement pour résoudre l'énigme de la conduite en toute sécurité.

1. Problématique

La reconnaissance des actions du conducteur (DAR - Driver Action Recognition) dans les cabines intelligentes présente des défis uniques par rapport à la reconnaissance d'actions générale :

Mouvements subtils et contexte restreint : Les actions en cabine impliquent souvent des mouvements locaux limités (mains, tête) sur un arrière-plan fixe, rendant les indices de mouvement fins difficiles à capturer.
Fiabilité hétérogène des modalités : Les données provenant de différentes modalités (RGB, infrarouge, profondeur) varient en fiabilité selon les conditions d'éclairage, les occlusions et le bruit des capteurs.
Limites des méthodes existantes : Les approches multimodales actuelles reposent principalement sur des modules de fusion fixes ou des interactions prédéfinies. Ces mécanismes statiques ne parviennent pas à s'adapter dynamiquement à la fiabilité changeante des modalités ni à capturer les détails spatio-temporels fins nécessaires pour distinguer des actions similaires. De plus, les méthodes de distillation existantes se concentrent souvent uniquement sur les class tokens (jetons de classe), négligeant les informations subtiles portées par les spatio-temporal tokens.

2. Méthodologie Proposée

Les auteurs proposent un cadre novateur combinant deux composantes principales : MoME et HTL.

A. Mixture-of-Modality-Experts (MoME)

Ce module introduit l'architecture Mixture-of-Experts (MoE) spécifiquement pour les modalités sensorielles.

Principe : Au lieu d'une fusion fixe, le système utilise plusieurs experts spécialisés, chacun traitant une modalité spécifique (ex: un expert pour le RGB, un pour l'IR, un pour la profondeur).
Mécanisme de Portail (Gating) Adaptatif : Contrairement aux MoE traditionnels qui pondèrent les experts uniquement sur la base des entrées brutes, le portail de MoME est conditionné par les sorties des experts (les class tokens générés par chaque expert). Cela permet au système d'évaluer la confiance et la réponse spécifique de chaque expert avant de fusionner les décisions, assurant une collaboration dynamique adaptée à chaque échantillon.
Fusion : La représentation latente finale est une combinaison pondérée des sorties de tous les experts, permettant de supprimer les modalités peu fiables et d'amplifier les plus pertinentes.

B. Holistic Token Learning (HTL)

Cette stratégie vise à améliorer la représentation des connaissances au niveau des jetons (tokens) à l'intérieur et entre les experts.

Apprentissage Intrinsèque (Self-Guidance) : Pour chaque expert, une distillation de soi-même est effectuée de manière « profonde vers peu profonde ». Les représentations matures des couches profondes (qui encodent une sémantique plus fine) régularisent les jetons spatio-temporels des couches plus superficielles. Cela force le modèle à préserver les indices de mouvement subtils dès les premières couches.
Apprentissage Inter-Expert (Mutual-Guidance) : Les experts échangent des connaissances pour aligner leurs représentations.
- Intra-expert : Utilisation de la divergence KL pour aligner les distributions des jetons au sein d'un même expert.
- Inter-expert : Utilisation de l'erreur quadratique moyenne (MSE) pour aligner les class tokens entre différents experts, favorisant la cohérence décisionnelle tout en préservant la spécialisation de chaque modalité.
Fonction de Perte Globale : La perte totale combine la perte de classification, la perte de guidage interne ( $\alpha L_{intra}$ ) et la perte de cohérence inter-experts ( $\beta L_{inter}$ ).

3. Contributions Clés

Cadre MoME : Première investigation de l'architecture MoE pour la collaboration flexible entre modalités de détection dans la reconnaissance d'actions de conduite, surpassant les stratégies de fusion statique.
Stratégie HTL : Introduction d'un apprentissage de jetons holistique qui ne se limite pas aux jetons de classe. Il intègre la distillation sur les jetons spatio-temporels, comblant ainsi le vide entre la distillation intra-expert et inter-expert pour une perception fine.
Performance et Interprétabilité : Démonstration que la combinaison de la coordination adaptative des experts et du raffinement des jetons améliore non seulement la précision globale, mais aussi la robustesse face aux classes difficiles et l'interprétabilité du modèle (en se concentrant sur les régions pertinentes plutôt que sur le bruit de fond).

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark Drive&Act, un ensemble de données multimodal à grande échelle (RGB, IR, Profondeur, NIR, Squelette 3D).

Configuration : Reconnaissance de 34 classes d'activités fines à partir de vues multiples.
Comparaison avec l'État de l'Art (SOTA) :
- La méthode proposée (MoME + HTL) obtient les meilleurs résultats sur toutes les métriques par rapport aux méthodes unimodales et multimodales existantes (y compris Multifuser, CM2-Net, TransDARC).
- Précision Moyenne-1 (Mean-1 Acc.) : 73,82 % (vs 72,10 % pour le précédent meilleur, CM2-Net). Cette amélioration significative sur la moyenne par classe indique une meilleure robustesse sur les classes rares ou difficiles, et non seulement sur les classes dominantes.
- Précision Top-1 : 83,94 %.
Études d'ablation :
- Le portail conditionné par la sortie (MoME) surpasse le portail basé sur l'entrée (MoE standard).
- La stratégie HTL surpasse la méthode de distillation MoDE (qui ne traite que les jetons de classe), confirmant l'importance des jetons spatio-temporels pour les actions subtiles.
- L'application de HTL sur des modèles unimodaux améliore également les performances par rapport à la supervision profonde classique ou à la distillation simple.

5. Signification et Impact

Ce travail apporte une solution robuste au problème de la fusion multimodale dans des environnements contraints et dynamiques comme les cabines de véhicules.

Adaptabilité : Il résout le problème de la fiabilité variable des capteurs en permettant au modèle de « choisir » dynamiquement quelles modalités faire confiance pour une décision donnée.
Précision Fine : En exploitant les jetons spatio-temporels via HTL, le modèle devient capable de distinguer des actions très similaires (ex: manger vs lire un journal) qui reposent sur des mouvements minuscules, là où les modèles basés sur des jetons de classe échouent souvent.
Applications : Ces avancées sont cruciales pour le développement de systèmes de transport intelligents plus sûrs et pour l'amélioration de l'interaction humain-véhicule, permettant une détection fiable de la fatigue, de la distraction et des intentions du conducteur.