Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition

Le papier présente Dr. SHAP-AV, un cadre basé sur les valeurs de Shapley qui révèle que, bien que les modèles de reconnaissance de la parole audiovisuelle augmentent leur dépendance visuelle en présence de bruit, ils conservent une forte contribution audio, soulignant ainsi la nécessité de mécanismes d'équilibrage des modalités et d'outils d'attribution diagnostiques.

L'essentiel

🎙️👁️ Dr. SHAP-AV : Le Détective qui écoute et regarde

Imaginez que vous essayez de comprendre ce que quelqu'un dit dans une pièce très bruyante (un concert, une usine, une foule). Si vous ne pouvez entendre que la voix, c'est difficile. Mais si vous pouvez aussi regarder les lèvres de la personne, le décryptage devient beaucoup plus facile. C'est le principe de la Reconnaissance de la Parole Audio-Visuelle (AVSR).

Mais une question reste en suspens : Comment l'ordinateur décide-t-il de faire confiance à ses oreilles ou à ses yeux ? Est-ce qu'il écoute plus quand il fait calme ? Est-ce qu'il regarde plus quand il fait du bruit ?

C'est exactement ce que l'équipe de recherche (de l'Imperial College London et NatWest) a voulu découvrir avec leur nouvel outil : Dr. SHAP-AV.

🔍 L'Outil : Un Détective Mathématique (Shapley)

Pour répondre à cette question, les chercheurs n'ont pas juste regardé les résultats. Ils ont utilisé une méthode mathématique issue de la théorie des jeux, appelée les valeurs de Shapley.

L'analogie du gâteau :
Imaginez que vous et un ami avez gagné 100 € en jouant à un jeu d'équipe.

• Vous avez apporté les ingrédients.
• Votre ami a apporté le four.
• Comment diviser les 100 € équitablement ?

Les valeurs de Shapley sont comme un détective qui calcule exactement combien chaque personne a contribué au succès final, en testant toutes les combinaisons possibles (que vous jouiez seul, que votre ami joue seul, ou que vous jouiez ensemble).

Dans ce papier, le "gâteau" est la reconnaissance de la parole. Les "joueurs" sont :

1. L'Audio (les oreilles).
2. La Vidéo (les yeux/lèvres).

Dr. SHAP-AV calcule pour chaque mot prononcé : "Est-ce que c'est l'oreille qui a permis de deviner ce mot, ou les yeux ?"

🧪 Les Expériences : 6 Robots dans 6 Scénarios

Les chercheurs ont testé 6 robots intelligents (des modèles d'IA très avancés) sur deux bases de données de vidéos. Ils ont simulé différents niveaux de bruit, du silence parfait au chaos total (-10 dB, c'est comme crier dans une tempête).

Voici les 6 découvertes principales, racontées comme une histoire :

1. Le changement de stratégie (mais pas total) 🔄

• Ce qu'on pensait : Quand le bruit est fort, l'ordinateur devrait arrêter d'écouter et se concentrer à 100 % sur les lèvres.
• La réalité : Même dans le bruit le plus terrible, les robots continuent d'écouter ! Ils augmentent leur attention visuelle, mais ils gardent environ 40 à 46 % de leur attention sur l'audio.
• L'analogie : C'est comme si vous étiez dans une tempête de neige. Vous fermez les yeux pour ne pas avoir mal, mais vous continuez quand même à tendre l'oreille, même si vous savez que le vent couvre les sons. Les robots sont un peu têtus : ils ne lâchent jamais complètement l'audio.

2. L'évolution pendant la phrase 📜

• Ce qu'on a vu : La façon dont les robots utilisent leurs sens change pendant qu'ils parlent.
• L'analogie : Imaginez un détective qui commence une enquête. Au début, il regarde les indices visuels (les lèvres) pour comprendre le contexte. Mais plus la phrase avance, plus il se fie à ce qu'il a déjà entendu pour deviner la suite. Certains robots (comme Whisper-Flamingo) commencent par regarder, puis écoutent de plus en plus vers la fin. D'autres (AV-HuBERT) gardent un équilibre constant, comme un chef d'orchestre très discipliné.

3. Le respect du temps ⏱️

• Ce qu'on a vu : Il y a une correspondance parfaite entre le moment où on voit un mouvement de lèvres et le moment où on entend un son.
• L'analogie : C'est comme une partition de musique. Les notes (les sons) et les gestes (les lèvres) sont alignés. Même dans le bruit, l'ordinateur ne mélange pas tout : il sait que le mouvement des lèvres au début de la phrase correspond aux premiers mots, et pas aux derniers. C'est une structure très robuste.

4. Le type de bruit compte 🎵🗣️

• Ce qu'on a vu : Tous les bruits ne sont pas égaux.
• L'analogie : Si le bruit est de la musique de fond, l'ordinateur s'en sort bien. Mais si le bruit est une conversation humaine (des gens qui parlent autour), c'est le pire scénario. Dans ce cas, l'ordinateur panique un peu et se tourne beaucoup plus vers les yeux pour essayer de comprendre. C'est comme si vous aviez plus de mal à lire sur les lèvres quand quelqu'un vous parle directement que quand il y a juste de la musique.

5. La longueur de la phrase 📏

• Ce qu'on a vu : La durée de la phrase change la donne, mais différemment selon le robot.
• L'analogie : Pour certains robots, plus la phrase est longue, plus ils se fient aux yeux (peut-être parce que l'audio s'use avec le temps). Pour d'autres, plus la phrase est longue, plus ils se fient à l'audio (car ils accumulent des indices sonores). Il n'y a pas de règle unique, cela dépend de la "personnalité" (l'architecture) du robot.

6. La difficulté ne change rien 🎯

• Ce qu'on a vu : Si l'ordinateur se trompe (il fait une erreur), ce n'est pas parce qu'il a changé d'avis sur la façon d'utiliser ses sens.
• L'analogie : Que le mot soit facile ou impossible à comprendre, le robot utilise toujours ses oreilles et ses yeux dans les mêmes proportions. C'est le niveau de bruit (le volume du vacarme) qui décide de la stratégie, pas la difficulté du mot lui-même.

💡 La Conclusion : Pourquoi c'est important ?

Cette étude nous apprend que nos intelligences artificielles actuelles ont un biais. Elles sont trop accrochées à l'audio, même quand l'audio est pourri.

L'avenir ?
Les chercheurs suggèrent qu'il faudrait créer des robots plus "intelligents" qui savent ajuster automatiquement leur confiance. Si le bruit est trop fort, ils devraient pouvoir dire : "Ok, les oreilles ne servent plus à rien, je me concentre à 100 % sur les yeux !"

En résumé, Dr. SHAP-AV est comme un miroir qui nous montre comment les robots voient et entendent le monde. Cela nous aide à construire des systèmes plus robustes, capables de nous comprendre même dans le chaos le plus total.

Résumé technique

Voici un résumé technique détaillé de l'article "Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition" en français.

1. Problématique

La Reconnaissance de la Parole Audio-Visuelle (AVSR) vise à améliorer la robustesse des systèmes de reconnaissance en combinant les signaux acoustiques et les indices visuels (mouvements des lèvres), particulièrement utile dans des environnements bruyants. Cependant, une question fondamentale reste sans réponse : comment les modèles AVSR équilibrent-ils réellement la contribution de l'audio et de la vidéo ?

Les travaux existants montrent une asymétrie : les modèles tendent à s'appuyer excessivement sur l'audio, même lorsque celui-ci est dégradé, car il est plus facile à apprendre que les indices visuels (qui sont ambigus et à plus basse fréquence d'images). Bien que des études aient observé ce biais empiriquement (par exemple, en supprimant un modalité), aucune analyse rigoureuse et mathématique n'a encore quantifié la dynamique de cette contribution à travers différentes architectures, conditions acoustiques et étapes de génération.

2. Méthodologie : Le Framework Dr. SHAP-AV

Les auteurs proposent Dr. SHAP-AV, un cadre d'analyse basé sur les valeurs de Shapley issues de la théorie des jeux coopératifs. Contrairement aux analyses heuristiques, les valeurs de Shapley offrent une attribution théoriquement fondée, équitable et agnostique de la performance (elles mesurent la contribution à la prédiction interne, pas à la justesse de la transcription).

Le framework se décompose en trois niveaux d'analyse appliqués à une matrice de Shapley ($\Phi$) reliant les caractéristiques d'entrée (audio/vidéo) aux tokens générés :

1. Global SHAP : Agrège les contributions sur l'ensemble des tokens et des caractéristiques pour quantifier l'équilibre global entre l'audio et la vidéo.
2. Generative SHAP : Analyse l'évolution de la dépendance aux modalités au cours du processus de génération autoregressive (décodage token par token), en divisant la séquence en fenêtres temporelles.
3. Temporal Alignment SHAP : Examine la correspondance temporelle entre les positions des caractéristiques d'entrée et les tokens de sortie pour vérifier si la structure séquentielle est préservée.

Expérimentation :

• Modèles : 6 modèles state-of-the-art (SOTA) couvrant deux familles d'architectures : les approches basées sur les LLM (Llama-AVSR, Llama-SMoP, Omni-AVSR) et les approches basées sur l'attention croisée (AV-HuBERT, Auto-AVSR, Whisper-Flamingo).
• Données : Benchmarks LRS2 et LRS3.
• Conditions : Analyse sur différents niveaux de rapport signal-sur-bruit (SNR), allant du silence à -10 dB, et différents types de bruit (babillage, musique, etc.).

3. Contributions Clés

• Extension aux architectures AVSR : Adaptation des méthodes de Shapley (précédemment limitées aux LLM vision-langage) aux modèles de reconnaissance vocale, y compris les architectures encodeur-décodeur classiques.
• Analyse Multi-Granularité : Introduction de métriques dynamiques (Generative et Temporal Alignment) pour dépasser les analyses statiques globales.
• Étude Comparative Large : Analyse systématique de six modèles SOTA sous diverses conditions acoustiques, révélant des comportements architecturaux distincts.

4. Résultats Principaux

Les expériences menées avec Dr. SHAP-AV ont révélé six découvertes majeures :

1. Biais Audio Persistant : Bien que les modèles augmentent leur dépendance à la vidéo lorsque le bruit augmente, ils maintiennent une contribution audio étonnamment élevée (38-46 %) même à un SNR de -10 dB, là où une domination visuelle serait attendue.
2. Évolution Dynamique lors de la Génération :
   • Les modèles Whisper-Flamingo et Omni-AVSR augmentent progressivement leur reliance sur l'audio au fur et à mesure que le décodage avance (récupération du signal audio grâce au contexte linguistique accumulé).
   • AV-HuBERT maintient un équilibre stable tout au long de la génération.
3. Alignement Temporal Robuste : Les deux modalités (audio et vidéo) préservent une correspondance temporelle claire (les caractéristiques d'entrée précoces contribuent aux tokens de sortie précoces), et cette structure résiste même à une dégradation acoustique sévère.
4. Impact du Type de Bruit : Le degré de basculement vers la vidéo dépend du type de bruit. Les conditions plus difficiles (comme le bruit de type "babble") induisent un plus grand recours à la modalité visuelle.
5. Effet de la Durée des Énoncés : La relation entre la durée de l'énoncé et l'équilibre des modalités est spécifique à l'architecture. Par exemple, Whisper-Flamingo réduit sa reliance sur l'audio pour les énoncés longs, tandis que Omni-AVSR l'augmente légèrement.
6. Le SNR est le Facteur Dominant : L'équilibre des modalités est principalement dicté par les conditions acoustiques (SNR) et non par la difficulté de reconnaissance (taux d'erreur WER). La difficulté de la tâche n'entraîne pas d'adaptation significative du poids des modalités.

5. Signification et Implications

• Diagnostic Standard : L'article plaide pour l'adoption des attributions basées sur Shapley comme outil de diagnostic standard pour l'AVSR, permettant de comprendre l'intégration multimodale au-delà de la simple métrique d'erreur (WER).
• Limites des Modèles Actuels : La persistance d'un biais audio même dans des conditions de bruit extrême suggère que les mécanismes d'attention actuels ne s'adaptent pas suffisamment aux dégradations. Cela motive le développement de mécanismes de pondération explicite des modalités.
• Compréhension Architecturale : Les résultats montrent que la façon dont un modèle intègre les modalités dépend fortement de son architecture (ex: fusion par MLP vs attention croisée) et de sa stratégie d'entraînement (ex: apprentissage auto-supervisé vs distillation).

En conclusion, Dr. SHAP-AV fournit une compréhension nuancée et mathématiquement rigoureuse de la façon dont les systèmes AVSR modernes utilisent l'information multimodale, révélant à la fois leurs capacités d'adaptation et leurs biais structurels persistants.