💬 NLP

The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models

Cet article propose la première méthode pour générer des explications contrastives dans les modèles de parole vers texte en analysant comment les caractéristiques d'entrée du spectrogramme influencent le choix entre des sorties alternatives, démontrant son efficacité par une étude de cas sur l'attribution du genre dans la traduction de la parole.

Auteurs originaux : Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

Publié 2026-04-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Demander « Pourquoi cela, et pas cela ? »

Imaginez que vous demandiez à un assistant intelligent de traduire une phrase de l'anglais vers l'italien. Il dit que « I am curious » devient « Sono curiosa » (en utilisant la forme féminine).

Habituellement, si vous demandez à une IA : « Pourquoi as-tu dit cela ? », elle pourrait pointer la phrase entière et répondre : « À cause de l'audio que j'ai entendu ». C'est comme un détective qui dit : « Le suspect était dans la pièce », sans vous dire ce qu'il a vu qui l'a amené à penser que c'était le suspect.

Ce document introduit une nouvelle façon de poser la question : « Pourquoi as-tu choisi curiosa (féminin) au lieu de curioso (masculin) ? »

Les auteurs appellent cela une Explication Contrastive. Au lieu d'expliquer simplement la réponse, cela explique le choix entre deux options.

Le Problème : La « Carte Floue »

Les chercheurs ont examiné la façon dont les modèles d'IA actuels expliquent leurs décisions. Ils ont constaté que les méthodes existantes créent une « carte thermique » sur l'enregistrement audio (un spectrogramme).

L'Ancienne Façon : Si l'IA dit « curiosa », l'ancienne méthode met en évidence les parties de l'audio qui l'ont aidée à identifier le mot « curieux » en général. C'est comme mettre en évidence toute la cuisine parce que vous avez fait un sandwich. Cela ne vous dit pas quel ingrédient spécifique en a fait un sandwich à la dinde plutôt qu'un sandwich au jambon.
Le Problème : Ces cartes sont trop larges. Elles manquent les indices audio minuscules et spécifiques (comme le timbre de la voix) qui indiquent à l'IA si le locuteur est un homme ou une femme.

La Solution : Un Nouveau « Tableau de Score »

Pour corriger cela, l'équipe a développé une nouvelle méthode basée sur un outil existant appelé SPES. Imaginez SPES comme une façon de jouer à « cache-cache » avec l'audio. Il couvre de petits morceaux du son et observe si l'IA change d'avis.

Cependant, pour que cela fonctionne pour la question « Pourquoi A au lieu de B ? », ils ont dû inventer deux nouvelles règles :

La Règle du « Mot Entier » : Les modèles d'IA parlent généralement en petits fragments de son (sous-mots), comme des blocs de construction. Les anciennes méthodes se contentaient d'additionner les blocs. La nouvelle méthode est plus intelligente ; elle vérifie si ces blocs forment réellement un mot complet ou seulement le début d'un mot plus long. C'est comme s'assurer que vous ne comptez pas le mot « pré- » comme un mot complet simplement parce qu'il fait partie de « préparer ».
Le « Score Relatif » (L'Ingrédient Secret) : C'est la partie la plus importante.
- L'Ancien Score (Différence) : Il demande : « Dans quelle mesure couvrir ce son a-t-il nui à la probabilité de dire curiosa ? » Si l'IA était déjà sûre à 99 % qu'il s'agissait de curiosa, couvrir le son change à peine les choses. Le score reste bas et la carte semble ennuyeuse.
- Le Nouveau Score (Relatif) : Il demande : « Dans quelle mesure couvrir ce son a-t-il aidé curioso (l'autre option) à rattraper son retard ? » Il compare directement les deux options.
- L'Analogie : Imaginez une course entre une Ferrari (le choix de l'IA) et un vélo (l'alternative).
  - Le Vieux Score observe à quel point la Ferrari ralentit si vous mettez un caillou dans son pneu. Elle ralentit à peine, donc le caillou ne semble pas important.
  - Le Nouveau Score observe à quel point le vélo accélère si vous retirez un caillou de son chemin. Si le vélo rattrape soudainement l'autre, ce caillou était le facteur décisif.

L'Expérience : Le Genre dans la Traduction

Pour tester cela, les chercheurs ont utilisé un scénario spécifique : L'Attribution du Genre.
Dans des langues comme l'italien, le français et l'espagnol, les adjectifs changent selon le genre (par exemple, curioso vs curiosa). L'anglais ne fait pas cela, donc l'IA doit deviner le genre du locuteur en se basant sur sa voix (timbre, ton, etc.).

Ils ont testé leur nouvelle méthode sur des extraits audio où l'IA devait choisir entre des traductions masculines et féminines.

Les Résultats :

L'Ancienne Méthode : A produit des cartes qui ressemblaient presque aux cartes « larges ». Elle ne pouvait pas distinguer « pourquoi ce mot » de « pourquoi ce genre ».
La Nouvelle Méthode : A produit des cartes qui mettaient en évidence des parties très spécifiques de l'audio.
- Lorsqu'ils ont bloqué les caractéristiques audio spécifiques identifiées par la nouvelle méthode, l'IA a arrêté de dire « féminin » et est passée à « masculin » plus de 70 % du temps.
- Cela a prouvé que la méthode avait trouvé avec succès les « indices vocaux » exacts que l'IA utilisait pour deviner le genre.

La Mise en Garde (Limites et Éthique)

Le document est très honnête sur les inconvénients :

Le Biais du « Défaut » : L'IA semble supposer que tout le monde est un homme à moins d'entendre des preuves fortes qu'il s'agit d'une femme. Lorsque les chercheurs ont essayé de forcer l'IA à passer de « masculin » à « féminin » en bloquant l'audio, cela n'a pas fonctionné aussi bien. Cela suggère que l'IA a un biais intégré vers le défaut masculin, probablement parce qu'elle a été entraînée sur plus de voix masculines que féminines.
Le Problème Binaire : L'étude ne regardait que « Homme » vs « Femme ». Les auteurs notent que cela ignore les personnes non binaires. Si la voix d'une personne ne correspond pas au moule typique « masculin » ou « féminin », l'IA pourrait être confuse ou fournir une traduction qui ne lui correspond pas.
Avertissement Éthique : Utiliser des traits vocaux pour deviner le genre peut être délicat. Les personnes transgenres ou celles ayant des troubles de la voix pourraient obtenir des traductions « incorrectes » parce que leurs voix ne correspondent pas aux attentes désuètes de l'IA.

Résumé

Ce document n'a pas seulement construit une meilleure carte ; il a construit une loupe.

Avant : Nous pouvions voir où l'IA regardait pour prendre une décision, mais c'était une vue floue et générale.
Maintenant : Nous pouvons voir exactement quel son spécifique a amené l'IA à choisir « elle » au lieu de « il ».

Cela aide les chercheurs à comprendre comment les modèles d'IA « écoutent » et les aide à repérer quand l'IA fait des hypothèses injustes basées sur le genre.

1. Énoncé du problème

Bien que l'IA explicable (XAI) ait considérablement progressé dans le traitement automatique du langage naturel (TALN) basé sur le texte, l'application des explications contrastives aux modèles Texte-à-Parole (S2T) reste un défi ouvert.

Explications contrastives : Contrairement aux explications standards qui répondent à « Pourquoi le modèle a-t-il produit la sortie P ? », les explications contrastives répondent à « Pourquoi le modèle a-t-il produit P au lieu de Q ? » (où Q est un leurre ou une alternative). Cela correspond mieux au raisonnement humain.
Le fossé : Les méthodes d'explication S2T existantes (par exemple SPES) génèrent des cartes de saillance holistiques sur les spectrogrammes audio. Ces cartes mettent en évidence les caractéristiques pertinentes pour la génération de n'importe quel mot, mais échouent à isoler les caractéristiques spécifiques au choix entre deux sorties concurrentes (par exemple, pourquoi le modèle a choisi la forme masculine curioso plutôt que la forme féminine curiosa).
Défis spécifiques au S2T :
1. Modalité d'entrée : Les signaux audio sont multidimensionnels (temps et fréquence) et représentés sous forme de spectrogrammes.
2. Granularité de sortie : Les modèles S2T génèrent des tokens de sous-mots, et non des mots complets, rendant l'agrégation des probabilités au niveau du mot non triviale.
3. Notation : Les fonctions de notation contrastive standard utilisées en TALN textuel échouent souvent lorsque le modèle favorise fortement la cible par rapport au leurre, entraînant des explications indiscernables des explications non contrastives.

2. Méthodologie

Les auteurs proposent le premier cadre pour obtenir des explications contrastives en S2T en adaptant la méthode SPES (Spectrogram Perturbation for Explainable Speech-to-text). L'approche implique deux interventions techniques critiques :

A. Agrégation des probabilités au niveau du mot

Puisque les modèles S2T sortent des tokens de sous-mots, la probabilité d'un mot complet ( $t$ ) doit être reconstruite à partir de ses sous-mots constitutifs ( $w_0, \dots, w_k$ ).

Limitation des travaux antérieurs : Les méthodes d'agrégation simples (moyenne, max-pooling ou multiplication naïve de la règle de chaîne) ne tiennent pas compte des incohérences de nombre de tokens entre la cible et le leurre, ni du fait qu'une séquence de sous-mots pourrait être un préfixe d'un mot plus long plutôt qu'un mot complet.
Solution proposée : Les auteurs adoptent la méthode des limites de mots (Word Boundary method, Pimentel et Meister, 2024). Cette méthode calcule la probabilité d'une séquence de mots en s'assurant qu'elle est suivie d'un token « début de mot » ou de ponctuation. Cela évite la surestimation des probabilités pour les séquences de sous-mots qui ne sont que des préfixes (par exemple, distinguer _professor de _professor e ssa).

B. Fonctions de notation contrastive

Le cœur de la méthode est une fonction de notation qui quantifie comment la perturbation d'une région d'entrée affecte la probabilité de la cible ( $t$ ) par rapport au leurre ( $f$ ).

Le problème de la notation par différence ( $S_{CD}$ ) : Le score contrastif standard, $S_{CD}(t, f) = (p(t) - \tilde{p}(t)) - (p(f) - \tilde{p}(f))$ , s'effondre souvent vers le score de base $S_B(t)$ lorsque $p(t) \gg p(f)$ . Dans de tels cas, l'explication met en évidence des caractéristiques pertinentes pour la génération de n'importe quel mot correct, et non le contraste spécifique.
Solution proposée : Les auteurs introduisent le Notateur Relatif ( $S_{CR}$ ), basé sur Jacovi et al. (2021) :
$S_{CR}(t, f) = \frac{p(t)}{p(t) + p(f)} - \frac{\tilde{p}(t)}{\tilde{p}(t) + \tilde{p}(f)}$
Cette fonction normalise la contribution des deux termes par leur somme. Elle garantit que même si la cible est beaucoup plus probable que le leurre, le score reste sensible aux changements de probabilité du leurre, isolant efficacement les caractéristiques spécifiques au contraste.

C. Métriques d'évaluation

Pour valider la fidélité des explications (dans quelle mesure elles reflètent le comportement réel du modèle), les auteurs adaptent des métriques issues de la classification de texte :

Couverture : Le pourcentage de cas où le modèle génère soit la cible soit le leurre après la suppression des caractéristiques. Une couverture élevée garantit que les caractéristiques identifiées sont spécifiques au contraste, et non à la génération de texte générale.
Taux d'inversion (Flip Rate) : Le taux auquel le modèle passe de la prédiction de la cible à celle du leurre à mesure que les caractéristiques saillantes sont progressivement masquées (supprimées). Une explication fidèle devrait provoquer un taux d'inversion élevé avec une suppression minimale.

3. Contributions clés

Première méthode contrastive S2T : Introduction d'un nouveau pipeline pour générer des explications contrastives pour les modèles de parole en adaptant l'attribution basée sur la perturbation aux spectrogrammes.
Mécanisme de notation novateur : Proposition du Notateur Relatif ( $S_{CR}$ ) comme alternative supérieure au Notateur de Différence standard pour le S2T, démontrant qu'il produit des cartes de saillance distinctes et véritablement contrastives.
Cadre d'évaluation robuste : Développement d'une évaluation à double métrique (Couverture + Taux d'inversion) adaptée aux tâches génératives S2T pour mesurer la fidélité des explications.
Validation empirique : Validation de la méthode sur l'attribution du genre des locuteurs en traduction automatique de la parole sur trois paires de langues (Anglais $\to$ Français, Italien, Espagnol).

4. Résultats

La méthode a été évaluée à l'aide du jeu de données MuST-SHE, en se concentrant sur la traduction de termes anglais neutres en genres vers des langues romanes genrées (par exemple, « I am curious » $\to$ curioso vs. curiosa).

Distinction des cartes de saillance :
- Notateur de Différence ( $S_{CD}$ ) : A produit des cartes de saillance fortement corrélées (Pearson $r \approx 0,93$ ) avec les explications non contrastives. Il a échoué à isoler les caractéristiques spécifiques au genre.
- Notateur Relatif ( $S_{CR}$ ) : A produit des cartes avec une faible corrélation ( $r \approx 0,33$ ) avec les cartes non contrastives, isolant avec succès les régions acoustiques pertinentes pour le genre.
Performance de couverture :
- Lors de la suppression des caractéristiques identifiées par le Notateur de Différence, la couverture est tombée en dessous de 20 % après seulement 2 % de suppression (indiquant que les caractéristiques étaient génériques).
- Le Notateur Relatif a maintenu une couverture >30 % même après 20 % de suppression, prouvant qu'il cible des caractéristiques spécifiques au contraste de genre.
Performance du taux d'inversion :
- Cibles féminines : Le masquage des 5 % supérieurs des caractéristiques identifiées par le Notateur Relatif a provoqué un basculement du modèle vers des prédictions masculines dans >70 % des cas couverts.
- Cibles masculines : Les taux d'inversion étaient plus faibles (~30 %), ce que les auteurs attribuent à un biais de défaut masculin dans les modèles S2T (où le masculin est le défaut sauf si des indices féminins forts sont présents), plutôt qu'à un échec de la méthode.
Robustesse du modèle : Les résultats sont restés cohérents à travers différentes architectures (Transformateur multilingue, Conformer monolingue) et paires de langues.

5. Importance et implications

Avancement de la XAI pour la parole : Ce travail comble le fossé entre les techniques d'explication contrastive basées sur le texte et les défis uniques du traitement de la parole, fournissant une base pour comprendre comment les modèles S2T utilisent les indices acoustiques.
Détection des biais : La méthode isole efficacement les caractéristiques acoustiques (par exemple, la hauteur tonale, les formants) que les modèles utilisent pour la désambiguïsation du genre. Cela est crucial pour l'audit des biais de genre en IA, révélant que les modèles reposent souvent sur des traits vocaux qui peuvent désavantager les personnes transgenres ou celles ayant des caractéristiques vocales atypiques.
Applications futures : Bien que démontrée sur le genre, la méthodologie est généralisable à d'autres phénomènes S2T, tels que la désambiguïsation des homophones, la résolution de la coréférence et la sélection de registre de politesse.
Conscience éthique : Le papier reconnaît explicitement les risques éthiques de l'utilisation de traits vocaux pour la prédiction du genre, notant que si cela améliore la précision, cela peut nuire aux groupes marginalisés. L'outil est conçu pour expliquer les comportements actuels des modèles afin de faciliter une meilleure surveillance et des stratégies d'atténuation futures.

En résumé, le papier fournit un cadre technique rigoureux pour comprendre pourquoi les modèles S2T font des choix spécifiques entre des alternatives, allant au-delà de « quoi » ils prédisent pour explorer « comment » ils décident, avec un accent particulier sur la question critique du biais de genre dans la traduction de la parole.