Debiased Automatic Speech Recognition for Dysarthric Speech via Sample Reweighting with Sample Affinity Test

Résumé technique : Reconnaissance automatique de la parole débiaisée pour la parole dysarthrique via le repondérage d'échantillons avec le test d'affinité d'échantillon (Re-SAT)

Énoncé du problème
Les systèmes de reconnaissance automatique de la parole (ASR) basés sur l'apprentissage profond sont généralement entraînés sous l'égide de la minimisation du risque empirique (ERM), qui optimise la performance moyenne sur l'ensemble des échantillons de données. Cette approche échoue souvent à prendre en compte les disparités de performance entre différents groupes, tels que les locuteurs sains par rapport aux personnes atteintes de dysarthrie (un trouble moteur de la parole). Par conséquent, les systèmes ASR présentent un biais sévère, affichant des performances nettement inférieures sur la parole dysarthrique en raison de sa faible intelligibilité et de la tendance des modèles d'apprentissage profond à s'appuyer sur des « raccourcis » plutôt que sur des caractéristiques robustes. Bien que des recherches antérieures se soient concentrées sur l'amélioration de la reconnaissance globale de la parole dysarthrique, peu d'études ont abordé la question sous l'angle du débaisage afin de garantir la robustesse des groupes sans dégrader la performance sur la parole saine. De plus, les méthodes de débaisage existantes reposent souvent sur l'hypothèse que les échantillons présentant une perte élevée (échantillons en conflit avec le biais) sont intrinsèquement utiles pour le débaisage, une hypothèse qui échoue dans des scénarios réels où des valeurs aberrantes ou des échantillons non utiles peuvent également présenter une perte élevée.

Méthodologie : Re-SAT
Les auteurs proposent une nouvelle approche appelée Sample Reweighting with Sample Affinity Test (Re-SAT) (Repondérage d'échantillons avec test d'affinité d'échantillon) pour atténuer le biais dans la reconnaissance de la parole dysarthrique. Re-SAT fonctionne dans un environnement sans étiquette de groupe et se compose de quatre composantes séquentielles :

1. Estimation des échantillons en conflit avec le biais : La méthode identifie d'abord les échantillons potentiellement en conflit avec le biais au sein d'un mini-lot en sélectionnant les $K$ échantillons ayant les valeurs de perte les plus élevées. Contrairement aux méthodes statiques, Re-SAT réestime dynamiquement ces échantillons tout au long du processus d'entraînement pour refléter l'état actuel du modèle.
2. Test d'affinité d'échantillon (SAT) : Pour distinguer les échantillons qui aident réellement au débaisage de ceux qui présentent simplement une perte élevée, les auteurs introduisent le SAT. Inspiré de l'affinité de tâche, le SAT mesure l'« affinité d'échantillon », définie comme l'effet d'entraînement d'un échantillon donné sur la perte des échantillons estimés en conflit avec le biais.
   • La méthode effectue une mise à jour de type "lookahead" à une étape sur un échantillon $x_i$ donné pour obtenir un modèle temporaire $\theta^{LA}_{x_i}$.
   • Elle calcule ensuite le décalage de perte sur l'ensemble des échantillons en conflit $\{\hat{b}_1, ..., \hat{b}_K\}$ entre le modèle original et le modèle lookahead.
   • Le score d'affinité est calculé comme la réduction moyenne de la perte sur l'ensemble des échantillons en conflit. Cela permet au système d'identifier des échantillons bloquant le biais (qui atténuent le biais) par rapport aux échantillons accélérant le biais (qui aggravent le biais), même si ces derniers présentent une perte initiale élevée.
3. Repondérage normalisé : Au lieu de mapper directement les scores d'affinité vers des poids, Re-SAT les normalise en classant les échantillons au sein du lot par ordre décroissant d'affinité. Une fonction basée sur le softmax attribue des poids en fonction de ces rangs, stabilisant ainsi le taux d'apprentissage et évitant les dérives indésirables.
4. Entraînement : Le modèle est entraîné à l'aide des échantillons repondérés, où la perte totale est une moyenne pondérée favorisant les échantillons bloquant le biais et pénalisant ceux accélérant le biais.

Contributions clés

• Premier travail de débaisage pour l'ASR dysarthrique : À la connaissance des auteurs, il s'agit de la première étude abordant la reconnaissance de la parole dysarthrique spécifiquement sous l'angle du débaisage pour améliorer la robustesse des groupes entre locuteurs sains et dysarthriques.
• Test d'affinité d'échantillon (SAT) : L'article introduit une nouvelle métrique pour mesurer directement l'« utilité de débaisage » d'un échantillon. Cela répond à la limitation des méthodes basées sur la perte en filtrant les échantillons non utiles qui accélèrent le biais et qui seraient autrement surpondérés en raison de leur perte élevée.
• Cadre Re-SAT : Un pipeline complet de repondérage d'échantillons qui fonctionne sans nécessiter d'étiquettes de groupe explicites pendant l'entraînement, ce qui le rend adapté aux applications du monde réel où les étiquettes de groupe peuvent être indisponibles.

Résultats expérimentaux
La méthode a été évaluée sur le corpus UASpeech, en utilisant le modèle Whisper-tiny comme architecture de base. Le jeu de données comprenait 15 locuteurs dysarthriques (classés par niveaux d'intelligibilité : très faible, faible, moyenne, haute) et 13 locuteurs de contrôle sains.

• Performance sur la parole dysarthrique : Re-SAT a considérablement réduit le taux d'erreur de mots (WER) dans tous les groupes d'intelligibilité par rapport à la référence ERM. Plus précisément, il a obtenu des réductions relatives du WER de 12,02 % (très faible), 11,10 % (faible), 7,22 % (moyenne) et 13,06 % (haute).
• Performance sur la parole saine : Crucialement, Re-SAT a également amélioré la performance sur les locuteurs sains (réduisant le WER de 3,81 % à 3,40 %), démontrant que le processus de débaisage n'est pas venu au détriment de la performance générale.
• Comparaison avec les bases de référence : Re-SAT a surpassé l'ERM et la méthode de débaisage « Just Train Twice » (JTT). Alors que JTT a amélioré les résultats pour le groupe « très faible », il a dégradé les performances pour les autres groupes et les locuteurs sains. Re-SAT a fourni des améliorations constantes pour tous les groupes.
• Étude d'ablation : Une variante appelée « Re-Loss », qui utilisait un repondérage basé sur la perte au lieu du SAT, a obtenu de meilleurs résultats que l'ERM et JTT, mais restait surpassée par Re-SAT. Cela confirme l'importance du Test d'Affinité d'Échantillon pour identifier avec précision les échantillons utiles.
• Sensibilité aux hyperparamètres : La méthode a montré des améliorations stables pour des valeurs de $K$ (nombre d'échantillons en conflit avec le biais) de 2, 4 et 8. Cependant, fixer $K=16$ a dégradé la performance, suggérant qu'un ensemble plus petit et dynamiquement mis à jour d'échantillons en conflit est plus efficace pour une estimation précise.

Signification et revendications
L'article affirme que Re-SAT offre une solution robuste pour créer des systèmes ASR équitables et inclusifs pour les locuteurs dysarthriques. En allant au-delà du simple repondérage basé sur la perte pour passer à un mécanisme mesurant directement l'utilité de débaisage d'un échantillon, la méthode réussit à réduire l'écart de performance entre les locuteurs sains et dysarthriques sans sacrifier la précision globale. Les auteurs positionnent ce travail comme une étape fondamentale vers un ASR robuste par groupe, soulignant que leur approche est la première à appliquer des techniques de débaisage spécifiquement au domaine de la parole dysarthrique. Ils suggèrent que les travaux futurs pourraient intégrer Re-SAT à d'autres systèmes de reconnaissance de la parole dysarthrique, en tirant parti de sa structure polyvalente.