Generative Testing of Automated Speech Recognition Systems

Résumé technique : Test génératif des systèmes de reconnaissance automatique de la parole (GATAS)

Énoncé du problème
Les systèmes de reconnaissance automatique de la parole (ASR), particulièrement ceux basés sur les architectures transformer comme Whisper, ont atteint une précision élevée adaptée aux applications critiques. Cependant, ils restent vulnérables à la manipulation adversaire. Les méthodes de test existantes font face à un compromis entre l'efficacité et la qualité perceptuelle. Les attaques en boîte blanche (ex. : PGD) nécessitent l'accès au gradient, ce qui limite leur applicabilité aux systèmes déployés. Les méthodes en boîte noire opèrent généralement directement dans l'espace de la forme d'onde ; bien qu'elles puissent induire des erreurs de transcription, elles introduisent souvent des distorsions audibles ou une « destruction du signal » qui rend l'audio non naturel. De plus, de nombreuses approches en boîte noire reposent sur des attaques ciblées (forcer une sortie spécifique), ce qui est peu pratique pour l'ASR en raison des vocabulaires ouverts et des sorties de longueurs variables. Il existe un manque de stratégies de test en boîte noire capables de générer des entrées induisant des défaillances qui soient à la fois divergentes sémantiquement et naturelles sur le plan perceptuel.

Méthodologie : GATAS
Le document propose GATAS (Generative Testing of Automatic Speech Recognition Systems), une approche de test en boîte noire qui opère dans l'espace latent au niveau des phonèmes d'un modèle de synthèse vocale (TTS) plutôt que dans le domaine de la forme d'onde brute.

• Mécanisme central : GATAS utilise un modèle TTS (spécifiquement StyleTTS2) qui représente la parole sous forme de vecteurs de plongement (embeddings) au niveau des phonèmes. Au lieu de perturber la forme d'onde audio directement, la méthode interpole entre les plongements de phonèmes de la vérité terrain ($h_{text}^{GT}$) et une référence de bruit ($h_{noise}$).
• Contrôle de la perturbation : L'interpolation est contrôlée par un vecteur de poids scalaire par phonème $\kappa \in [0, 1]^p$. Le plongement perturbé est calculé comme $h'_{text} = (1 - \kappa) \odot h_{text}^{GT} + \kappa \odot h_{noise}$. Cela réduit la dimensionnalité de l'espace de recherche de $512 \times p$ à $p$ (où $p$ est le nombre de phonèmes) tout en permettant un contrôle précis sur chaque phonème.
• Optimisation : La génération de tests est formulée comme un problème d'optimisation multi-objectif utilisant un algorithme évolutionnaire sans gradient (NSGA-II). Les deux objectifs concurrents sont :
  1. Divergence sémantique : Mesurée par SetOverlap, qui calcule la fraction de mots de contenu (après suppression des mots de liaison et lemmatisation) préservée entre la vérité terrain et la transcription ASR. Le but est de minimiser cela (induire la divergence).
  2. Similitude perceptuelle : Mesurée par le PESQ (Perceptual Evaluation of Speech Quality), qui évalue la qualité audio par rapport à l'original. Le but est de maximiser cela (minimiser la distorsion).
• Formulation non ciblée : Contrairement à de nombreuses attaques antérieures, GATAS est non ciblée ; elle recherche toute déviation sémantiquement significative par rapport à la transcription originale, évitant ainsi la difficulté de converger vers une phrase cible arbitraire et spécifique.

Contributions clés

1. Approche novatrice : Introduction de GATAS, une méthode de test en boîte noire qui opère dans l'espace latent du TTS pour générer un audio au son naturel qui induit des erreurs de transcription ASR.
2. Formulation méthodologique : Formulation de la génération de tests comme un problème d'optimisation multi-objectif qui équilibre explicitement la divergence sémantique et l'imperceptibilité perceptuelle, permettant la découverte de cas de test réalistes.
3. Validation empirique : Une évaluation complète par rapport aux bases de référence en boîte noire (WavefoRm, SMACK) et en boîte blanche (PGD) en utilisant le corpus Harvard Sentences et le système ASR Whisper.

Résultats
L'étude empirique démontre que GATAS atteint un taux de succès élevé tout en surpassant significativement les bases de référence en termes de qualité audio :

• Efficacité : GATAS a atteint un taux de succès de 98 % pour induire des changements de transcription, comparable à la PGD en boîte blanche (100 %) et à la WavefoRm en boîte noire (99 %).
• Qualité audio : GATAS a produit la qualité perceptuelle la plus élevée parmi les méthodes en boîte noire et a surpassé la PGD en boîte blanche en termes de notations de qualité technique.
  • UTMOS (Naturellement) : GATAS a obtenu un score de 4,466, surpassant WavefoRm (2,108) et SMACK (2,101), et dépassant légèrement la PGD (4,443).
  • Distorsion : GATAS a introduit la plus faible distorsion tant en distance de spectrogramme ($d_F$-Spec : 0,017) qu'en différences de caractères ($d_C$-Raw : 0,047).
• Évaluation humaine : Dans une étude avec 10 participants, GATAS a reçu une note moyenne de qualité technique de 4,81 (contre 4,92 pour la vérité terrain) et une note de qualité sémantique de 3,86 (contre 4,01 pour la vérité terrain). En revanche, les bases de référence basées sur la forme d'onde (WavefoRm, SMACK) ont reçu des scores inférieurs à 1,5 pour les deux métriques, indiquant une dégradation sévère.
• Efficacité : Bien que GATAS ait nécessité un budget de requêtes plus élevé (~5 067 requêtes) par rapport aux bases de référence à budget fixe comme SMACK (300) ou PGD (200), elle a atteint un temps d'exécution inférieur à la base de référence basée sur la forme d'onde (222s contre 361s) grâce à des dynamiques d'optimisation et des arrêts précoces plus efficaces.

Signification et affirmations
L'article affirme que le choix structurel de l'espace de recherche est plus critique que l'accès aux composants internes du modèle. En opérant dans l'espace latent du TTS, GATся contraint l'audio généré à la « variété du discours naturel », permettant d'optimiser simultanément la divergence sémantique et la qualité perceptuelle. En revanche, les méthodes basées sur la forme d'onde traitent ces éléments comme des objectifs conflictuels, nécessitant souvent la destruction du signal pour obtenir des erreurs.

Les auteurs concluent que la représentation et l'alignement perceptuel sont plus critiques que l'accès au gradient pour générer des cas de test ASR efficaces. GATAS démontre que l'optimisation non ciblée dans l'espace latent peut produire des cas de test réalistes et efficaces qui exposent diverses modes de défaillance (telles que les substitutions phonétiques et la dérive sémantique) sans les artefacts audibles typiques des attaques antérieures en boîte noire. Cela suggère que le test systématique de la généralisation de l'ASR peut être réalisé efficacement sans accès en boîte blanche, à condition que la recherche soit menée dans un espace de représentation sémantiquement structuré.