Résumé Technique : Transfert de Robustesse Cross-Modale (CMRT)

Énoncé du Problème

Les modèles de Traduction Automatique de la Parole de Bout en Bout (E2E-ST) ont atteint des performances significatives, surpassant souvent les pipelines en cascade de Reconnaissance Automatique de la Parole (ASR) et de Traduction Automatique (MT). Cependant, les modèles actuels sont principalement évalués sur des jeux de données curatés et « propres » (par exemple, MuST-C, CoVoST 2), qui ne parviennent pas à capturer la complexité du langage parlé non natif ou dialectal du monde réel. Plus précisément, ces modèles manquent de robustesse face aux variations morphologiques flexionnelles (par exemple, des conjugaisons verbales ou des déclinaisons nominales incorrectes) courantes dans le langage parlé spontané des non-natifs.

Bien que l'entraînement adversarial utilisant des données textuelles synthétiques ait amélioré la robustesse dans la Traduction Automatique Neurale (NMT), l'application de techniques similaires à l'E2E-ST est entravée par le coût computationnel prohibitif et la difficulté technique de générer des données de parole adversarielles de haute qualité. La synthèse de l'audio adversarial via la Synthèse Vocale (TTS) introduit des artefacts acoustiques et nécessite des modèles TTS de haute fidélité pour chaque langue source, créant ainsi une barrière significative à l'entraînement de systèmes de parole robustes.

Méthodologie

Les auteurs proposent le Transfert de Robustesse Cross-Modale (CMRT), un cadre conçu pour transférer la robustesse adversariale de la modalité textuelle vers la modalité de la parole, éliminant ainsi le besoin de données de parole adversarielles pendant l'entraînement. La méthode repose sur l'hypothèse que si les représentations de la parole et du texte sont suffisamment alignées dans un espace sémantique partagé, la sensibilité du modèle aux perturbations dans une modalité peut être atténuée par l'autre.

L'approche se compose de deux étapes principales :

1. Alignement Sémantique (CMRT-TR)

La première étape se concentre sur le comblement du fossé entre les modalités pour créer un espace latent partagé où les plongements (embeddings) de la parole et du texte sont hautement corrélés. Cela implique :

• Architecture : Un modèle E2E-ST standard comprenant un encodeur de parole (HuBERT ou mHuBERT), une couche d'embedding de texte, et un encodeur-décodeur de traduction.
• Apprentissage Contrastif par Alignement de Mots (WACO) : En utilisant l'alignement forcé entre la parole et le texte, le modèle maximise la similitude cosinus entre les embeddings de mots correspondants de la parole et du texte.
• Entraînement par Mixup : Le modèle est entraîné sur un mélange d'embeddings de parole et de texte pour des mots individuels. Cela familiarise l'encodeur-décodeur de traduction avec la réception d'entrées de modalités mixtes, un prérequis pour le transfert de robustesse ultérieur.
• Fonctions de Perte : L'objectif d'entraînement combine la perte de Traduction de la Parole (ST), la perte de Traduction Automatique (MT), la Perte Contrastive (WACO), et l'Entropie Croisée sur les entrées de mixup, régularisée par la divergence de Kullback-Leibler (KL) symétrique pour aligner les distributions de sortie.

2. Fine-Tuning de Robustesse (CMRT-FN)

Dans la seconde étape, le modèle est affiné pour gérer les perturbations adversarielles sans générer de nouveaux audios.

• Speech-MORPHEUS : Les auteurs adaptent le cadre MORPHEUS (originellement conçu pour le texte) pour générer des exemples adversariels flexionnels. Cet outil remplace des mots par des alternatives morphologiquement incorrectes mais sémantiquement plausibles (par exemple, changer « bonheur » en « heureux » dans un contexte nécessitant un nom).
• Adversarial Mixup : Au lieu de synthétiser de la parole adversariale, la méthode injecte des embeddings de texte adversariaux directement dans le manifold de la parole. L'encodeur de parole est gelé pour préserver l'alignement appris à l'étape 1.
• Stratégie d'Entraînement : Pendant le fine-tuning, le modèle reçoit des entrées de parole propres mais est contraint de traiter des embeddings de texte adversariaux pour des mots spécifiques identifiés par l'attaque. Le modèle apprend à mapper ces représentations textuelles adversarielles vers la traduction correcte.
• Divergence KL Asymétrique : La fonction de perte utilise la divergence KL asymétrique pour minimiser la différence entre la distribution de sortie du mixup adversariel et les distributions d'entrée propres (parole et texte), entraînant efficacement le modèle à être invariant au bruit.

Contributions Clés

1. Speech-MORPHEUS : Une adaptation de la technique adversariale MORPHEUS au domaine de la parole. Les auteurs démontrent que les modèles E2E-ST de pointe sont hautement vulnérables aux variations flexionnelles, avec une chute de performance significative lors de tests sur ces exemples adversariaux.
2. Transfert de Robustesse Cross-Modale (CMRT) : Un nouveau paradigme de fine-tuning qui transfère la robustesse du texte vers la parole. En injectant des perturbations textuelles adversarielles dans un espace latent partagé, la méthode améliore considérablement les performances de l'E2E-ST sur des entrées non standard sans nécessiter de données de parole adversarielles.
3. Alignement de Modalité pour la Robustesse : Ce travail établit que la combinaison de l'apprentissage contrastif (WACO) et de l'entraînement par mixup crée l'alignement sémantique le plus fort entre la parole et le texte, ce qui est un prérequis critique pour un transfert de robustesse cross-modale réussi.

Résultats Expérimentaux

Les auteurs ont évalué le CMRT sur quatre paires de langues : Anglais-Allemand (En-De), Anglais-Catalan (En-Ca), Anglais-Arabe (En-Ar) et Français-Anglais (Fr-En) en utilisant le jeu de données CoVoST 2.

• Amélioration de la Robustesse : CMRT-FN a amélioré la robustesse adversariale de 3,4 points BLEU en moyenne par rapport au baseline HuBERT-Transformer, et de 3,1 points BLEU par rapport au modèle aligné CMRT-TR.
• Comparaison avec la Parole Synthétique : Bien que le fine-tuning sur 50 000 exemples de parole adversariale synthétique (TTS-Morpheus-FN) ait produit une robustesse légèrement supérieure (environ 1,4 point BLEU de mieux que CMRT-FN), cela a entraîné une baisse significative de performance (environ 3,6 points BLEU) sur le jeu de test propre original. En revanche, CMRT-FN a maintenu des performances compétitives sur le test propre, avec seulement une baisse marginale (0,6 point BLEU) par rapport à son baseline aligné.
• Efficacité : L'approche CMRT évite la surcharge computationnelle liée à la génération de volumes massifs d'audio adversariel. L'étape de fine-tuning (CMRT-FN) n'a nécessité qu'un huitième du temps de l'étape d'entraînement initiale, alors que la génération de données TTS équivalentes était nettement plus chronophage.
• Analyse de Représentation : L'analyse par Alignement de Noyau Centré (CKA) a révélé que les représentations internes du modèle CMRT-FN convergent vers celles des modèles entraînés sur de la véritable parole adversariale, confirmant que la robustesse est effectivement transférée via l'espace latent partagé.

Signification et Revendications

L'article affirme que le CMRT établit un nouveau standard pour l'E2E-ST robuste en surmontant le compromis « robustesse-précision » souvent observé lors de l'entraînement sur des données synthétiques. Les auteurs soutiennent que leur méthode traite efficacement la vulnérabilité des modèles de traduction de la parole aux erreurs morphologiques sans les coûts prohibitifs associés à la génération d'audio adversariel.

La signification réside dans la démonstration que la robustesse adversariale peut être transférée entre les modalités via des espaces latents partagés. En exploitant la relative facilité de génération de texte adversariel et la puissance de l'alignement sémantique, la méthode offre une solution évolutive pour améliorer la fiabilité en conditions réelles des systèmes de traduction de la parole, particulièrement pour les locuteurs non-natifs.

Limites

Les auteurs reconnaissent deux limites principales :

1. Complexité de l'Entraînement : La méthode nécessite un processus d'entraînement en deux étapes (alignement suivi du fine-tuning), ce qui augmente la complexité du pipeline d'entraînement par rapport aux approches en une seule étape.
2. Compromis d'Alignement : Dans certaines directions linguistiques (En-X), l'étape d'alignement initiale (CMRT-TR) a entraîné des performances légèrement inférieures sur le test propre de CoVoST 2 par rapport au baseline standard HuBERT-Transformer. Les auteurs prévoient d'étudier cet effet négatif dans des travaux futurs.