Whisfusion: Parallel ASR Decoding with Masked Diffusion

Résumé Technique : Whisfusion

Énoncé du Problème
Les modèles encodeur-décodeur autorégressifs (AR), tels que Whisper, Canary et Qwen3-ASR, dominent actuellement la reconnaissance automatique de la parole (ASR) multilingue de haute qualité. Cependant, leur mécanisme de décodage de gauche à droite crée un goulot d'étranglement structurel de latence : le temps d'inférence croît linéairement avec la longueur de la transcription car le décodeur doit générer les jetons sériellement ($y_1, y_2, \dots, y_T$) tout en portant attention de manière répétée aux mêmes plongements audio.

Les alternatives non-autorégressives (NAR), principalement les systèmes basés sur le CTC, évitent ce goulot d'étranglement en parallélisant l'alignement au niveau des trames. Cependant, leurs hypothèses d'indépendance conditionnelle sacrifient souvent la modélisation générative au niveau de la transcription, ce qui se traduit par une précision moindre par rapport aux systèmes AR modernes. Les méthodes NAR basées sur le raffinement (par exemple, Mask-CTC) améliorent le CTC à un seul passage (one-shot), mais restent ancrées sur des hypothèses dérivées de l'alignement. Les auteurs postulent que les modèles de langage par diffusion masquée (par exemple, LLaDA, MDLM), qui débruitentitérativement une séquence masquée en parallèle, offrent une approche NAR prometteuse pour l'ASR, à condition qu'ils puissent être ancrés dans un fort conditionnement audio pour égaler la précision des modèles AR.

Méthodologie : Whisfusion
Les auteurs proposent Whisfusion, un cadre de diffusion masquée conditionné par la parole, conçu pour remplacer la génération de jetons de gauche à droite par un débruitage de la transcription à étapes fixes.

• Architecture : Whisfusion utilise un encodeur Whisper-large-v3 gelé pour produire des plongements audio. Un décodeur de diffusion masquée entraîné de zéro (24 couches, environ 830 millions de paramètres) est empilé au-dessus. Le décodeur utilise une pile moderne de type LLaMA (RMSNorm, SwiGLU, RoPE) avec une auto-attention bidirectionnelle sur la transcription partiellement masquée et une attention croisée vers les plongements audio gelés à chaque bloc.
• Stratégie d'entraînement (Spécialisation Haute-Masque) : Pour aligner l'entraînement sur la trajectoire d'inférence (qui commence par une transcription entièrement masquée), les auteurs emploient une recette d'entraînement en deux étapes :
  1. Étape 1 : Entraînement standard de diffusion masquée avec une distribution de ratio de masque uniforme ($t \sim U(0, 1)$) pour enseigner l'infilling général conditionné par l'audio.
  2. Étape 2 : Fine-tuning avec une distribution spécialisée à haut ratio de masque ($t \sim U(0,7, 1,0)$). Cela force le modèle à se spécialiser dans le régime de "masquage complet" où très peu ou aucun contexte textuel n'est disponible, améliorant ainsi la qualité de l'étape initiale de débruitage.
• Décodage (Décodage par Diffusion Parallèle - PDD) : L'inférence commence par une transcription entièrement masquée. Le décodeur effectue un nombre fixe d'étapes de débruitage (par défaut $N=3$). À chaque étape, toutes les positions masquées sont prédites en parallèle. Crucialement, les auteurs utilisent un re-masquage de Bernoulli aléatoire entre les étapes plutôt qu'une sélection basée sur la confiance. Cela évite le décalage entraînement-inférence causé par les heuristiques basées sur la confiance et atténue les problèmes de confiances mal calibrées dans le régime de haut masque.
• Sélection de Candidats : Le processus PDD génère $K$ transcriptions candidates (par défaut $K=5$). L'hypothèse finale est sélectionnée via un consensus de Risque Bayesien Minimum (MBR), qui choisit la candidate minimisant la somme des distances d'édition par paires avec les autres. Une étape optionnelle de reclassement par vraisemblance Whisper peut affiner davantage la sélection en utilisant les scores de vraisemblance de l'encodeur gelé.

Contributions Clés

1. Modèle Whisfusion : Introduction d'un modèle d'ASR par diffusion masquée conditionné par la parole qui ancre un décodeur non-autorégressif entraîné de zéro dans les plongements de Whisper-large-v3 gelés via l'attention croisée.
2. Recette d'Entraînement et de Décodage : Développement d'une stratégie d'entraînement de spécialisation haute-masque et d'un pipeline de Décodage par Diffusion Parallèle (PDD) qui aligne la distribution d'entraînement avec le point de départ d'inférence (masquage complet), en utilisant le re-masquage aléatoire et le consensus MBR.
3. Validation Empirique : Évaluation complète sur des benchmarks anglais, européens et CJK démontrant que la diffusion masquée peut atteindre une précision compétitive avec les systèmes AR de pointe tout en conservant les avantages de débit élevé de l'inférence parallèle.

Résultats
Évalué sur environ 68 000 heures de parole de 11 langues, Whisfusion démontre un compromis vitesse-précision Pareto-optimal :

• Précision : Whisfusion surpasse Whisper-large-v3 sur la précision moyenne des groupes pour les benchmarks anglais, européens et CJK. Avec le reclassement optionnel, il approche la précision de Canary-1b-v2 et Qwen3-ASR.
  • Anglais : 6,55 % WER (par défaut) contre 7,11 % pour Whisper-large-v3.
  • Européen : 8,19 % WER (par défaut) contre 9,27 % pour Whisper-large-v3.
  • CJK : 11,08 % CER (par défaut) contre 13,77 % pour Whisper-large-v3.
• Débit : Whisfusion est 4 à 5 fois plus rapide que Whisper-large-v3 et 3 à 7 fois plus rapide que Canary et Qwen3-ASR.
  • Il atteint un RTFx (Facteur de Temps Réel) de 173,45 (par défaut) et 143,27 (avec reclassement), surpassant nettement Whisper-turbo (143,99) en précision tout en égalant son débit.
• Comparaison aux Baselines NAR : Il surpasse significativement les systèmes basés sur le CTC (OWSM-CTC, MMS-all) en précision tout en maintenant un débit élevé, et dépasse les autres baselines de diffusion/flux (Drax, Whisper-LLaDA) en vitesse et en précision sous le protocole unifié.

Signification et Revendications
L'article établit la diffusion masquée comme un paradigme Pareto-compétitif pour la transcription multilingue à haut débit. Les auteurs affirment que Whisfusion parvient à briser le compromis conventionnel entre le décodage rapide basé sur l'alignement (CTC) et le décodage autorégressif de haute qualité. En combinant un entraînement multilingue à grande échelle, une spécialisation haute-masque et un décodage parallèle par consensus, le système entre dans le régime de précision des systèmes AR modernes tout en conservant les avantages d'inférence parallèle à étapes fixes des modèles NAR.

Limites
Les auteurs notent trois limites principales :

1. Fenêtre de Contexte : Le modèle hérite de la limite de 30 secondes de l'encodeur gelé Whisper-large-v3 ; l'extension vers l'ASR de longue durée ou en streaming nécessite des stratégies de découpage supplémentaires.
2. Sélection de Candidats : Une analyse oracle suggère que le PDD peut générer de meilleures hypothèses que celles sélectionnées par MBR ou le reclassement Whisper, indiquant une marge de progression pour les reclasseurs appris ou l'optimisation du risque.
3. Portée : Les expériences sont limitées aux tâches de transcription et n'évaluent pas les capacités plus larges de langage-parole, comme l'interrogation audio ou le suivi d'instructions.