Whisfusion: Parallel ASR Decoding with Masked Diffusion

Technische Samenvatting: Whisfusion

Probleemstelling
Autoregressieve (AR) encoder-decoder modellen, zoals Whisper, Canary en Qwen3-ASR, domineren momenteel de hoogwaardige meertalige automatische spraakherkenning (ASR). Echter, hun links-naar-rechts decoderingmechanisme creëert een structurele latentie-bottleneck: de inferentietijd schaalt lineair met de transcriptlengte omdat de decoder tokens serieel moet genereren ($y_1, y_2, \dots, y_T$) terwijl hij herhaaldelijk aandacht besteedt aan dezelfde audio-embeddings.

Niet-autoregressieve (NAR) alternatieven, primair CTC-gebaseerde systemen, vermijden deze bottleneck door frame-niveau uitlijning te parallelliseren. Hun aannames van conditionele onafhankelijkheid offeren echter vaak transcript-niveau generatieve modellering op, wat resulteert in een lagere nauwkeurigheid vergeleken met moderne AR-systemen. Verfijningsgebaseerde NAR-methoden (bijv. Mask-CTC) verbeteren de eenstaps-CTC, maar blijven verankerd aan uitlijning-afgeleide hypothesen. De auteurs stellen dat gemaskeerde diffusie taalmodellen (bijv. LLaDA, MDLM), die iteratief een gemaskeerd sequentie denoisen door middel van parallelle processen, een veelbelovende NAR-aanpak voor ASR bieden, mits ze kunnen worden gegrond in sterke audio-conditionering om de AR-nauwkeurigheid te evenaren.

Methodologie: Whisfusion
De auteurs stellen Whisfusion voor, een spraak-geconditioneerd gemaskeerd diffusiekader ontworpen om links-naar-rechts token-generatie te vervangen door fixed-step transcript denoising.

• Architectuur: Whisfusion maakt gebruik van een bevroren Whisper-large-v3 encoder om audio-embeddings te produceren. Een trainbare, vanaf nul opgebouwde gemaskeerde diffusie decoder (24 lagen, ~830M parameters) is hierop gestapeld. De decoder gebruikt een moderne LLaMA-stijl stack (RMSNorm, SwiGLU, RoPE) met bidirectionele zelf-aandacht over de gedeeltelijk gemaskeerde transcript en cross-attention naar de bevroren audio-embeddings bij elke blok.
• Trainingsstrategie (High-Mask Specialisatie): Om de training af te stemmen op het inferentiepad (dat begint met een volledig gemaskeerde transcript), gebruiken de auteurs een tweestaps trainingsrecept:
  1. Fase 1: Standaard gemaskeerde diffusietraining met een uniforme mask ratio distributie ($t \sim U(0, 1)$) om algemene audio-geconditioneerde infilling te leren.
  2. Fase 2: Fine-tuning met een gespecialiseerde high-mask distributie ($t \sim U(0.7, 1.0)$). Dit dwingt het model om te specialiseren in het "volledig gemaskeerde" regime waar weinig tot geen tekstuele context beschikbaar is, wat de kwaliteit van de initiële denoising-stap verbetert.
• Decoding (Parallel Diffusion Decoding - PDD): Inferentie begint met een volledig gemaskeerde transcript. De decoder voert een vast aantal denoising-stappen uit (standaard $N=3$). Bij elke stap worden alle gemaskeerde posities parallel voorspeld. Cruciaal is dat de auteurs random Bernoulli remasking gebruiken tussen de stappen in plaats van confidence-gebaseerde selectie. Dit voorkomt de mismatch tussen training en inferentie die wordt veroorzaakt door confidence-gebaseerde heuristieken en verzacht problemen met slecht gekalibreerde confidences in het high-mask regime.
• Candidate Selectie: Het PDD-proces genereert $K$ kandidaat-transcripten (standaard $K=5$). De uiteindelijke hypothese wordt geselecteerd via Minimum Bayes Risk (MBR) consensus, die de kandidaat kiest die de som van de paarwijze edit-afstanden tot de anderen minimaliseert. Een optionele Whisper likelihood reranking stap kan de selectie verder verfijnen met behulp van de likelihood scores van de bevroren encoder.

Belangrijkste Bijdragen

1. Whisfusion Model: Introductie van een spraak-geconditioneerd gemaskeerd diffusie ASR-model dat een vanaf nul opgebouwde niet-autoregressieve decoder grondt in bevroren Whisper-large-v3 embeddings via cross-attention.
2. Trainings- en Decoding-recept: Ontwikkeling van een high-mask specialisatie trainingsstrategie en een Parallel Diffusion Decoding (PDD) pijplijn die de trainingsdistributie afstemt op het volledig gemaskeerde inferentie-startpunt, gebruikmakend van random remasking en MBR-consensus.
3. Empirische Validatie: Uitgebreide evaluatie over Engelse, Europese en CJK benchmarks die aantoont dat gemaskeerde diffusie een nauwkeurigheid kan bereiken die competitief is met state-of-the-art AR-systemen, terwijl de hoge doorvoersnelheid van parallelle inferentie behouden blijft.

Resultaten
Geëvalueerd op ongeveer 68k uur aan 11-talige spraak, demonstreert Whisfusion een Pareto-optimale snelheid-nauwkeurigheid trade-off:

• Nauwkeurigheid: Whisfusion overtreft Whisper-large-v3 op groepsgemiddelde nauwkeurigheid over Engelse, Europese en CJK benchmarks. Met optionele reranking nadert het de nauwkeurigheid van Canary-1b-v2 en Qwen3-ASR.
  • Engels: 6.55% WER (standaard) vs. 7.11% voor Whisper-large-v3.
  • Europees: 8.19% WER (standaard) vs. 9.27% voor Whisper-large-v3.
  • CJK: 11.08% CER (standaard) vs. 13.77% voor Whisper-large-v3.
• Doorvoersnelheid: Whisfusion draait 4–5× sneller dan Whisper-large-v3 en 3–7× sneller dan Canary en Qwen3-ASR.
  • Het bereikt een RTFx (Real-Time Factor) van 173.45 (standaard) en 143.27 (met reranking), waarmee het de nauwkeurigheid van Whisper-turbo (143.99) even evenredig evenaart terwijl het ook de doorvoersnelheid ervan matcht.
• Vergelijking met NAR Baselines: Het presteert significant beter dan CTC-gebaseerde systemen (OWSM-CTC, MMS-all) in nauwkeurigheid terwijl de hoge doorvoersnelheid behouden blijft, en overtreft andere diffusie/flow-gebaseerde baselines (Drax, Whisper-LLaDA) in zowel snelheid als nauwkeurigheid onder het uniforme protocol.

Betekenis en Claims
Het artikel vestigt gemaskeerde diffusie als een Pareto-competitief paradigma voor hoog-doorvoeiende meertalige transcriptie. De auteurs beweren dat Whisfusion er succesvol in slaagt de conventionele trade-off tussen snelle alignment-gebaseerde decoding (CTC) en hoogwaardige autoregressieve decoding te doorbreken. Door grootschalige meertalige training, high-mask specialisatie en consensus-gebaseerde parallelle decoding te combineren, betreedt het systeem het nauwkeurigheidsregime van moderne AR ASR, terwijl de fixed-step, parallelle inferentie-voordelen van NAR-modellen behouden blijven.

Beperkingen
De auteurs merken drie primaire beperkingen op:

1. Contextvenster: Het model erft de 30-seconden limiet van de bevroren Whisper-large-v3 encoder; uitbreiding naar long-form of streaming ASR vereist aanvullende chunking-strategieën.
2. Kandidaat Selectie: Oracle-analyse suggereert dat PDD betere hypothesen kan genereren dan die worden geselecteerd door MBR of Whisper reranking, wat wijst op ruimte voor verbetering in geleerde rerankers of risico-optimalisatie.
3. Reikwijdte: Experimenten zijn beperkt tot transcriptie-taken en evalueren geen bredere spraak-taal capaciteiten zoals audio vraag-antwoord of instructie-opvolging.