Whisfusion: Parallel ASR Decoding with Masked Diffusion

Sintesi Tecnica: Whisfusion

Problematica
I modelli encoder-decoder autoregressivi (AR), come Whisper, Canary e Qwen3-ASR, dominano attualmente il riconoscimento automatico del parlato (ASR) multilingue di alta qualità. Tuttavia, il loro meccanismo di decodifica da sinistra a destra crea un collo di bottiglia strutturale nella latenza: il tempo di inferenza scala linearmente con la lunghezza della trascrizione perché il decoder deve generare i token in serie ($y_1, y_2, \dots, y_T$), dovendo prestare attenzione ripetutamente agli stessi embedding audio.

Le alternative non autoregressive (NAR), principalmente i sistemi basati su CTC, evitano questo collo di bottiglia parallelizzando l'allineamento a livello di frame. Tuttavia, le loro assunzioni di indipendenza condizionale spesso sacrificano la modellazione generativa a livello di trascrizione, risultando in una precisione inferiore rispetto ai moderni sistemi AR. I metodi NAR basati su raffinamento (ad es. Mask-CTC) migliorano rispetto al CTC a passaggio singolo, ma rimangono ancorati a ipotesi derivate dall'allineamento. Gli autori sostengono che i modelli linguistici a diffusione con maschera (ad es. LLaDA, MDLM), che denoisano iterativamente una sequenza mascherata in parallelo, offrano un approccio NAR promettente per l'ASR, a patto che possano essere radicati in un forte condizionamento audio per eguagliare l'accuratezza degli AR.

Metodologia: Whisfusion
Gli autori propongono Whisfusion, un framework di diffusione con maschera condizionato allo speech, progettato per sostituire la generazione di token da sinistra a destra con il denoising della trascrizione a passi fissi.

• Architettura: Whisfusion utilizza un encoder Whisper-large-v3 congelato per produrre gli embedding audio. Un decoder a diffusione con maschera addestrato da zero (24 layer, ~830 milioni di parametri) è impilato sopra di esso. Il decoder impiega uno stack moderno in stile LLaMA (RMSNorm, SwiGLU, RoPE) con self-attention bidirezionale sulla trascrizione parzialmente mascherata e cross-attention agli embedding audio congelati in ogni blocco.
• Strategia di Addestramento (Specializzazione ad Alta Maschera): Per allineare l'addestramento alla traiettoria di inferenza (che parte da una trascrizione completamente mascherata), gli autori utilizzano una ricetta di addestramento a due stadi:
  1. Stadio 1: Addestramento standard a diffusione con maschera con una distribuzione del rapporto di mascheramento uniforme ($t \sim U(0, 1)$) per insegnare l'infilling condizionato all'audio in generale.
  2. Stadio 2: Fine-tuning con una distribuzione specializzata ad alta maschera ($t \sim U(0.7, 1.0)$). Questo costringe il modello a specializzarsi nel regime "completamente mascherato" dove è disponibile poco o nessun contesto testuale, migliorando la qualità del primo passo di denoising.
• Decoding (Parallel Diffusion Decoding - PDD): L'inferenza inizia con una trascrizione completamente mascherata. Il decoder esegue un numero fisso di passi di denoising (default $N=3$). Ad ogni passo, tutte le posizioni mascherate vengono predette in parallelo. Fondamentalmente, gli autori utilizzano la rimascheratura Bernoulli casuale tra i passi invece della selezione basata sulla confidenza. Ciò evita il disallineamento tra addestramento e inferenza causato dalle euristiche basate sulla confidenza e mitiga i problemi di confidenze mal calibrate nel regime ad alta maschera.
• Selezione dei Candidati: Il processo PDD genera $K$ trascrizioni candidate (default $K=5$). L'ipotesi finale viene selezionata tramite il consenso del Minimum Bayes Risk (MBR), che sceglie il candidato che minimizza la somma delle distanze di edit pairwise rispetto agli altri. Un passaggio opzionale di reranking della verosimiglianza di Whisper può ulteriormente raffinare la selezione utilizzando i punteggi di verosimiglianza dell'encoder congelato.

Contributi Chiave

1. Modello Whisfusion: Introduzione di un modello ASR a diffusione con maschera condizionato allo speech che radica un decoder non autoregressivo addestrato da zero negli embedding di Whisper-large-v3 tramite cross-attention.
2. Ricetta di Addestramento e Decoding: Sviluppo di una strategia di addestramento di specializzazione ad alta maschera e di una pipeline di Parallel Diffusion Decoding (PDD) che allinea la distribuzione di addestramento con il punto di partenza di inferenza completamente mascherato, utilizzando la rimascheratura casuale e il consenso MBR.
3. Validazione Empirica: Valutazione completa attraverso benchmark English, European e CJK dimostra che la diffusione con maschera può raggiungere un'accuratezza competitiva con i sistemi AR allo stato dell'arte pur mantenendo i vantaggi di throughput elevato dell'inferenza parallela.

Risultati
Valutato su circa 68k ore di 11 lingue, Whisfusion dimostra un trade-off Pareto-ottimale tra velocità e accuratezza:

• Accuratezza: Whisfusion supera Whisper-large-v3 nell'accuratezza media di gruppo su benchmark English, European e CJK. Con il reranking opzionale, si avvicina all'accuratezza di Canary-1b-v2 e Qwen3-ASR.
  • English: 6.55% WER (default) vs 7.11% per Whisper-large-v3.
  • European: 8.19% WER (default) vs 9.27% per Whisper-large-v3.
  • CJK: 11.08% CER (default) vs 13.77% per Whisper-large-v3.
• Throughput: Whisfusion è 4–5× più veloce di Whisper-large-v3 e 3–7× più veloce di Canary e Qwen3-ASR.
  • Raggiunge un RTFx (Real-Time Factor) di 173.45 (default) e 143.27 (con reranking), superando significativamente Whisper-turbo (143.99) in termini di accuratezza pur eguagliandone il throughput.
• Confronto con i Baseline NAR: Supera significativamente i sistemi basati su CTC (OWSM-CTC, MMS-all) in termini di accuratezza mantenendo un alto throughput, e supera altri baseline di diffusione/flow (Drax, Whisper-LLaDA) sia in velocità che in accuratezza sotto il protocollo unificato.

Significatività e Claim
Il documento stabilisce la diffusione con maschera come un paradigma Pareto-competitivo per la trascrizione multilingue ad alto throughput. Gli autori affermano che Whisfusion riesce a rompere il convenzionale compromesso tra il decoding rapido basato sull'allineamento (CTC) e il decoding autoregressivo di alta qualità. Combinando l'addestramento multilingue su larga scala, la specializzazione ad alta maschera e il decoding parallelo basato sul consenso, il sistema entra nel regime di accuratezza dei moderni ASR AR pur mantenendo i vantaggi dell'inferenza a passi fissi e paralleli dei modelli NAR.

Limitazioni
Gli autori rilevano tre limitazioni principali:

1. Finestra di Contesto: Il modello eredita il limite di 30 secondi dell'encoder Whisper-large-v3 congelato; estendere l'uso a trascrizioni lunghe o streaming richiede strategie di chunking aggiuntive.
2. Selezione dei Candidati: Un'analisi oracle suggerisce che il PDD può generare ipotesi migliori di quelle selezionate da MBR o dal reranking di Whisper, indicando spazio di miglioramento per i reranker appresi o l'ottimizzazione del rischio.
3. Ambito: Gli esperimenti sono limitati ai compiti di trascrizione e non valutano capacità linguistico-audio più ampie come il question answering audio o il seguire istruzioni.