Whisfusion: Parallel ASR Decoding with Masked Diffusion

Resumo Técnico: Whisfusion

Definição do Problema
Modelos codificador-decodificador autorregressivos (AR), como Whisper, Canary e Qwen3-ASR, dominam atualmente o reconhecimento automático de fala (ASR) multilíngue de alta qualidade. No entanto, seu mecanismo de decodificação da esquerda para a direita cria um gargalo estrutural de latência: o tempo de inferência escala linearmente com o comprimento da transcrição porque o decodificador deve gerar tokens serialmente ($y_1, y_2, \dots, y_T$) enquanto atende repetidamente aos mesmos embeddings de áudio.

Alternativas não-autorregressivas (NAR), primariamente sistemas baseados em CTC, evitam esse gargalo ao paralelizar o alinhamento por nível de quadro (frame-level). Contudo, suas suposições de independência condicional frequentemente sacrificam a modelagem generativa ao nível da transcrição, resultando em menor precisão em comparação aos sistemas AR modernos. Métodos NAR baseados em refinamento (ex: Mask-CTC) melhoram o CTC de etapa única (one-shot), mas permanecem ancorados em hipóteses derivadas de alinhamento. Os autores postulam que modelos de linguagem de difusão mascarada (ex: LLaDA, MDLM), que denoisam iterativamente uma sequência mascarada em paralelo, oferecem uma abordagem NAR promissora para ASR, desde que possam ser fundamentados em um forte condicionamento de áudio para igualar a precisão AR.

Metodologia: Whisfusion
Os autores propõem o Whisfusion, um framework de difusão mascarada condicionada ao speech projetado para substituir a geração de tokens da esquerda para a direita por um denoising de transcrição de passos fixos.

• Arquitetura: O Whisfusion utiliza um codificador Whisper-large-v3 congelado para produzir embeddings de áudio. Um decodificador de difusão mascarada treinável e construído do zero (24 camadas, ~830M de parâmetros) é empilhado sobre ele. O decodificador emprega um stack moderno estilo LLaMA (RMSNorm, SwiGLU, RoPE) com autoatenção bidirecional sobre a transcrição parcialmente mascarada e atenção cruzada (cross-attention) aos embeddings de áudio congelados em cada bloco.
• Estratégia de Treinamento (Especialização de Alta Máscara): Para alinhar o treinamento com a trajetória de inferência (que começa com uma transcrição totalmente mascarada), os autores utilizam uma receita de treinamento de dois estágios:
  1. Estágio 1: Treinamento de difusão mascarada padrão com uma distribuição de razão de máscara uniforme ($t \sim U(0, 1)$) para ensinar o preenchimento (infilling) condicionado ao áudio de forma geral.
  2. Estágio 2: Fine-tuning com uma distribuição especializada de alta máscara ($t \sim U(0.7, 1.0)$). Isso força o modelo a se especializar no regime de "máscara total", onde há pouco ou nenhum contexto textual disponível, melhorando a qualidade do passo inicial de denoising.
• Decodagem (Parallel Diffusion Decoding - PDD): A inferência começa com uma transcrição totalmente mascarada. O decodificador realiza um número fixo de passos de denoising (padrão $N=3$). Em cada passo, todas as posições mascaradas são previstas em paralelo. Crucialmente, os autores utilizam remasking de Bernoulli aleatório entre os passos em vez de seleção baseada em confiança. Isso evita o descompasso entre treino e inferência causado por heurísticas de confiança e mitiga problemas de confianças mal calibradas no regime de alta máscara.
• Seleção de Candidatos: O processo PDD gera $K$ transcrições candidatas (padrão $K=5$). A hipótese final é selecionada via consenso de Risco de Bayes Mínimo (MBR), que escolhe o candidato que minimiza a soma das distâncias de edição par a par com os outros. Um passo opcional de reclassificação (reranking) de verossimilhança do Whisper pode refinar ainda mais a seleção usando os scores de verossimilhança do codificador congelado.

Principais Contribuições

1. Modelo Whisfusion: Introdução de um modelo ASR de difusão mascarada condicionado ao speech que fundamenta um decodificador não-autorregressivo construído do zero nos embeddings do Whisper-large-v3 via cross-attention.
2. Receita de Treinamento e Decodagem: Desenvolvimento de uma estratégia de treinamento de especialização de alta máscara e um pipeline de Decodificação de Difusão Paralela (PDD) que alinha a distribuição de treinamento com o ponto de partida de inferência de máscara total, utilizando remasking aleatório e consenso MBR.
3. Validação Empírica: Avaliação abrangente em benchmarks de inglês, europeu e CJK demonstrando que a difusão mascarada pode alcançar precisão competitiva com sistemas AR de última geração, mantendo as vantagens de alto throughput da inferência paralela.

Resultados
Avaliado em aproximadamente 68 mil horas de 11 idiomas, o Whisfusion demonstra um trade-off Pareto-otimizado entre velocidade e precisão:

• Precisão: O Whisfusion supera o Whisper-large-v3 na precisão média do grupo nos benchmarks de inglês, europeu e CJK. Com reranking opcional, ele se aproxima da precisão do Canary-1b-v2 e Qwen3-ASR.
  • Inglês: 6,55% WER (padrão) vs. 7,11% para o Whisper-large-v3.
  • Europeu: 8,19% WER (padrão) vs. 9,27% para o Whisper-large-v3.
  • CJK: 11,08% CER (padrão) vs. 13,77% para o Whisper-large-v3.
• Throughput: O Whisfusion roda 4–5× mais rápido que o Whisper-large-v3 e 3–7× mais rápido que o Canary e Qwen3-ASR.
  • Ele atinge um RTFx (Fator de Tempo Real) de 173,45 (padrão) e 143,27 (com reranking), superando significativamente o Whisper-turbo (143,99) em precisão, enquanto iguala seu throughput.
• Comparação com Baselines NAR: Supera significativamente sistemas baseados em CTC (OWSM-CTC, MMS-all) em precisão, mantendo alto throughput, e supera outros baselines de difusão/fluxo (Drax, Whisper-LLaDA) tanto em velocidade quanto em precisão sob o protocolo unificado.

Significância e Alegações
O artigo estabelece a difusão mascarada como um paradigma Pareto-competitivo para transcrição multilíngue de alto throughput. Os autores alegam que o Whisfusion consegue quebrar o trade-off convencional entre a decodificação rápida baseada em alinhamento (CTC) e a decodificação de alta qualidade autorregressiva. Ao combinar treinamento multilíngue em larga escala, especialização de alta máscara e decodificação paralela baseada em consenso, o sistema entra no regime de precisão dos modernos ASRs AR, mantendo as vantagens de inferência de passos fixos e paralelos dos modelos NAR.

Limitações
Os autores observam três limitações principais:

1. Janela de Contexto: O modelo herda o limite de 30 segundos do codificador Whisper-large-v3 congelado; estender para ASR de longa duração ou streaming requer estratégias adicionais de fragmentação (chunking).
2. Seleção de Candidatos: Uma análise oracle sugere que o PDD pode gerar hipóteses melhores do que as selecionadas por MBR ou reranking do Whisper, indicando espaço para melhoria em rerankers aprendidos ou otimização de risco.
3. Escopo: Os experimentos são limitados a tarefas de transcrição e não avaliam capacidades mais amplas de linguagem-áudio, como perguntas e respostas de áudio ou seguimento de instruções.