Whisfusion: Parallel ASR Decoding with Masked Diffusion

Resumen Técnico: Whisfusion

Planteamiento del Problema
Los modelos de codificador-decodificador autorregresivos (AR), como Whisper, Canary y Qwen3-ASR, dominan actualmente el reconocimiento automático del habla (ASR) multilingüe de alta calidad. Sin embargo, su mecanismo de decodificación de izquierda a derecha crea un cuello de botella estructural de latencia: el tiempo de inferencia escala linealmente con la longitud de la transcripción porque el decodificador debe generar tokens de forma serial ($y_1, y_2, \dots, y_T$) mientras atiende repetidamente a las mismas incrustaciones (embeddings) de audio.

Las alternativas no autorregresivas (NAR), principalmente los sistemas basados en CTC, evitan este cuello de botella al paralelizar la alineación a nivel de fotograma. No obstante, sus supuestos de independencia condicional a menudo sacrifican el modelado generativo a nivel de transcripción, lo que resulta en una precisión inferior en comparación con los sistemas AR modernos. Los métodos de refinamiento basados en NAR (por ejemplo, Mask-CTC) mejoran sobre el CTC de un solo paso, pero siguen anclados a hipótesis derivadas de la alineación. Los autores postulan que los modelos de lenguaje de difusión con máscara (por ejemplo, LLaDA, MDLM), que denotan iterativamente una secuencia enmascarada en paralelo, ofrecen un enfoque NAR prometedor para el ASR, siempre que puedan estar fundamentados en un fuerte condicionamiento de audio para igualar la precisión de los modelos AR.

Metodología: Whisfusion
Los autores proponen Whisfusion, un marco de difusión condicionada por el habla diseñado para reemplazar la generación de tokens de izquierda a derecha con la denotación de la transcripción en pasos fijos.

• Arquitectura: Whisfusion utiliza un codificador Whisper-large-v3 congelado para producir incrustaciones de audio. Un decodificador de difusión con máscara entrenable desde cero (24 capas, ~830 millones de parámetros) se apila encima. El decodificador emplea un stack moderno estilo LLaMA (RMSNorm, SwiGLU, RoPE) con atención propia bidireccional sobre la transcripción parcialmente enmascarada y atención cruzada a las incrustaciones de audio congeladas en cada bloque.
• Estrategia de Entrenamiento (Especialización de Alta Máscara): Para alinear el entrenamiento con la trayectoria de inferencia (que comienza con una transcripción totalmente enmascarada), los autores emplean una receta de entrenamiento de dos etapas:
  1. Etapa 1: Entrenamiento estándar de difusión con máscara con una distribución de ratio de máscara uniforme ($t \sim U(0, 1)$) para enseñar el relleno (infilling) general condicionado por audio.
  2. Etapa 2: Ajuste fino con una distribución especializada de alta máscara ($t \sim U(0.7, 1.0)$). Esto obliga al modelo a especializarse en el régimen de "máscara total" donde hay poco o ningún contexto textual disponible, mejorando la calidad del paso inicial de denotación.
• Decodificación (Decodificación de Difusión en Paralelo - PDD): La inferencia comienza con una transcripción totalmente enmascarada. El decodificador realiza un número fijo de pasos de denotación (por defecto $N=3$). En cada paso, todas las posiciones enmascaradas se predicen en paralelo. Crucialmente, los autores utilizan re-enmascaramiento de Bernoulli aleatorio entre pasos en lugar de selección basada en la confianza. Esto evita el desajuste entre entrenamiento e inferencia causado por las heurísticas basadas en la confianza y mitiga los problemas de confidencias mal calibradas en el régimen de alta máscara.
• Selección de Candidatos: El proceso PDD genera $K$ transcripciones candidatas (por defecto $K=5$). La hipótesis final se selecciona mediante consenso de Riesgo Bayesiano Mínimo (MBR), que elige el candidato que minimiza la suma de las distancias de edición por pares con los demás. Un paso opcional de reclasificación de verosimilitud de Whisper puede refinar aún más la selección utilizando las puntuaciones de verosimilitud del codificador congelado.

Contribuciones Clave

1. Modelo Whisfusion: Introducción de un modelo ASR de difusión con máscara condicionado por el habla que fundamenta un decodificador desde cero en las incrustaciones de Whisper-large-v3 mediante atención cruzada.
2. Receta de Entrenamiento y Decodificación: Desarrollo de una estrategia de entrenamiento de especialización de alta máscara y un flujo de decodificación de Difusión en Paralelo (PDD) que alinea la distribución de entrenamiento con el punto de inicio de inferencia de máscara total, utilizando re-enmascaramiento aleatorio y consenso MBR.
3. Validación Empírica: Evaluación exhaustiva en benchmarks de inglés, europeo y CJK demostrando que la difusión con máscara puede alcanzar una precisión competitiva con los sistemas AR de última generación, manteniendo las ventajas de alto rendimiento de la inferencia paralela.

Resultos
Evaluado en aproximadamente 68k horas de 11 idiomas, Whisfusion demuestra un compromiso óptimo de Pareto entre velocidad y precisión:

• Precisión: Whisfusion supera a Whisper-large-v3 en la precisión promedio del grupo en los benchmarks de inglés, europeo y CJK. Con la reclasificación opcional, se acerca a la precisión de Canary-1b-v2 y Qwen3-ASR.
  • Inglés: 6.55% WER (por defecto) frente a 7.11% para Whisper-large-v3.
  • Europeo: 8.19% WER (por defecto) frente a 9.27% para Whisper-large-v3.
  • CJK: 11.08% CER (por defecto) frente a 13.77% para Whisper-large-v3.
• Rendimiento (Throughput): Whisfusion es 4–5× más rápido que Whisper-large-v3 y 3–7× más rápido que Canary y Qwen3-ASR.
  • Logra un RTFx (Factor de Tiempo Real) de 173.45 (por defecto) y 143.27 (con reclasificación), superando significativamente en precisión a Whisper-turbo (143.99) mientras iguala su rendimiento.
• Comparación con Baselines NAR: Supera significativamente a los sistemas basados en CTC (OWSM-CTC, MMS-all) en precisión manteniendo un alto rendimiento, y supera a otros baselines de difusión/flujo (Drax, Whisper-LLaDA) tanto en velocidad como en precisión bajo el protocolo unificado.

Significancia y Reivindicaciones
El artículo establece la difusión con máscara como un paradigma competitivo de Pareto para la transcripción multilingüe de alto rendimiento. Los autores afirman que Whisfusion logra romper el compromiso convencional entre la decodificación rápida basada en alineación (CTC) y la decodificación autorregresiva de alta calidad. Al combinar un entrenamiento multilingüe a gran escala, especialización de alta máscara y decodificación en paralelo basada en consenso, el sistema entra en el régimen de precisión de los ASR AR modernos mientras retiene las ventajas de inferencia de pasos fijos y paralelos de los modelos NAR.

Limitaciones
Los autores señalan tres limitaciones principales:

1. Ventana de Contexto: El modelo hereda el límite de 30 segundos del codificador congelado Whisper-large-v3; extenderlo a ASR de formato largo o de transmisión (streaming) requiere estrategias adicionales de segmentación.
2. Selección de Candidatos: El análisis de oráculo sugiere que PDD puede generar mejores hipótesis de las que son seleccionadas por MBR o la reclasificación de Whisper, lo que indica espacio para mejorar los reclasificadores aprendidos o la optimización del riesgo.
3. Alcance: Los experimentos se limitan a tareas de transcripción y no evalúan capacidades más amplias de lenguaje-habla, como el cuestionamiento de audio o el seguimiento de instrucciones.