Speech Meets ELF: Audio Conditional Continuous-Target Diffusion for Speech Recognition and Translation

Resumen Técnico: ELF-S2T

Planteamiento del Problema
Los sistemas actuales de Speech-to-Text (S2T) para el Reconocimiento Automático del Habla (ASR) y la Traducción de Habla a Texto (S2TT) dependen predominantemente de modelos autorregresivos de tokens discretos. Si bien trabajos recientes han explorado la difusión de tokens discretos como una alternativa no autorregresiva, estos enfoques aún operan dentro de un espacio de tokens discretos. Por el contrario, el modelado de lenguaje de objetivo continuo (por ejemplo, ELF, Cola-DLM) ha demostrado que la generación de texto puede ocurrir eficazmente dentro de un espacio de embeddings continuo, ofreciendo un paradigma teóricamente natural para mapear señales de habla inherentemente continuas hacia el texto sin una discretización forzada. Sin embargo, la aplicación de la difusión de objetivo continuo a S2T permanece inexplorada. El desafío central radica en el alineamiento cross-modal: los modelos de lenguaje de objetivo continuo preentrenados poseen fuertes priors lingüísticos internos que a menudo causan que ignoren la entrada acústica, apoyándose en su lugar en el contexto del texto para completar las oraciones. El artículo aborda cómo acoplar profundamente un modelo de lenguaje de objetivo continuo con señales de habla para asegurar que la generación esté genuinamente fundamentada en el audio.

Metodología
Los autores proponen ELF-S2T, un modelo generativo de objetivo continuo condicionado por audio. La arquitectura y la estrategia de entrenamiento están diseñadas para forzar al modelo a utilizar características acústicas en lugar de depender únicamente de los priors del texto.

• Arquitectura: El modelo se basa en un backbone de Embedded Language Flows (ELF) preentrenado. Emplea un codificador Whisper-large-v3 congelado para procesar la entrada de habla $s$, produciendo características $h$. Un único proyector lineal $P$ mapea estas características a la dimensión latente del texto, creando una condición de audio $a$. Esta condición se antepone al latente de texto con ruido $z_t$ y se introduce en el transformer ELF. El modelo opera en un marco de flow-matching continuo, realizando la eliminación de ruido desde un ruido Gaussiano hacia la representación latente objetivo. Los tokens solo se desembeddean (decodifican) en el paso final ($t=1$).
• Estrategias de Entrenamiento para el Anclaje (Grounding): Para evitar que el modelo dependa excesivamente del contexto del texto, se introducen dos mecanismos específicos:
  1. Forzado de Audio (Audio Forcing): Durante el entrenamiento, el cabezal de decodificación es supervisado sobre un latente con ruido $z_{dec}$ donde la relación señal-ruido se degrada deliberadamente (desplazando el nivel de señal aleatoria $\lambda$ hacia valores más bajos). Esto asegura que el latente de texto por sí solo sea insuficiente para recuperar el objetivo, obligando al modelo a atender a la condición de audio para reconstruir el contenido.
  2. Guía Libre de Clasificador (Classifier-Free Guidance - ACFG): Para fortalecer el condicionamiento durante la inferencia, se entrena una rama incondicional omitiendo la condición de audio para una fracción de las ocurrencias (10%). Durante la inferencia, las predicciones condicionales e incondicionales se combinan utilizando una escala de guía $w$ para empujar la salida hacia la predicción condicionada por audio.
• Inferencia: El modelo genera texto integrando iterativamente el flujo desde $t=0$ hasta $t=1$ utilizando un muestreador estocástico (SDE) bajo guía de audio. La decodificación de tokens ocurre únicamente en el paso final.

Contribuciones Clave

1. Primer Modelo S2T de Objetivo Continuo: ELF-S2T es la primera adaptación del modelado de lenguaje de objetivo continuo al habla, logrando un rendimiento competitivo tanto en ASR como en S2TT. También es el primer sistema S2T basado en difusión que reporta resultados de S2TT.
2. Mecanismos de Anclaje: El artículo introduce estrategias de forzado de audio y guía libre de clasificador para mitigar eficazmente el problema del "prior de texto", demostrando que estos enfoques escalan consistentemente con la capacidad del backbone.
3. Análisis de Error Unificado: Al aprovechar el espacio de objetivo continuo, los autores revelan que los errores de ASR y S2TT, que parecen distintos superficialmente (deformación de sub-palabras frente a deriva a nivel de oración), comparten una causa subyacente común: la confusión de distancia cercana en el espacio latente continuo. Ambas tareas implican que el mapeo condicionado por audio aterriza en un punto vecino, relacionado con el significado, que está ligeramente más cerca de una hipótesis errónea que de la referencia real.

Resultados Experimentales
Los experimentos se realizaron en LibriSpeech (ASR) y CoVoST2 (S2TT, Alemán a Inglés).

• Rendimiento de ASR: En LibriSpeech test-clean, ELF-S2T (backbone ELF-L) logró una Tasa de Error de Palabra (WER) del 5.69%. Aunque es mayor que la referencia autorregresiva de Whisper-large-v3 (1.97%), supera a las líneas base de difusión de tokens discretos existentes (Whisfusion: 8.30%, TransFusion: 6.10%).
• Rendimiento de S2TT: En CoVoST2 de→en, ELF-S2T alcanzó 28.55 BLEU y 54.91 chrF, superando la referencia de Whisper-large-v3 (26.23 BLEU).
• Escalabilidad: El rendimiento mejoró monótonamente con el tamaño del backbone (de ELF-B a ELF-L), con el WER descendiendo de 10.50% a 5.69% y el BLEU ascendiendo de 25.35 a 28.55.
• Ablación: El forzado de audio fue identificado como el principal motor del anclaje, reduciendo el WER de 11.11% a 10.50% en el backbone ELF-B. La guía de audio (ACFG) mostró un punto óptimo en la escala $w=2.0$.

Significancia y Reivindicaciones
El artículo sostiene que ELF-S2T demuestra la viabilidad de la difusión de objetivo continuo para tareas de habla, ofreciendo una alternativa teóricamente elegante a la tokenización discreta. El hallazgo más significativo es el análisis de error: el espacio latente continuo permite medir las desviaciones de generación como distancias geométricas. Los autores argumentan que las diferencias aparentes entre los errores de ASR y S2TT son simplemente diferencias de granularidad (palabra individual frente a oración) derivadas de un mismo modo de falla fundamental: una "confusión de distancia cercana" donde el modelo selecciona un vecino semánticamente relacionado pero incorrecto en el espacio latente. Esto sugiere un proceso de mapeo semántico unificado para el reconocimiento y la traducción, y apunta hacia una única dirección para mejoras futuras: fortalecer el mapeo de audio-a-latente en lugar de tratar las tareas como si tuvieran causas de falla distintas.

Limitaciones
Los autores reconocen que la brecha de WER respecto a los modelos autorregresivos se debe en parte a que la métrica penaliza las sustituciones que preservan el significado y las variantes morfológicas, lo que puede subestimar la verdadera calidad de la comprensión semántica del modelo. Además, la inferencia es computacionalmente más costosa que las pasadas autorregresivas debido a la naturaleza iterativa de la difusión y al requisito de doble pasada de la guía libre de clasificador. Finalmente, la evaluación se limita al habla leída en inglés y la traducción de alemán a inglés, excluyendo el habla con ruido y otros pares de idiomas.