Text-only adaptation in LLM-based ASR through text denoising

Este artículo presenta un método ligero de adaptación solo con texto para sistemas de reconocimiento automático de habla basados en modelos de lenguaje grande, que formula el proceso como una tarea de eliminación de ruido para adaptar el modelo a nuevos dominios sin alterar la alineación entre modalidades.

Lo esencial

Imagina que tienes un traductor de voz a texto muy inteligente, como un asistente personal que ha estudiado miles de horas de conversaciones en un laboratorio. Este asistente es experto en escuchar y escribir lo que oye. Pero, ¿qué pasa si quieres que trabaje en un campo totalmente nuevo, como la medicina o la agricultura, donde no tienes grabaciones de audio, sino solo textos escritos (como artículos, libros o transcripciones antiguas)?

Aquí es donde entra en juego este artículo. Los investigadores se enfrentaron a un problema común: si simplemente le enseñas al asistente a leer textos nuevos, se "olvida" de cómo escuchar. Es como si un chef experto en cocina italiana, al intentar aprender a leer recetas de sushi, empezara a olvidar cómo usar el cuchillo para cortar la pasta. El equilibrio entre "oír" y "escribir" se rompe.

La Solución: El Juego del "Texto Roto"

Los autores proponen una idea brillante y sencilla: enseñar al asistente a reparar textos rotos.

En lugar de darle el texto perfecto y decirle "aprende esto", les dicen: "Aquí tienes un texto que parece un poco 'sucio' o 'ruidoso' (como si lo hubiera escrito alguien con las manos temblando o con mala conexión a internet). Tu trabajo es limpiarlo y escribir la versión correcta".

La analogía del "Ruido de la Proyección":
En estos sistemas, cuando la voz se convierte en texto para que la inteligencia artificial lo entienda, pasa por un "traductor intermedio" (llamado projector). Este traductor a veces comete errores o añade "ruido" (como si dijera "sí, eso sería" pero lo escribiera como "mmy Z YesssS S SGS...").

El truco de los investigadores es:

1. Simular el ruido: Toman textos limpios del nuevo campo (ej. agricultura) y los "ensucian" artificialmente para que parezcan los errores que comete el traductor de voz.
2. Entrenar la limpieza: Le muestran estos textos "ensuciados" al asistente y le piden que los limpie.
3. El resultado: Al aprender a limpiar estos textos, el asistente se vuelve experto en el vocabulario y las frases de la agricultura, sin olvidar cómo escuchar la voz real, porque durante el entrenamiento también le siguen mostrando ejemplos de voz real mezclados con los textos sucios.

¿Cómo funciona la "Clase de Entrenamiento"?

Imagina que el entrenamiento es una clase donde el profesor mezcla diferentes tipos de ejercicios para que el alumno no se confunda:

• Ejercicio A (Voz real): Escuchar una grabación y escribir lo que se oye. (Para no olvidar la habilidad original).
• Ejercicio B (Texto "ruido" simulado): Recibir un texto que parece salido de un micrófono malo y arreglarlo. (Para aprender el nuevo vocabulario).
• Ejercicio C (Texto "ruido" inventado): Recibir un texto con errores tipográficos aleatorios y arreglarlo. (Para practicar la limpieza general).

Al mezclar estos tres ejercicios en la misma "tarea", el asistente logra dos cosas a la vez:

1. No olvida cómo escuchar (mantiene el equilibrio).
2. Aprende el nuevo lenguaje (se adapta al nuevo dominio).

Los Resultados: Un Gran Éxito

Los investigadores probaron esto en dos escenarios:

1. Mismo tipo de conversación: Cuando el nuevo tema era similar al que ya conocía el asistente (ej. de seguros a seguros), el método funcionó casi tan bien como si hubieran tenido grabaciones de audio reales. ¡Casi un 22% de mejora!
2. Temas muy diferentes: Cuando el tema era muy distinto (ej. de llamadas telefónicas a videos de conferencias), el método también ayudó a mejorar, aunque no tanto como tener audio, pero mucho mejor que los métodos anteriores que solo leían texto.

En Resumen

Piensa en este método como un gimnasio mental para la inteligencia artificial. En lugar de darle un nuevo libro de texto y esperar que aprenda de memoria (lo cual le hace olvidar sus habilidades anteriores), le dan un libro con tachaduras y manchas y le piden que lo corrija.

Al hacer esto, el sistema:

• Aprende el nuevo idioma (vocabulario de agricultura, medicina, etc.).
• Mantiene su oído entrenado (no pierde la capacidad de entender la voz).
• No necesita costosas grabaciones de audio para aprender, solo necesita texto.

Es una forma elegante y eficiente de hacer que la inteligencia artificial sea más flexible y útil en el mundo real, donde a veces solo tenemos texto y no grabaciones.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Text-Only Adaptation in LLM-Based ASR through Text Denoising" en español:

1. Planteamiento del Problema

La integración de sistemas de Reconocimiento Automático de Voz (ASR) basados en Grandes Modelos de Lenguaje (LLM) ha demostrado ser eficiente, utilizando un codificador de voz preentrenado, un proyector aprendible y un LLM decodificador. Sin embargo, adaptar estos sistemas a nuevos dominios presenta un desafío crítico:

• Escasez de datos: Obtener pares de audio-transcripción etiquetados para nuevos dominios es costoso y difícil.
• Adaptación solo con texto: Utilizar datos de texto no emparejados (solo transcripciones) para ajustar el LLM suele provocar una degradación del rendimiento. Esto ocurre porque el ajuste fino (fine-tuning) estándar en texto rompe la alineación crítica entre la modalidad de voz y la de texto que aprendió el proyector, un fenómeno conocido como "olvido catastrófico".
• Limitaciones de métodos existentes: Soluciones anteriores (como el uso de soft prompts o métricas de monitoreo) requieren hiperparámetros adicionales o solo mitigan parcialmente el problema.

2. Metodología Propuesta

Los autores proponen un método novedoso de adaptación solo con texto que reformula el problema como una tarea de eliminación de ruido (denoising).

Concepto Central

En un sistema ASR basado en LLM, el proyector convierte las representaciones acústicas en secuencias de "tokens suaves" que se asemejan a transcripciones ruidosas o corruptas. El LLM actúa como un descorruptor que reconstruye la transcripción limpia.

• Hipótesis: Si el LLM ya aprendió a limpiar el ruido generado por el proyector, se puede adaptar a un nuevo dominio entrenándolo para limpiar ruido sintético aplicado a transcripciones de ese dominio, sin necesidad de audio real.

Formulación de la Tarea

Se define una función de ruido, $noise(\cdot)$, que transforma una transcripción limpia $t$ en una versión perturbada que imita la salida de un proyector de voz. El objetivo de entrenamiento es recuperar $t$ a partir de $noise(t)$.

Construcción de Lotes (Batch Construction)

Para evitar el olvido catastrófico de la alineación voz-texto, no se entrena solo con datos del dominio objetivo. Se propone una estrategia de mezcla de lotes que combina cuatro componentes:

1. $\sigma_a$ (Pares Audio-Texto del dominio fuente): Mantiene la alineación original voz-texto.
2. $\sigma_{ta}$ (Ruido inducido por proyector): Se toma audio del dominio fuente, se proyecta a texto y se mapea a tokens del vocabulario. Esto simula el ruido "real" del sistema.
3. $\sigma_t$ (Ruido sintético en dominio fuente): Se aplica ruido sintético (sustitución y duplicación de caracteres) a transcripciones del dominio fuente.
4. $\tau_t$ (Ruido sintético en dominio objetivo): Se aplica ruido sintético a las transcripciones del dominio objetivo (solo texto). Esto fuerza al modelo a aprender el vocabulario y la sintaxis del nuevo dominio.

La proporción $\tau$ se ajusta en función del tamaño del dominio objetivo, mientras que las proporciones de la fuente se distribuyen equitativamente para preservar la capacidad de transcripción original.

3. Contribuciones Clave

1. Reformulación del problema: Transforman la adaptación solo con texto en una tarea de denoising, entrenando al LLM para reconstruir transcripciones limpias a partir de entradas perturbadas que imitan la salida del proyector de voz.
2. Enfoque ligero y sin parámetros extra: El método no requiere cambios arquitectónicos ni la adición de parámetros aprendibles (como soft prompts). Utiliza una estrategia de batching multi-visión con ruido.
3. Evaluación exhaustiva: Validación en dos conjuntos de datos reales (DefinedAI y SlideSpeech) cubriendo escenarios de adaptación in-domain, out-of-domain y cross-domain.

4. Resultados Experimentales

Los experimentos se realizaron utilizando WavLM-Large como codificador de voz y Llama 3.2 3B como LLM, comparando el método propuesto ("Ours") contra modelos base y métodos del estado del arte (Fang et al. y Ma et al.).

• Adaptación In-Domain (DefinedAI): El método logró mejoras relativas de hasta 22.1% en la tasa de error de palabra (WER), acercándose al rendimiento del ajuste fino con audio (el caso ideal).
  • Banking: 10.11% WER (vs 12.98% base).
  • Insurance: 8.71% WER (vs 10.61% base).
• Adaptación Out-of-Domain (SlideSpeech): Mostró mejoras consistentes en dominios no vistos (Agricultura, Animación, Instrumentos Musicales), superando a los métodos de comparación en la mayoría de los casos.
• Adaptación Cross-Domain (Fuente DefinedAI -> Objetivo SlideSpeech): Logró reducir la brecha lingüística entre dominios con características acústicas y léxicas diferentes, superando a los métodos existentes (Ma et al. y Fang et al.) en todos los dominios objetivo.
• Estudios de Ablación:
  • La eliminación del componente de audio ($\sigma_a$) causó un aumento drástico en el WER, confirmando la necesidad de mantener la alineación.
  • El uso de texto perturbado (ruido) fue superior al uso de texto limpio, validando que el marco de "denoising" es crucial para capturar patrones del dominio objetivo.

5. Significado e Impacto

Este trabajo es significativo porque ofrece una solución práctica y escalable para la adaptación de sistemas ASR modernos a nuevos dominios donde los datos de audio son inexistentes o prohibitivos.

• Eficiencia: Permite aprovechar la abundancia de datos de texto (transcripciones, foros, documentos) para mejorar sistemas de voz sin reentrenar el codificador de audio ni añadir complejidad al modelo.
• Robustez: Demuestra que es posible preservar la alineación multimodal crítica mientras se adquiere conocimiento de un nuevo dominio, resolviendo el problema del olvido catastrófico que limitaba las estrategias anteriores.
• Aplicabilidad: El método es ligero y fácil de implementar en arquitecturas ASR basadas en LLM existentes, facilitando su despliegue en aplicaciones del mundo real como asistentes de voz en sectores específicos (banca, salud, etc.).

En conclusión, la propuesta demuestra que tratar la adaptación de dominio como un problema de reconstrucción de texto ruidoso es una estrategia superior para integrar nuevos conocimientos lingüísticos en sistemas ASR sin sacrificar su capacidad de reconocimiento de voz.