⚡ electrical engineering

Closing the Gap Between Text and Speech Understanding in LLMs

El artículo presenta SALAD, un método eficiente en datos que combina la destilación cruzada de modalidades y la selección activa de datos sintéticos para cerrar la brecha de comprensión entre texto y voz en modelos de lenguaje grandes, mitigando el olvido de capacidades textuales y mejorando el rendimiento con una fracción de los datos de voz necesarios.

Autores originales: Santiago Cuervo, Skyler Seto, Maureen de Seyssel, Richard He Bai, Zijin Gu, Tatiana Likhomanenko, Navdeep Jaitly, Zakaria Aldeneh

Publicado 2026-02-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Santiago Cuervo, Skyler Seto, Maureen de Seyssel, Richard He Bai, Zijin Gu, Tatiana Likhomanenko, Navdeep Jaitly, Zakaria Aldeneh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que has construido un genio literario (un modelo de lenguaje o LLM) que es un maestro absoluto leyendo libros, escribiendo ensayos y resolviendo acertijos. Es brillante, pero solo habla y entiende por escrito.

Ahora, quieres que este genio también pueda hablar y escuchar como un humano. Quieres que, en lugar de leer un texto, pueda escuchar una pregunta en voz alta y responder con una voz natural.

El problema que descubren los autores de este paper es que, al intentar darle "oídos" a este genio, se vuelve un poco tonto. Cuando le hablas, entiende mucho menos que cuando le lees. A esto lo llaman la "brecha de comprensión entre texto y voz".

¿Por qué pasa esto? (Los dos ladrones del conocimiento)

Los investigadores descubrieron que hay dos "ladrones" que roban la inteligencia del modelo cuando le enseñan a escuchar:

El Olvido (Forgetting): Imagina que le enseñas a tu genio a hablar. Para aprender a hablar, tiene que "olvidar" un poco de lo que sabía leer. Es como si un chef experto en cocina francesa (texto) intentara aprender a cocinar en un fogón muy ruidoso (voz); al concentrarse tanto en el ruido, empieza a olvidar las recetas clásicas.
La Desconexión (Misalignment): A veces, el modelo escucha una frase y piensa una cosa, pero si le hubieras escrito esa misma frase, pensaría otra totalmente distinta. Es como si tuvieras un amigo que, cuando le hablas en persona, te responde de forma extraña, pero si le mandas un mensaje de texto, te responde perfectamente. No están "en la misma página".

La solución: SALAD (La ensalada inteligente)

Los autores proponen un método llamado SALAD (una sigla divertida que significa "Alineación Eficiente en Muestras..."). Imagina que SALAD es una receta especial para entrenar a tu genio sin que pierda su inteligencia.

En lugar de intentar entrenar al modelo con millones de horas de grabaciones (lo cual es carísimo y requiere datos privados), SALAD usa dos trucos de chef:

1. El Truco del "Profesor Fantasma" (Destilación Cruzada)

Imagina que tienes al genio original (el que solo lee) como un profesor.

En lugar de dejar que el modelo aprenda solo escuchando grabaciones (lo cual es difícil), le decimos: "Escucha esta grabación, pero no intentes adivinar la respuesta tú solo. En su lugar, mira qué respondería tu profesor si le hubieras escrito esa misma frase, e intenta imitar su respuesta".
Esto evita que el modelo olvide lo que sabía leer y le ayuda a entender que "lo que oyes" es lo mismo que "lo que lees".

2. El Truco del "Detective de Vacíos" (Selección Activa)

Aquí viene la parte más creativa. Los datos de voz que tenemos (podcasts, audiolibros) son aburridos y repetitivos (muchas historias, poca ciencia o leyes). Pero el genio necesita aprender de todo.

En lugar de sintetizar millones de horas de voz artificial (que suena robótica y es costosa), SALAD actúa como un detective.
El detective revisa el conocimiento del modelo y dice: "Oye, este modelo sabe mucho de cocina, pero es un desastre con la biología molecular. Vamos a generar pocas horas de voz artificial, pero solo sobre biología molecular".
En lugar de llenar el tanque de gasolina con agua (datos genéricos), inyectan vitaminas específicas (datos sintéticos solo donde hace falta) para cubrir los huecos de conocimiento.

¿Qué lograron?

Con este método, crearon modelos (de 3 mil millones y 7 mil millones de parámetros) que:

Entienden la voz casi tan bien como leen el texto.
Usan 10 veces menos datos de entrenamiento que los modelos de la competencia (que necesitan millones de horas de audio).
No olvidan lo que sabían leer.

En resumen con una analogía final

Imagina que quieres que un estudiante de medicina (el modelo de texto) aprenda a diagnosticar pacientes por teléfono (voz).

El método antiguo: Le haces escuchar millones de llamadas de pacientes reales, pero como son pocas y repetitivas, el estudiante se confunde y olvida sus libros de texto.
El método SALAD: Le dices: "Lee el libro de texto mientras escuchas la llamada, y asegúrate de dar la misma respuesta que darías si estuvieras leyendo el caso". Además, si notas que falla en casos de neurología, le generas unas pocas llamadas de ejemplo solo sobre neurología para practicar, en lugar de darle todo el hospital.

El resultado es un médico (modelo) que puede atender por teléfono con la misma precisión que si estuviera leyendo el expediente, y todo esto sin gastar una fortuna en grabar millones de horas. ¡Una receta ganadora!

1. El Problema: La Brecha de Comprensión Texto-Habla

Los Grandes Modelos de Lenguaje (LLMs) han demostrado capacidades excepcionales en tareas de texto, pero cuando se adaptan para procesar entradas de voz (speech-adapted LLMs), sufren una caída significativa de rendimiento en tareas de comprensión del lenguaje en comparación con sus contrapartes basadas en texto.

Los autores denominan a este fenómeno "brecha de comprensión texto-habla" (text-speech understanding gap). Este déficit no se resuelve simplemente con pipelines en cascada (ASR + LLM), ya que estos eliminan las señales paralingüísticas y del hablante esenciales para la interacción natural. Las soluciones existentes para cerrar esta brecha presentan dos problemas principales:

Dependencia de datos sintéticos masivos: Requieren la síntesis de corpus de texto a gran escala, lo cual es costoso y carece de riqueza paralingüística.
Dependencia de datos propietarios: Utilizan conjuntos de datos de voz privados masivos (millones de horas), lo que hace que los métodos no sean reproducibles ni eficientes en términos de datos.

2. Análisis de las Causas

Los autores identifican y cuantifican dos factores fundamentales que impulsan esta brecha:

Olvido (Forgetting): La pérdida de las capacidades textuales preentrenadas durante el proceso de adaptación al dominio de la voz. Se mide como la divergencia KL entre el modelo adaptado y el modelo base original cuando se les da entrada de texto.
Desalineación Cross-Modal (Cross-modal Misalignment): La inconsistencia en las predicciones cuando el modelo recibe entradas semánticamente equivalentes en texto y voz. Se mide como la divergencia KL entre la distribución de salida del modelo ante texto y ante su equivalente en voz.

El análisis demuestra que el rendimiento en tareas de comprensión del lenguaje está fuertemente correlacionado con estos dos factores: el rendimiento en voz cae a medida que aumenta la desalineación, y el rendimiento en texto cae a medida que aumenta el olvido.

3. Metodología: SALAD

Para abordar estos desafíos de manera eficiente en términos de datos, los autores proponen SALAD (Sample-efficient Alignment with Learning through Active selection and cross-modal Distillation). Este método se basa en dos pilares:

A. Destilación Cross-Modal (Stage I)

En lugar de entrenar únicamente con máxima verosimilitud (NLL) sobre datos de voz, SALAD utiliza un objetivo de destilación de conocimiento.

Mecanismo: El modelo de lenguaje basado en texto (preentrenado) actúa como "maestro" ( $Q_\phi$ ). El modelo adaptado a la voz ( $P_\theta$ ) se entrena para imitar la distribución de salida del maestro cuando recibe entradas multimodales (voz).
Beneficio: Esto fuerza al modelo a mantener la coherencia semántica entre modalidades y mitiga el olvido de las capacidades textuales, incluso cuando se entrena con datos de voz de dominio estrecho.

B. Selección Activa para Expansión de Dominio (Stage II)

Dado que los corpus de voz naturales (como LibriHeavy o Emilia) tienen una cobertura de dominios mucho más limitada que los corpus de texto (como FineWeb-Edu), la destilación sola no es suficiente para cubrir todas las brechas.

Estrategia: En lugar de sintetizar todo el corpus de texto a voz (costoso), SALAD utiliza un algoritmo de muestreo por importancia agrupada (clustered importance sampling).
Funcionamiento:
1. Se divide un corpus de texto amplio en clusters basados en embeddings.
2. Se mide la "desalineación" del modelo en cada cluster utilizando un pequeño conjunto de prueba sintetizado.
3. Se identifican los clusters donde el modelo tiene mayor error (brechas de dominio, ej. terminología científica, académica).
4. Se sintetiza voz solo para una pequeña fracción de estos clusters problemáticos (presupuesto de síntesis mínimo).
5. El modelo se entrena en esta mezcla de datos naturales y datos sintéticos selectivos.

4. Resultados Clave

Los experimentos se realizaron en modelos de 3B y 7B parámetros (basados en Qwen2.5) y se compararon con modelos de estado del arte (Qwen2-Audio, DiVA, GLM-4-Voice, Qwen2.5-Omni) y pipelines en cascada.

Rendimiento Competitivo: SALAD logra un rendimiento competitivo con el modelo más fuerte (Qwen2.5-Omni) en benchmarks amplios de conocimiento, razonamiento y comprensión del lenguaje (StoryCloze, MMSU, OBQA, HellaSwag, ARC-C, PIQA).
Eficiencia de Datos: SALAD logra estos resultados entrenando con más de un orden de magnitud menos de datos de voz que los modelos competidores.
Reducción de la Brecha:
- En modelos de 3B, SALAD supera a todos los modelos de extremo a extremo más grandes (excepto Qwen2.5-Omni).
- Reduce la brecha de comprensión texto-habla en un 11.7% en comparación con el siguiente mejor modelo de código abierto.
Preservación de Capacidades: A diferencia de otros modelos que sufren un "olvido" significativo, SALAD mantiene las capacidades textuales originales casi intactas (incluso mostrando ligeros aumentos en algunas tareas de texto), gracias al objetivo de destilación.
Impacto de la Selección Activa: La fase de selección activa mejora significativamente el rendimiento en dominios técnicos y científicos (como Biología y Química en MMSU), que son escasos en los corpus de voz naturales.

5. Contribuciones y Significado

Diagnóstico Cuantitativo: Proporciona una métrica clara y cuantitativa para la brecha texto-habla, desglosándola en "olvido" y "desalineación", demostrando que ambas son predictores fuertes del rendimiento final.
Eficiencia de Datos: Demuestra que no es necesario entrenar con millones de horas de datos de voz o síntesis masiva para lograr un buen rendimiento. La combinación de destilación (para alineación) y selección activa (para cubrir brechas de dominio) es suficiente.
Reproducibilidad: Al utilizar corpus públicos y técnicas de selección inteligente, SALAD ofrece una ruta reproducible y accesible para construir LLMs de voz robustos, sin depender de datos propietarios masivos.
Arquitectura: Utiliza una arquitectura simple y de baja latencia (tokenizador Mimi y adaptador ligero), validando que la mejora proviene de la estrategia de entrenamiento y selección de datos, no de arquitecturas complejas de alineación de representaciones.

En conclusión, el trabajo establece que el diseño cuidadoso de los objetivos de entrenamiento (destilación) y las estrategias de selección de datos (activa) pueden cerrar la brecha entre texto y voz de manera eficiente, permitiendo que modelos más pequeños alcancen capacidades de comprensión de voz comparables a los sistemas más grandes y costosos.