Resumen Técnico: Desbloqueando los Poderes Composicionales de la Composición de Habla-Texto mediante SPEECHCOMBINE

Declaración del Problema

El ajuste de instrucciones para los Modelos de Lenguaje de Habla (SLM, por sus siglas en inglés) enfrenta desafíos significativamente mayores que para los Modelos de Lenguaje de Texto (LLM). Mientras que los LLM de texto siguen un paradigma de entrenamiento estándar que involucra el pre-entrenamiento y el ajuste de instrucciones, los SLM deben dominar una nueva modalidad (el habla) junto con un espectro más amplio de instrucciones, incluyendo la comprensión del habla (p. ej., detección de emociones) y la generación de habla (p. ej., síntesis expresiva).

Los enfoques actuales de entrenamiento de SLM replican en gran medida el flujo de trabajo de los LLM de texto: pre-entrenamiento en corpus de habla masivos seguido de un ajuste fino supervisado (SFT) o aprendizaje por refuerzo (RL) en conjuntos de datos de instrucciones de habla. Esta estrategia sufre de dos cuellos de botella críticos:

1. Inflación de Datos: Las secuencias de habla son significativamente más largas que las secuencias de texto (p. ej., una oración de 5 tokens de texto se expande a 60–200 tokens de habla), lo que dificulta escalar el tamaño efectivo de los conjuntos de datos.
2. Olvido Catastrófico: El entrenamiento extensivo en tokens de habla a menudo causa que el modelo olvide el conocimiento y las capacidades de razonamiento de su LLM de texto base, obligando al modelo a re-aprender estas habilidades en una representación de habla más difícil de aprender.

Los intentos existentes para mitigar esto, como congelar el LLM de texto y entrenar solo adaptadores, a menudo fallan al no poder soportar instrucciones específicas del habla (comprensión y generación), limitando el modelo a tareas orientadas al texto.

Metodología: SPEECHCOMBINE

El artículo propone SPEECHCOMBINE, un SLM que sigue instrucciones entrenado sin ajuste de instrucciones iterativo. La hipótesis central es que las capacidades de seguimiento de instrucciones codificadas en un LLM de texto pueden transferirse directamente a un modelo adaptado al habla mediante la combinación de pesos, inspirado en avances recientes en la fusión de modelos.

1. Marco de Trabajo y Combinación de Pesos

El método opera en tres etapas dentro del espacio de parámetros:

• Modelo Base ($\theta_{base}$): Un LLM de texto pre-entrenado.
• Modelo Ajustado a Instrucciones ($\theta_{inst}$): El LLM de texto ajustado para el seguimiento de instrucciones.
• Modelo Adaptado al Habla ($\theta_{speech}$): El modelo base ($\theta_{base}$) sometido a una única ronda de pre-entrenamiento continuo en datos de habla.

Los parámetros del modelo final ($\theta_{SC}$) se construyen combinando linealmente las diferencias de peso:
$$\theta_{SC} = \theta_{base} + \lambda \Delta\theta_{speech} + \Delta\theta_{inst}$$
Donde:

• $\Delta\theta_{inst} = \theta_{inst} - \theta_{base}$ codifica el comportamiento de seguimiento de instrucciones.
• $\Delta\theta_{speech} = \theta_{speech} - \theta_{base}$ captura el conocimiento de la modalidad de habla.
• $\lambda \in (0, 1]$ es un peso suave que equilibra la integración del conocimiento de habla con la preservación de las capacidades de texto.

Distinción Crucial: El pre-entrenamiento de habla debe partir de $\theta_{base}$, no de $\theta_{inst}$. Partir del modelo ajustado a instrucciones interrumpe la estructura composicional necesaria para una fusión exitosa.

2. Estructura de Datos de Pre-entrenamiento

Para lograr los objetivos duales de familiarizar al modelo con las secuencias de tokens de habla y comprender la información del habla (contenido y prosodia), los autores diseñan una estructura de datos de pre-entrenamiento específica:
[S1 cap] [S1 text] [S1 speech] [S1 cap] ...

• [cap]: Descripciones en lenguaje natural de los atributos del habla (contenido, tono, ritmo, énfasis, emoción).
• [text]: La transcripción exacta del habla.
• [speech]: Tokens de prosodia discretos que representan la locución.

La inclusión de [text] junto a [speech] es esencial para anclar la transferencia de las capacidades de seguimiento de instrucciones basadas en texto. La sección [cap] se randomiza (apareciendo antes, después o siendo omitida) para enseñar generación, comprensión y patrones de múltiples turnos.

3. Tokenización e Inferencia

• Tokenización: Los autores utilizan un esquema de tokenización de prosodia (basado en Qian et al., 2025) que codifica solo características prosódicas (tono, duración, energía) en lugar de formas de onda completas, reduciendo significativamente la longitud y redundancia de los tokens.
• Inferencia: El modelo sigue una plantilla similar a la del LLM de texto pero incluye secciones de [speech]. Un sistema ASR externo transcribe el habla de entrada en la sección [text]. Se emplean técnicas de "forzado de formato" para estabilizar la generación de tokens de habla y asegurar que el modelo se adhiera a la estructura de salida requerida.
• Pensamiento Largo (Long Thinking): El modelo hereda las capacidades de "pensamiento largo" (Cadena de Pensamiento o CoT) del LLM de texto simplemente modificando la plantilla de respuesta para incluir una sección <thought>, sin entrenamiento adicional.

Contribuciones Clave

1. Entrenamiento de SLM Libre de Instrucciones: Demuestra que se puede construir un SLM con fuertes capacidades de seguimiento de instrucciones a través de texto, comprensión de habla y generación de habla utilizando solo una ronda de pre-entrenamiento (30k horas de datos) y combinación de pesos, eliminando la necesidad de conjuntos de datos masivos de ajuste de instrucciones de habla.
2. Generalización Composicional: Muestra que las capacidades de seguimiento de instrucciones ($\Delta\theta_{inst}$) se generalizan al dominio del habla cuando se combinan con la adaptación al habla ($\Delta\theta_{speech}$), permitiendo al modelo manejar tareas no vistas de habla (p. ej., detección de emociones, generación de énfasis) sin entrenamiento explícito en esas tareas.
3. Preservación de Capacidades de Texto: La estrategia preserva con éxito el conocimiento y las habilidades de razonamiento originales del LLM de texto, evitando el olvido catastrófico típico de los flujos de trabajo estándar de SLM.
4. Eficiencia: Logra un rendimiento de vanguardia o competitivo utilizando menos del 1% de los datos de entrenamiento requeridos por los SLM existentes (p. ej., FUN-AUDIO-CHAT entrenado en millones de horas).

Resultados Experimentales

Los autores evalúan SPEECHCOMBINE en dos categorías de tareas: Combinación Superficial (tareas orientadas al texto en la modalidad de habla) y Combinación Profunda (tareas específicas del habla).

• Tareas Orientadas al Texto (Preguntas y Respuestas, Razonamiento): SPEECHCOMBINE tiene un desempeño similar o mejor que el baseline "ASR + Text LLM" (que no sufre olvido) y supera significativamente a otros SLM entrenados con conjuntos de datos masivos (p. ej., GLM-4-Voice, Step-Audio). Alcanza resultados top o segundos mejores en conjuntos de datos como OpenbookQA, GSM8k y MLC.
• Comprensión de Habla (Emoción, Énfasis):
  • Emoción: Logra un desempeño moderado, limitado por la escasez de subtítulos de emoción en los datos de pre-entrenamiento.
  • Detección de Énfasis: Logra un desempeño de vanguardia con márgenes sustanciales sobre los baselines, demostrando la capacidad del modelo para inferir el énfasis a partir de claves prosódicas.
• Generación de Habla (Expresiva, Énfasis):
  • Generación Expresiva: Logra el segundo mejor desempeño en generación de emociones.
  • Generación de Énfasis: Logra el mejor desempeño entre modelos comparables.
  • Notablemente, estas capacidades emergen sin entrenamiento específico de la tarea, apoyándose únicamente en la transferencia composicional de habilidades.
• Estudios de Ablación:
  • Peso $\lambda$: Un punto óptimo (p. ej., $\lambda=0.85$) equilibra la preservación del texto y la adquisición de habla.
  • Estructura de Datos: Eliminar [cap] o [text] degrada significativamente el desempeño, confirmando su necesidad para la transferencia de conocimiento y el anclaje.
  • Pensamiento Largo: Habilitar el modo de pensamiento mejora el desempeño en tareas de razonamiento complejo y de habla.

Significado y Reivindicaciones

El artículo afirma que SPEECHCOMBINE ofrece una nueva dirección escalable para el entrenamiento de SLM que evita la "tarea indebida de la acumulación ineficiente de datos". Al aprovechar la fusión de modelos, el enfoque permite que los SLM hereden rápidamente las capacidades emergentes de los LLM de texto en evolución sin requerir el re-entrenamiento en conjuntos de datos de habla masivos.

Los autores reconocen limitaciones, incluyendo la dependencia de un ASR externo para la inferencia, la falta de codificación de timbre/calidad de voz en el esquema de tokenización actual y la necesidad de forzado de formato para asegurar la estabilidad de la salida. Sin embargo, postulan que este paradigma proporciona una base robusta para construir modelos de habla potentes y que siguen instrucciones, que son tanto eficientes en datos como capaces de un razonamiento complejo.