Resumen Técnico: Minimización de la Brecha de Modalidad desde el Lado de Entrada con TextPro-SLM

1. Declaración del Problema

Los Modelos de Lenguaje Grandes de Voz (SLM) se construyen predominantemente mediante el entrenamiento continuo a partir de puntos de control de Modelos de Lenguaje Grandes de Texto (TLM) para extender las capacidades de razonamiento y comprensión del lenguaje a la interacción hablada. A pesar de compartir una arquitectura base con TLMs potentes, los SLMs sufren una brecha de modalidad significativa, donde el rendimiento en preguntas y respuestas (QA) basado en voz se queda sustancialmente atrás del rendimiento en QA basado en texto (por ejemplo, una caída de hasta un 20% en benchmarks como GLM-4-Voice).

La investigación previa ha intentado principalmente cerrar esta brecha desde el lado de salida, evolucionando desde la generación de tokens de voz de extremo a extremo hasta arquitecturas de "pensador-hablador", donde el LLM genera tokens de texto y un módulo separado sintetiza el habla. Aunque estos enfoques mejoran el rendimiento al alinear el proceso de generación con los paradigmas de los TLMs, la brecha de modalidad persiste. Los autores argumentan que el cuello de botella restante se encuentra en el lado de entrada: a diferencia de los TLMs, los SLMs deben inferir tanto el contenido lingüístico como las señales paralingüísticas (prosodia, emoción, identidad del hablante) directamente a partir de representaciones de voz, las cuales a menudo no se presentan al LLM en un formato que pueda explotar plenamente.

2. Metodología

El artículo propone TextPro-SLM, un marco diseñado para minimizar la brecha de modalidad transformando la entrada hablada en una representación que se asemeja estrechamente a la de un TLM consciente de la prosodia. La filosofía central es separar "qué se dice" (contenido semántico) de "cómo se dice" (información paralingüística) en la etapa de entrada, en lugar de comprimir el habla en una única corriente latente.

2.1 WhisperPro: Un Codificador de Voz Unificado

El primer componente es WhisperPro, un codificador de voz basado en Whisper-large-v3. A diferencia de los modelos de ASR estándar que priorizan el contenido léxico, WhisperPro se entrena para producir dos salidas sincronizadas:

1. Tokens de Texto: Transcripciones precisas del contenido del enunciado.
2. Embeddings de Prosodia: Embeddings alineados con los tokens que codifican información paralingüística (estilo de habla, emoción, timbre).

Arquitectura y Entrenamiento:

• Codificador: Utiliza el codificador-decodificador Transformer de 32 capas de Whisper-large-v3.
• Extracción: Los embeddings de prosodia se extraen de los estados ocultos de la capa 16 del decodificador, alineados con los tokens de texto generados.
• Objetivo de Reconstrucción: Para asegurar que el codificador retenga detalles paralingüísticos, se adjunta un reconstructor Mel (decodificador). Intenta reconstruir el espectrograma log-Mel original a partir de los tokens de texto emparejados y los embeddings de prosodia.
• Función de Pérdida: El modelo se optimiza con un objetivo multi-tarea:
  $$L = L_{ASR} + \lambda L_{mel}$$
  donde $L_{ASR}$ es la pérdida de entropía cruzada para la transcripción y $L_{mel}$ es la pérdida de Error Cuadrático Medio (MSE) para la reconstrucción del espectrograma. $\lambda$ se establece en 1.0.
• Datos: Entrenado con 1,000 horas de audio (LibriSpeech y CommonsenseQA), utilizando transcripciones puntuadas y datos de QA sintetizados por TTS para mejorar la robustez.

2.2 Backbone de LLM Consciente de la Prosodia

El segundo componente es un backbone de LLM (Qwen2.5-3B o 7B-Instruct) entrenado para preservar las capacidades semánticas mientras aprende la comprensión paralingüística.

Formato de Entrada:
El LLM recibe la transcripción de texto como entrada principal, con la información de prosodia inyectada mediante dos estrategias:

1. Prependido Global (Predeterminado): Los embeddings de prosodia se promedian en un único vector a nivel de enunciado, proyectados mediante un MLP y añadidos al inicio de la secuencia de texto.
2. Interleaving (Entrelazado): Los embeddings de prosodia comprimidos se insertan en intervalos fijos entre los tokens de texto para capturar variaciones prosódicas más finas.

Pipeline de Entrenamiento:
El LLM se entrena utilizando un pipeline de dos etapas con dos objetivos acoplados:

1. Preservación de la Inteligencia Semántica (Distilación de Conocimiento): El modelo se distila a partir de TLMs docentes utilizando conjuntos de datos solo de texto (UltraChat, CommonsenseQA) convertidos a voz mediante TTS. El estudiante recibe la entrada texto+prosodia de WhisperPro pero aprende a imitar las respuestas solo de texto del docente.
2. Comprensión Paralingüística: El modelo se entrena en tareas que involucran detección de emoción del hablante (SER), género, edad y acento utilizando conjuntos de datos como IEMOCAP, CREMA-D y Common Voice.

3. Contribuciones Clave

1. Reducción de la Brecha de Modalidad en el Lado de Entrada: El artículo desplaza el enfoque de las estrategias de generación en el lado de salida hacia la representación en el lado de entrada, argumentando que hacer que la entrada de voz se asemeje a un "TLM consciente de la prosodia" es la clave para reducir la brecha.
2. Codificador WhisperPro: Introduce un codificador unificado que genera simultáneamente transcripciones precisas y ricos embeddings de prosodia alineados con los tokens, entrenado mediante un objetivo de reconstrucción para preservar detalles acústicos sin sacrificar la precisión del ASR.
3. Eficiencia de Datos: Demuestra que se pueden lograr ganancias significativas con solo ~1,000 horas de datos de entrenamiento de audio para el LLM, en contraste con los conjuntos de datos masivos que a menudo se requieren para los modelos de voz de extremo a extremo.
4. Representación de Doble Flujo: Propone un diseño donde la información semántica y paralingüística se separan y sincronizan explícitamente, permitiendo que el LLM mantenga sus fortalezas nativas de procesamiento de texto mientras gana conciencia prosódica.

4. Resultados Experimentales

Los experimentos se realizaron a escalas de 3B y 7B parámetros, comparando TextPro-SLM con SLMs líderes (por ejemplo, GLM-4-Voice, Qwen2.5-Omni, Kimi-Audio) y líneas base en cascada.

• Brecha de Modalidad: TextPro-SLM logró la brecha de modalidad promedio más baja entre todos los SLMs comparados.
  • TextPro-SLM-7B logró una brecha promedio de 0.7%, superando significativamente a SALAD-7B (7.1%) y Qwen2.5-Omni-7B (3.1%).
  • En benchmarks centrados en razonamiento (MMSU, OBQA), TextPro-SLM redujo la brecha a casi cero (por ejemplo, 0.7% en OBQA), mientras que otros modelos lucharon con brechas que superaban el 10-30%.
• Comprensión Paralingüística: TextPro-SLM logró un rendimiento de vanguardia en tareas paralingüísticas (Emoción, Género, Edad, Acento) entre las líneas base, con el modelo de 7B alcanzando una precisión promedio de 64.8%.
• Estudios de Ablación:
  • Eliminar la Distilación de Conocimiento (KD) causó una caída sustancial en el rendimiento, confirmando la necesidad de preservar las capacidades semánticas del TLM.
  • Eliminar el objetivo de reconstrucción en WhisperPro degradó el rendimiento paralingüístico, validando la importancia de la pérdida de reconstrucción para codificar la prosodia.
  • El uso de la entrada interleaved (relación 5:1) produjo resultados comparables al prependido global, lo que sugiere que un vector global de prosodia compacto a menudo es suficiente.

5. Significado y Afirmaciones

El artículo afirma que TextPro-SLM valida la hipótesis de que la ruta más efectiva hacia SLMs más fuertes es transformarlos en TLMs conscientes de la prosodia. Al alinear las entradas de voz con representaciones de estilo de texto mientras se preservan explícitamente las señales paralingüísticas, el modelo logra:

• Brecha de Modalidad Mínima: El rendimiento basado en voz se acerca al rendimiento basado en texto, particularmente en tareas de razonamiento.
• Alta Eficiencia de Datos: El enfoque requiere significativamente menos datos de audio (~1,000 horas) en comparación con métodos anteriores, lo que sugiere que el cuello de botella es la alineación arquitectónica y no el volumen de datos.
• Usabilidad Práctica: El método mantiene las fuertes capacidades de razonamiento del TLM subyacente, haciendo que los SLMs sean más confiables para tareas generales sin el olvido catastrófico que a menudo se observa en el entrenamiento continuo con datos de voz.

Los autores señalan limitaciones, incluida la falta actual de un módulo de síntesis de voz (las evaluaciones se basan en salida de texto), el uso de ASR no streaming (lo que introduce latencia) y el enfoque en un subconjunto específico de atributos paralingüísticos en lugar del espectro completo de señales habladas. Sin embargo, postulan que esta estrategia de alineación en el lado de entrada ofrece una dirección prometedora y eficiente para el futuro desarrollo de SLMs.