Closing the Modality Reasoning Gap for Speech Large Language Models

Resumen Técnico: TARS (Trajectory Alignment for Reasoning in Speech)

1. El Problema: La Brecha de Razonamiento de Modalidad

A pesar de los avances recientes en los Modelos de Lenguaje Grandes de Voz (Speech LLMs), existe una deficiencia crítica conocida como brecha de razonamiento de modalidad.

• Fenómeno: El rendimiento de razonamiento de estos modelos con entradas de voz es significativamente inferior al obtenido con entradas de texto, incluso cuando se utilizan las mismas arquitecturas base.
• Causas Identificadas:
  • Deriva Representacional (Representational Drift): Las representaciones ocultas (hidden states) en las capas del Transformer divergen entre las trayectorias de procesamiento de voz y texto a medida que avanza la inferencia.
  • Desviación de Comportamiento: En tareas de razonamiento de cadena larga, los errores iniciales en la modalidad de voz se propagan y amplifican, llevando al modelo a estados fuera de distribución (OOD) y causando fallos lógicos.
• Limitaciones de Métodos Anteriores:
  • Fusión a nivel de entrada: Solo alinean superficialmente las representaciones iniciales, pero no corrigen la deriva interna.
  • Supervisión de salida (Distillation/SFT): Utilizan un enfoque "off-policy" que fuerza al modelo a imitar tokens específicos de texto. Esto sufre de sesgo de exposición: un solo error de token desvía al modelo de la trayectoria de referencia, haciendo que la supervisión estricta sea ineficaz y poco robusta.

2. Metodología: TARS (Trajectory Alignment for Reasoning in Speech)

Los autores proponen TARS, un marco de Aprendizaje por Refuerzo (RL) on-policy diseñado para alinear las trayectorias de razonamiento de voz con las de texto sin modificar la arquitectura del modelo.

Componentes Clave del Marco:

• Diseño de Recompensa Asimétrica:
  El objetivo es optimizar la política $\pi_\theta$ utilizando una recompensa total compuesta por tres señales:
  $$R_{total} = R_{base} + \alpha \cdot R_{rep} + \beta \cdot R_{beh}$$
  Donde:

  1. Recompensa Base ($R_{base}$): Evalúa la precisión de la tarea y el formato de salida (similar a GRPO estándar).
  2. Alineación de Representación ($R_{rep}$):
     • Objetivo: Mitigar la deriva representacional.
     • Mecanismo: Calcula la similitud coseno entre los estados ocultos promediados (layer-wise) de la respuesta generada por voz y una referencia de texto correcta generada por la misma política actual.
     • Ventaja: Proporciona una señal densa a nivel de capa interna, guiando al modelo incluso cuando la precisión de la tarea es cero.
  3. Alineación de Comportamiento ($R_{beh}$):
     • Objetivo: Garantizar consistencia semántica en la salida final.
     • Mecanismo: Utiliza un modelo de incrustación (embedding) externo para medir la similitud semántica entre la respuesta final de voz y la referencia de texto.
     • Ventaja: Permite múltiples trayectorias de razonamiento válidas siempre que el resultado semántico sea consistente.

• Optimización con GRPO y Normalización Específica:

  • Se utiliza Group Relative Policy Optimization (GRPO) para optimizar la política.
  • Normalización Específica de Modalidad: Dado que las respuestas de texto suelen tener recompensas base más altas que las de voz, se calculan las ventajas (advantages) por separado para cada modalidad (voz y texto) dentro del grupo. Esto evita que las muestras de voz reciban sistemáticamente ventajas negativas que supriman el aprendizaje.
  • Enfoque On-Policy: El modelo utiliza sus propias generaciones de texto como referencia móvil ("teacher") para guiar las generaciones de voz, permitiendo una co-evolución de ambas capacidades.

3. Contribuciones Principales

1. Marco de Alineación de Trayectorias: Se introduce el primer marco de RL on-policy que alinea explícitamente las trayectorias de razonamiento de voz con las de texto, cerrando la brecha sin cambios arquitectónicos.
2. Recompensa Densa Asimétrica: Propone un diseño de recompensa innovador que combina señales densas de alineación interna (representación) y externa (comportamiento), superando las limitaciones de las recompensas binarias y escasas tradicionales.
3. Rendimiento State-of-the-Art (SOTA): Logra el mejor rendimiento en modelos de escala 7B en benchmarks de razonamiento complejo, demostrando que el aprendizaje de voz puede incluso mejorar el razonamiento en texto.

4. Resultados Experimentales

Los experimentos se realizaron en modelos base de ~7B parámetros (Qwen2.5-Omni y Phi-4-MM) en los benchmarks MMSU (conocimiento multi-domino) y OBQA (ciencias y sentido común).

• Cierre de la Brecha:
  • En Phi-4-MM, el método TARS alcanzó un MRR (Tasa de Recuperación de Modalidad) de 100.45%, superando incluso la precisión original del texto (78.39% vs 79.80% en audio).
  • En Qwen2.5-Omni, se logró un MRR de 98.89%, superando significativamente a métodos de alineación cruzada existentes como SALAD y MiniCPM-o.
• Análisis de Componentes:
  • La combinación de $R_{rep}$ y $R_{beh}$ fue superior a usar solo uno. $R_{rep}$ redujo la deriva en las capas medias del modelo, mientras que $R_{beh}$ aseguró la coherencia semántica final.
  • La alineación no degradó la capacidad de razonamiento en texto; por el contrario, mejoró ligeramente el rendimiento en texto, sugiriendo un efecto de transferencia de conocimiento positivo.
• Generalización: El modelo mantuvo su capacidad para procesar características paralingüísticas (acentos, prosodia) y generalizó bien a tareas de preguntas abiertas con voz real (SD-QA), evitando la regresión observada en otros métodos.

5. Significado e Impacto

Este trabajo es fundamental para el futuro de los asistentes de voz inteligentes y los sistemas multimodales:

• Superación de la Dependencia de ASR: Demuestra que procesar señales de voz directamente (end-to-end) puede superar a los sistemas en cascada (ASR + LLM de texto) al evitar errores de transcripción que rompen la lógica de razonamiento.
• Nueva Paradigma de Entrenamiento: Cambia el enfoque de "imitar tokens de texto" a "alinear trayectorias de razonamiento", lo cual es más robusto para tareas complejas donde la lógica es más importante que la forma exacta de la salida.
• Eficiencia: El enfoque on-policy introduce un sobrecosto computacional marginal (~4.4%) comparado con GRPO estándar, pero ofrece mejoras sustanciales en capacidades de razonamiento.

En conclusión, TARS demuestra que es posible cerrar la brecha de razonamiento entre voz y texto mediante una alineación dinámica y densa de las representaciones internas y el comportamiento semántico, estableciendo un nuevo estándar para los LLMs de voz de escala 7B.