Resumen Técnico: Mejora de Modelos de Lenguaje Grande de Voz mediante Alineación de Comportamiento Reforzado

Declaración del Problema

Los Modelos de Lenguaje Grande de Voz (SpeechLMs) han extendido las capacidades de los LLMs basados en texto a la interacción hablada, pero continúan quedando por detrás de sus contrapartes con prompts de texto en el seguimiento de instrucciones y el razonamiento. Los autores argumentan que esta brecha de rendimiento no es meramente el resultado de errores de Reconocimiento Automático de Voz (ASR) o desajustes de representación. Por el contrario, el problema central radica en la variabilidad de las realizaciones acústicas: la misma instrucción semántica puede ser pronunciada por diferentes hablantes, con acentos, prosodia, condiciones de ruido, emociones y disfluencias variables (por ejemplo, muletillas, repeticiones). Los modelos actuales a menudo fallan en mantener una política de respuesta consistente a través de estas variaciones acústicas, lo que conduce a inestabilidad en el razonamiento y la adherencia a las instrucciones. Las evaluaciones existentes (por ejemplo, DOWIS, VocalBench-DF) demuestran que una alta calidad de ASR no garantiza un comportamiento estable, y los métodos de alineación actuales a menudo tratan los prompts de audio como instancias independientes en lugar de un grupo estructurado de equivalentes semánticos.

Metodología: VIRBA

El artículo propone Alineación de Comportamiento Reforzado Verificable e Invariante (VIRBA), un marco de aprendizaje por refuerzo diseñado para alinear el comportamiento de los SpeechLMs a través de diversas vistas acústicas de la misma intención semántica.

1. Auto-síntesis Multi-vista

En lugar de depender exclusivamente de datos grabados por humanos o tratar cada prompt de audio independientemente, VIRBA construye grupos de instrucciones habladas multi-vista. Para una única instrucción semántica $q_i$, el sistema genera $K$ vistas habladas distintas ($x^{(k)}_i$) utilizando Texto a Voz (TTS) y técnicas de aumento. Estas vistas varían en:

• Identidad del hablante y acento
• Prosodia y tono emocional
• Velocidad de habla y respuesta de la sala
• Condiciones de ruido y disfluencias (muletillas, autocorrecciones, comienzos falsos)

Este proceso crea un conjunto de datos donde múltiples realizaciones acústicas se mapean a una única intención semántica, permitiendo que el modelo aprenda invarianza.

2. Modelado de Recompensa

VIRBA emplea una función de recompensa compuesta $R$ para puntuar las respuestas muestreadas ($y_{i,k,n}$) del modelo $\pi_\theta$. La recompensa combina cuatro componentes distintos:

• Recompensa de Preferencia ($R_{pref}$): Una puntuación controlada por longitud de un juez LLM que compara la respuesta del modelo con una respuesta maestra, asegurando utilidad y coherencia.
• Recompensa Verificable ($R_{ver}$): Comprobaciones de corrección basadas en reglas (coincidencia exacta, F1, corrección de etiquetas, analizadores para restricciones, BLEU/COMET para traducción) para anclar la precisión factual y reducir las alucinaciones.
• Recompensa de Invarianza ($R_{inv}$): Una métrica específica de voz que penaliza la deriva semántica entre las respuestas a diferentes vistas acústicas de la misma instrucción. Garantiza que el modelo no cambie su contenido factual o su comportamiento de rechazo basándose en el hablante o la presencia de disfluencias.
• Recompensa de Razonamiento Adaptativo ($R_{think}$): Una recompensa que fomenta un razonamiento conciso solo cuando mejora la corrección final, evitando que el modelo genere justificaciones largas innecesarias para tareas simples.

3. Optimización de Política Relativa Cruzada Acústica (CA-GRPO)

El objetivo de optimización va más allá del aprendizaje de preferencias por pares (por ejemplo, DPO) que selecciona solo un par "mejor" y "peor". VIRBA utiliza CA-GRPO, que trata a todo el grupo de respuestas a través de todas las vistas acústicas para una única instrucción como la unidad de optimización.

• La función de ventaja $A_{i,k,n}$ se calcula comparando la recompensa de una respuesta específica contra la media y la desviación estándar de la distribución de recompensas de todo el grupo.
• El objetivo maximiza la probabilidad de respuestas de alta recompensa mientras penaliza las desviaciones de la media del grupo, aplicando efectivamente consistencia a través de las vistas acústicas.
• La tubería de entrenamiento incluye una fase de calentamiento supervisado para prevenir el colapso temprano de la política, seguida del objetivo CA-GRPO.

Contribuciones Clave

1. Formalización de la Alineación Acústicamente Invariante: El artículo formaliza la alineación de SpeechLM como un problema de optimización donde las solicitudes habladas semánticamente idénticas deben inducir políticas de respuesta consistentes a través de hablantes, acentos, prosodia, ruido y disfluencias.
2. Marco VIRBA: Introducción de un marco de aprendizaje por refuerzo que construye grupos de instrucciones habladas multi-vista y combina recompensas de preferencia, corrección verificable, invarianza cruzada acústica y razonamiento adaptativo.
3. Objetivo CA-GRPO: Un método novedoso de optimización de política relativa a grupos que explota la distribución completa de recompensas sobre vistas de voz y muestras de respuesta, en lugar de reducir la supervisión a un único par mejor-peor.
4. Evaluación Exhaustiva: Una evaluación rigurosa en seguimiento de instrucciones habladas, robustez ante disfluencias, preguntas y respuestas habladas, razonamiento de audio y traducción de voz a texto, demostrando que las ganancias provienen del mecanismo de alineación y no solo de la escala de datos sintéticos.

Resultados Experimentales

Los autores evaluaron VIRBA utilizando Qwen2-Audio-7B como columna vertebral principal y Qwen2.5-Omni-7B como columna vertebral secundaria.

• Seguimiento de Instrucciones y Robustez: VIRBA logró las tasas de victoria controladas por longitud (LC) más altas en evaluaciones como Spoken-Alpaca, Speech-IFEval y DOWIS. Notablemente, mostró las mayores ganancias en prompts disfluentes y acústicamente perturbados en comparación con líneas base como TTS-SFT, Group-DPO y RL de vista única.
• Razonamiento y Preguntas y Respuestas: En evaluaciones con alto peso en razonamiento (SpeechR, SoundMind, MMAR), VIRBA superó al RL de vista única e igualó o superó a modelos especializados de razonamiento de audio como Step-Audio-R1. El estudio de ablación confirmó que las recompensas verificables y las recompensas de invarianza son críticas para estas ganancias.
• Controles de Robustez: Los experimentos mostraron que la alineación directa de SpeechLM (VIRBA) supera a los sistemas en "cascada" (ASR + LLM de texto) en prompts disfluentes y grabados por humanos, ya que los sistemas en cascada sufren errores de ASR y pérdida de claves paralingüísticas.
• Transferencia de Traducción: Si bien el enfoque principal es la alineación de instrucciones, VIRBA demostró que su entrenamiento preserva las capacidades de traducción de voz a texto, mostrando mejoras modestas pero consistentes sobre las líneas base en FLEURS, CoVoST2 y MuST-C.
• Estudios de Ablación: Eliminar la recompensa de invarianza redujo drásticamente la robustez y la consistencia. Eliminar las recompensas verificables perjudicó el rendimiento en razonamiento y preguntas y respuestas. Reemplazar CA-GRPO con actualizaciones DPO por pares resultó en un rendimiento inferior en todas las métricas, validando el beneficio de utilizar la distribución completa de recompensas del grupo.

Significado y Afirmaciones

El artículo afirma que la brecha persistente entre los LLMs de texto y de voz no es solo un problema de ASR, sino un problema de alineación de comportamiento. Al tratar al "grupo acústico" como la unidad de optimización, VIRBA obliga al modelo a aprender políticas de razonamiento que son estables e invariantes a las variaciones realistas del habla.

Los autores enfatizan que su enfoque lleva la alineación de SpeechLM más allá de la simple imitación del maestro hacia políticas de razonamiento robustas. Los resultados sugieren que las recompensas verificables y la invarianza cruzada acústica son esenciales para manejar la complejidad de la interacción hablada del mundo real, particularmente donde las disfluencias y la variabilidad del hablante desestabilizarían de otro modo el modelo. El trabajo proporciona un camino escalable hacia adelante utilizando datos de voz auto-sintetizados, siempre que el objetivo de entrenamiento recompense explícitamente la consistencia a través de las vistas acústicas.