Resumen Técnico: Escapar del Prior Lingüístico: Mitigación del Colapso de Modalidad en Etapas Finales en el Razonamiento de Audio mediante Optimización de Políticas Conscientes de Modalidad

1. Declaración del Problema

Los modelos de lenguaje grandes (LLM) de audio y multimodales han demostrado capacidades impresionantes de razonamiento cruzado entre modalidades. Sin embargo, aplicar algoritmos estándar de post-entrenamiento de aprendizaje por refuerzo (RL) (por ejemplo, PPO, DPO, GRPO) a estos modelos expone una vulnerabilidad estructural crítica: el colapso de modalidad en etapas finales.

Los métodos estándar de RL aplican gradientes de política uniformes en todos los tokens generados, asumiendo que cada token contribuye por igual a la señal de aprendizaje. En la generación cruzada de modalidades, esta suposición es defectuosa. Muchos tokens sirven como andamiaje lingüístico predecible por el prior lingüístico interno del modelo, mientras que un subconjunto crítico depende enteramente de la modalidad fuente no textual (por ejemplo, audio crudo) para capturar atributos acústicos esenciales. La ponderación uniforme desperdicia el presupuesto de optimización en texto agnóstico a la modalidad y diluye la señal de aprendizaje para los tokens que requieren una anclaje cruzado de modalidades activo.

Esta ineficiencia impulra un modo de fallo severo durante la generación extendida de Cadena de Pensamiento (CoT): a medida que la longitud de la traza de razonamiento aumenta, los modelos abandonan progresivamente la señal primaria de fuente no comprimida en favor de priores textuales comprimidos. Esto conduce a "alucinaciones seguras pero sin anclaje", donde el modelo se desconecta epistémicamente del audio de origen. Crucialmente, a medida que el modelo sucumbe a su prior lingüístico, se vuelve patológicamente seguro, lo que hace que las intervenciones estándar basadas en entropía fallen en recuperar el anclaje perdido.

2. Metodología: Optimización de Políticas Conscientes de Modalidad (MAPO)

Para abordar estos desafíos, los autores proponen la Optimización de Políticas Conscientes de Modalidad (MAPO), un nuevo marco de aprendizaje por refuerzo de doble rama construido sobre la Optimización de Políticas Relativas de Grupo (GRPO). MAPO modifica el objetivo de aprendizaje mediante dos mecanismos complementarios diseñados para romper el prior lingüístico y hacer cumplir un anclaje cruzado de modalidades sostenido.

2.1 Métricas Principales

Antes de definir el objetivo de optimización, MAPO introduce dos métricas cuantitativas:

• Masa de Atención de Audio ($a_t$): Una medida de la masa de probabilidad agregada enrutada a la secuencia de entrada cruzada de modalidades dentro de la distribución de autoatención del modelo. Sirve como un proxy para el ancho de banda perceptual activo. El análisis empírico muestra que esta masa decae significativamente en la generación de etapas finales, lo que indica que el modelo deja de "escuchar".
• Entropía Diferencial Cruzada de Modalidad ($\Delta h_t$): La diferencia de entropía a nivel de token entre un modelo de referencia congelado solo de texto ($\pi_{text-ref}$) y la política multimodal en vivo ($\pi_\theta$).
  $$\Delta h_t = H(\pi_{text-ref}(\cdot | y_{<t}, x_{text})) - H(\pi_\theta(\cdot | y_{<t}, x))$$
  Esta métrica aísla la ganancia de información proporcionada por la modalidad no textual. Un $\Delta h_t$ alto indica tokens donde la fuente de audio altera significativamente la distribución predictiva, identificando "tokens clave" que requieren percepción cruzada de modalidades.

2.2 Objetivo de Optimización de Doble Rama

El objetivo total de MAPO se define como:
$$\mathcal{L}_{MAPO} = \mathcal{L}_{PG}(\tilde{\omega}) + \beta \mathcal{L}_{KL} + \eta \mathcal{L}_{attn}$$

A. Máscara de Relevancia de Modalidad y Gradiente de Política Reponderado ($\mathcal{L}_{PG}$)

El GRPO estándar promedia las pérdidas de tokens uniformemente ($1/T$). MAPO reemplaza esto con una Máscara de Relevancia de Modalidad ($\tilde{\omega}$) dinámica y a nivel de token, derivada de la entropía diferencial cruzada de modalidades.

• Mecanismo: La máscara repondera el gradiente de política para asignar desproporcionadamente el presupuesto de optimización hacia los tokens donde el audio de origen influye fuertemente en la distribución predictiva.
• Implementación: La máscara se construye aplicando un softmax sobre la entropía diferencial absoluta $|\Delta h_t|$, escalada por una temperatura dependiente de la longitud y limitada para evitar una amplificación extrema. La pérdida final se normaliza por la suma de los pesos para mantener una tasa de aprendizaje estable.
• Efecto: Esto aumenta dinámicamente la contribución del gradiente de los tokens críticos para la modalidad mientras reduce la ponderación del andamiaje lingüístico.

B. Rama de Pérdida de Atención Auxiliar ($\mathcal{L}_{attn}$)

Mientras que la máscara corrige el presupuesto de gradiente, depende de que el modelo retenga cierta conciencia latente de la señal. Para combatir directamente el colapso en etapas finales, MAPO introduce una rama de pérdida auxiliar que penaliza el descuido de la señal de origen profundamente dentro de la cadena de razonamiento.

• Mecanismo: Esta rama aplica una penalización dirigida y escalada temporalmente a las distribuciones de atención internas del modelo. Penaliza los tokens con baja masa de atención de audio ($a_t$) específicamente en posiciones lingüísticamente sustantivas (aisladas mediante una puerta de categoría gramatical).
• Escalado Temporal: La penalización se pondera mediante una máscara de relevancia inversa (dirigida a tokens con entropía diferencial sospechosamente baja) y un peso temporal no decreciente $(t/T)^\kappa$, concentrando la penalización en la cola final de la secuencia donde típicamente ocurre el colapso.
• Flujo de Gradiente: Los gradientes de esta rama fluyen estrictamente a través de la masa de atención de audio directamente hacia los parámetros de atención multi-cabeza del transformador (proyecciones de Consulta y Clave), dejando la cabeza de modelado de lenguaje imperturbada. Esto obliga al modelo a sostener activamente el anclaje cruzado de modalidades profundamente en la traza de razonamiento.

3. Contribuciones Clave

1. Formalización del Colapso de Modalidad en Etapas Finales: Los autores identifican y formalizan las limitaciones de la ponderación uniforme de tokens en el RL cruzado de modalidades, destacando cómo el prior lingüístico enmascara la verdadera incertidumbre del modelo durante el razonamiento de largo horizonte, lo que lleva a alucinaciones seguras.
2. Marco MAPO: Proponen un marco de optimización de doble rama que aprovecha la entropía diferencial cruzada de modalidades para priorizar los tokens críticos para la modalidad e introduce una penalización de atención dirigida para hacer cumplir un anclaje cruzado de modalidades sostenido.
3. Validación Empírica: A través de una evaluación extensa en tareas complejas de razonamiento de audio (voz, música, eventos sonoros), demuestran que MAPO mejora tanto la fidelidad del razonamiento de formato largo como la robustez frente a alucinaciones de prior lingüístico, estableciendo nuevos resultados de vanguardia entre modelos de pesos abiertos.

4. Resultados Experimentales

Los autores evaluaron MAPO utilizando el modelo Qwen3-Omni-30B-A3B-Thinking como política base, entrenado en una mezcla diversa de conjuntos de datos de preguntas y respuestas de audio (incluyendo AVQA, AudioSet, LibriTTS-R y MusicCaps).

4.1 Estudios de Ablación

• Impacto de Componentes: El GRPO estándar en el modelo base degradó ligeramente el rendimiento (Promedio: 70.21 $\to$ 69.51). Añadir la máscara de relevancia de modalidad recuperó el rendimiento (70.53). Integrar la pérdida de atención auxiliar produjo un salto sustancial (71.51), validando que hacer cumplir estructuralmente un anclaje de fuente sostenido mitiga el colapso.
• Ajuste Fino Completo: MAPO mantuvo una ventaja clara sobre el GRPO estándar incluso bajo actualizaciones de parámetros completos, logrando un promedio general de 73.34 en la prueba de referencia de la Fase 2 final.

4.2 Rendimiento en Pruebas de Referencia

• Pruebas de Referencia Centradas en Modalidad (MMAU, MMAR): MAPO logró un nuevo estado del arte para modelos de pesos abiertos. En MMAU, obtuvo una puntuación de 77.80, igualando al modelo propietario líder (Nova 2 Omni) y superando sustancialmente a Gemini 2.5 Pro (71.60) y GPT-4o Audio (62.50). En comparación con su línea base Qwen3-Omni-Thinking, MAPO mejoró MMAU en +2.80 y MMAR en +4.00.
• Capacidad y Seguimiento de Instrucciones (MMSU, MMAU-Pro): MAPO obtuvo la puntuación general más alta en MMSU (79.36), con mejoras simultáneas en Percepción y Razonamiento. Notablemente, en MMAU-Pro, elevó la puntuación de Seguimiento de Instrucciones de Audio (AIF) de 62.07 a 95.40, superando a modelos altamente optimizados como Gemini 2.5 Flash (95.10).

4.3 Análisis Cualitativo

Los estudios de caso revelaron que, sin la rama de pérdida de atención, los modelos a menudo identificaban correctamente los indicios acústicos iniciales pero luego se desviaban hacia priores textuales incorrectos (por ejemplo, identificar erróneamente un "Carro tirado por caballos" como un "Tren" debido al estruendo rítmico). El marco completo de MAPO mantenía la atención al audio profundamente en la traza de razonamiento, permitiendo al modelo refinar indicios ambiguos y rechazar priores engañosos.

5. Significado y Afirmaciones

El artículo afirma que MAPO ofrece una base prometedora para mitigar el colapso epistémico en diversos sistemas multimodales. Su significado radica en tres áreas:

1. Corrección Estructural: Aborda una ineficiencia estructural fundamental en el post-entrenamiento estándar de RL (ponderación uniforme de tokens) que hace que los modelos abandonen las modalidades de origen durante el razonamiento extendido.
2. Dependencia de Señal Nativa: A diferencia de métodos anteriores que dependen de modelos maestros externos o sesgos inductivos específicos de dominio (por ejemplo, métricas de similitud visual), MAPO depende estrictamente de señales estadísticas nativas (pesos de atención y entropía predictiva) derivadas del propio modelo.
3. Generalizabilidad: Aunque validado en audio, los autores postulan que los mecanismos de reponderación de tokens y dirección de atención del marco son agnósticos a la modalidad, sugiriendo aplicabilidad a otras modalidades continuas no textuales como la visión y el video.

Los autores notan explícitamente que MAPO es un marco de alineación y regularización, no un mecanismo de inyección de capacidades. Asegura que los modelos aprovechen plenamente las capacidades perceptuales y de razonamiento existentes, pero no sintetiza capacidades ausentes en el pre-entrenamiento base. Además, observan que aplicar MAPO a modelos ajustados para instrucciones que carecen de capacidades intrínsecas de CoT produce un éxito limitado, ya que el prior subyacente de brevedad restringe el potencial de optimización.