Resumen Técnico: Separar Primero, Fusionar Después (SFFL)

1. Declaración del Problema

Los Modelos de Lenguaje Grandes Audio-Visuales (AVLM) actuales a menudo sufren de interferencia cruzada de modalidades, donde la información de una modalidad (por ejemplo, visual) sesga indebidamente la interpretación de otra (por ejemplo, audio), lo que conduce a alucinaciones. Por ejemplo, un modelo podría atribuir un sonido a un animal visible en el video, incluso si el audio no contiene evidencia de ese sonido. Los autores atribuyen esto a dos factores principales:

1. Razonamiento Conjunto No Controlado: La mayoría de los AVLM existentes concatenan tokens de audio y visual en un solo flujo, permitiendo que señales irrelevantes de una modalidad interfieran con el proceso de razonamiento de la otra.
2. Sesgo de Modalidad: Los modelos actuales exhiben un sesgo dominante hacia lo visual, a menudo dependiendo en exceso de señales visuales mientras subutilizan o malinterpretan la evidencia auditiva.

2. Metodología: Separar Primero, Fusionar Después (SFFL)

Los autores proponen SFFL, un marco de razonamiento estructurado diseñado para aislar el procesamiento específico de cada modalidad antes de integrar la evidencia. El marco consta de tres componentes principales:

A. Pipeline de Datos de Modalidad de Evidencia Preferida (PEM)

Para entrenar al modelo a identificar qué modalidad proporciona la evidencia decisiva para una pregunta específica, los autores construyeron el conjunto de datos AVQA-PEM-14K.

• Proceso: Para cada instancia de AVQA, generan respuestas de Cadena de Pensamiento (CoT) bajo tres configuraciones de entrada: Solo Audio (A), Solo Video (V) y Audio-Visual (AV).
• Etiquetado: Basado en las tasas de consistencia y corrección entre estas configuraciones, las instancias se etiquetan como:
  • PEM = Audio: Solucionable con A y AV, pero no con V.
  • PEM = Visual: Solucionable con V y AV, pero no con A.
  • PEM = Audio-Visual: Solucionable solo con AV (requiriendo ambos).
• Uso: Estas etiquetas sirven como una señal auxiliar para fomentar preferencias de modalidad dependientes de la instancia.

B. Razonamiento Estructurado con Máscara de Atención Asimétrica de Modalidad (MAAM)

SFFL impone un paradigma de razonamiento "Separar-luego-Fusionar" utilizando etiquetas de control específicas (<mod>, <v>, <a>, <sum>, <ans>) para estructurar la salida.

• Separación: El modelo genera trazas de razonamiento distintas para las entradas visuales (<v>) y de audio (<a>) de forma independiente.
• Fusión: La evidencia solo se integra en la etapa <sum> antes de la respuesta final.
• MAAM: Para evitar la filtración de información durante las etapas de razonamiento separadas (donde la atención causal estándar podría permitir que un token atienda a la entrada de la modalidad incorrecta), los autores introducen una Máscara de Atención Asimétrica de Modalidad. Esta máscara bloquea explícitamente:
  • Que los tokens de razonamiento visual atiendan a los tokens de entrada de audio.
  • Que los tokens de razonamiento de audio atiendan a los tokens de entrada de video o al tramo de razonamiento visual.

C. Aprendizaje por Refuerzo en Dos Etapas (GRPO)

El modelo se entrena utilizando Optimización de Política Relativa de Grupo (GRPO) con dos etapas y funciones de recompensa distintas:

1. Etapa 1 (Estructura y Preferencia): Optimiza la Recompensa de Preferencia de Modalidad y Estructura ($R_{mps}$). El modelo es recompensado por identificar correctamente la PEM y adherirse a la estructura de razonamiento separada.
2. Etapa 2 (Precisión y Estructura): Optimiza una suma ponderada de la Recompensa de Precisión de Respuesta ($R_{acc}$) y la recompensa de estructura. Esta etapa refina la capacidad del modelo para producir respuestas correctas mientras mantiene la estructura de razonamiento aislada.

3. Contribuciones Clave

1. Marco SFFL: Un paradigma de razonamiento novedoso que impone el aislamiento de modalidades durante la etapa de Cadena de Pensamiento y retrasa la fusión hasta la etapa de integración de evidencia, previniendo la interferencia cruzada de modalidades prematura.
2. Pipeline de Datos PEM: Un método para construir automáticamente datos de entrenamiento con etiquetas de "Modalidad de Evidencia Preferida", permitiendo que el modelo aprenda a depender de modalidades específicas según la instancia.
3. Máscara de Atención Asimétrica de Modalidad (MAAM): Un mecanismo para imponer estrictamente el aislamiento de modalidades durante la generación de tokens, abordando el entrelazamiento estructural de la información audio-visual en los mecanismos de atención estándar.
4. Estrategia de Entrenamiento GRPO en Dos Etapas: Una estrategia de entrenamiento que primero alinea la preferencia de evidencia y la estructura de razonamiento del modelo, y luego optimiza la precisión de la respuesta, equilibrando robustez y rendimiento.

4. Resultados Experimentales

Los autores evaluaron SFFL en AVHBench (alucinación cruzada de modalidades) y en tres benchmarks generales de AVQA (AVQA, Valor32k-AVQA v2.0, MUSIC-AVQA).

• Mitigación de Alucinaciones: En el benchmark de alucinación cruzada de modalidades AVHBench, SFFL logró una ganancia relativa promedio del 11.17% en comparación con las líneas base.
• Rendimiento General: En los benchmarks generales de AVQA, SFFL obtuvo una ganancia relativa promedio del 5.16%.
• Ganancias Específicas: Utilizando la arquitectura base Qwen3-Omni-30B, SFFL mejoró la puntuación promedio de alucinación a 81.29 (vs. 73.12 en cero disparos) y el promedio general de preguntas y respuestas a 80.24.
• Estudios de Ablación:
  • SFR (Razonamiento Separar-luego-Fusionar): Mejoró principalmente el rendimiento en tareas que requieren consistencia entre modalidades (MIS), reduciendo la interferencia.
  • MAAM: Proporcionó ganancias consistentes y significativas en todas las métricas al suprimir eficazmente la filtración cruzada de modalidades.
  • Estrategia de Entrenamiento: El enfoque GRPO en dos etapas superó tanto a las líneas base de SFT como a las de GRPO con recompensa única, demostrando la necesidad de alinear la preferencia de modalidades antes de optimizar la precisión de la respuesta.

5. Significado y Afirmaciones

El artículo afirma que SFFL ofrece una solución efectiva a la interferencia cruzada de modalidades al reestructurar fundamentalmente cómo los AVLM procesan la información. En lugar de depender de restricciones heurísticas o correcciones posteriores costosas, SFFL aborda el entrelazamiento estructural de los datos de audio y visual en la fuente.

Los autores enfatizan que su método no inyecta nuevo conocimiento, sino que desbloquea la capacidad latente de las arquitecturas base existentes. Al alinear el proceso de razonamiento del modelo con los requisitos de evidencia específicos de la instancia (mediante PEM) y prevenir la filtración de información (mediante MAAM), el marco mejora significativamente tanto la precisión como la robustez del razonamiento audio-visual, particularmente en escenarios propensos a alucinaciones.