AV-Master: Dual-Path Comprehensive Perception Makes Better Audio-Visual Question Answering

1. Declaración del Problema

La Respuesta a Preguntas Audiovisuales (AVQA) requiere que los modelos razonen sobre escenas audiovisuales complejas para responder a diversas preguntas. Los métodos existentes enfrentan dos limitaciones fundamentales:

1. Redundancia y Fragmentación Temporal: Los métodos de muestreo actuales utilizan либо selección discreta (por ejemplo, uniforme o top-k), lo que arriesga perder pistas temporales sutiles y causar alucinaciones, либо muestreo denso continuo, que introduce una redundancia significativa y obstaculiza la eficiencia del razonamiento.
2. Dependencia de Modalidad Inflexible: La mayoría de los modelos tratan las modalidades de audio y visual como complementarias o las fusionan antes de evaluar su importancia. No logran identificar dinámicamente qué modalidad (audio, visual o conjunta) es dominante para una pregunta específica. Las estrategias existentes de ponderación de modalidades a menudo ocurren después del entrelazamiento multimodal, lo que dificulta mejorar explícitamente la evidencia unimodal relevante para la pregunta.

2. Metodología: AV-Master

Los autores proponen AV-Master, un marco novedoso que presenta una arquitectura de Aprendizaje Colaborativo de Doble Vía. Consiste en dos vías paralelas que interactúan para producir la respuesta final:

A. Vía de Percepción Temporal Dinámica (TDPP)

Esta vía se centra en extraer evidencia temporal de grano fino y relevante para la pregunta a partir de flujos redundantes.

• Muestreo de Enfoque Adaptativo Dinámico: En lugar de un muestreo fijo, el modelo utiliza plantillas predefinidas ($A_{cls}, V_{cls}$) que se actualizan iterativamente desde el paso de tiempo $0$ hasta $T$.
  • Emplea Bloques de Autoatención (SAB) con sesgos aprendibles para resaltar regiones clave con variaciones significativas.
  • Utiliza Bloques de Cruzatención (CAB) para interactuar entre las características del cuadro actual y las características acumuladas de la plantilla.
  • Este proceso refina progresivamente características gruesas en "características de enfoque" de grano fino ($\tilde{F}_v, \tilde{F}_a$) que capturan los segmentos más relevantes.
• Fusión Clave Audiovisual: Las características de enfoque refinadas se fusionan con características de pregunta a nivel de palabra mediante un decodificador multimodal para crear un ancla semántica refinada ($F_{fu}$).

B. Vía de Activación de Preferencia Global (GPAP)

Esta vía aborda la dependencia de modalidad condicionada a la pregunta desacoplando las modalidades antes de la fusión.

• Modelado Independiente de Preferencias: Procesa las características visuales y de audio de forma independiente utilizando Autoatención y Cruzatención (guiadas por la pregunta) para generar Características de Preferencia Visual ($F^p_v$) y Características de Preferencia de Audio ($F^p_a$).
• Activación Global: Estas características representan el sesgo global del modelo hacia una modalidad específica para la pregunta dada, proporcionando una perspectiva auxiliar que complementa las pistas temporales de grano fino de la TDPP.

C. Estrategia de Optimización

El modelo se entrena utilizando una Pérdida Contrastiva de Doble Vía junto con pérdidas de predicción estándar:

1. Pérdida de Respuesta ($L_{qa}$): Pérdida estándar de entropía cruzada para la predicción de la respuesta final desde la vía fusionada.
2. Pérdidas de Preferencia ($L^p_v, L^p_a$): Pérdidas calculadas a partir de los decodificadores independientes de audio y visual para asegurar que cada modalidad aprenda su capacidad predictiva específica.
3. Pérdida Contrastiva ($L_c$): Una pérdida novedosa que maximiza la similitud entre la característica fusionada ($F_{fu}$) y las características de preferencia ($F^p_v, F^p_a$) de la muestra positiva, mientras minimiza la similitud con las muestras negativas. Esto impone consistencia entre la percepción temporal dinámica y la activación de preferencia global.

3. Contribuciones Clave

1. Arquitectura de Doble Vía: Un marco unificado que combina Percepción Temporal Dinámica (para localización de grano fino) y Activación de Preferencia Global (para selección de modalidad), abordando simultáneamente la redundancia temporal y el desequilibrio de modalidades.
2. Muestreo de Enfoque Adaptativo Dinámico: Un mecanismo que combina los beneficios del muestreo discreto y continuo. Utiliza actualizaciones iterativas de plantillas con sesgos aprendibles para extraer progresivamente información crítica mientras suprime la redundancia.
3. Modelado de Modalidad Pre-Entrelazamiento: A diferencia de los métodos anteriores que ponderan las modalidades después de la fusión, AV-Master modela las preferencias de modalidad directamente a partir de representaciones unimodales iniciales, permitiendo una guía condicionada a la pregunta más explícita y efectiva.
4. Aprendizaje Contrastivo de Doble Vía: Un objetivo de entrenamiento que alinea la vía temporal de grano fino con la vía de preferencia global, mejorando la capacidad discriminativa y la estabilidad del modelo.

4. Resultados Experimentales

El modelo fue evaluado en cuatro conjuntos de datos de gran escala: MUSIC-AVQA, MUSIC-AVQA-R, MUSIC-AVQA-v2.0 y AVQA.

• Rendimiento de Vanguardia: AV-Master logró una precisión del 78.51% en MUSIC-AVQA, superando al SOTA anterior (QA-TIGER, 77.62%). Mostró ganancias particularmente fuertes en tareas de razonamiento complejo como el conteo (por ejemplo, +2.16% en A-Counting).
• Robustez: En el conjunto de datos orientado a la robustez MUSIC-AVQA-R (con preguntas reformuladas y distribuciones de cola larga), AV-Master logró un 71.19%, una mejora de +3.20% sobre el mejor anterior, demostrando una generalización superior a diversas formulaciones de preguntas.
• Eficiencia vs. Rendimiento:
  • AV-Master utiliza 34M de parámetros, significativamente menos que QA-TIGER (63M) y los grandes modelos preentrenados (por ejemplo, 7B-13B parámetros).
  • Logra una mayor precisión que los métodos basados en preentrenamiento (como VideoLLaMa, AVicuna) en configuraciones de cero disparos (zero-shot) y compite favorablemente con modelos grandes ajustados, a pesar de tener una huella mucho más pequeña.
• Estudios de Ablación:
  • Eliminar la TDPP causó la mayor caída de rendimiento, confirmando la importancia de la percepción temporal de grano fino.
  • Eliminar la GPAP redujo significativamente el rendimiento, validando la necesidad del modelado de preferencia de modalidad global.
  • Se demostró que la pérdida contrastiva de doble vía es crucial para aprender representaciones cruzadas modales discriminativas.

5. Significado

• Innovación Arquitectónica: AV-Master cambia el paradigma de "agregar-luego-razonar" a "percibir-luego-activar", demostrando que el modelado explícito del enfoque temporal y la preferencia de modalidad antes de la fusión profunda produce capacidades de razonamiento superiores.
• Eficiencia de Recursos: Demuestra que los sesgos inductivos cuidadosamente diseñados (doble vía, muestreo adaptativo) pueden superar a los modelos preentrenados masivos en dominios específicos (AVQA) sin requerir miles de millones de parámetros o conjuntos de datos de preentrenamiento masivos.
• Aplicación Práctica: La capacidad del modelo para manejar datos redundantes y adaptarse a la importancia variable de las modalidades lo hace altamente adecuado para escenarios del mundo real que involucran entornos audiovisuales complejos y dinámicos, donde la localización temporal precisa y la selección de modalidades son críticas.