Resumen Técnico: UniMVU – Puerta Consciente de la Instrucción para la Comprensión de Video Multimodal

1. Declaración del Problema

Los Modelos de Lenguaje Grande de Video preentrenados (Video LLMs) han demostrado capacidades sólidas en el razonamiento visual utilizando cuadros RGB e instrucciones de texto. Sin embargo, enfrentan desafíos significativos al procesar videos acompañados de flujos auxiliares como audio, mapas de profundidad o evidencia temporal densa.

El problema central identificado es la interferencia de modalidades. En los enfoques actuales, los flujos auxiliares a menudo se fusionan uniformemente o se adjuntan como tokens adicionales. Esta estrategia de fusión estática asume una importancia fija para cada modalidad, sin tener en cuenta que la relevancia de una modalidad es dependiente de la consulta. Por ejemplo, el audio es crítico para preguntas sobre habla o instrumentos, pero actúa como ruido para el reconocimiento de color; las pistas de profundidad son esenciales para la disposición espacial, pero redundantes para consultas centradas en la apariencia. La fusión uniforme permite que canales irrelevantes distraigan al modelo, lo que lleva a un rendimiento subóptimo. Los métodos existentes a menudo dependen de la atención implícita del decodificador o de módulos de interacción específicos de la tarea que no abordan explícitamente las dos preguntas de qué tokens dentro de un flujo enfatizar y qué flujo priorizar basándose en la instrucción específica.

2. Metodología: UniMVU

Los autores proponen UniMVU, un marco unificado de comprensión de video multimodal diseñado para realizar una fusión consciente de la instrucción a través de diversas modalidades (video, audio, profundidad/3D, temporal densa) antes de la decodificación del LLM. El marco emplea un mecanismo de puerta dinámico de dos niveles condicionado a la instrucción de texto.

Descripción General de la Arquitectura

UniMVU integra codificadores y proyectores específicos de la modalidad con un bloque de Fusión Equilibrada de Modalidades, seguido de un LLM congelado o adaptado con LoRA. El bloque de fusión consta de tres componentes principales:

1. Secuencia de Tokens Unificada y Autoatención Cruzada entre Modalidades:

   • Todas las entradas (video, audio, profundidad, etc.) se proyectan en un espacio de incrustación común y se concatenan con los tokens de instrucción de texto en una secuencia unificada.
   • Una capa de Autoatención Cruzada entre Modalidades permite interacciones entre los tokens de instrucción y los tokens de modalidad. Crucialmente, los tokens de instrucción permanecen "intactos" (reemplazados por sus incrustaciones originales después de la capa) para evitar que las características de modalidad ruidosas perturben la representación de la instrucción, asegurando un flujo unidireccional de información donde las modalidades se condicionan al texto.

2. Puerta Interna de Modalidad Impulsada por la Instrucción (Nivel de Características):

   • Este módulo refina la secuencia de tokens dentro de cada modalidad.
   • Aprovecha el mapa de atención de la capa cruzada entre modalidades para calcular la relevancia de cada token en relación con la instrucción.
   • La masa de atención desde los tokens de instrucción hacia los tokens de contenido se agrega y normaliza dentro de cada modalidad para producir pesos a nivel de token ($w_{m,t}$). Esto enfatiza las regiones salientes dentro de un flujo mientras suprime las irrelevantes.

3. Puerta de Nivel de Modalidad Impulsada por la Instrucción (Nivel de Flujo):

   • Este módulo asigna un peso global a cada flujo completo de modalidad.
   • Se introduce un Token de Control Aprendible ($t_c$) para cada modalidad para resumir el contenido del flujo.
   • La atención entre los tokens de instrucción y estos tokens de control genera una puntuación de importancia escalar ($\eta_m$) para cada modalidad.
   • Estas puntuaciones se normalizan para producir coeficientes de puerta a nivel de modalidad ($\beta_m$).

Mecanismo de Fusión:
La representación final para una modalidad $m$ se calcula como un refinamiento residual:
$$\hat{H}_m = O_m + \beta_m (w_m \odot O_m)$$
Donde $O_m$ es la salida de la capa de autoatención. Este diseño asegura que la evidencia original se preserve (a través del residual $O_m$) mientras se amplifican los tokens y flujos relevantes para la instrucción. La puerta actúa como una señal de reponderación suave en lugar de un interruptor duro, reduciendo el riesgo de descartar evidencia potencialmente útil.

Entrenamiento y Escalabilidad:

• Los codificadores de modalidades permanecen congelados; solo se entrenan los proyectores, el bloque de fusión y los adaptadores LoRA en el LLM.
• El marco soporta Entrenamiento Unificado Multitarea, donde un único punto de control se entrena a través de diversos conjuntos de datos (Audio-Visual, 3D y QA de Video) sin conectores específicos de la tarea. Las modalidades faltantes se enmascaran y las puertas se renormalizan sobre los flujos disponibles.

3. Contribuciones Clave

• Marco Unificado: Un único modelo capaz de manejar entradas de modalidad mixta (video, audio, profundidad/3D, temporal densa) y generalizar a través de diversas configuraciones de modalidades sin reglas de fusión hechas a mano.
• Puerta Dinámica de Dos Niveles: Un mecanismo impulsado por la instrucción que opera tanto a nivel de token (interno a la modalidad) como a nivel de flujo (nivel de modalidad) para equilibrar adaptativamente la importancia de la modalidad basándose en la consulta.
• Interpretabilidad: El mecanismo de puerta se alinea con la relevancia de la modalidad interpretable por humanos (por ejemplo, aumentar el peso del audio para preguntas acústicas), proporcionando una superficie de decisión transparente.
• Escalabilidad: El enfoque escala a diferentes tamaños de modelo (0.5B y 7B) y soporta entrenamiento unificado a través de múltiples familias de tareas, eliminando la necesidad de conectores separados para tareas Audio-Visuales, 3D o de video denso.

4. Resultados Experimentales

Los autores evaluaron UniMVU en seis puntos de referencia: AVQA, AVSD, Music-AVQA (Audio-Visual), ScanQA, SQA3D (3D) y MVBench (Video).

• Mejoras de Rendimiento: UniMVU supera consistentemente a las líneas base de fusión estática (específicamente variantes de PAVE y LLaVA-OV).
  • En Music-AVQA, UniMVU logró una mejora del +4.6% en la precisión general (0.5B) y del +1.8% (7B) sobre PAVE.
  • En AVSD, logró una ganancia de +12.2 puntos en CIDEr (0.5B) y +13.5 (7B).
  • En SQA3D, UniMVU mejoró EM@1 en +6.7 (0.5B) y mostró ganancias significativas en preguntas de "Qué" y "Cómo".
  • En MVBench, el modelo unificado (UniMVU†) logró la puntuación promedio más alta, con ganancias particularmente grandes en subtareas que demandan tiempo como Predicción de Acción (+21.0) y Secuencia de Acción (+16.5) a la escala de 0.5B.
• Entrenamiento Unificado: Un único punto de control entrenado conjuntamente en todas las tareas (UniMVU†) mantuvo un rendimiento sólido, demostrando que la interfaz de puerta transfiere exitosamente el comportamiento de selección de modalidades entre diferentes familias de tareas.
• Estudios de Ablación:
  • Eliminar cualquiera de las puertas interna de modalidad o de nivel de modalidad resultó en caídas de rendimiento, confirmando la necesidad de ambos niveles.
  • El uso de un único token de control unificado superó a los tokens específicos de modalidad.
  • La conexión residual en la fórmula de puerta fue crítica; eliminarla degradó el rendimiento.
  • La puerta libre de parámetros (usando puntuaciones de atención directamente) superó a las cabezas de puntuación MLP aprendidas o de autoatención cruzada, sugiriendo que las puntuaciones derivadas de la atención proporcionan un fuerte sesgo inductivo.

5. Significado y Afirmaciones

El artículo afirma que UniMVU proporciona una receta simple y unificada para la comprensión de video multimodal consciente de la instrucción. Su significado principal radica en abordar la interferencia de modalidades enrutando explícitamente la información basándose en la instrucción antes de que el LLM genere una respuesta.

• Mitigación de la Interferencia: Al reponderar dinámicamente flujos y tokens, el modelo evita que las modalidades irrelevantes distraigan al decodificador, una limitación de la fusión uniforme.
• Generalización: El marco demuestra que una única interfaz de puerta puede manejar entradas heterogéneas (audio, 3D, video denso) sin requerir arquitecturas separadas y específicas de la tarea.
• Eficiencia y Transparencia: El método es ligero (añade parámetros mínimos) y ofrece interpretabilidad, ya que los pesos de puerta reflejan directamente el enfoque del modelo en tipos de evidencia específicos requeridos por la consulta.

Los autores concluyen que UniMVU permite a los Video LLMs aprovechar mejor los flujos auxiliares sincronizados, logrando resultados de última generación en diversos puntos de referencia mientras ofrece una ruta escalable para la futura integración multimodal.