Resumen Técnico: AVOC – Mejora de la comprensión de audio y video a nivel de hora mediante la compresión de tokens inspirada en la recuperación

1. Planteamiento del problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han logrado un éxito significativo en tareas de audio-video de formato corto. Sin embargo, extender estas capacidades a la comprensión de audio-video de formato largo a nivel de hora enfrenta dos cuellos de botella principales:

1. Limitaciones de la ventana de contexto: Las secuencias masivas de tokens generadas por video de larga duración y audio de alta frecuencia de muestreo exceden las ventanas de contexto de los MLLMs actuales.
2. Redundancia de información: Los flujos de audio-video sin procesar contienen una redundancia sustancial. Las estrategias de reducción ingenuas (por ejemplo, el muestreo disperso uniforme) a menudo pierden eventos críticos de corta duración, mientras que el muestreo denso agota los presupuestos de contexto, lo que conduce a la truncación de secuencias y a la dilución de pistas clave.

Los métodos de compresión existentes para los LLMs Omni-modales suelen depender de diseños asimétricos y unidireccionales (por ejemplo, usar el audio para podar el video o viceversa). Estos enfoques corren el riesgo de descartar información crítica si la modalidad "guía" proporciona señales débiles o dispersas, fallando al capturar la naturaleza compleja e interdependiente del contenido multimodal del mundo real, como películas o reuniones.

2. Metodología: Marco de trabajo AVOC

Los autores proponen AVOC, un marco que redefine la compresión de tokens multimodales como un problema de recuperación top-K (top-K retrieval). Dado un presupuesto de contexto fijo $K$ y un gran conjunto de tokens candidatos, el objetivo es recuperar un subconjset compacto que respalde mejor la respuesta a una consulta del usuario. AVOC integra tres criterios clásicos de Recuperación de Información (IR) en un flujo de compresión unificado y aprendible posicionado entre los codificadores de modalidad y el backbone del LLM.

2.1 Componentes principales

El módulo de compresión opera en tres etapas para generar y seleccionar tokens:

• Relevancia (Puntuación de atención cruzada guiada por texto):

  • Mecanismo: Trata la consulta de texto del usuario como la consulta de búsqueda y los tokens multimodales como el corpus candidato.
  • Implementación: Calcula las puntuaciones de atención cruzada entre los embeddings de texto y los embeddings de los tokens multimodales. La puntuación de relevancia para un token es el promedio del logit de atención recibido de todos los tokens textuales.
  • Objetivo: Priorizar los tokens pertinentes a la consulta específica del usuario.

• Importancia (Puntuación de atención cruzada bidireccional Video-Audio):

  • Mecanismo: Captura la informatividad intrínseca independiente de la consulta (independiente de la consulta), abordando casos donde la consulta es dispersa en relación con el rico contenido audiovisual.
  • Implementación: Dentro de cada bloque temporal, calcula la atención cruzada bidireccional entre los tokens de video y audio. Los tokens que interactúan fuertemente con la modalidad opuesta reciben puntuaciones más altas.
  • Objetivo: Asegurar que las regiones semánticamente densas (por ejemplo, una escena con diálogo y acción) se conserven incluso si no son consultadas explícitamente.

• Diversidad (Relevancia Marginal Máxima con Conciencia Temporal - TA-MMR):

  • Mecanismo: Evita la selección de tokens adyacentes redundantes, preservando al mismo tiempo eventos temporalmente distintos pero semánticamente similares.
  • Implementación: Una etapa de re-clasificación utilizando un objetivo de MMR modificado. A diferencia del MMR estándar, el TA-MMR restringe la penalización de redundancia a una ventana temporal local ($W$). Penaliza la similitud solo entre tokens dentro de $[\tau_i - W, \tau_i + W]$.
  • Objetivo: Suprimir tokens adyacentes informacionalmente repetitivos (por ejemplo, escenas estáticas) sin suprimir eventos recurrentes que ocurren en diferentes momentos.

2.2 Selección y entrenamiento

• Asignación de presupuesto: El presupuesto total de tokens $K$ se divide en presupuestos específicos por modalidad ($K_{video}, K_{audio}$) para asegurar una representación transmodal equilibrada. El TA-MMR se aplica independientemente dentro de cada modalidad.
• Entrenamiento diferenciable: Para permitir el entrenamiento de extremo a extremo, la selección discreta top-K se aproxima utilizando Gumbel-Softmax con un Estimador de Paso Directo (Straight-Through Estimator). La re-clasificación TA-MMR se desactiva durante el entrenamiento (debido a su naturaleza codiciosa e iterativa) y se activa solo durante la inferencia.
• Entrenamiento en dos etapas:
  1. Etapa 1: Ajustar finamente (fine-tune) el backbone del LLM con datos sin el módulo de compresión para establecer una señal de gradiente estable.
  2. Etapa 2: Entrenar conjuntamente el módulo de compresión inicializado aleatoriamente y el LLM.

3. Contribuciones clave

1. Perspectiva novedosa: Reenmarcar la compresión de tokens multimodales como un problema de recuperación top-K, permitiendo la adaptación de los principios clásicos de IR (relevancia, importancia, diversidad) al dominio audio-video.
2. Módulo de compresión aprendible: El diseño de un módulo unificado que instancia tres criterios de IR mediante mecanismos adaptados: atención cruzada guiada por texto, atención cruzada bidireccional y TA-MMR.
3. Capacidad Omni-Modal: Desarrollo de un LLM Omni-Modal (AVOC) capaz de procesar flujos de audio-video de una hora de duración, logrando tanto una comprensión holística como una recuperación de grano fino bajo presupuestos de contexto estrictos.

4. Resultados experimentales

Los autores evaluaron AVOC en múltiples benchmarks de audio-video de formato largo y una tarea personalizada de Aguja en un Pajar (Needle-in-a-Haystack - NIAH).

• Rendimiento en Benchmarks:

  • OmniVideoBench: AVOC logró una precisión promedio del 39.8% en el subconjunto de (10, 30] min y un 42.3% general, superando al segundo mejor modelo por 4.9 y 5.5 puntos respectivamente.
  • LVOmniBench: AVOC logró un 41.3% en el subconjunto Medium y un 35.5% en el subconjunto High, con un promedio general de 40.3%, superando al segundo mejor por 5.5 puntos.
  • WorldSense: AVOC logró un 52.6% de precisión, una mejora de 1.7 puntos sobre el segundo mejor.
  • Observación: Las ganancias de rendimiento escalan con la duración del video, lo que indica que el método es particularmente efectivo para contenido ultra largo donde la redundancia es más alta.

• Audio-Video Needle-in-a-Haystack (AV-NIAH):

  • AVOC demostró capacidades de recuperación robustas para "agujas" (palabras clave secretas) ocultas en videos de hasta 3600 segundos (1 hora) de duración.
  • A diferencia de los modelos base (por ejemplo, OmniZip) que mostraron una degradación significativa de la precisión más allá de los 2000–3000 segundos, AVOC mantuvo una alta precisión a través de toda la cuadrícula de profundidad-duración.

• Estudios de Ablación:

  • Eliminar cualquier componente individual (Relevancia, Importancia o Diversidad) resultó en una degradación del rendimiento, confirmando su naturaleza complementaria.
  • Se encontró que la relación óptima de presupuesto de modalidad era 2:1 (Video:Audio), lo que refleja la mayor densidad de información de las pistas visuales en los benchmarks probados.
  • Los hiperparámetros de TA-MMR ($\lambda=0.15, W=3$) fueron críticos; establecer el radio de la ventana al infinito (degenerando a un MMR estándar) causó caídas en el rendimiento, validando la necesidad de la conciencia temporal.

• Eficiencia:

  • El módulo de compresión añade un overhead mínimo (aprox. 1.8s para la retención total).
  • La compresión agresiva (razón de retención $\rho=0.1$) redujo la latencia de pre-llenado (prefilling) en casi 9 veces (de 4.45s a 0.5s) en comparación con el backbone sin comprimir.

5. Significado y Reivindicaciones

El artículo afirma que AVOC representa un paso significativo hacia los LLMs Omni-modales capaces de razonar sobre contenido multimodal rico de una hora de duración. Al ir más allá de las estrategias de compresión rígidas y asimétricas hacia un enfoque simétrico inspirado en la recuperación, AVOC aborda el compromiso fundamental entre las limitaciones de la ventana de contexto y la redundancia de la información. Los autores postulan que su marco permite que los modelos mantengan una comprensión robusta y capacidades de recuperación de grano fino en escenarios del mundo real (por ejemplo, películas, reuniones, tutoriales) que anteriormente eran inaccesibles debido a las restricciones de longitud de secuencia.