Resumen Técnico: O-MARC: Destilación de Compresión de Memoria Aumentada Omnimodal para la Comprensión Eficiente de Video

1. Planteamiento del Problema

Los modelos de lenguaje grandes omnimodales (LLM) han surgido como una dirección prometedora para la comprensión unificada de audio, visión y lenguaje. Sin embargo, su inferencia sigue siendo costosa debido a la naturaleza intensiva en tokens de las modalidades de audio y video. El procesamiento conjunto de cuadros de video y flujos de audio genera largas secuencias multimodales, lo que conduce a una sobrecarga sustancial de memoria y a una inferencia lenta, particularmente para videos largos.

Si bien la compresión de tokens es una solución natural, extenderla a entradas audiovisuales no es trivial. A diferencia de la compresión solo visual, la compresión audiovisual debe manejar dos modalidades con patrones de redundancia distintos: los tokens de video a menudo exhiben redundancia espacial y temporal, mientras que los tokens de audio pueden codificar pistas breves pero decisivas. Crucialmente, la importancia de cada modalidad es a menudo interdependiente; un sonido adquiere significado cuando se fundamenta en una escena visible, y un evento visual puede permanecer ambiguo sin su audio correspondiente. Los métodos de compresión existentes a menudo comprimen las modalidades de forma aislada, eliminando potencialmente la evidencia intermodal necesaria para un razonamiento preciso.

Además, las evaluaciones existentes no logran aislar completamente la asociación audio-visual en contenido generado por usuarios (UGC) ruidoso. Muchas evaluaciones actuales evalúan el razonamiento en videos largos pero dependen predominantemente de modelos basados en visión que rara vez utilizan señales de audio, o no filtran explícitamente las preguntas resolubles únicamente con priores visuales.

2. Metodología

El artículo propone un enfoque de tres frentes: una nueva evaluación, un método de compresión sin entrenamiento y un marco de destilación consciente de la compresión.

2.1 Evaluación UGC-AVQA

Para abordar la brecha en la evaluación, los autores introducen UGC-AVQA, una evaluación pública construida a partir de 1.000 videos cortos públicos de UGC con 4.816 pares de preguntas y respuestas (QA).

• Enfoque: Asociación audio-visual de granularidad fina a través de eventos, escenas y cambios temporales.
• Construcción: Los videos están anotados con descripciones detalladas y preguntas de opción múltiple en cuatro categorías: Progresión de Eventos Audiovisuales, Transición de Escena/Temporal Audiovisual, Alineación Interescena y Contraste de Granularidad Fina.
• Filtro de Dificultad: Para asegurar que las preguntas requieran ambas modalidades, se aplica una "prueba de eliminación de audio". Una muestra se retiene para la evaluación solo si un modelo potente (Gemini-3.1-Flash) falla cuando se elimina la pista de audio. Esto filtra las preguntas resolubles únicamente con priores visuales.
• División: El conjunto de datos se divide en un conjunto de entrenamiento (794 videos, 3.168 pares de QA) y un conjunto de evaluación (206 videos, 1.648 pares de QA), con una revisión humana que asegura la calidad.

2.2 OMAC (Compresión de Memoria Aumentada Omnimodal)

OMAC es un método de compresión plug-in sin entrenamiento diseñado para preservar la memoria visual saliente y los anclajes de audio fundamentados temporalmente sin modificar el modelo base.

• Memoria Visual:
  • Puntuación de Cuadros: Los cuadros se resumen y puntúan por su relevancia para la consulta. Los cuadros con alta puntuación se seleccionan como cuadros clave.
  • Selección de Tokens: Dentro de los cuadros seleccionados, los tokens se puntúan por contraste contra el centroide del cuadro. Los tokens distintivos se retienen como memoria visual explícita, mientras que se forma un token de memoria de cuadro compacto mediante agrupación ponderada.
  • Estructura: Esto crea una estructura de memoria de dos niveles: resúmenes de cuadros (memoria gruesa) y tokens locales distintivos más un resumen compacto (memoria de granularidad fina).
• Memoria de Audio y Ajuste de Presupuesto:
  • Anclajes: Los tokens de audio se puntúan por importancia. Los tokens con alta puntuación se convierten en "anclajes", y los tokens cercanos descartados se fusionan en ellos para formar ranuras de memoria acústica compactas.
  • Presupuestación Intermodal: OMAC utiliza la distribución de la memoria visual para ajustar el presupuesto de audio. Si un segmento de tiempo retiene memoria visual significativa, el presupuesto de audio para ese segmento se incrementa. Por el contrario, los intervalos visualmente ligeros se comprimen de manera más agresiva. Esto asegura que la secuencia comprimida preserve la estructura de eventos a través de las modalidades en lugar de tokens aislados.

2.3 O-MARC (Destilación de Compresión de Memoria Aumentada Omnimodal)

Para hacer que los modelos compactos sean robustos ante entradas comprimidas, los autores introducen O-MARC, un marco de destilación de compresión basado en la Optimización de Políticas Relativas por Grupos (GRPO).

• Mecanismo: Para cada consulta, la política muestrea dos trayectorias: una rama "maestra" que utiliza tokens completos y una rama "estudiante" que utiliza tokens comprimidos por OMAC.
• Configuración de Recompensa: La discrepancia entre las recompensas de la maestra y la estudiante ($\Delta_i$) mide la degradación inducida por la compresión. Esta discrepancia se utiliza para remodelar la ventaja de GRPO.
• Objetivo: El objetivo de entrenamiento se modifica para sesgar la optimización de políticas hacia comportamientos que permanecen robustos bajo compresión de memoria. Específicamente, las muestras que son beneficiosas bajo GRPO pero fuertemente degradadas por la compresión reciben actualizaciones positivas mayores. Esto permite que el modelo aprenda a razonar eficazmente dentro de un presupuesto de tokens reducido.

3. Contribuciones Clave

1. UGC-AVQA: Una nueva evaluación pública para la asociación audio-visual en videos de UGC, que cuenta con una verificación de dificultad por eliminación de audio para asegurar que las preguntas requieran genuinamente razonamiento multimodal.
2. OMAC: Un método de compresión plug-in sin entrenamiento que preserva la memoria visual saliente y utiliza el contexto visual para asignar dinámicamente presupuestos de memoria de audio.
3. O-MARC: Un marco de destilación de compresión que entrena modelos omnimodales para razonar de manera robusta bajo contextos multimodales comprimidos, superando la poda de tokens estándar y las líneas base contemporáneas basadas en entrenamiento.

4. Resultados Experimentales

Los experimentos se realizaron en modelos que van desde 3B hasta 30B parámetros (series Qwen2.5-Omni y Qwen3-Omni) en cuatro evaluaciones: DailyOmni, UGC-AVQA, OmniVideo y WorldSense.

• Rendimiento de OMAC: OMAC supera consistentemente a la poda directa de tokens (OmniZip) y a la inferencia con tokens completos en las compensaciones entre eficiencia y precisión.
  • En Qwen2.5-Omni-3B, OMAC mejoró la puntuación promedio a 45.8, superando la inferencia con tokens completos (44.1) y OmniZip (41.0).
  • Redujo la latencia de inferencia en un 34.6% (aceleración de 1.53×) y el uso de memoria en un 34.7% en comparación con la inferencia con tokens completos.
• Rendimiento de O-MARC:
  • Eficiencia: En el modelo de 3B, O-MARC (entrenado con solo 3k muestras) logró una puntuación promedio de 45.8, superando la línea base con tokens completos (44.1) y OMAC solo (42.8).
  • Escalabilidad: Al escalar al modelo de 7B con más de 100k muestras de entrenamiento, O-MARC logró una puntuación promedio de 51.1, superando la línea base contemporánea basada en entrenamiento OmniSIFT (48.7) y mejorando significativamente la precisión en UGC-AVQA (64.6 vs. 56.4).
• Estudios de Ablación:
  • Ratio de Compresión: OMAC mantuvo un alto rendimiento incluso con una compresión del 70%, mientras que el rendimiento de OmniZip disminuyó significativamente.
  • Guía: El diseño completo de OMAC (Ajuste de presupuesto de Audio $\to$ Visual) superó a las variantes donde el audio guiaba la compresión visual o donde las modalidades se comprimían de forma independiente.

5. Significado y Afirmaciones

El artículo afirma que el razonamiento omnimodal eficiente no debe considerarse únicamente como una técnica de aceleración de inferencia, sino como una condición entrenable.

• Interdependencia: Los resultados demuestran que la compresión de audio y video no puede tratarse de forma aislada; preservar la evidencia intermodal (por ejemplo, usar memoria visual para guiar la asignación de presupuesto de audio) es crítico para mantener las capacidades de razonamiento.
• Robustez: A través de O-MARC, los autores muestran que los modelos compactos pueden entrenarse para razonar eficazmente bajo presupuestos de tokens reducidos, a menudo superando a modelos más grandes o a la inferencia con tokens completos en entornos con restricciones de eficiencia.
• Evaluación: La introducción de UGC-AVQA destaca una brecha en las evaluaciones actuales, mostrando que la QA audio-visual confiable en UGC requiere más que reconocimiento visual genérico o priores unimodales, necesitando una evaluación explícita de la asociación audio-visual.

Los autores concluyen que su estudio unificado de la construcción de evaluaciones, la compresión de memoria y el entrenamiento consciente de la compresión proporciona un camino hacia un razonamiento omnimodal robusto y eficiente para contenido de video ruidoso del mundo real.