OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

Resumen Técnico: OmniFocus

Declaración del Problema
Los Modelos de Lenguaje de Gran Escala Omni-modales (OmniLLMs) han demostrado la capacidad de procesar de forma conjunta audio y video, permitiendo tareas como la comprensión audiovisual, el razonamiento empático y el subtitulado. Sin embargo, las entradas audiovisuales generan secuencias de tokens extensas, lo que conlleva costos de inferencia sustanciales que limitan su aplicabilidad en entornos de larga duración o con recursos limitados. Si bien la compresión de tokens es una solución estándar para reducir los costos de inferencia en modelos unimodales o de visión y lenguaje, la aplicación de esta técnica a los OmniLLMs presenta desafíos únicos: el método debe preservar simultáneamente la evidencia de audio, la evidencia visual y la alineación intermodal.

Los métodos existentes de compresión de tokens audiovisuales, como OmniZip, suelen depender de una guía unimodal (por ejemplo, el uso de la atención de audio para guiar la compresión de ambas modalidades). Los autores identifican dos limitaciones críticas en este enfoque:

1. Negligencia de la Localidad Temporal: Los métodos guiados por una sola modalidad a menudo no logran considerar la localidad temporal de la evidencia relevante para la consulta, asumiendo que la densidad de información se distribuye uniformemente o está alineada entre las modalidades.
2. Sesgo de Modalidad: Al utilizar una sola modalidad como guía, estos métodos asumen implícitamente que la distribución de densidad de información de la modalidad guía se aplica a la otra. Esto conduce a un sobreajuste a la modalidad de guía mientras se pasan por alto evidencias potencialmente críticas en la otra, degradando el rendimiento en tareas que requieren razonamiento audiovisual conjunto o de la modalidad no guiada.

Metodología: OmniFocus
Los autores proponen OmniFocus, un método de compresión de tokens guiado por consultas y libre de entrenamiento, diseñado para lograr una compresión simétrica de modalidades. A diferencia de enfoques anteriores que utilizan una modalidad para guiar a la otra, OmniFocus realiza una estimación de importancia independiente para video y audio basada en la consulta textual. El método opera en tres etapas antes de que los tokens sean consumidos por el backbone del LLM:

1. Puntuación de Modalidad Consciente de la Consulta (Query-Aware Modality Scoring):

   • El método extrae los tokens de la consulta de la capa de embedding del LLM para asegurar que compartan el mismo espacio de entrada que los tokens de audio y video.
   • Para cada fragmento temporal (chunk), calcula una puntuación de relevancia para el video y el audio de forma independiente, midiendo la similitud de coseno máxima entre la representación de la consulta y los tokens dentro de ese fragmento.
   • Este enfoque de "similitud máxima" captura eficazmente la evidencia dispersa que coincide con la consulta, reconociendo que la información relevante puede estar concentrada en tokens específicos en lugar de distribuirse uniformemente.

2. Asignación de Presupuesto por Fragmentos (Chunk-wise Budget Allocation):

   • Las puntuaciones de relevancia se convierten en puntuaciones de compresión (donde una mayor relevancia resulta en una menor compresión).
   • Estas puntuaciones se mapean a tasas de descarte locales para cada fragmento bajo restricciones de presupuesto globales específicas de cada modalidad.
   • Un paso de calibración asegura que el recuento total de tokens retenidos coincida con la tasa de retención global objetivo (por ejemplo, 25% o 35%), permitiendo al mismo tiempo que diferentes fragmentos temporales y modalidades reciban presupuestos locales adaptativos.

3. Selección de Tokens de Doble Puntuación (Dual-Score Token Selection):

   • Dentro de cada fragmento y modalidad, los tokens se seleccionan basándose en dos criterios complementarios para preservar tanto la alineación intermodal como la saliencia específica de la modalidad:
     • Asociación Intermodal: Los tokens se puntúan mediante su similitud con la representación media de la otra modalidad en el mismo fragmento. Esto preserva la correspondencia audio-visual.
     • Pico Intra-modal: Los tokens se puntúan por su distintividad relativa a la media de su propia modalidad. Esto preserva la evidencia que es única para una modalidad específica y que podría perderse mediante la alineación intermodal por sí sola.
   • La selección final divide los tokens retenidos equitativamente entre aquellos con las puntuaciones de asociación más altas y aquellos con las puntuaciones de pico más altas.

Contribuciones Clave

1. Identificación del Sesgo de Modalidad: El artículo valida empíricamente que la compresión guiada por una sola modalidad en OmniLLMs conduce al sesgo de modalidad, degradando el rendimiento en tareas que requieren la modalidad no guiada o el razonamiento conjunto.
2. Marco de Trabajo OmniFocus: La introducción de un método de compresión simétrica de modalidades, guiado por consultas y libre de entrenamiento. Estima la relevancia de la consulta por separado para audio y video, mitigando el sesgo mientras preserva las asociaciones intermodales y los picos intra-modales.
3. Validación Empírica: Experimentos extensos en cuatro benchmarks audiovisuales (DailyOmni, WorldSense, OmniVideoBench, VideoMME) demuestran que OmniFocus logra un equilibrio favorable entre precisión y eficiencia.

Resultados
Los experimentos se realizaron en las familias de modelos Qwen2.5-Omni-3B y Qwen2.5-Omni-7B.

• Rendimiento: Con una tasa de retención de tokens del 25%, OmniFocus superó a las líneas base existentes (OmniZip, DyCoke y Random) en varios puntajes de benchmarks importantes.
  • En DailyOmni (Qwen2.5-Omni-7B), OmniFocus alcanzó un 59.40% de precisión, comparado con el 57.73% de OmniZip y el 54.37% de DyCoke.
  • En WorldSense, OmniFocus logró los mejores resultados comprimidos en todas las configuraciones de presupuesto de modelo, superando a OmniZip hasta en 1.04 puntos en el modelo 3B.
  • En VideoMME, alcanzó los mejores puntajes promedio comprimidos en las cuatro configuraciones.
• Eficiencia: OmniFocus proporcionó aceleraciones significativas. En DailyOmni con el modelo 7B al 25% de retención, ofreció una aceleración de prefill de 1.38× y una aceleración end-to-end de 1.32× en relación con la línea base de tokens completos, manteniendo una mayor precisión que otros métodos de compresión.
• Estudios de Ablación: Los autores confirmaron que:
  • La puntuación de similitud máxima supera a la similitud promedio.
  • La asignación adaptativa basada en puntuación es superior a la asignación aleatoria o uniforme.
  • La estrategia híbrida de selección de tokens intermodal e intra-modal es crítica; depender de solo una de ellas provoca caídas en el rendimiento.
  • La puntuación balanceada por modalidad (considerando tanto audio como video) es más robusta que la puntuación de una sola modalidad.

Significancia y Reivindicaciones
El artículo sostiene que la compresión simétrica de modalidades guiada por consultas es una opción de diseño más fiable para la comprensión audiovisual de larga duración que la asignación de presupuesto de tokens guiada por una sola modalidad. La significancia de OmniFocus radica en su capacidad para mitigar el sesgo de modalidad inherente a las estrategias de compresión asimétricas previas sin requerir el reentrenamiento del modelo. Al preservar tanto la correspondencia intermodal como la evidencia saliente específica de la modalidad, OmniFocus permite que los OmniLLM operen eficientemente en entornos con recursos limitados manteniendo una alta fidelidad en las tareas de razonamiento audiovisual. Los autores señalan que, si bien el método es efectivo, su dependencia de los embeddings de entrada congelados significa que puede ser menos preciso para eventos de grano fino donde los embeddings iniciales de los tokens no capturan completamente la intención de la consulta, y su generalizabilidad a arquitecturas más allá de la familia Qwen2.5-Omni requiere una evaluación adicional.