Resumen Técnico: OmniDrop

Enunciado del Problema

Los Modelos de Lenguaje Multimodales Omni (Omni-LLMs) han demostrado un potencial significativo en la comprensión multimodal holística, integrando texto, audio y video. Sin embargo, un cuello de botella crítico para las aplicaciones en tiempo real y el razonamiento de larga duración es la "explosión de tokens" causada por datos temporales de alta resolución. Las señales de audio y video generan significativamente más tokens que el texto (por ejemplo, un clip de video de un minuto puede proyectarse a más de 10.000 tokens), lo que conduce a un crecimiento cuadrático en los sobrecostos computacionales y de memoria.

Los métodos existentes de compresión de tokens para Omni-LLMs suelen realizar la poda a nivel de incrustación de entrada. Estos enfoques se basan en suposiciones de que los tokens de audio-video están alineados semánticamente mediante espacios de representación compartidos o co-ocurrencia temporal. Los autores argumentan que estas suposiciones son poco fiables por dos razones principales:

1. Alineación Débil Pre-LLM: Las incrustaciones de audio y video ocupan subespacios distintos dentro del espacio de incrustación del LLM antes del procesamiento, lo que resulta en una baja similitud coseno cruzada que no logra identificar relaciones semánticas significativas.
2. Co-ocurrencia Temporal Poco Fiable: Los eventos de audio y visual simultáneos no implican necesariamente una correspondencia semántica (por ejemplo, la música de fondo o la narración fuera de pantalla pueden no alinearse con el contenido visible).

En consecuencia, la poda a nivel de entrada basada en la distancia de incrustación o la co-ocurrencia a menudo descarta evidencia específica de la modalidad importante, lo que lleva a una selección de tokens subóptima.

Metodología: OmniDrop

Para abordar estas limitaciones, los autores proponen OmniDrop, un marco de poda de tokens sin entrenamiento y por capas. A diferencia de métodos anteriores, OmniDrop poda progresivamente los tokens dentro de las capas decodificadoras del LLM en lugar de en la etapa de entrada, utilizando tres mecanismos centrales:

1. Poda Progresiva de Tokens por Capa (PLP)

Motivado por la observación de que la fusión de información omni-modal ocurre progresivamente a través de las capas decodificadoras, OmniDrop adopta un programa de poda dinámico.

• Capas Tempranas: La poda es conservadora (baja proporción) para permitir una fusión e integración suficiente de información omni-modal entre las corrientes de audio y video.
• Capas Profundas: La poda se vuelve agresiva (alta proporción) una vez que el modelo ha formado preferencias claras de tokens relevantes para la consulta.
• Implementación: La proporción de poda $p_l$ para la capa $l$ sigue una función sigmoide:
  $$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$$
  Esto asegura que los tokens se preserven en capas superficiales para la integración y se eliminen en capas más profundas donde los tokens informativos son más distinguibles.

2. Importancia de Tokens Guiada por Consulta

En lugar de comparar directamente los tokens de audio y video, OmniDrop utiliza la consulta de texto como mediador semántico.

• Mecanismo: La puntuación de importancia $S$ para los tokens de audio y video se calcula basándose en las puntuaciones de atención promedio desde los tokens de texto hacia los tokens audiovisuales:
  $$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$$
• Adaptabilidad: Esto permite que el modelo asigne dinámicamente presupuestos de tokens según los requisitos de la tarea. Para tareas centradas en audio, se retienen más tokens de audio; para tareas centradas en video, se mantienen más tokens de video. Esto asegura una pérdida mínima de información para la consulta específica.

3. Puntuación de Diversidad Temporal (TDS)

Para evitar la poda excesiva de tokens que están temporalmente distantes del pico de atención principal (lo que podría llevar a la pérdida del contexto global), OmniDrop introduce una métrica de diversidad.

• Proceso:
  1. Identificar el "bloque clave" ($c_{max}$) que contiene el token con la puntuación de importancia más alta.
  2. Seleccionar un búfer candidato de los tokens con la puntuación más baja.
  3. Calcular una distancia temporal normalizada $D$ desde $c_{max}$.
  4. Aumentar la puntuación final: $S_{TDS} = S + \lambda_{div} \cdot D$.
• Efecto: Los tokens temporalmente alejados del pico de atención principal reciben un aumento de puntuación, fomentando una supervivencia equilibrada de tokens a lo largo de la secuencia y preservando el contexto temporal global.

4. Poda Intra-modal

Antes de alimentar los tokens al LLM, OmniDrop realiza una poda intra-modal independiente para eliminar redundancia:

• Audio: Retiene los tokens con las puntuaciones de atención más altas de la última capa del codificador de audio.
• Video: Utiliza la Fusión de Tokens Temporales (TTM) para filtrar tokens visuales redundantes consecutivos basándose en la similitud coseno.
• Resultado: Este preprocesamiento reduce la cuenta inicial de tokens a ~45% antes de que comience la poda por capas.

Contribuciones Clave

1. Análisis de las Limitaciones a Nivel de Entrada: El documento demuestra que la similitud audio-video a nivel de entrada proporciona una señal débil para la poda de tokens debido a una alineación insuficiente en las incrustaciones pre-LLM y a la poca fiabilidad de la co-ocurrencia temporal como proxy de la relevancia semántica.
2. Marco OmniDrop: Un marco de poda por capas novedoso y sin entrenamiento que aprovecha las consultas de texto para una selección de tokens agnóstica a la modalidad y adaptable a la tarea. Emplea un programa de poda progresivo y una puntuación de diversidad temporal para equilibrar la eficiencia y la preservación del contexto.
3. Validación Empírica: Extensos experimentos en diversos puntos de referencia (VideoMME, WorldSense, AVUT) muestran que OmniDrop supera a los métodos existentes sin entrenamiento (OmniZip, DASH) mientras reduce significativamente la latencia y el uso de memoria.

Resultados Experimentales

Evaluado en Qwen2.5-Omni (modelos de 7B y 3B), OmniDrop logró lo siguiente:

• Mejoras de Rendimiento: Superó a todos los puntos de referencia en hasta 3.58 puntos (específicamente en el punto de referencia AVUT con el modelo de 7B). Cabe destacar que, con una retención del 30% de tokens, OmniDrop superó la línea base de tokens completos al 100% en VideoMME.
• Robustez: Bajo compresión extrema (20% de retención), OmniDrop mostró una degradación mínima del rendimiento (promedio de caída de 0.18–0.47 puntos) en comparación con los puntos de referencia que cayeron más de 1.0 punto.
• Eficiencia: Redujo la latencia de prellenado en hasta un 40% y el uso de memoria GPU en hasta un 14.7% en comparación con la inferencia de tokens completos, manteniendo un rendimiento competitivo.
• Adaptabilidad de Tarea: El análisis confirmó que el mecanismo guiado por consulta adapta con éxito las proporciones de retención de tokens a las necesidades específicas de la tarea (por ejemplo, retener más audio para tareas de reconocimiento de audio y más video para tareas de reconocimiento de escenas).

Significado y Afirmaciones

El documento afirma que OmniDrop ofrece una solución práctica para Omni-LLMs escalables y receptivos al desplazar fundamentalmente la poda de tokens desde el nivel de entrada hacia las capas decodificadoras. Al aprovechar las consultas de texto como señal de guía y reconocer la naturaleza progresiva de la fusión omni-modal, el método logra compensaciones superiores entre eficiencia y rendimiento sin requerir reentrenamiento del modelo ni modificaciones arquitectónicas.

Los autores reconocen limitaciones, señalando que el método depende actualmente de indicaciones de texto para la selección de tokens, lo que restringe su uso en escenarios con solo entradas de audio/video. Además, al ser un marco sin entrenamiento, los hiperparámetros (como los programas de poda) se determinan empíricamente en lugar de aprenderse. El trabajo futuro tiene como objetivo explorar métodos para capturar relaciones semánticas sin guía textual y optimizar las decisiones de poda mediante datos de calibración.