Resumen Técnico: OmniSelect

Declaración del Problema

Los Modelos de Lenguaje Omnimodales (OmniLLMs) han surgido para unificar la comprensión de audio, video y texto dentro de una única arquitectura autoregresiva. Sin embargo, el procesamiento de flujos de video y audio de alta fidelidad genera una cantidad excesiva de tokens, lo que conduce a una complejidad cuadrática en los mecanismos de atención y crea cuellos de botella significativos en computación y memoria durante la inferencia.

Aunque la compresión de tokens se ha explorado para tareas unimodales (imágenes, video, audio), las soluciones existentes para OmniLLMs dependen de guías fijas y específicas por modalidad. Por ejemplo, métodos como OmniZip utilizan anclajes de audio para guiar la poda de video, mientras que otros se basan únicamente en señales visuales. Los autores argumentan que estas estrategias de "talla única" son inadecuadas porque la importancia relativa de la información visual y auditiva varía significativamente entre diferentes consultas. Como se ilustra en el artículo, algunas preguntas dependen en gran medida de la visión, otras del audio y algunas requieren una integración equilibrada. Utilizar una modalidad inapropiada para guiar la compresión puede conducir a la eliminación de información crítica y a respuestas erróneas del modelo.

Metodología: OmniSelect

Para abordar estas limitaciones, los autores proponen OmniSelect, un marco de poda de tokens libre de entrenamiento y adaptable a la modalidad. El método selecciona dinámicamente la estrategia de compresión adecuada para entradas multimodales basándose en la consulta específica, evitando mecanismos de guía fijos. El marco opera mediante una estrategia de dos etapas:

1. Asignación Dinámica de Ratios Consciente de la Modalidad

La primera etapa determina la estrategia de poda global y asigna ratios de poda para cada grupo temporal.

• Estimación de Relevancia: El sistema emplea un modelo ligero AudioCLIP para estimar la relevancia cruzada entre modalidades. Calcula puntuaciones de similitud entre la consulta textual y los embeddings tanto visuales como de audio. Para reducir el costo computacional, los fotogramas de video se submuestrean temporalmente y el texto se filtra para retener solo sustantivos y adjetivos.
• Clasificación de Estrategia: Basándose en las puntuaciones de similitud promedio ($\bar{s}^{(v)}$ para video, $\bar{s}^{(a)}$ para audio) y un umbral $\theta$, el sistema categoriza la entrada en uno de los tres regímenes de poda:
  • Poda Uniforme: Si $|\bar{s}^{(v)} - \bar{s}^{(a)}| \leq \theta$, ambas modalidades se tratan como igualmente importantes.
  • Poda Centrada en Video: Si $\bar{s}^{(v)} > \bar{s}^{(a)}$, la estrategia prioriza los tokens de video.
  • Poda Centrada en Audio: Si $\bar{s}^{(a)} > \bar{s}^{(v)}$, la estrategia prioriza los tokens de audio.
• Asignación Adaptativa: Dentro del régimen elegido, el sistema asigna dinámicamente ratios de poda ($\rho$) a cada grupo temporal. Utiliza un mapeo sigmoide basado en la desviación de las puntuaciones de similitud respecto a la media, asegurando que los grupos con mayor relevancia para la consulta retengan más tokens mientras se satisface un presupuesto global de poda.

2. Pipeline de Poda de Grupos Temporales (TGP2)

Una vez determinada la estrategia y los ratios, el sistema realiza una poda de tokens fina dentro de cada grupo temporal:

• Poda de Audio: Los tokens de audio salientes se seleccionan mediante una selección Top-K basada en la matriz de atención derivada de la última capa del codificador de audio.
• Poda de Video: Los tokens de video salientes se seleccionan mediante una selección Bottom-K basada en la matriz de similitud coseno de los embeddings de visión. Los autores eligen Bottom-K (seleccionar tokens con la menor similitud a otros) sobre métodos basados en atención para evitar el sesgo del sumidero de atención y reducir la sobrecarga computacional, argumentando que esto elimina efectivamente contenido redundante y altamente correlacionado mientras preserva señales visuales distintivas.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Análisis de las Limitaciones de la Guía Fija: Los autores demuestran que los métodos existentes que dependen de una guía estática específica por modalidad no tienen en cuenta la importancia variable de las modalidades entre diferentes consultas, lo que conduce a una compresión subóptima.
2. Marco OmniSelect: Proponen un marco libre de entrenamiento y adaptable a la modalidad que selecciona dinámicamente entre estrategias de poda Uniforme, Centrada en Video y Centrada en Audio. Además, realiza una poda de tokens fina dentro de los grupos temporales, asignando ratios adaptativamente para preservar tokens informativos.
3. Validación Empírica: Experimentos extensivos en puntos de referencia de audio y video muestran que OmniSelect acelera la inferencia y reduce la sobrecarga de memoria de la GPU mientras mantiene un alto rendimiento, logrando resultados competitivos entre los métodos de compresión de tokens libres de entrenamiento.

Resultados Experimentales

Los autores evaluaron OmniSelect en modelos Qwen2.5-Omni (3B y 7B parámetros) en cuatro puntos de referencia: WorldSense, DailyOmni, VideoMME y OmniVideoBench.

• Retención de Rendimiento: OmniSelect retiene entre el 94% y el 99% de la precisión original de tokens completos. En varios casos (por ejemplo, configuraciones específicas en OmniVideoBench y VideoMME), el método incluso superó el rendimiento de la inferencia con tokens completos, lo que sugiere que eliminar tokens redundantes puede mejorar la calidad de la predicción.
• Ganancias de Eficiencia:
  • Aceleración de Inferencia: Logró una aceleración de 1.19× a 1.33×.
  • Reducción de Memoria: Redujo el consumo de memoria de la GPU en 2.58 GB a 2.77 GB.
  • Tiempo de Prefilling: Redujo el tiempo de prellenado en 3.53× a 3.62× bajo una compresión de tokens del 70%.
• Comparación: OmniSelect superó consistentemente a líneas base como OmniZip (guiado por audio) y DyCoke (fusión temporal) en diversos presupuestos de fotogramas y ratios de compresión. La ventaja fue particularmente pronunciada en escenarios de video largo y en el modelo de 3B, que mostró un compromiso eficiencia-rendimiento más favorable.
• Estudios de Ablación: Los experimentos confirmaron que la selección dinámica de estrategias de poda (cambio entre Centrada en Video, Centrada en Audio y Uniforme) es superior a depender de cualquier estrategia fija única.

Significado y Afirmaciones

El artículo posiciona a OmniSelect como una evolución necesaria en la optimización de OmniLLM. Los autores afirman que el significado principal de su trabajo radica en el cambio de guías estáticas y específicas por modalidad a una selección dinámica de estrategias consciente de la consulta. Al modelar explícitamente la preferencia de modalidad y permitir que el modelo adapte su estrategia de compresión a las necesidades semánticas específicas de una consulta, OmniSelect evita efectivamente los peligros de la compresión uniforme.

Los autores enfatizan que su método es libre de entrenamiento, lo que lo hace inmediatamente aplicable a OmniLLMs existentes sin necesidad de reentrenamiento o ajuste fino. Concluyen que, aunque su mecanismo actual de selección basado en umbrales es efectivo, la estrategia óptima a menudo existe dentro de su taxonomía propuesta, y la limitación principal radica en la precisión de la selección de la estrategia más que en la capacidad de representación de la poda en sí. Se sugiere trabajo futuro para explorar modelos más robustos para la estimación de la importancia de la modalidad.