Resumen Técnico: OTT-Vid

Enunciado del Problema

A medida que los Modelos de Lenguaje Grandes para Video (Video-LLMs) escalan para manejar videos más largos y complejos, enfrentan un cuello de botella crítico en la inferencia: la acumulación de tokens visuales a través de los fotogramas aumenta drásticamente la longitud de la secuencia y el costo computacional. Si bien la compresión de tokens sin entrenamiento ofrece una solución práctica, los métodos existentes de compresión temporal adolecen de dos limitaciones principales:

1. Sobredependencia de la Similitud: Los métodos actuales se basan principalmente en la similitud de tokens entre fotogramas o en heurísticas de segmentación. No logran distinguir entre la recurrencia de fondos no informativos y la persistencia de contenido semánticamente importante (por ejemplo, objetos estacionarios). En consecuencia, una alta similitud a menudo conduce a una compresión agresiva de la evidencia temporal esencial, degradando el rendimiento en tareas que requieren duración, continuidad y detección de límites de eventos, como la anclaje temporal.
2. Asignación de Presupuesto Estática: Los enfoques existentes no tratan explícitamente la compresión como un problema de asignación. Aplican umbrales de compresión uniformes o límites rígidos que no se adaptan a la compresibilidad variable de diferentes pares de fotogramas. Esto resulta en una subcompresión de regiones altamente redundantes y una sobrecompresión de fotogramas que contienen evidencia temporal crítica.

Metodología: OTT-Vid

Los autores proponen OTT-Vid, un marco sin entrenamiento que formula la compresión temporal de tokens como un problema de Transporte Óptimo (OT) con asignación de presupuesto adaptativa. El método opera en dos etapas acopladas:

1. Poda Espacial y Asignación de Masa

Antes de la compresión temporal, cada fotograma experimenta una poda espacial independiente para eliminar la redundancia intra-fotograma.

• Selección: Un objetivo de cobertura ponderado por saliencia selecciona de manera codiciosa tokens representativos. Esto equilibra la importancia semántica (saliencia) con la representatividad (cobertura) para evitar el colapso de tokens en clústeres redundantes.
• Asignación de Masa: Una estrategia de "dejar uno fuera" cuantifica la contribución irremplazable de cada token retenido. Si eliminar un token degrada significativamente la representación del fotograma original, se considera importante.
• Masa Inversa: Crucialmente, la masa de transporte $m_t$ se asigna inversamente a la importancia del token. Los tokens semánticamente críticos reciben una masa menor (resistiendo la compresión), mientras que los tokens menos informativos reciben una masa mayor (facilitando la transferencia). Esto codifica la prioridad de preservación directamente en las restricciones marginales del OT.

2. Transporte Óptimo para Compresión Temporal

La compresión temporal entre fotogramas vecinos ($t$ y $t+1$) se resuelve como un problema de OT regularizado entrópicamente.

• Función de Costo: El costo de transporte combina la disimilitud semántica (distancia coseno) y la distancia espacial. Un coeficiente de mezcla $\alpha_t$ se adapta dinámicamente según el movimiento de la escena: en escenas estáticas, la localidad espacial se pondera más alto para evitar emparejar objetos visualmente similares pero espacialmente distantes; en escenas dinámicas, la disimilitud semántica domina para permitir el emparejamiento a través de desplazamientos mayores.
• Plan de Transporte: Resolver el problema de OT produce una matriz de acoplamiento $P_t$ que clasifica las correspondencias de tokens. Los valores de acoplamiento altos indican candidatos para compresión (fusión o poda).
• Dificultad de Transporte: El costo total del plan de transporte ($W_t$) sirve como métrica para la "compresibilidad" de un par de fotogramas. Un $W_t$ bajo implica alta redundancia (fácil de comprimir), mientras que un $W_t$ alto implica la presencia de evidencia temporal única.

3. Asignación de Presupuesto Adaptativa

El marco distribuye el presupuesto global de compresión de manera no uniforme a través de todos los pares de fotogramas adyacentes basándose en $W_t$.

• Asignación Inversa: Utilizando un softmax negativo, los pares con menor dificultad de transporte (alta redundancia) reciben presupuestos de compresión más grandes, mientras que los pares con alta dificultad (baja redundancia) reciben presupuestos más pequeños.
• Ejecución: La compresión se ejecuta en paralelo. Los tokens fuente seleccionados se fusionan con su destino (si el costo está por debajo de un umbral $\tau_c$) o se podan. Las cadenas de fusiones a través de fotogramas consecutivos se resuelven mediante un algoritmo de unión-búsqueda para garantizar la consistencia global.

Contribuciones Clave

1. Compresión Temporal Consciente de la Importancia: A diferencia de los métodos anteriores impulsados por similitud, OTT-Vid integra la importancia intra-fotograma de los tokens en el proceso de compresión temporal. Al asignar masa inversa a los tokens importantes, preserva la evidencia de duración y continuidad que los métodos basados en similitud suelen descartar.
2. Asignación de Presupuesto Derivada del Transporte: El artículo introduce un método principiado para estimar la compresibilidad de cada par de fotogramas mediante la dificultad de transporte ($W_t$). Esto permite una asignación de presupuesto dinámica y no uniforme que se adapta a las características específicas de redundancia del contenido del video.
3. Marco Unificado: OTT-Vid unifica las decisiones de compresión a nivel de token (a través del plan de transporte) y la asignación de presupuesto a nivel de par (a través de la dificultad de transporte) dentro de una única formulación de Transporte Óptimo.

Resultados Experimentales

Los autores evaluaron OTT-Vid en seis puntos de referencia: cuatro conjuntos de datos de Respuesta a Preguntas sobre Video (VQA) (MVBench, VideoMME, LongVideoBench, MLVU) y dos conjuntos de datos de Anclaje Temporal de Video (VTG) (Charades-STA, ActivityNet-Captions con anotaciones de TimeLens).

• Retención de Rendimiento: En la base Qwen2.5-VL-7B, OTT-Vid retiene el 95.8% del rendimiento de VQA sin compresión y el 73.9% del rendimiento de VTG, manteniendo solo el 10% de los tokens originales.
• Comparación: Supera consistentemente a las líneas base sin entrenamiento más avanzadas (HoliTom, FastVID, FlashVID, UniComp). La brecha de rendimiento es más significativa en las tareas de VTG, donde los métodos impulsados por similitud sufren una degradación severa (caída a una retención de ~50-60%) debido a la pérdida de evidencia temporal.
• Generalización: El método demuestra robustez a través de diferentes bases de Video-LLM (LLaVA-OneVision, LLaVA-Video) y varias ratios de retención de tokens.
• Eficiencia: OTT-Vid logra una aceleración de 2.0× en el Tiempo hasta el Primer Token (TTFT) con un uso máximo de memoria comparable a otros métodos eficientes, confirmando que la sobrecarga de compresión no anula las ganancias en inferencia.

Significancia y Afirmaciones

El artículo afirma que la principal significancia de OTT-Vid radica en su capacidad para desacoplar la persistencia semántica de la similitud visual. Al tratar la compresión temporal como un problema de transporte con masa consciente de la importancia, el método preserva exitosamente la "evidencia" requerida para tareas complejas de razonamiento temporal, algo que las heurísticas anteriores basadas en similitud no lograron hacer.

Los autores enfatizan que su enfoque es sin entrenamiento, asegurando compatibilidad con Video-LLMs preentrenados existentes sin necesidad de reentrenamiento. Señalan que, si bien su método actualmente calcula planes de transporte en paralelo a partir de conjuntos inicialmente podados espacialmente (ignorando los cambios representacionales inducidos por la compresión anterior), esta elección de diseño prioriza la baja sobrecarga y la eficiencia de un solo pase. El trabajo futuro podría explorar la ejecución secuencial para refinar los planes de transporte, aunque esto aumentaría los costos computacionales.

En resumen, OTT-Vid aborda el cuello de botella crítico de la inferencia de videos largos proporcionando un mecanismo adaptativo con base teórica que equilibra la importancia de los tokens con la redundancia entre fotogramas, superando significativamente a los métodos existentes en la preservación de la fidelidad temporal bajo compresión agresiva.