FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding

El artículo presenta FLoC, un marco de compresión de tokens visuales sin entrenamiento y agnóstico al modelo que utiliza la función de ubicación de instalaciones y un algoritmo greedy perezoso para seleccionar de manera eficiente un subconjunto representativo de tokens, mejorando así la comprensión de videos largos en modelos multimodales grandes.

Lo esencial

¡Claro que sí! Imagina que quieres explicarle a un amigo lo que pasó en una película de 3 horas, pero solo tienes 5 minutos para contarle la historia. Si intentas contar cada segundo, te ahogarás en detalles y tu amigo se aburrirá. Necesitas elegir solo los momentos clave que capturan la esencia de la película.

Este es exactamente el problema que resuelve el papel que me has compartido, titulado FLoC. Aquí te lo explico de forma sencilla:

🎬 El Problema: "El exceso de información"

Hoy en día, tenemos modelos de inteligencia artificial (IA) muy inteligentes que pueden "ver" videos y responder preguntas sobre ellos. Pero hay un truco: cuando la IA ve un video largo, lo convierte en millones de pequeños trozos de información llamados "tokens visuales" (piensa en ellos como fotogramas o pedacitos de imagen).

Si el video es largo (como una cámara de seguridad grabando todo el día), la IA se ahoga. Tiene que procesar tantos pedacitos que:

1. Se vuelve muy lenta (tarda horas en pensar).
2. Se queda sin memoria (se le olvida lo que vio al principio).
3. A veces, se confunde porque hay demasiada información repetida (por ejemplo, 100 fotogramas de un árbol que no se mueve).

💡 La Solución: FLoC (El "Curador" Inteligente)

Los autores proponen FLoC, una herramienta que actúa como un curador de museo o un editor de cine súper eficiente. Su trabajo es: "De todos estos millones de pedacitos de video, elige solo los 100 más importantes para que la IA pueda entender la historia sin abrumarse".

Pero, ¿cómo decide cuáles son importantes? Aquí es donde entra la magia.

1. La Analogía del "Mapa del Tesoro" (Función de Ubicación de Instalaciones)

Imagina que tienes un mapa con miles de puntos (los tokens del video) y quieres colocar solo 5 tiendas (los tokens seleccionados) para que la gente (la IA) pueda llegar a cualquier punto del mapa lo más rápido posible.

• El error común (Agrupamiento): La mayoría de los métodos anteriores son como poner las 5 tiendas justo en el centro de la ciudad más poblada. Funciona bien para la gente que vive allí, pero nadie puede llegar a los pueblos pequeños o a las casas aisladas en el bosque. Se pierden detalles raros pero importantes (como unas llaves perdidas en un rincón).
• La solución FLoC: FLoC usa una fórmula matemática llamada "Función de Ubicación de Instalaciones". Imagina que el curador dice: "No voy a poner las tiendas solo donde hay mucha gente. Voy a ponerlas de tal forma que todos los puntos del mapa, desde la ciudad hasta la casa aislada, estén cerca de al menos una tienda".
  • Esto asegura que la IA vea tanto la escena general (el paisaje) como los detalles pequeños y raros (las llaves, un texto en una pared, una expresión facial).

2. La Analogía del "Carrusel de Selección" (Algoritmo "Lazy Greedy")

Seleccionar los mejores 5 puntos de un mapa con millones de opciones es como buscar la aguja en un pajar. Si lo haces a la fuerza bruta, tardarías años.

FLoC usa un truco llamado "Algoritmo Perezoso" (Lazy Greedy).

• Imagina que tienes una lista de candidatos para las tiendas. En lugar de revisar a cada uno de nuevo cada vez que eliges una, el algoritmo es "perezoso": "Oye, este candidato ya tenía una puntuación muy alta la última vez que lo miré. Si sigo siendo el mejor, no necesito volver a calcular todo desde cero. ¡Eligo a este!".
• Esto hace que el proceso sea extremadamente rápido, permitiendo que funcione en tiempo real, incluso en dispositivos pequeños como gafas inteligentes o robots.

🚀 ¿Por qué es genial esto?

• No necesita entrenamiento: No tienes que enseñarle a la IA nada nuevo. Es como poner un filtro en una cámara: funciona con cualquier modelo de IA que ya tengas.
• Es rápido: Reduce el tiempo de procesamiento drásticamente.
• Es justo: No se olvida de los detalles raros. Si en un video de 1 hora hay 3 segundos donde alguien deja caer unas llaves, FLoC se asegura de que esos 3 segundos estén en la selección final, mientras que otros métodos podrían borrarlos porque "no son tan frecuentes".

En resumen

FLoC es como tener un editor de cine experto y perezoso que, en lugar de ver todo el metraje de una película de 10 horas, selecciona instantáneamente las mejores escenas para que la IA pueda entender la historia completa, sin perderse ni un solo detalle importante, y todo esto sin gastar mucha energía ni tiempo.

Es una herramienta perfecta para que las IAs puedan entender videos largos (como cámaras de seguridad, videos de viajes o tutoriales) de forma eficiente y precisa.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "FLOC: FACILITY LOCATION-BASED EFFICIENT VISUAL TOKEN COMPRESSION FOR LONG VIDEO UNDERSTANDING", publicado en ICLR 2026.

1. El Problema: Escalabilidad en la Comprensión de Video Largo

Los Modelos Multimodales Grandes (LMMs) han demostrado capacidades excepcionales en tareas visuales y de lenguaje. Sin embargo, su aplicación a videos largos enfrenta un cuello de botella crítico: la explosión en la cantidad de tokens visuales generados.

• Limitación de Contexto: La mayoría de las arquitecturas basadas en LLM soportan contextos de entrada de 4K a 32K tokens. Videos de alta resolución o larga duración (ej. 4K, vigilancia continua, gafas inteligentes) generan millones de tokens, haciendo el procesamiento end-to-end computacionalmente inviable.
• Ineficacia de Métodos Actuales:
  • Muestreo/Pooling: Ignoran la importancia semántica, perdiendo pistas críticas.
  • Agrupamiento (Clustering): Tienden a seleccionar tokens de regiones densas en el espacio de características, fallando en capturar eventos raros pero importantes (ej. un objeto pequeño en un fondo complejo).
  • Compresión Consciente de la Consulta (Query-Aware): Requieren reentrenamiento o conocimiento previo de la consulta, lo que limita su uso en escenarios de propósito general o zero-shot.
  • Métodos Entrenables: Requieren grandes conjuntos de datos etiquetados y tiempo de entrenamiento, careciendo de agnosticismo de modelo.

2. Metodología: FLoC (Facility Location-based Compression)

Los autores proponen FLoC, un marco de compresión de tokens visuales que es sin entrenamiento (training-free), agnóstico al modelo y agnóstico a la consulta.

Concepto Central: Función de Ubicación de Instalaciones (Facility Location)

FLoC formula la selección de tokens como un problema de optimización submodular. Utiliza la función de ubicación de instalaciones para seleccionar un subconjunto $S$ de tokens que maximice la cobertura del conjunto total de tokens $V$ bajo un presupuesto $K$ (número máximo de tokens a retener).

La función de utilidad se define como:
$$f(S) = \sum_{v \in V} \max_{u \in S} \text{sim}(v, u)$$
Donde $\text{sim}(v, u)$ es la similitud (coseno) entre los tokens. Esta función busca un equilibrio entre:

1. Representatividad: Asegurar que los tokens seleccionados cubran la información esencial de todo el video.
2. Diversidad: Evitar la redundancia penalizando la selección de tokens muy similares entre sí.

Algoritmo: Greedy Pares (Lazy Greedy)

Encontrar el subconjunto óptimo es un problema NP-duro. Para resolverlo eficientemente, FLoC emplea el algoritmo greedy perezoso (lazy greedy):

• Aprovecha la Submodularidad: La función de utilidad tiene la propiedad de "rendimientos decrecientes". El beneficio marginal de añadir un token disminuye a medida que el subconjunto crece.
• Mecanismo: Utiliza una cola de prioridad para mantener los límites superiores de la ganancia marginal. Solo recalcula la ganancia exacta cuando es necesario, evitando recomputaciones costosas.
• Bloques Temporales: Para mayor eficiencia, el video se divide en bloques temporales. La selección se realiza dentro de cada bloque, permitiendo un procesamiento escalable y potencialmente en tiempo real.

3. Contribuciones Clave

1. Enfoque Teórico Sólido: Aplica la optimización submodular (ubicación de instalaciones) a la compresión de tokens visuales, garantizando matemáticamente un equilibrio entre representatividad y diversidad, superando las limitaciones del agrupamiento tradicional (que suele ignorar regiones dispersas).
2. Eficiencia Computacional: El uso del algoritmo lazy greedy reduce drásticamente el tiempo de compresión en comparación con métodos de agrupamiento (K-means, Espectral), logrando aceleraciones de un orden de magnitud.
3. Versatilidad y Plug-and-Play: Al no requerir entrenamiento ni depender de la consulta del usuario, FLoC se integra fácilmente en cualquier LMM de video existente (ej. Qwen2.5-VL, InternVL3) sin modificar la arquitectura del modelo.
4. Preservación de Detalles Finos: A diferencia de otros métodos que fusionan tokens basándose en similitudes locales (perdiendo detalles), FLoC preserva tokens "raros" pero críticos (como objetos pequeños o acciones sutiles) al optimizar la cobertura global.

4. Resultados Experimentales

Los autores evaluaron FLoC en benchmarks de gran escala: Video-MME, MLVU, LongVideoBench y EgoSchema, utilizando modelos como Qwen2.5-VL e InternVL3.

• Rendimiento Superior: FLoC superó consistentemente a métodos recientes (LongVU, DyCoke, TS-LLaVA, DivPrune, etc.) y a algoritmos de agrupamiento (K-means, K-medoids, Espectral) en precisión relativa, incluso con ratios de compresión extremos (1/8, 1/16, 1/32).
• Eficiencia:
  • Tiempo: FLoC es significativamente más rápido que los métodos basados en agrupamiento (ej. K-means tarda ~10x más).
  • Recursos: Reduce el uso de memoria VRAM y FLOPs de inferencia al disminuir drásticamente el número de tokens de entrada.
• Análisis de Tareas Específicas: En tareas de "Needle QA" (encontrar información específica en una aguja en un pajar) y "Ego Reasoning" (razonamiento en primera persona), FLoC demostró una capacidad superior para retener detalles finos que otros métodos perdían.
• Visualización (t-SNE): Las visualizaciones muestran que FLoC selecciona tokens distribuidos uniformemente en el espacio de características, cubriendo tanto regiones densas como dispersas, a diferencia de K-means que se centra solo en los centros de los clústeres.

5. Significado e Impacto

FLoC representa un avance significativo para la comprensión de video largo en aplicaciones del mundo real:

• Viabilidad en Dispositivos: Su bajo costo computacional y memoria lo hace adecuado para sistemas con recursos limitados, como robots móviles, gafas inteligentes y sistemas de vigilancia.
• Escalabilidad: Permite a los LMMs actuales procesar secuencias de video mucho más largas (hasta miles de fotogramas) sin perder la capacidad de razonamiento, cerrando la brecha entre el rendimiento humano y el de la máquina en tareas de video extenso.
• Generalización: Al ser agnóstico al modelo y a la consulta, ofrece una solución universal que puede desplegarse inmediatamente en flujos de trabajo existentes sin necesidad de costosos ciclos de reentrenamiento.

En resumen, FLoC resuelve el dilema de la compresión de tokens al ofrecer una solución matemáticamente fundamentada que no sacrifica la diversidad de la información ni la eficiencia computacional, estableciendo un nuevo estado del arte para la comprensión de video en modelos multimodales.