InfoTok: Adaptive Discrete Video Tokenizer via Information-Theoretic Compression

Each language version is independently generated for its own context, not a direct translation.

Imagina que quieres enviar un video por correo electrónico a un amigo. Si el video es de un paisaje estático donde solo se mueven las nubes lentamente, no necesitas enviar cada fotograma con todos sus detalles; podrías enviar una descripción breve y tu amigo entendería lo que pasa. Pero si el video es de una pelea de boxeo con golpes rápidos y movimientos caóticos, necesitas enviar mucha más información para que se entienda la acción.

El problema es que la mayoría de los sistemas actuales de compresión de video son como un cartero muy estricto: envían la misma cantidad de "paquetes" (datos) para todos los videos, sin importar si son aburridos o emocionantes. Esto hace que los videos simples se llenen de basura innecesaria y los videos complejos se queden cortos de información.

Aquí es donde entra INFOTOK, el nuevo método presentado en este paper.

¿Qué es INFOTOK?

INFOTOK es como un cartero inteligente que sabe exactamente cuánto "paquete" necesita cada video. En lugar de usar una regla fija, INFOTOK analiza el video en tiempo real y decide cuánta información es realmente necesaria.

La Analogía de la "Caja de Herramientas"

Imagina que tienes una caja de herramientas para reparar cosas:

Método Antiguo (Tokenización Fija): Siempre usas 100 herramientas, incluso si solo tienes que apretar un tornillo. Si tienes que construir un rascacielos, 100 herramientas no son suficientes. Es ineficiente.
Método INFOTOK: Mira la tarea primero.
- Si es solo un tornillo (un video de un perro durmiendo), usa 20 herramientas.
- Si es un rascacielos (un video de una pelea de gatos), usa 80 herramientas.
- Resultado: Ahorra espacio y tiempo sin perder calidad.

¿Cómo funciona mágicamente? (La teoría simplificada)

Los autores se inspiraron en una idea muy antigua de la física y las matemáticas llamada Teoría de la Información (creada por un genio llamado Claude Shannon). La idea central es: "La información valiosa es la que es difícil de predecir".

Videos aburridos: Son fáciles de predecir (el perro seguirá durmiendo). Por lo tanto, tienen poca información nueva. INFOTOK les asigna pocos "tokens" (unidades de datos).
Videos caóticos: Son difíciles de predecir (¿dónde golpeará el boxeador a continuación?). Tienen mucha información nueva. INFOTOK les asigna muchos "tokens".

Para lograr esto, INFOTOK usa dos partes principales:

El "Router" (El Jefe): Es como un gerente que mira el video y dice: "Este trozo es aburrido, envíen solo 30% de los datos. Este trozo es loco, envíen el 70%". Lo hace calculando qué tan "sorprendente" es el contenido.
El "Compresor Adaptativo" (El Operario): Es el que realmente toma los datos y decide cuáles guardar y cuáles tirar. No tira los datos al azar; guarda los más importantes (los que tienen más "sorpresa" o información) y descarta los redundantes.

¿Por qué es un gran avance?

En los experimentos, INFOTOK demostró ser increíblemente eficiente:

Ahorro masivo: Logró reducir la cantidad de datos necesarios en un 20% a 50% sin que la calidad del video bajara.
Velocidad: A diferencia de otros métodos que tienen que "adivinar" cuántos datos usar (probando y fallando varias veces), INFOTOK lo calcula de una sola vez. Es como tener un GPS que te da la ruta perfecta de inmediato, en lugar de conducir por la ciudad hasta que encuentres el camino.
Calidad: Incluso comprimiendo mucho más que los métodos anteriores, la imagen reconstruida se ve igual de bien o mejor.

En resumen

INFOTOK es como tener un sistema de envío de videos que deja de tratar a todos los videos por igual. Entiende que un video de un paisaje no necesita tanto espacio como un video de un concierto de rock. Al adaptar la cantidad de datos a la "complejidad" de la escena, logra guardar más videos en menos espacio, haciendo que el futuro de la inteligencia artificial y el streaming sea más rápido y eficiente.

Es, en esencia, la diferencia entre enviar una carta llena de papel arrugado y enviar un mensaje de texto perfecto y conciso.

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del artículo INFOTOK: ADAPTIVE DISCRETE VIDEO TOKENIZER VIA INFORMATION-THEORETIC COMPRESSION, publicado en ICLR 2026.

1. El Problema

La tokenización discreta de video es fundamental para el procesamiento de secuencias largas en modelos fundacionales de visión. Sin embargo, los tokenizadores actuales presentan limitaciones críticas:

Compresión Rígida: La mayoría de los tokenizadores existentes (como VQ-VAE o VQGAN) utilizan una tasa de compresión fija. Esto significa que asignan el mismo número de tokens a todos los videos, independientemente de su complejidad.
Ineficiencia: Esta rigidez genera redundancia en videos simples (desperdicio de tokens) e insuficiencia de información en videos complejos (pérdida de detalles), lo que afecta tanto a la reconstrucción como a la eficiencia computacional.
Limitaciones de los Métodos Adaptativos Previos: Enfoques recientes como ElasticTok intentan ser adaptativos, pero utilizan métodos heurísticos (como enmascaramiento aleatorio y búsqueda binaria durante la inferencia). El artículo demuestra teóricamente que estos métodos son subóptimos y sesgados, ya que no consideran la densidad de información real del contenido, llevando a una longitud de tokens esperada significativamente mayor que la óptima.

2. Metodología: INFOTOK

El paper propone INFOTOK, un marco de tokenización adaptativa basado en la Teoría de la Información de Shannon. El objetivo es asignar tokens dinámicamente según la complejidad informativa de cada video.

A. Fundamentos Teóricos

Teorema de Codificación de Fuentes: Se demuestra que la longitud óptima de la secuencia de tokens ( $N_x$ ) para un video $x$ debe ser proporcional a su log-verosimilitud negativa ( $-\log p(x)$ ).
Prueba de Sub-optimidad: Se demuestra rigurosamente que los métodos de enrutamiento "agnósticos a los datos" (que seleccionan longitudes uniformemente) son inherentemente ineficientes y sesgados, ya que no incentivan la reducción de la longitud esperada de tokens para contenidos de alta probabilidad.

B. Arquitectura del Sistema

INFOTOK se construye sobre un tokenizador de longitud fija existente y añade dos componentes clave:

Router Basado en ELBO (Evidence Lower Bound):
- En lugar de usar heurísticas, el router estima la complejidad informativa del video utilizando el ELBO (una cota inferior de la log-verosimilitud).
- La longitud del token $N_x$ se determina mediante la ecuación:
  $r_\beta(N_x|x) = \delta\left(\beta \cdot \frac{\text{ELBO}(x)}{\mathbb{E}[\text{ELBO}(x)]}\right)$
  Donde $\beta$ es un factor de compresión promedio. Esto permite asignar más tokens a videos complejos (baja probabilidad/alta información) y menos a videos simples.
- Ventaja: Elimina la necesidad de búsqueda exhaustiva (trial-and-error) durante la inferencia.
Compresor Adaptativo (Transformer):
- Una vez que el router determina $N_x$ , un compresor basado en Transformers comprime las representaciones latentes fijas en una secuencia de longitud variable.
- Selección de Tokens: Utiliza un mecanismo de enmascaramiento basado en la información. Se preservan los tokens con mayor contenido informativo (mayor log-verosimilitud/ELBO) y se descartan los de menor información.
- Máscara Binaria: La posición de los tokens preservados se codifica como una máscara binaria que se incluye en la secuencia de tokens discretos, con un sobrecosto mínimo (~5% en longitud).

3. Contribuciones Clave

Fundamentación Teórica: Demostración rigurosa basada en la teoría de la información de que los tokenizadores con tasas fijas o adaptativas agnósticas son subóptimos en términos de longitud de representación.
Marco INFOTOK: Propuesta de un framework que convierte tokenizadores fijos en adaptativos utilizando un router basado en ELBO y un compresor de Transformer, logrando una asignación de tokens casi óptima.
Eficiencia en Inferencia: A diferencia de los métodos anteriores que requieren múltiples pasadas de red (búsqueda binaria) para determinar la longitud, INFOTOK requiere solo una pasada adicional del decodificador para calcular el ELBO, reduciendo drásticamente la latencia.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos TokenBench y DAVIS, comparando con ElasticTok, Cosmos-DV y otros tokenizadores de estado del arte.

Calidad de Reconstrucción:
- INFOTOK logra una calidad de reconstrucción superior (mejores métricas PSNR, SSIM, LPIPS y FVD) con 20% menos de tokens en comparación con tokenizadores fijos de última generación (como Cosmos-DV).
- Al compararse con ElasticTok (el principal competidor adaptativo), INFOTOK logra un 2.3x más de tasa de compresión manteniendo la misma calidad de reconstrucción.
Eficiencia de Tokens:
- Se logra ahorrar aproximadamente un 50% de tokens sin pérdida de calidad en comparación con tokenizadores de longitud fija.
- En escenarios de alta compresión (BPP16 = 0.56), INFOTOK supera a ElasticTok con una compresión significativamente mayor.
Eficiencia Computacional (Inferencia):
- ElasticTok requiere ~12 evaluaciones de red (NFEs) por video debido a la búsqueda binaria.
- INFOTOK requiere solo 2 evaluaciones (una para el enrutamiento/ELBO y una para la reconstrucción), logrando una reducción de latencia de ~11x (ej. 1.23s vs 13.45s en hardware específico).
Ablación: Los estudios de ablación confirman que el enrutamiento basado en ELBO es casi tan bueno como una búsqueda óptima exhaustiva (que es computacionalmente prohibitiva), validando la aproximación teórica.

5. Significado e Impacto

INFOTOK representa un avance significativo en la representación de video para modelos multimodales:

Escalabilidad: Permite procesar secuencias de video mucho más largas al reducir la carga de tokens sin sacrificar la fidelidad de la información.
Principio Teórico: Establece un nuevo estándar para el diseño de tokenizadores, moviéndose de métodos heurísticos a soluciones fundamentadas en la teoría de la información.
Aplicabilidad Futura: Aunque se centra en video, el marco es aplicable a otros dominios con densidad de información variable, como audio o datos 3D (puntos nubes), ofreciendo una ruta clara para modelos generativos y de comprensión más eficientes y precisos.

En resumen, INFOTOK demuestra que la adaptabilidad basada en la complejidad informativa es superior a la compresión fija o heurística, logrando un equilibrio óptimo entre eficiencia de tokens y calidad de reconstrucción.