Communication-Inspired Tokenization for Structured Image Representations

Este artículo presenta COMiT, un marco de tokenización discreta inspirado en la comunicación humana que construye secuencias de tokens estructuradas y centradas en objetos mediante actualizaciones recurrentes, mejorando significativamente la generalización composicional y el razonamiento relacional en comparación con los métodos anteriores.

Lo esencial

Imagina que quieres describir una escena compleja, como un parque lleno de gente, perros y árboles, a un amigo que no puede verla.

El problema de los métodos antiguos:
La mayoría de los sistemas actuales de inteligencia artificial funcionan como una fotocopiadora. Cuando ven una imagen, la cortan en miles de pedacitos pequeños (como un rompecabezas) y tratan de guardar cada pedacito tal cual es. El resultado es una descripción muy detallada de la textura (el color del césped, la rugosidad de la corteza), pero a menudo pierden el sentido de "qué es" cada cosa. Es como tener una lista de 10,000 colores sin saber que forman un perro o un árbol.

La solución de COMiT (La nueva idea):
Los autores de este paper proponen COMiT, un sistema inspirado en cómo hablamos los humanos.

Imagina que en lugar de dar una lista de colores, tú le cuentas a tu amigo la historia de la escena paso a paso:

1. Primero dices: "Hay un perro".
2. Luego añades: "El perro es marrón y está corriendo".
3. Después: "Y hay un árbol grande detrás".

Tu amigo va construyendo la imagen en su mente a medida que tú le vas dando información. Si te quedas corto de tiempo (como si tuvieras un límite de palabras), te aseguras de mencionar lo más importante (el perro) antes que los detalles pequeños.

¿Cómo funciona COMiT?

1. El "Orador" y el "Oyente" son el mismo: En lugar de tener dos cerebros separados (uno para describir y otro para dibujar), COMiT usa un solo cerebro que hace ambas cosas. Es como si tú mismo te contaras la historia y luego te la dibujaras a ti mismo basándote en tu propia descripción.
2. Mirada secuencial (Atención): En lugar de mirar toda la foto de golpe, el sistema "mira" trozos pequeños de la imagen uno por uno. Cada vez que mira un trozo, actualiza su "mensaje mental" (un conjunto de tokens o palabras clave).
3. El mensaje se organiza solo: Al igual que cuando hablas, primero mencionas los objetos principales y luego los detalles. COMiT aprende a organizar sus "palabras" (tokens) de forma que cada una represente un objeto o una parte importante, en lugar de solo un pedazo de textura.
4. Reconstrucción: Al final, el sistema toma ese mensaje organizado y, usando una técnica matemática avanzada (llamada "Flow Matching"), "pinta" la imagen completa de nuevo. Si el mensaje estaba bien organizado, la imagen sale clara y con sentido.

¿Por qué es importante?

• Es más inteligente: Los sistemas anteriores son buenos comprimiendo imágenes (hacerlas más pequeñas), pero malos entendiendo el contenido. COMiT es excelente entendiendo la estructura: sabe dónde está el perro, dónde está el árbol y cómo se relacionan.
• Es flexible: Puedes pedirle al sistema que use más o menos "palabras" para describir la imagen. Si usas pocas, describe solo lo esencial. Si usas muchas, añade detalles.
• Mejor razonamiento: Como los objetos están separados en su "mensaje", el sistema puede entender mejor relaciones complejas (ej: "el perro está debajo del árbol") en lugar de confundir todo en una sola masa de información.

En resumen:
Mientras que los métodos anteriores intentaban guardar la imagen como un archivo de datos comprimido, COMiT intenta guardarla como una historia bien contada. Al imitar la forma en que los humanos comunicamos ideas (de lo general a lo específico, paso a paso), la inteligencia artificial logra entender y reconstruir imágenes de una manera mucho más lógica y humana.

Resumen técnico

Resumen Técnico: COMiT (Communication-inspired Tokenization)

1. El Problema

Los sistemas multimodales modernos dependen de tokenizadores de imágenes discretos para convertir píxeles en secuencias que las arquitecturas basadas en Transformers puedan procesar. Sin embargo, los enfoques existentes presentan limitaciones críticas:

• Optimización por Reconstrucción: La mayoría de los tokenizadores actuales (como VQ-VAE, VQ-GAN) están optimizados principalmente para la compresión y la reconstrucción de píxeles.
• Falta de Estructura Semántica: Como resultado, los tokens aprendidos suelen capturar texturas locales y estadísticas de parches, en lugar de estructuras semánticas a nivel de objeto.
• Entrelazamiento Semántico: La información semántica a menudo está desordenada o entrelazada entre tokens, lo que dificulta la interpretabilidad y limita el rendimiento en tareas de razonamiento relacional y generalización composicional.
• Incompatibilidad con la Secuencialidad: Aunque algunos métodos recientes usan secuencias 1D, siguen careciendo de mecanismos explícitos para organizar la información de manera composicional y jerárquica.

2. Metodología: COMiT

Los autores proponen COMiT, un marco novedoso que reformula la tokenización de imágenes como un proceso iterativo de comunicación y reconstrucción, inspirado en cómo los humanos describen escenas visuales (atención secuencial e incremental).

Principios de Diseño Clave:

1. Tokenización Atenta y Secuencial: El codificador no procesa la imagen de una sola vez. En su lugar, observa una secuencia de recortes locales (crops) de la imagen. En cada paso, el modelo integra nueva información visual y actualiza recursivamente un mensaje latente discreto.
2. Comunicación Homogénea: A diferencia de los autoencoders tradicionales con redes separadas para codificar y decodificar, COMiT utiliza la misma red Transformer para ambas tareas. El modelo actúa simultáneamente como "hablante" (codificador) y "oyente" (decodificador), imitando la simetría en la comunicación humana.

Arquitectura y Flujo de Entrenamiento:

• Codificación (Iterativa):
  • Se extrae una secuencia de recortes aleatorios $\{c_k\}$ de la imagen.
  • Se inicializa un mensaje latente $m_0$ con tokens de un vocabulario.
  • En cada paso $k$, el modelo $f_\theta$ toma el mensaje anterior $m_{k-1}$, el recorte actual $c_k$ y un desplazamiento relativo $a_k$, actualizando el mensaje: $m_k = f_\theta(c_k, t_k, a_k, m_{k-1})$.
  • El mensaje se cuantiza mediante FSQ (Finite Scalar Quantization) para mantener un vocabulario discreto fijo.
• Decodificación (Flow Matching):
  • El mensaje final $m_K$ condiciona la reconstrucción de la imagen completa.
  • Se utiliza un marco de Flow Matching (emparejamiento de flujos) para entrenar el decodificador, prediciendo la velocidad del flujo marginal para reconstruir la imagen desde ruido.
• Objetivos de Pérdida:
  • Pérdida de Flow Matching ($L_{FM}$): Para la fidelidad de reconstrucción.
  • Alineación de Representación Semántica (SREPA): Se distilan características de un modelo de visión auto-supervisado congelado (DINOv2) hacia las representaciones intermedias del mensaje para forzar la alineación semántica.
  • Estrategias de Entrenamiento: Se utiliza un número aleatorio de recortes durante el entrenamiento para evitar que el modelo asigne capacidades fijas a posiciones específicas, fomentando un uso "codicioso" (greedy) de los tokens. También se incluye un recorte global con cierta probabilidad para acelerar la convergencia.

3. Contribuciones Clave

1. Nuevo Paradigma de Tokenización: Desplaza el enfoque de la compensación compresión-reconstrucción hacia la organización semántica estructurada de secuencias de tokens.
2. Estructura Centrada en Objetos: El proceso secuencial e iterativo induce naturalmente una estructura donde los tokens se alinean con objetos y partes de objetos, en lugar de texturas aleatorias.
3. Arquitectura Unificada: Demuestra que un solo modelo Transformer puede manejar eficazmente tanto la codificación secuencial como la decodificación generativa, eliminando redundancias y simplificando el diseño.
4. Benchmarks Específicos: Introducen una suite de pruebas diseñada para evaluar no solo la semántica, sino también la generalización composicional (capacidad de generalizar a combinaciones de objetos no vistas) y el razonamiento relacional.

4. Resultados Experimentales

Los experimentos se realizaron en ImageNet1k, ImageNet100, MSCOCO y Visual Genome, comparando COMiT con el estado del arte (TiTok, FlexTok, SelfTok, etc.).

• Rendimiento Semántico: COMiT supera consistentemente a los métodos anteriores en tareas de sondeo semántico (probing).
  • En ImageNet100, COMiT-B alcanza un 82.91% de precisión (top-1), superando significativamente a TiTok-B (19.43%) y FlexTok (80.25%).
• Generalización Composicional (MSCOCO): El modelo muestra una capacidad superior para generalizar a pares de objetos no vistos durante el entrenamiento, lo que indica que la información de los objetos está desacoplada y distribuida de manera eficiente en los tokens.
• Razonamiento Relacional (Visual Genome): COMiT logra un rendimiento notable en la predicción de relaciones entre objetos (sujeto-predicado-objeto), demostrando que la estructura del token captura interacciones complejas.
• Análisis de Atención: Los mapas de atención de los tokens muestran una alineación precisa con objetos reales (mIoU de 0.53 frente a 0.34 en modelos sin tokenización atenta), confirmando la emergencia de tokens centrados en objetos.
• Fidelidad de Reconstrucción: Aunque el enfoque principal es la semántica, COMiT mantiene una fidelidad de reconstrucción competitiva (rFID y PSNR), especialmente al escalar el modelo (variantes L y XL).

5. Significado e Impacto

• Interfaz para Multimodalidad: COMiT proporciona una interfaz de tokens discretos más interpretable y estructurada, crucial para sistemas multimodales avanzados que requieren razonamiento sobre objetos y relaciones, no solo reconocimiento de patrones.
• Generalización y Razonamiento: Al inducir una estructura composicional, el modelo mejora la capacidad de razonamiento relacional, un paso necesario hacia una comprensión visual más profunda.
• Flexibilidad en Inferencia: El modelo soporta políticas de recorte adaptables en tiempo de prueba (ej. añadir recortes locales si se necesita más detalle), ofreciendo un control dinámico sobre el equilibrio entre costo computacional y precisión semántica.
• Futuro: El trabajo abre la puerta a extensiones en video, donde la redundancia temporal y la estructura a largo plazo podrían beneficiarse de esta tokenización secuencial y acumulativa.

En conclusión, COMiT demuestra que inspirarse en los procesos de comunicación humana (atención secuencial y actualización incremental) permite aprender representaciones visuales discretas que son semánticamente ricas, estructuradas y superiores para tareas de razonamiento complejo.