InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

1. El Problema: La Tensión en MLLMs Unificados

Los Modelos de Lenguaje Multimodal Grandes (MLLMs) unificados buscan integrar la comprensión de imágenes y la generación de imágenes dentro de un solo marco, utilizando un tokenizador visual compartido como interfaz única. Sin embargo, existen dos requisitos fundamentales en conflicto para este tokenizador:

• Comprensión: Requiere abstracción semántica (entender conceptos, objetos y relaciones).
• Generación: Requiere detalles perceptivos finos (texturas, colores exactos, ruido de alta frecuencia).

Las estrategias actuales suelen ser:

1. Tokenización desacoplada: Usar codificadores separados para cada tarea (aumenta la complejidad arquitectónica y aleja el objetivo de una representación verdaderamente unificada).
2. Tokenización compartida: Usar un solo espacio de tokens. Sin embargo, los métodos existentes son principalmente impulsados por la arquitectura y carecen de un criterio explícito para decidir qué información debe preservarse. Esto lleva a que el tokenizador, bajo una capacidad computacional limitada, desperdicie recursos en variaciones de alta entropía (ruido) en lugar de priorizar estructuras reutilizables.

2. Metodología: InfoTok y el Principio de Cuello de Botella de Información

Los autores proponen InfoTok, un mecanismo de tokenización regularizado por información, basado en el Principio de Cuello de Botella de Información (Information Bottleneck - IB).

Perspectiva de Capacidad Constrained

InfoTok trata al tokenizador visual como un "aprendiz acotado por cómputo". Bajo esta restricción, no toda la información visual es útil. El objetivo es priorizar la estructura reutilizable (entidades semánticas, pistas composicionales) sobre las variaciones de alta entropía difíciles de explotar.

Formulación Matemática

InfoTok formaliza la tokenización compartida como un problema de asignación de presupuesto de información. Se define una función de pérdida basada en la información mutua ($I$) que regula el flujo de datos desde la imagen ($I$) hacia los tokens compartidos ($Z$) y las salidas multimodales ($Y$).

La función de objetivo se compone de tres términos clave (para las ramas de comprensión $u$ y generación $g$):

1. Compactación (Compresión): Minimizar $I(\tilde{Z}; I)$. Penaliza la información redundante de entrada, forzando al tokenizador a ser compacto bajo un presupuesto limitado de tokens.
2. Suficiencia (Relevancia de Tarea): Maximizar $I(\tilde{Z}; Y^{GT})$. Asegura que los tokens retengan la información necesaria para predecir correctamente tanto la descripción de la imagen como la imagen generada.
3. Alineación (Consistencia Cruzada): Maximizar $I(\tilde{Z}; T)$. Fomenta la compatibilidad entre los tokens visuales y los embeddings de texto, mejorando la coherencia en la predicción de tokens unificada.

Estimación Práctica

Dado que calcular la información mutua en espacios de alta dimensión es intratable, InfoTok utiliza dos estimadores diferenciables:

• Variational Information Bottleneck (VIB): Utiliza una aproximación variacional con distribuciones gaussianas.
• Hilbert Schmidt Independence Criterion (HSIC): Una medida de dependencia basada en kernels que no requiere modelado de densidad explícito.

Además, se introduce una restricción de destilación para asegurar que la regularización aplicada a las proyecciones de tarea ($\tilde{Z}$) se transfiera efectivamente al espacio de tokens del codificador compartido ($Z$).

3. Contribuciones Clave

• Nueva Perspectiva Teórica: Introducen la visión de "capacidad restringida" para la tokenización compartida, argumentando que el tokenizador debe actuar como un aprendiz que asigna recursos a estructuras reutilizables en lugar de variaciones de alta entropía.
• Objetivo Regularizado Explícito: Formalizan el aprendizaje de tokens compartidos mediante el principio IB, proporcionando un criterio explícito para equilibrar la compresión y la relevancia de la tarea, algo que los métodos anteriores dejaban implícito.
• Implementación Práctica: Derivan estimadores tratables (VIB y HSIC) que permiten integrar InfoTok en MLLMs existentes sin necesidad de datos de entrenamiento adicionales ni cambios arquitectónicos masivos.
• Análisis Teórico: Proporcionan una justificación teórica que demuestra que regularizar las proyecciones de tarea induce una regulación efectiva en el codificador compartido debido a la desigualdad de procesamiento de datos.

4. Resultados Experimentales

Los autores integraron InfoTok en tres MLLMs unificados representativos (Harmon, OpenUni y Show-o2) y los ajustaron finamente (fine-tuning) utilizando solo los datos originales de cada modelo base.

• Rendimiento General: InfoTok mejoró consistentemente tanto en benchmarks de comprensión (GQA, MME, MMMU, etc.) como de generación (Geneval, WISE).
• Comparación: Los modelos regularizados con InfoTok superaron a sus versiones base y, en muchos casos, igualaron o superaron a modelos unificados más grandes o de arquitecturas desacopladas.
• Análisis de Calidad:
  • Generación: Mejora el seguimiento de instrucciones complejas (composición de objetos, posiciones relativas) y la calidad visual general.
  • Comprensión: Mejora la capacidad de razonamiento semántico.
  • Análisis de Frecuencia: Un análisis de descomposición de frecuencia (CKA) mostró que InfoTok aumenta la alineación con componentes de baja frecuencia (estructura, forma) y reduce la alineación con componentes de alta frecuencia (ruido, detalles irrelevantes), confirmando que el modelo aprende a filtrar redundancia.
• Robustez: Los resultados fueron consistentes independientemente de si se usó VIB o HSIC, y la mejora se mantuvo incluso con conjuntos de datos de ajuste fino reducidos (0.5M muestras), demostrando que no depende de grandes volúmenes de datos adicionales.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en el diseño de MLLMs unificados:

• Más allá de la Escala: Sugiere que, además de escalar arquitecturas, el control principista del flujo de información es una herramienta de diseño fundamental.
• Eficiencia: Demuestra que se pueden obtener mejoras significativas en modelos unificados simplemente regulando cómo se comprime la información visual, sin necesidad de reentrenar desde cero o añadir datos costosos.
• Unificación Real: Ofrece una base teórica sólida para lograr una representación verdaderamente compartida que satisfaga simultáneamente las necesidades opuestas de la comprensión semántica y la síntesis visual de alta fidelidad.

En resumen, InfoTok establece que la tokenización visual en modelos unificados debe verse como un problema de asignación de recursos informativos, donde la regularización basada en teoría de la información es la clave para lograr un equilibrio óptimo entre abstracción y detalle.