Resumen Técnico: Slot-MLLM: Tokenización Visual Centrada en Objetos para MLL Multimodales

1. Declaración del Problema

Los recientes Modelos de Lenguaje Multimodal Grandes (MLLM) generativos han adoptado tokens visuales discretos para habilitar la modelización autoregresiva de imágenes junto con texto. Si bien este paradigma unifica la comprensión y la generación dentro de un único marco de predicción del siguiente token, los tokenizadores visuales existentes enfrentan limitaciones significativas:

• Falta de Estructura a Nivel de Objeto: La mayoría de los tokenizadores se basan en parches o dependen de supervisión semántica global. Tienen dificultades para preservar la composicionalidad estructural, lo cual es crítico para el razonamiento a nivel de objeto y la generación controlable.
• Ineficiencia y Rigidez: Enfoques como UniTok y TokenFlow a menudo dependen de representaciones de cuadrícula fija, lo que resulta en secuencias visuales excesivamente largas. Otros dependen de agrupamiento o fusión heurística de características de parches en lugar de un descubrimiento de entidades no supervisado y basado en principios.
• Desafíos de Integración: Si bien la Atención de Ranuras (Slot Attention) ofrece un sesgo inductivo principista para la representación centrada en objetos al descomponer escenas en un conjunto fijo de tokens, hacerla práctica para MLLM generativos sigue siendo un desafío abierto. Debe satisfacer simultáneamente la generación de imágenes de alta calidad, una fuerte alineación con la semántica del lenguaje y la estabilidad al entrenarse en conjuntos de datos a gran escala.

2. Metodología

Los autores proponen SlotTok, un tokenizador visual centrado en objetos, y Slot-MLLM, un modelo unificado que integra SlotTok con un LLM.

A. SlotTok: Tokenizador Visual Centrando en Objetos

SlotTok codifica imágenes en un conjunto compacto de tokens discretos centrados en objetos utilizando un proceso de entrenamiento en dos etapas:

1. Arquitectura:

   • Codificador de Ranuras (Slot Encoder): Basado en un transformador basado en consultas, toma características visuales (de un codificador de visión como DINOv2) y utiliza Atención de Ranuras (Slot Attention) para agrupar información en $N$ ranuras coherentes. Cada ranura está destinada a representar un objeto o región distinto. Para alinearse con MLLM autoregresivos, incluye una capa de autoatención causal.
   • Cuantizador Vectorial: Las incrustaciones continuas de ranuras se discretizan utilizando un Cuantizador Vectorial Residual (RVQ) con un bloque de Transformador ligero para reconstruir incrustaciones a partir de códigos discretos, asegurando alta calidad de reconstrucción bajo un presupuesto de tokens compacto.
   • Decodificador Visual: Un decodificador basado en difusión (unCLIP-SD) que reconstruye imágenes a partir de tokens de ranura. Utiliza tres vías de condicionamiento: un vector global para guía semántica, una incrustación de contexto de ranura para la atención cruzada congelada de UNet, y una capa de atención cruzada adaptadora entrenable que recibe las incrustaciones completas de las ranuras.

2. Estrategia de Entrenamiento:

   • Etapa 1 (Aprendizaje Continuo): El Codificador de Ranuras, el bloque de Transformador y las capas adaptadoras se entrenan mientras las capas originales de atención cruzada de UNet permanecen congeladas. El objetivo combina cinco pérdidas:
     • Pérdida de Reconstrucción de Imagen (Difusión): Minimización del error de predicción de ruido.
     • Pérdida de Alineación CLIP: Alineación de las incrustaciones globales de ranura con las incrustaciones de imagen de CLIP.
     • Pérdida Contrastiva Imagen-Texto: Alineación de las incrustaciones de ranura con las incrustaciones de texto para asegurar compatibilidad semántica.
     • Pérdida de Generación de Texto Anclada a Imagen: Predicción de tokens de texto condicionada a las ranuras.
     • Pérdida de Guía de Atención: Una pérdida novedosa que alinea los mapas de atención cruzada del adaptador en UNet con los mapas de atención de ranura del codificador. Esto asegura que el decodificador de difusión consuma las ranuras de una manera alineada con objetos sin supervisión externa.
   • Etapa 2 (Discretización): El Codificador de Ranuras y el Decodificador Visual se congelan. Solo se entrenan el RVQ y un Transformador de reconstrucción para aprender códigos discretos que aproximen las incrustaciones continuas, preservando la alineación de objetos aprendida.

B. Slot-MLLM: Modelado Multimodal Unificado

Slot-MLLM integra SlotTok en un único marco autoregresivo:

• Representación de Tokens: Las imágenes se convierten en $N \times K$ índices discretos (donde $K$ es el número de libros de códigos RVQ). Estos se aplanan y se añaden al vocabulario del LLM como un "segundo idioma", delimitado por los tokens <boi> y <eoi>.
• Entrada Visual Híbrida: Para tareas de comprensión, el modelo utiliza incrustaciones de ranura continuas pre-cuantizadas proyectadas en el espacio oculto del LLM mediante un MLP para preservar información visual de grano fino y evitar errores de cuantización. Para tareas de generación, el modelo utiliza los tokens de ranura discretos para habilitar la predicción autoregresiva del siguiente token.
• Entrenamiento: El modelo se somete a pre-entrenamiento multimodal en pares imagen-texto y datos intercalados, seguido de Ajuste Fino Supervisado (SFT) en conjuntos de datos de seguimiento de instrucciones para comprensión, generación y edición.

3. Contribuciones Clave

1. SlotTok: Un tokenizador visual centrado en objetos novedoso que utiliza atención de ranuras para comprimir imágenes en un pequeño conjunto de tokens semánticamente significativos mientras preserva la fidelidad estructural.
2. Estrategia de Entrenamiento Práctica: Un enfoque de entrenamiento en dos etapas que aprende representaciones centradas en objetos y tokenización discreta sin degradar los priores de difusión preentrenados, utilizando guía de atención para estabilizar la alineación ranura-objeto.
3. Slot-MLLM: La primera validación empírica a gran escala de que la atención de ranuras puede integrarse efectivamente en LLMs para diversas imágenes del mundo real. Demuestra que la tokenización centrada en objetos habilita la modelización autoregresiva unificada tanto para comprensión como para generación.

4. Resultados Experimentales

Reconstrucción de Imagen y Calidad de Tokens

• Reconstrucción: SlotTok logra una calidad de reconstrucción competitiva (PSNR, SSIM, CLIP-T) en comparación con tokenizadores basados en difusión como LaViT y SEED, a pesar de utilizar significativamente menos tokens (32 ranuras vs. 256+ parches).
• Centrabilidad en Objetos: El análisis cualitativo y los experimentos de reemplazo aleatorio muestran que los tokens de SlotTok no son redundantes y son distintos. Reemplazar el 50% de los tokens causa una caída significativa en el rendimiento, confirmando que cada ranura codifica detalles visuales específicos.
• Mapas de Atención: Los mapas de atención de SlotTok se concentran claramente en objetos individuales, mientras que líneas base como LaViT muestran atención dispersa o posiciones de objetos desplazadas.

Comprensión y Generación Multimodal

• Comprensión: Slot-MLLM supera a las líneas base unificadas (LaViT, SEED-LLaMA) en benchmarks de cero disparos (GQA, MME, POPE, NaturalBench), particularmente en tareas que requieren reconocimiento de objetos y vinculación de atributos.
• Generación y Edición: Slot-MLLM supera consistentemente a las líneas base en generación de texto a imagen (GenEval, T2I-CompBench) y edición de imágenes localizada (MagicBrush, GIE-Bench). Demuestra una capacidad superior para mantener la consistencia del fondo y manipular objetos específicos basándose en indicaciones de texto.
• Escalado: El rendimiento mejora consistentemente al escalar el LLM de base (de 7B a 14B), indicando la compatibilidad de la arquitectura con modelos más potentes.

Estudios de Ablación

• Atención de Ranuras: Eliminar la atención de ranuras (reemplazándola con atención cruzada estándar) conduce a una caída significativa en las métricas a nivel de objeto (ARI, mIoU) y en el rendimiento de tareas posteriores, confirmando la necesidad del sesgo inductivo.
• Pérdida de Guía: Eliminar la pérdida de guía de atención mejora la reconstrucción a nivel de píxel (PSNR) pero degrada la alineación de objetos y el rendimiento de generación/edición posterior, destacando la compensación entre la fidelidad bruta y la estructura semántica.
• Número de Ranuras: Aumentar las ranuras más allá de 32 (por ejemplo, a 64) mejora las métricas de reconstrucción pero degrada las métricas centradas en objetos (ARI, mIoU), lo que sugiere que un exceso de ranuras sobre-particiona objetos coherentes.

5. Significado y Afirmaciones

El artículo afirma proporcionar la primera validación empírica a gran escala de que la atención de ranuras centrada en objetos puede integrarse efectivamente en MLLM generativos para imágenes del mundo real.

Los autores argumentan que:

• La alta fidelidad de reconstrucción por sí sola es insuficiente para MLLM; los tokens visuales deben proporcionar una representación consciente de objetos que se alinee con conceptos lingüísticos.
• La tokenización centrada en objetos no es meramente una elección representacional, sino un habilitador clave para una generación multimodal eficiente y controlable.
• El método propuesto logra un equilibrio superior entre calidad generativa, eficiencia computacional (mediante compresión de tokens) y control estructural de grano fino en comparación con los tokenizadores existentes basados en parches o supervisados globalmente.

El trabajo establece que adaptar la atención de ranuras para alinearse con la supervisión del lenguaje y fortalecer las representaciones centradas en objetos es necesario para los MLLM unificados de próxima generación.