Resumen Técnico: Una Tokenización de Imágenes Más Parecida a Palabras para MLLM

1. Declaración del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLM) suelen emplear un codificador de visión preentrenado y un Modelo de Lenguaje Grande (LLM) fijo, conectados mediante un proyector visual. El objetivo es mapear los píxeles de una imagen en una secuencia de tokens dentro del espacio de incrustaciones del LLM. Sin embargo, los autores identifican una discrepancia estructural fundamental entre los tokens visuales actuales y los tokens discretos y semánticamente significativos que los LLM están optimizados para procesar.

El artículo destaca tres discrepancias principales:

1. Entrelazamiento Semántico: A diferencia de los tokens de texto generados por tokenizadores discretos (por ejemplo, BPE) que son unidades independientes, las características de parches visuales de los Transformadores de Visión (ViT) están altamente entrelazadas. La atención auto-referida repetida en los codificadores de visión homogeneiza las incrustaciones, haciendo que los parches se mezclen semánticamente. Los proyectores lineales preservan esta redundancia, resultando en tokens visuales altamente correlacionados que carecen de límites semánticos distintos.
2. Presupuesto de Tokens Fijo: Los métodos existentes (por ejemplo, agregación de cuadrícula fija, remuestreadores) producen un número fijo de tokens independientemente de la complejidad de la imagen. Esto conduce a redundancia en escenas simples y pérdida de detalle en escenas complejas, fallando en imitar la naturaleza de longitud variable de las descripciones lingüísticas.
3. Falta de Control de Granularidad: La tokenización visual actual depende de operaciones espaciales sin un mecanismo principista para controlar el nivel de detalle (granularidad) por token, a diferencia de la tokenización de texto que equilibra subpalabras y palabras completas.

En consecuencia, las entradas visuales se comportan de manera diferente a las unidades "parecidas a palabras" que esperan los LLM, lo que conduce a un uso ineficiente de la memoria caché KV, mayor latencia y capacidades de razonamiento subóptimas.

2. Metodología: Tokenización Visual Desentrelazada (DiVT)

Los autores proponen DiVT, un enfoque de tokenización visual basado en agrupamiento diseñado para alinear las representaciones visuales con la naturaleza discreta de los tokens de LLM. DiVT opera sin modificar el codificador de visión ni la arquitectura base del LLM, sirviendo como un proyector entrenable.

El proceso consta de cuatro etapas:

2.1. Agrupamiento Inicial de Parches (Selección Adaptativa de Centroides)

En lugar de imponer un número fijo de tokens, DiVT determina dinámicamente la cantidad de agrupaciones basándose en la distribución de características de los parches de la imagen.

• Mecanismo: Calcula una matriz de similitud coseno por pares de las características de los parches. Utilizando un umbral de similitud $\theta$, construye un gráfico de vecindad.
• Algoritmo: Un algoritmo voraz selecciona el parche con el mayor grado (más vecinos) como un centroide. Todos los vecinos dentro del umbral se asignan a este agrupamiento y se eliminan del grupo de candidatos. Esto se repite hasta que no quedan parches.
• Resultado: Esto asegura que los centroides sean semánticamente distintos y que la cantidad de tokens se adapte a la complejidad intrínseca de la imagen (más tokens para escenas complejas, menos para las simples).

2.2. Refinamiento del Agrupamiento

La selección voraz inicial puede asignar un parche a un centroide subóptimo. Para lograr un mejor desentrelazamiento semántico, el método reasigna cada parche al centroide con la mayor similitud, asegurando que cada agrupamiento contenga parches que comparten semánticas coherentes.

2.3. Formulación del Token Visual

Una vez finalizados los agrupamientos, se genera un único token visual para cada agrupamiento.

• Atención Cruzada: El centroide del agrupamiento actúa como la consulta ($Q$), mientras que todos los parches en el agrupamiento sirven como claves ($K$) y valores ($V$).
• Codificación Posicional: Se inyectan incrustaciones posicionales aprendibles únicamente en la rama de valores para preservar el contexto espacial sin perturbar las puntuaciones de atención.
• Enmascaramiento: Una máscara de atención restringida al agrupamiento asegura que los tokens solo agreguen información de su propio agrupamiento, previniendo la contaminación cruzada de conceptos semánticos no relacionados.
• Agregación: El resultado se pasa a través de una MLP para producir el token final.

2.4. Control de Granularidad Semántica

El umbral de similitud $\theta$ actúa como un control ajustable para la granularidad semántica:

• $\theta$ Alto: Criterios de agrupamiento más estrictos, resultando en más tokens de mayor granularidad (mayor detalle, mayor cómputo).
• $\theta$ Bajo: Agrupamiento más amplio, resultando en menos tokens de menor granularidad (menor detalle, menor cómputo).
• Flexibilidad en Inferencia: Crucialmente, $\theta$ puede ajustarse en el momento de la inferencia sin reentrenamiento, permitiendo a los practicantes intercambiar el detalle representacional contra la memoria y la latencia.

3. Contribuciones Clave

1. Desentrelazamiento Semántico: DiVT agrupa explícitamente las incrustaciones de parches en unidades semánticas coherentes, abordando el entrelazamiento inherente en las características de parches estándar de ViT.
2. Presupuesto de Tokens Adaptativo: El método asigna dinámicamente la cantidad de tokens basándose en la complejidad de la imagen, evitando la redundancia de los enfoques de presupuesto fijo.
3. Ajuste de Inferencia sin Entrenamiento: La capacidad de ajustar el umbral de similitud $\theta$ en la inferencia permite intercambios flexibles entre costo y rendimiento sin reentrenar el modelo.
4. Agnosticismo de Codificador y LLM: El enfoque está diseñado para funcionar con varios codificadores de visión (CLIP, SigLIP, DINOv2) y escala eficazmente a LLM más grandes (por ejemplo, 13B parámetros).

4. Resultados Experimentales

Los autores evaluaron DiVT en las arquitecturas base LLaVA-1.5 de 7B y 13B a través de ocho puntos de referencia (MMBench, VQAv2, GQA, MME, MM-Vet, TextVQA, SQA-IMG, POPE).

• Rendimiento vs. Cantidad de Tokens: DiVT iguala o supera a las líneas base (incluyendo MLP, ToME, FastV, PruMerge, VisionZip y TokenPacker) utilizando significativamente menos tokens.
  • Por ejemplo, con ~136.5 tokens (frente a 576 en MLP completo), DiVT logra un rendimiento comparable en MMBench (66.7 vs. 64.3) y VQAv2 (78.2 vs. 78.5).
  • Bajo presupuestos ajustados (por ejemplo, ~35 tokens), DiVT supera significativamente a otros métodos, demostrando robustez donde la reducción de tokens suele degradar el rendimiento.
• Comparación con Proyectores: DiVT supera a otros proyectores visuales (Resampler, C-Abstractor, Pixel-Shuffle) en tareas de conversación general y VQA, manteniéndose competitivo en tareas especializadas.
• Análisis Cualitativo: Los mapas de atención muestran que DiVT produce patrones de atención más enfocados y semánticamente coherentes en comparación con la atención dispersa de los proyectores MLP estándar.
• Control de Granularidad: Los experimentos muestran que los modelos entrenados con un $\theta$ específico pueden evaluarse con diferentes valores de $\theta$ en la inferencia con una pérdida mínima de rendimiento, validando la flexibilidad del enfoque.

5. Significado y Afirmaciones

El artículo afirma que DiVT aborda la "brecha de modalidad" entre las entradas visuales y textuales creando tokens visuales que se comportan más como "palabras". Al desentrelazar explícitamente la información semántica y adaptar el presupuesto de tokens a la complejidad de la imagen, DiVT ofrece un mecanismo práctico para:

• Reducir Costos Computacionales: Disminuir significativamente el uso de memoria (caché KV) y la latencia al reducir el número de tokens visuales.
• Mejorar la Compatibilidad: Hacer que las entradas visuales sean más compatibles con las capacidades de razonamiento discreto de los LLM.
• Habilitar Despliegue Flexible: Proporcionar un control sin entrenamiento para que los practicantes equilibren la precisión y los recursos de cómputo durante la inferencia.

Los autores enfatizan que su método no requiere supervisión externa (como anotaciones de objetos) ni entrenamiento complejo en múltiples etapas, dependiendo únicamente del objetivo de modelado de lenguaje para dar forma a los tokens visuales. Esto convierte a DiVT en una solución ligera, plug-and-play para una comprensión multimodal eficiente en costos y alineada con el ser humano.