💻 computer science

When LLaVA Meets Objects: Token Composition for Vision-Language-Models

El artículo presenta Mask-LLaVA, un marco que utiliza una combinación de representaciones de objetos basadas en máscaras, tokens globales y locales para crear una representación visual compacta que permite reducir dinámicamente el número de tokens durante la inferencia sin perder rendimiento significativo.

Autores originales: Soumya Jahagirdar, Walid Bousselham, Anna Kukleva, Hilde Kuehne

Publicado 2026-02-10

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Soumya Jahagirdar, Walid Bousselham, Anna Kukleva, Hilde Kuehne

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El problema: El "exceso de equipaje" de la Inteligencia Artificial

Imagina que quieres contarle a un amigo qué hay en una foto de una fiesta. Tienes dos opciones:

La opción pesada (como los modelos actuales): Le entregas a tu amigo un álbum de 500 fotos diminutas, una por cada milímetro de la imagen original. Tu amigo tardará muchísimo tiempo en mirar cada fotito, se cansará y gastará mucha energía solo para entender que hay gente bailando. Esto es lo que hacen los modelos actuales (como LLaVA): usan miles de "tokens" (pedacitos de información) para describir una imagen, lo que los hace lentos y costosos.
La opción inteligente (lo que propone este estudio): Le das a tu amigo un resumen rápido, le señalas los objetos importantes y le dices dónde están. Es mucho más rápido y eficiente.

La solución: Mask-LLaVA (El "Resumen Inteligente")

Los investigadores han creado un nuevo sistema llamado Mask-LLaVA. En lugar de obligar a la Inteligencia Artificial a mirar cada pixel como si fuera una pieza de un rompecabezas infinito, le enseñan a ver la imagen en tres niveles de zoom, como si fuera un reportero de noticias:

El Zoom Global (La vista de pájaro): Es como un vistazo rápido desde un helicóptero. Nos dice: "Es una fiesta en un jardín". Es un solo token que da el contexto general.
El Zoom Local (El mapa de la zona): Es como un mapa de Google Maps que divide el jardín en cuadrículas. No mira cada flor, pero sabe que "en esta esquina hay algo verde" y "en aquella hay algo brillante".
El Zoom de Objetos (El foco del reportero): Aquí es donde ocurre la magia. El sistema usa una herramienta (llamada SAM) que funciona como un foco de luz. En lugar de mirar todo el jardín, el foco ilumina directamente: "¡Mira, un pastel!", "¡Mira, un perro!", "¡Mira, una persona!". Estos son los "tokens de objetos".

¿Por qué es esto una revolución?

Lo más increíble es la flexibilidad. Imagina que tienes un teléfono viejo con poca batería o una computadora lenta.

Con los modelos antiguos, si intentas reducir la información, el modelo se vuelve "tonto" y empieza a alucinar (dice que hay un elefante donde solo hay una silla).

Con Mask-LLaVA, puedes decidir cuánta información enviar según la potencia que tengas:

Si tienes una supercomputadora: Le envías todos los detalles de todos los objetos.
Si tienes un móvil sencillo: Le dices: "Solo envíame el resumen general y los 5 objetos más importantes".

El estudio demuestra que, incluso enviando muy poquita información (usando un 97% menos de datos que los modelos tradicionales), la IA sigue siendo increíblemente inteligente y no comete errores graves.

En resumen...

Si los modelos de IA actuales son como leer un libro palabra por palabra para entender la trama, Mask-LLaVA es como leer el índice, los títulos de los capítulos y las notas al pie. Obtienes la misma historia, pero en una fracción del tiempo y con mucho menos esfuerzo.

Resumen Técnico: Mask-LLaVA

1. El Problema: La Ineficiencia de los Tokens Visuales

Los modelos actuales de Lenguaje-Visión (VLM) autoregresivos, como LLaVA, dependen de una gran cantidad de tokens visuales para representar una imagen (por ejemplo, 576 tokens para una resolución de 336x336, o hasta 2880 en versiones de alta resolución). Esta abundancia de tokens incrementa significativamente el costo computacional y el tiempo de inferencia en el lado del Modelo de Lenguaje Grande (LLM). Aunque existen métodos de poda (pruning) o compresión, la mayoría se limitan a trabajar con tokens de parches (patch tokens), ignorando representaciones de mayor nivel semántico.

2. Metodología: Composición de Tokens Multinivel

Los autores proponen Mask-LLaVA, un marco que utiliza una representación visual compacta pero rica en información mediante la combinación de tres niveles de granularidad:

Tokens Globales ( $F_{global}$ ): Utiliza el token [CLS] del codificador de visión (ViT) para capturar el contexto general de la imagen.
Tokens Locales ( $F_{local}$ ): Aplica un average pooling 2D sobre los tokens de parches originales para reducir la redundancia espacial, obteniendo una representación local más compacta.
Tokens de Objetos basados en Máscaras ( $F_{object}$ ): Esta es la innovación principal. El modelo utiliza un detector de objetos (DeTR) y un modelo de segmentación (SAM) para generar máscaras de los objetos presentes. Luego, emplea una técnica llamada Maskinversion para extraer un vector de características específico para cada máscara, alineando la representación con la región segmentada.

Innovaciones Técnicas Adicionales:

Escalado de Tokens (Scaling): Debido a que los diferentes tipos de tokens tienen normas (magnitudes) distintas, los autores proponen un método de normalización para que los tokens [CLS] y de objetos tengan una escala comparable a la de los tokens de parches, facilitando el aprendizaje conjunto.
Flexibilidad en la Inferencia: El modelo se entrena con un conjunto completo de tokens (incluyendo un sobremuestreo de objetos), lo que permite que, durante la prueba, se puedan eliminar dinámicamente los tokens de objetos o parches sin necesidad de reentrenamiento, adaptándose a la capacidad computacional disponible.

3. Contribuciones Clave

Arquitectura Eficiente: Un marco VLM que permite variar el número de tokens en tiempo de ejecución.
Representación Jerárquica: La integración de características globales, locales y centradas en objetos en un único flujo de entrada.
Robustez mediante Sobremuestreo: Demuestran que entrenar con una cantidad mayor de tokens de objetos permite una poda flexible y eficiente durante la inferencia sin una caída significativa en el rendimiento.

4. Resultados y Evaluación

El modelo fue evaluado en ocho conjuntos de datos estándar (incluyendo VQAv2, GQA, POPE, MME, entre otros). Los resultados principales indican:

Competitividad: Mask-LLaVA es altamente competitivo con métodos de reducción de tokens actuales.
Eficiencia Extrema: Con una reducción de tokens de hasta el 97% (utilizando solo 15 tokens), el modelo mantiene un rendimiento superior a otros métodos que utilizan más tokens.
Reducción de Alucinaciones: En el benchmark POPE, el modelo demuestra una capacidad superior para identificar la presencia o ausencia de objetos, reduciendo las alucinaciones visuales en comparación con LLaVA estándar.
Estabilidad: A diferencia de otros modelos que sufren una caída drástica de precisión al reducir tokens, Mask-LLaVA muestra una degradación muy suave (aproximadamente un 1% por nivel de reducción).

5. Significado e Impacto

La importancia de este trabajo radica en su capacidad para democratizar el uso de VLMs potentes. Al permitir que el modelo funcione con una fracción de los tokens habituales, Mask-LLaVA abre la puerta a la implementación de modelos de visión-lenguaje avanzados en dispositivos con capacidades computacionales limitadas (como móviles o hardware de borde) y permite optimizar el procesamiento de escenarios complejos que involucran múltiples imágenes o textos extensos.