💻 computer science

Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow

Este trabajo propone un método basado en la dinámica de tokens para regular el flujo de información durante la inferencia en modelos de visión y lenguaje, mejorando su capacidad de percepción al asegurar que los tokens de texto se asocien únicamente con los tokens visuales relevantes y eliminen la interferencia de regiones irrelevantes.

Autores originales: Chengxin Liu, Wonseok Choi, Chenshuang Zhang, Tae-Hyun Oh

Publicado 2026-04-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Chengxin Liu, Wonseok Choi, Chenshuang Zhang, Tae-Hyun Oh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los Modelos de Visión y Lenguaje (VLM) son como un detective muy inteligente pero un poco distraído. Este detective tiene dos herramientas principales: sus ojos (para ver la imagen) y su cerebro (para leer la pregunta y dar la respuesta).

El problema que descubrieron los autores de este paper es que, aunque el detective ve perfectamente la imagen, a veces no sabe qué mirar cuando le hacen una pregunta.

Aquí te explico cómo funciona su solución, la "Adaptive Information Flow" (Flujo de Información Adaptativo), usando analogías sencillas:

1. El Problema: El Detective con "Ruido" en los Oídos

Imagina que le preguntas al detective: "¿Qué personaje de dibujos animados hay en el reloj?" y le muestras una foto de una cocina llena de cosas: un gato, un perro, un reloj con Mickey Mouse y una tostadora.

Lo que pasa normalmente: El cerebro del detective (el modelo) intenta escuchar a todos los "ojos" (los pedacitos de la imagen) al mismo tiempo. Escucha al gato, al perro, a la tostadora y a Mickey. Como hay tanto "ruido" de cosas que no importan, el cerebro se confunde y a veces responde: "¡Es Bugs Bunny!" (aunque Bugs no esté en la foto).
La causa: El modelo distribuye su atención de forma desordenada. Mira todo, pero no se concentra en lo importante.

2. La Solución: El "Silenciador" Mágico

Los autores proponen una técnica llamada Flujo de Información Adaptativo (AIF). Imagina que le das al detective un botón de silencio para apagar a los testigos que no saben nada.

Cómo funciona: Antes de que el detective dé la respuesta final, el sistema analiza rápidamente qué partes de la imagen están "gritando" más fuerte o mostrando patrones extraños.
La analogía de la fiesta: Piensa en la imagen como una fiesta ruidosa.
- Las partes importantes (el reloj con Mickey) son como la persona que está contando la historia interesante.
- Las partes irrelevantes (el gato, la tostadora) son como gente que está hablando de cosas sin sentido en otra esquina.
- El método AIF actúa como un guardia de seguridad que, justo antes de que el detective hable, le dice al guardia: "¡Silencia a todos los que no están hablando de Mickey!".
El resultado: De repente, el detective solo escucha a Mickey. Ya no hay ruido. La respuesta cambia de "Bugs Bunny" a "¡Es Mickey Mouse!".

3. ¿Cómo sabe el sistema qué silenciar? (La Dinámica de los "Tokens")

El sistema no necesita aprender de nuevo ni reentrenar al detective (lo cual sería como enviarlo a la universidad por 4 años). Solo necesita observar cómo reaccionan sus ojos durante un segundo.

La analogía de la "bailarina": Imagina que cada pedacito de la imagen es una bailarina.
- Las bailarinas importantes (el objeto de la pregunta) bailan con un ritmo muy claro y constante cuando la música (la pregunta) cambia.
- Las bailarinas irrelevantes bailan de forma caótica y desordenada.
El sistema mide este "ritmo" (llamado entropía o dinámica de tokens). Si una bailarina se mueve de forma muy aleatoria, el sistema dice: "Esa no es importante, silencia su voz". Si baila con ritmo, dice: "¡Escúchala!".

4. ¿Por qué es genial esto?

Es rápido: No requiere entrenar al modelo de nuevo. Es como darle un nuevo par de gafas al detective justo antes de que entre a la sala, en lugar de entrenarlo desde cero.
Es preciso: Ayuda al modelo a ver detalles pequeños (como leer un texto en una foto o contar cuántos coches hay) porque elimina las distracciones.
Es universal: Funciona con diferentes modelos de inteligencia artificial, como si fuera un "parche" o una "actualización de software" que puedes instalar en cualquier detective.

En resumen

Este paper nos dice que a veces, para que una Inteligencia Artificial sea más inteligente, no necesitamos hacerla más grande ni más compleja. A veces, solo necesitamos enseñarle a ignorar lo que no importa.

Es como si le dijéramos al modelo: "Oye, no te distraigas con el gato ni con la tostadora. Fíjate solo en el reloj. Ahí está la respuesta". Y de repente, ¡el modelo empieza a acertar mucho más!

1. El Problema: Desalineación entre "Ver" y "Percepción"

Los Modelos de Visión y Lenguaje (VLMs) han demostrado capacidades notables en tareas como reconocimiento visual y análisis de documentos. Sin embargo, el artículo identifica un problema fundamental: existe una desalineación entre lo que el modelo "ve" y lo que "percibe".

La Paradoja: A menudo, los VLMs logran capturar la región correcta de la imagen mediante mecanismos de atención (es decir, "ven" el objeto relevante), pero fallan al generar la respuesta correcta.
La Causa Raíz: Los autores atribuyen esto a un flujo de información subóptimo durante la fase de decodificación. Los tokens de texto distribuyen su atención de manera dispersa sobre muchos tokens visuales irrelevantes (fondo o distracciones), introduciendo ruido en la ruta de decodificación textual. Esto distrae al modelo y conduce a respuestas incorrectas o alucinaciones, a pesar de que la información relevante está presente en la imagen.
Limitaciones de Métodos Existentes: Soluciones actuales como el recorte de imágenes (visual cropping) aumentan el tiempo de inferencia significativamente y no funcionan bien en razonamiento relacional. Otros métodos requieren reentrenamiento costoso.

2. Metodología: Flujo de Información Adaptativo (AIF)

La propuesta central es un método sin entrenamiento (training-free) que modula el flujo de información durante la inferencia para bloquear las conexiones entre tokens de texto y tokens visuales irrelevantes.

A. Dinámica de Tokens (Token Dynamics)

Los autores observan que los tokens visuales importantes (los que corresponden a objetos relevantes para la pregunta) exhiben patrones de activación distintivos en ciertas capas del modelo de lenguaje (LLM) en comparación con los tokens de regiones irrelevantes, que muestran patrones irregulares.

Se define la dinámica de tokens ( $D_{v_i}$ ) basándose en el valor de atención máxima que un token visual recibe de los tokens de texto a través de las capas del LLM.

B. Medición de Importancia mediante Entropía

Para identificar qué tokens visuales son importantes y cuáles deben ser bloqueados, se propone una métrica basada en la entropía:

Se calcula la entropía de la dinámica de tokens para cada token visual.
Hipótesis: Una alta entropía indica alta aleatoriedad en la activación a través de las capas, lo que sugiere que el token es irrelevante o distractor. Una baja entropía indica un patrón de activación consistente y fuerte, sugiriendo relevancia.
Los tokens con alta entropía se marcan para ser enmascarados.

C. Modulación de la Máscara Causal

La implementación técnica se realiza modificando la máscara causal durante el cálculo de la atención:

Paso Inicial: Se realiza una decodificación de un solo paso para obtener las estadísticas de atención y calcular la entropía de los tokens visuales.
Selección: Se seleccionan los tokens visuales con mayor entropía (menos importantes).
Bloqueo: Se modifica la máscara causal para bloquear explícitamente la interacción (atención) entre los tokens de texto y los tokens visuales irrelevantes seleccionados.
Decodificación Final: El modelo realiza el resto de la inferencia utilizando esta máscara causal modificada, forzando al modelo a concentrarse únicamente en las regiones visuales relevantes.

Nota clave: A diferencia del recorte de imágenes, este método no elimina los tokens visuales de la secuencia; simplemente impide que los tokens de texto "escuchen" a los irrelevantes. La información visual interna (entre tokens visuales) se mantiene intacta.

3. Contribuciones Clave

Demostración de la Desalineación: Se evidencia que la desalineación entre visión y percepción se debe a un flujo de información ruidoso durante la inferencia, no a una falta de capacidad de detección.
Método AIF (Adaptive Information Flow): Se propone un método de modulación de flujo de información basado en la dinámica de tokens y la entropía, que es adaptativo (se ajusta a cada pregunta/imagen) y no requiere reentrenamiento.
Mejora Generalizada: El enfoque mejora significativamente el rendimiento en modelos VLMs de código abierto representativos (LLaVA-1.5 y Qwen2.5-VL) sin añadir módulos auxiliares ni cambiar la arquitectura.

4. Resultados Experimentales

Los autores evaluaron el método en una amplia gama de tareas y conjuntos de datos:

Preguntas de Respuesta Visual (VQA): Mejoras sustanciales en conjuntos como RealWorldQA, TextVQA y MMStar. Por ejemplo, en LLaVA-1.5, la precisión en RealWorldQA aumentó de 55.6 a 60.5.
Reconocimiento Óptico de Caracteres (OCR): Mejoras en TextVQA y SeedBench2-Plus, demostrando eficacia en tareas de percepción fina.
Localización y Conteo: Mejoras significativas en RefCOCO (grounding) y CountBench. El método superó incluso a métodos especializados como Grounding-DINO en ciertas métricas de localización.
Alucinación de Objetos: El método redujo las alucinaciones en el conjunto de datos POPE, ya que al bloquear regiones irrelevantes, el modelo se ve obligado a basar sus respuestas en evidencia visual real.
Comparativa: El método superó a enfoques basados en reentrenamiento (como CCA) y a métodos de recorte de imágenes (ViCrop) en términos de precisión y eficiencia, sin incurrir en el costo computacional de reentrenar el modelo.

5. Significado e Impacto

Cambio de Paradigma: El trabajo sugiere que la estructura del flujo de información dentro del modelo es un "palanca" poderosa y subexplorada para mejorar la percepción, más allá de simplemente añadir más datos o complejidad arquitectónica.
Eficiencia: Al ser un método de inferencia (test-time) que solo requiere un paso de decodificación adicional para generar la máscara, el costo computacional es mínimo (equivalente a la generación de un token).
Generalidad: Al no depender de pesos específicos ni de la arquitectura interna del modelo (más allá de la atención estándar), es aplicable a una variedad de VLMs modernos.

En conclusión, el artículo demuestra que bloquear selectivamente el ruido visual mediante la modulación de la máscara causal permite a los VLMs alinear mejor su percepción con la realidad de la imagen, mejorando la precisión, la fiabilidad y reduciendo las alucinaciones sin necesidad de un costoso reentrenamiento.