💻 computer science

Direct Visual Grounding by Directing Attention of Visual Tokens

Este artículo propone una novedosa pérdida de atención KL (KLAL) que supervisa directamente la atención de los tokens visuales hacia los tokens de lenguaje relevantes en los Modelos de Lenguaje y Visión, mejorando así el rendimiento en tareas de localización visual al abordar las señales de atención insuficientes proporcionadas por la predicción estándar del siguiente token.

Autores originales: Parsa Esmaeilkhani, Longin Jan Latecki

Publicado 2026-08-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Parsa Esmaeilkhani, Longin Jan Latecki

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden mirar una imagen y hablar de ella, tal como tú y yo charlamos sobre una foto en nuestros teléfonos. Este es el reino de los Modelos de Visión-Lenguaje (VLM), una rama de la inteligencia artificial que intenta cerrar la brecha entre lo que una cámara ve y lo que un humano dice. Piensa en estos modelos como traductores superinteligentes que toman una imagen, la descomponen en diminutas piezas de rompecabezas digitales llamadas "tokens visuales" y las mezclan con palabras para responder preguntas como "¿De qué color es el gato?" o "¿Cuántas manzanas hay?".

Durante mucho tiempo, los científicos pensaron que estos modelos se estaban volviendo muy buenos en esto. Pero había un misterio persistente: a veces, incluso cuando la respuesta era correcta, la computadora parecía ignorar la imagen por completo. Era como si un estudiante estuviera tomando un examen, leyera la pregunta, echara un vistazo al diagrama y luego respondiera basándose enteramente en lo que recordaba de un libro de texto, olvidando por completo mirar las líneas y formas específicas que tenía justo enfrente. La gran pregunta para los investigadores era: ¿Por qué el "cerebro" de la computadora deja de prestar atención a las pistas visuales cuando llega el momento de dar la respuesta final? Este artículo profundiza en ese problema exacto, tratando de averiguar si podemos enseñar a estos modelos de IA a mirar realmente las partes adecuadas de la imagen cuando hablan.

El Problema: El "Fantasma" en la Máquina

Conoce al Modelo de Visión-Lenguaje. Puedes pensar en él como un robot muy hablador que ha leído un millón de libros y ha visto un millón de fotos. Cuando le haces una pregunta sobre una imagen, descompone la imagen en una cuadrícula de pequeños cuadrados (tokens visuales) y los mezcla con las palabras que escribiste.

Aquí está la parte extraña: el artículo encontró que, en los momentos finales del pensamiento, justo antes de que el robot escriba su respuesta, a menudo deja de mirar la imagen. Es como un chef que tiene todos los ingredientes sobre el mostrador pero, cuando llega el momento de emplatar el plato, decide ignorar la comida y simplemente adivinar a qué debería saber basándose en una receta que memorizó. Los investigadores descubrieron que la "atención" que la computadora presta a las partes más importantes de la imagen (como la intersección de dos líneas o un objeto específico) es casi nula. Es como si las pistas visuales fueran fantasmas: presentes en el sistema, pero invisibles para la parte del cerebro que escribe la respuesta.

El artículo argumenta que la forma estándar en que se entrenan estos modelos (llamada "Predicción del Siguiente Token") es como un profesor que solo califica el ensayo final pero nunca revisa si el estudiante realmente miró las fotos de referencia. La computadora aprende a adivinar la siguiente palabra correctamente, pero no aprende por qué es la palabra correcta o qué parte de la imagen la hizo correcta.

La Solución: Un "Puntero Láser" para la Atención

Para solucionar esto, los autores idearon un nuevo y astuto truco de entrenamiento llamado Pérdida de Atención KL (KLAL).

Imagina que estás enseñando a un perro a buscar una pelota. En la forma antigua, solo dirías "¡Buen perro!" cuando trae la pelota, pero el perro podría haber estado corriendo al azar y haber atrapado la pelota por pura suerte. En la nueva forma propuesta por este artículo, usas un puntero láser. Cada vez que el perro mira la pelota, iluminas el lugar y dices: "¡Sí! ¡Mira justo ahí!".

En el mundo de la computación, el "puntero láser" es una señal matemática especial que obliga al modelo a enfocar su atención en los píxeles específicos de la imagen que son importantes para la respuesta.

Si la pregunta es "¿Cuántas veces se cruzan estas líneas?", el puntero láser brilla en los puntos exactos donde las líneas se intersectan.
Si la pregunta es "¿Está este nodo conectado a aquel?", el punero láser traza el camino de la línea que los conecta.

Luego, el modelo es castigado (mediante una función de pérdida) si mira en cualquier otro lugar. Es como decirle al robot: "No puedes simplemente adivinar la respuesta; tienes que demostrar que estás mirando el lugar correcto en la imagen".

Lo Que Encontraron: De Adivinar a Ver

Los investigadores probaron esta idea en algunas tareas complicadas que requieren un razonamiento visual preciso, como contar cuántas veces se cruzan dos líneas onduladas o trazar un camino a través de un gráfico complejo para ver si dos puntos están conectados. Incluso inventaron un nuevo juego llamado "Seguimiento de Líneas" donde la computadora tiene que seguir un camino a través de un laberio de puntos.

Esto fue lo que pasó cuando encendieron el "puntero láser" (KLAL):

Mejores Respuestas: Los modelos mejoraron significamente en las tareas. Por ejemplo, en la tarea de "Intersección de Líneas", un modelo mejoró su precisión de aproximadamente un 47% a más del 70% cuando añadieron este nuevo método de entrenamiento. En una tarea de "Apuntar" (donde el modelo tiene que decir exactamente dónde está un objeto), la mejora fue masiva, pasando de un acierto casi aleatorio a acertar casi la mitad de las veces.
Mejor Enfoque: La parte más emocionante no fue solo la puntuación; fue cómo pensaba el modelo. Cuando los investigadores observaron los "mapas de atención" del modelo (que muestran dónde está mirando la computadora), vieron un cambio dramático. Antes del nuevo entrenamiento, el modelo miraba partes aleatorias de la imagen. Después del entrenamiento, la atención del modelo estaba fuertemente bloqueada en los puntos de intersección o en el objeto específico, tal como lo haría un humano.
Memoria más Fuerte: El artículo también encontró que este entrenamiento no solo cambió hacia dónde miraba el modelo; de hecho, hizo que la memoria interna de la imagen fuera más fuerte. Los "pesos" digitales de las partes importantes de la imagen se volvieron más pesados y distintos, lo que significa que el modelo realmente "entendía" mejor los datos visuales, no solo las palabras.

El Veredicto

El artículo sugiere que la razón por la que estos modelos de IA a veces fallan en tareas visuales simples no es porque no sean lo suficientemente inteligentes, sino porque no se les está enseñando a mirar adecuadamente. Al añadir una señal directa de "puntero láser" durante el entrenamiento, obligaron a los modelos a conectar sus palabras directamente con los píxeles que representan.

Los resultados muestran que este método funciona en diferentes tipos de modelos, desde los de código abierto hasta algunos de los sistemas de IA comerciales más grandes. Incluso los modelos comerciales más avanzados tuvieron dificultades con estas tareas geométricas específicas hasta que se aplicó este método. Los autores concluyen que, si queremos que la IA comprenda verdaderamente el mundo, no podemos dejar que simplemente adivine; tenemos que enseñarle a prestar atención a las cosas correctas, tal como un profesor guía los ojos de un estudiante hacia la parte correcta de un diagrama.

En resumen, el artículo demuestra que cuando obligas a una IA a mirar la evidencia antes de hablar, deja de alucinar y comienza a ver de verdad.

Resumen Técnico: Anclaje Visual Directo mediante la Dirección de la Atención de los Tokens Visuales

Planteamiento del Problema
Los Modelos de Lenguaje-Visión (VLM) integran tokens visuales y textuales dentro de módulos de Modelos de Lenguaje de Gran Escala (LLM), sin embargo, fallan frecuentemente en tareas que requieren un razonamiento visual preciso, como la inferencia geométrica, el conteo de objetos y la verificación de relaciones espaciales. Un problema crítico identificado es que, en las capas finales del LLM, los tokens de la respuesta asignan poca o ninguna atención a los tokens visuales más relevantes para la consulta. En su lugar, el modelo suele depender de sesgos lingüísticos (priors), lo que conduce a alucinaciones o respuestas incorrectas incluso cuando la información visual está presente. La pérdida estándar de Predicción del Siguiente Token (NTP) proporciona una señal insuficiente para dirigir la atención del modelo hacia regiones visuales específicas, lo que resulta en un escenario donde los tokens visuales son efectivamente ignorados o tratados por igual con tokens irrelevantes.

Metodología
Los autores proponen un novedoso marco de entrenamiento que introduce la Pérdida de Atención KL (KLAL) para supervisar directamente el mecanismo de atención de los VLM. La hipótesis central es que alinear explícitamente la distribución de atención de los tokens de respuesta de lenguaje con las regiones visuales de la verdad de terreno (GT) mejora el rendimiento.

Supervisión de la Atención: El método calcula la distribución de atención de los tokens visuales con respecto al token de respuesta de lenguaje final generado. Esta distribución se trata como un vector de probabilidad.
Construcción de la Verdad de Terreno (GT): Los mapas de atención de la verdad de terreno se construyen automáticamente sin requerir nuevas etiquetas manuales:
- Tareas Sintéticas: Los mapas se derivan de la geometría de la tarea (por ejemplo, parches que contienen intersecciones de líneas o caminos que conectan nodos).
- Imágenes Reales: Los mapas se proyectan desde anotaciones estándar (cajas delimitadoras o anotaciones de puntos) utilizando funciones de suavizado.
Función de Pérdida: La propuesta KLAL minimiza la divergencia de Kullback-Leibler (KL) entre la distribución de atención predicha por el modelo y la distribución de la verdad de terreno construida a través de todas las capas del LLM.
Objetivo de Entrenamiento: La pérdida total combina la pérdida NTP estándar con la KLAL: $L_{total} = L_{NTP} + \lambda L_{KLAL}$ . Este enfoque es agnóstico al modelo, no requiere modificaciones arquitectónicas y no necesita cabezales adicionales específicos para la tarea (por ejemplo, para segmentación o localización).

Contribuciones Clave

Nueva Función de Pérdida: Introducción de KLAL, que ancla directamente los tokens de lenguaje de la respuesta a los tokens visuales relevantes mediante la alineación de distribuciones de atención vía divergencia KL.
Evidencia Empírica: Demostración de que mejorar la atención a las regiones de la imagen relevantes correlaciona directamente con un aumento en el rendimiento de las tareas visuales, ofreciendo una mejor explicabilidad a través de mapas de atención.
Mejora de los Embeddings: Descubrimiento de que el método mejora los embeddings profundos de los tokens visuales, causando que los tokens de alta norma se concentren en las regiones de la imagen más relevantes para la respuesta correcta.
Nuevo Conjunto de Datos: Creación de un conjunto de datos sintético de Seguimiento de Líneas (Line Tracing) para evaluar la capacidad de los VLM para trazar caminos y determinar la conectividad entre nodos en grafos complejos, una tarea en la que incluso los modelos comerciales tienen dificultades.
Evaluación Exhaustiva: Benchmarking extensivo de VLM de código abierto y comerciales en tareas de razonamiento geométrico, señalización (pointing) y comprensión de expresiones de referencia (REC).

Resultados Experimentales
El método fue evaluado en cinco conjuntos de datos: Intersección de Líneas (Line Intersection), Seguimiento de Líneas (Line Tracing), Señalización de Parches de Cuadrícula (Grid Patch pointing), PixMo-Points y RefCOCO.

Tareas Geométricas: En las tareas de Intersección de Líneas y Seguimiento de Líneas, añadir KLAL al ajuste fino (finetuning) de NTP superó significativamente a los modelos base y al ajuste fino solo con NTP. Por ejemplo, Qwen2.5-VL mejoró del 47.62% al 70.23% en Intersección de Líneas y del 49.62% al 62.21% en Seguimiento de Líneas.
Tareas de Señalización (Pointing): El enfoque produjo ganancias sustanciales en la localización de coordenadas. Qwen2.5-XL alcanzó un 44.90% de precisión en Grid Patch y un 35.77% en PixMo-Points con NTP+KLAL, superando tanto a los modelos base como a otros baselines de última generación como GPT-4o y Gemini-2.0 Flash.
Generalización: Los experimentos de transferencia entre conjuntos de datos mostraron que NTP+KLAL permitió una transferencia efectiva entre conjuntos de datos de señalización, mientras que NTP por sí solo falló en generalizar.
Anclaje en el Mundo Real: En el conjunto de datos RefCOCO, el método proporcionó mejoras medibles en la precisión (por ejemplo, 91.45% frente a 90.05% en validación) incluso para modelos que ya tenían un desempeño sólido.
Visualización de la Atención: Los mapas de atención confirmaron que los modelos entrenados con KLAL se enfocaron significativamente más en las regiones objetivo (por ejemplo, puntos de intersección) en comparación con los modelos base, donde la atención era difusa o estaba desalineada.

Significancia y Reivindicaciones
El artículo afirma que la limitación principal en el rendimiento actual de los VLM en tareas visuales es la falta de supervisión directa de la atención visual dentro del módulo LLM. Al trazar una analogía con el aprendizaje en la infancia temprana —donde la supervisión directa vincula la dominancia visual con el aprendizaje de palabras— los autores argumentan que su enfoque transforma la exposición pasiva en aprendizaje activo. La importancia de este trabajo radica en demostrar que:

La NTP estándar es insuficiente para el anclaje de los tokens visuales.
La supervisión directa de la atención vía divergencia KL es una solución simple, efectiva y agnóstica al modelo que mejora tanto la precisión de la respuesta como la interpretabilidad de las decisiones del modelo.
Incluso los VLM comerciales avanzados exhiben debilidades fundamentales en el razonamiento geométrico y de conectividad, las cuales pueden mitigarse mediante esta supervisión de atención dirigida.

El Problema: El "Fantasma" en la Máquina

La Solución: Un "Puntero Láser" para la Atención

Lo Que Encontraron: De Adivinar a Ver

El Veredicto

Más como este