💻 computer science

Getting to the Point: Why Pointing Improves LVLMs

Este estudio demuestra que la técnica de "señalar primero y luego contar" mejora la generalización y precisión de los modelos de visión y lenguaje al obligarlos a aprender habilidades espaciales mediante la predicción de coordenadas, aunque revela ciertas sesgos espaciales en la fiabilidad de dichas predicciones.

Autores originales: Simone Alghisi, Massimo Rizzoli, Seyed Mahed Mousavi, Giuseppe Riccardi

Publicado 2026-03-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Simone Alghisi, Massimo Rizzoli, Seyed Mahed Mousavi, Giuseppe Riccardi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un amigo muy inteligente, pero un poco despistado, llamado LVLM (un modelo de lenguaje e imagen gigante). Este amigo puede ver fotos y hablar contigo, pero si le pides que cuente cosas en una imagen (por ejemplo, "¿Cuántas estrellas azules hay?"), a veces se confunde y da respuestas incorrectas, como si estuviera adivinando.

Los autores de este artículo descubrieron un truco genial para ayudar a este amigo a ser mucho más listo: enseñarle a señalar con el dedo antes de contar.

Aquí tienes la explicación de su investigación, traducida a un lenguaje sencillo y con analogías:

1. El Problema: Contar sin "ver" realmente

Imagina que le muestras a tu amigo una foto llena de globos de colores y le preguntas: "¿Cuántos globos rojos hay?".

El método antiguo (Contado Directo): Tu amigo mira la foto y, de un salto, te dice un número. A veces acierta, pero si hay muchos globos o si hay otros objetos que lo distraen, suele fallar. Es como intentar adivinar cuántas personas hay en un estadio solo echando un vistazo rápido sin contar.
El problema: El modelo a veces "alucina" (inventa números) o se confunde con los objetos que no le interesan.

2. La Solución: "Señalar y luego Contar" (Point-then-Count)

Los investigadores probaron una nueva estrategia. En lugar de pedirle el número directamente, le dijeron: "Primero, señala con el dedo dónde está cada globo rojo, y luego dime cuántos señalaste".

La analogía del profesor: Es como cuando un profesor te pide que no solo des la respuesta final en un examen de matemáticas, sino que muestres el procedimiento paso a paso. Al obligar al modelo a "señalar" (predecir las coordenadas de cada objeto), lo obligamos a mirar de verdad la imagen y a entender dónde está cada cosa antes de dar el número final.

3. ¿Qué descubrieron? (Los hallazgos principales)

A. Aprenden a "contar" de verdad, no a memorizar

Cuando el modelo solo tiene que dar el número, a veces memoriza patrones (por ejemplo, "si veo muchos objetos, la respuesta suele ser 5"). Pero cuando tiene que señalar primero, aprende la habilidad real de contar.

La prueba: Les mostraron fotos con más objetos de los que habían visto en el entrenamiento (como si hubieran practicado hasta 9 globos, y luego les mostraron 15).
Resultado: El modelo que aprendió a señalar funcionó mucho mejor en estos casos nuevos. Aprendió la habilidad de contar, no solo a repetir un número memorizado.

B. El "dedo" es un mapa de confianza

¿Es útil ese "dedo" (las coordenadas) para que un humano entienda qué vio el modelo?

Resultado: ¡Sí! En más del 89% de los casos, el modelo señala exactamente donde está el objeto. Es como si el modelo te dijera: "Mira, aquí hay uno, y aquí hay otro". Esto hace que la respuesta sea más transparente y confiable.
Pero ojo: A veces, el modelo es mejor señalando en el centro de la foto que en las esquinas (tiene un pequeño "sesgo" o preferencia por el centro), como si tuviera una mancha en la visión periférica.

C. El secreto: La información espacial

Los investigadores hicieron una prueba curiosa: ¿Qué pasa si le decimos al modelo que señale, pero le damos un símbolo sin sentido (como una "X") en lugar de las coordenadas reales?

Resultado: ¡El modelo vuelve a fallar!
La conclusión: Lo que hace que el modelo sea tan bueno no es el acto de escribir "coordenadas", sino la información espacial que esas coordenadas contienen. Al tener que pensar en dónde está el objeto, el modelo usa esa información para contar mejor. Es como si el modelo dijera: "No puedo contar solo mirando la foto, necesito saber la ubicación exacta de cada uno para no perderme".

4. ¿Por qué es importante esto?

Imagina que quieres usar esta tecnología en medicina para contar células blancas en una muestra de sangre, o en agricultura para contar árboles enfermos en un bosque.

Si el modelo solo adivina el número, podrías cometer un error grave.
Si el modelo señala primero, puedes ver dónde está contando y verificar si tiene sentido. Además, al tener que señalar, el modelo es mucho más robusto y menos propenso a equivocarse cuando la situación es difícil o nueva.

En resumen

Este artículo nos dice que para que la Inteligencia Artificial sea realmente buena en tareas complejas como contar o razonar, no debemos pedirle solo la respuesta final. Debemos obligarla a hacer un "boceto" o mapa mental (señalar los objetos) antes de dar el resultado.

Es como enseñar a un niño a contar: no le digas solo "¿cuántos hay?", enséñale a tocar y señalar cada objeto uno por uno. ¡Ese es el secreto para que la IA deje de adivinar y empiece a entender!

Resumen Técnico: Getting to the Point

1. Planteamiento del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLMs) han demostrado un rendimiento notable en tareas multimodales como la descripción de imágenes o la respuesta a preguntas visuales. Sin embargo, su desempeño se degrada significativamente en tareas cognitivas complejas que requieren razonamiento espacial, temporal o de conteo.

Limitaciones actuales: Los LVLMs a menudo fallan al contar objetos (especialmente fuera del rango de entrenamiento) y carecen de explicabilidad. Sus respuestas no suelen estar "ancladas" (grounded) visualmente en la imagen, lo que dificulta que los humanos verifiquen la fiabilidad de la respuesta.
La hipótesis: Se ha observado que métodos basados en "señalar" (pointing), donde el modelo primero predice las coordenadas de los objetos antes de responder, mejoran la precisión. Sin embargo, no está claro qué mecanismo impulsa esta mejora, si fomenta el aprendizaje de habilidades reales o simplemente el ajuste a tareas estrechas, y si las coordenadas predichas son realmente fiables como explicaciones visuales.

2. Metodología

Los autores investigan el papel del señalamiento en una tarea cognitiva controlada: el conteo en cero disparos (zero-shot counting) desde una escena visual.

Enfoques Comparados:
1. Conteo Directo (Direct Counting - DC): El modelo recibe la imagen y la consulta y predice directamente el número total de objetos.
2. Señalar y luego Contar (Point-then-Count - PtC): El modelo sigue un proceso secuencial explícito:
  - Paso 1: Predice las coordenadas 2D de los objetos objetivo.
  - Paso 2: Genera la respuesta numérica condicionada a esas coordenadas.
Configuración Experimental:
- Modelos: Se fine-tunearon cuatro LVLMs de última generación (Qwen2.5-VL 3B/7B, LLaVA-OneVision 8B, InternVL3.5 8B).
- Datos Sintéticos (CIVET): Para evitar contaminación de datos y sesgos, se generaron datasets sintéticos equilibrados con un fondo negro uniforme. Las imágenes se dividieron en una cuadrícula de $9 \times 9$ para tener coordenadas exactas.
- Escenarios de Evaluación:
  - In-Distribution (ID): Conteo de 1 a 9 objetos (rango de entrenamiento).
  - Out-of-Distribution (OOD): Conteo de 10 a 18 objetos (extrapolación).
  - Ruido (NoisyTS): Imágenes con hasta 9 objetos distractores para probar robustez.
- Análisis Mecanístico: Se realizaron estudios de ablación (reemplazar coordenadas por tokens irrelevantes, eliminar la imagen de entrada, etc.) para entender cómo el modelo utiliza la información espacial.

3. Contribuciones Clave

Evidencia de Aprendizaje de Habilidades: Demostraron que el enfoque PtC fomenta el aprendizaje de una habilidad de conteo generalizable, en lugar de simplemente memorizar rangos numéricos específicos.
Validación de Explicaciones Visuales: Cuantificaron la fiabilidad de las coordenadas predichas, mostrando que están ancladas correctamente en más del 89% de los casos, aunque con ciertos sesgos espaciales.
Descubrimiento del Mecanismo: Revelaron que la mejora en el rendimiento no proviene de una mejor comprensión visual directa, sino de que el modelo utiliza las coordenadas como una representación estructural textual para realizar el conteo, ignorando en gran medida la modalidad visual en la fase final de decisión.

4. Resultados Principales

Generalización Fuera de Distribución (OOD):
- El enfoque PtC superó consistentemente al DC en la generalización a números más altos (10-18 objetos). Mientras que los modelos DC a menudo fallaban al extrapolar, los modelos PtC mantuvieron una mayor precisión, sugiriendo que aprendieron un procedimiento de conteo más robusto.
- En el escenario OOD, la precisión de PtC en modelos grandes (7B/8B) superó el 90% cuando se calculaba contando las coordenadas predichas, en lugar de confiar en la respuesta textual final.
Robustez ante Distractores:
- PtC demostró ser más robusto ante la presencia de objetos distractores, especialmente en modelos como InternVL3.5 y Qwen2.5-VL 7B, manteniendo una precisión casi perfecta incluso con 9 distractores.
Fiabilidad de las Coordenadas (Grounding):
- Precisión: El F1-score de las coordenadas predichas fue superior al 89% en la mayoría de los casos.
- Sesgos Espaciales: Se detectaron sesgos significativos en algunos modelos (ej. LLaVA-OneVision tuvo peor rendimiento de izquierda a derecha; Qwen2.5-VL en los bordes inferiores/derechos). InternVL3.5 fue la excepción, mostrando una distribución uniforme.
- Inconsistencia: En escenarios OOD, a veces el número de coordenadas predichas no coincidía con la respuesta numérica final del modelo, lo que indica que el modelo a veces falla en asociar la evidencia visual con el valor numérico.
Análisis Mecanístico (Ablaciones):
- Importancia del Espacio: Reemplazar las coordenadas por un token genérico ("X") provocó un colapso en el rendimiento OOD, confirmando que la información espacial es crucial para la generalización.
- Dependencia del Texto: Al eliminar la imagen de entrada pero proporcionar las coordenadas correctas, el modelo mantuvo casi el 100% de su precisión. Esto indica que, una vez que el modelo genera las coordenadas, realiza el conteo basándose puramente en el texto de las coordenadas, descartando casi por completo la información visual directa para la etapa final.

5. Significado e Impacto

Este trabajo es fundamental porque:

Desmitifica el "Señalamiento": No es solo una herramienta de interfaz, sino un mecanismo que fuerza al modelo a descomponer la percepción (localización) del razonamiento (conteo).
Mejora la Interfaz Humano-IA: Proporciona evidencia verificable (coordenadas) que permite a los usuarios auditar si el modelo está "viendo" realmente los objetos que dice contar.
Dirección Futura: Sugiere que para tareas cognitivas complejas, los paradigmas de entrenamiento deben descomponer explícitamente la percepción y el razonamiento. Además, advierte que aunque PtC mejora la generalización, los modelos aún dependen excesivamente de la representación textual de las coordenadas y pueden tener sesgos espaciales que deben mitigarse.

En conclusión, el señalamiento mejora a los LVLMs al transformar un problema de percepción visual difusa en una tarea de razonamiento sobre una representación espacial estructurada y verificable.