💻 computer science

Seeing the Evidence, Missing the Answer: Tool-Guided Vision-Language Models on Visual Illusions

Este artículo presenta un marco de inferencia guiado por herramientas para modelos de visión y lenguaje que, sin necesidad de entrenamiento, corrige su sesgo sistemático al interpretar ilusiones ópticas mediante el uso de manipulaciones de imágenes genéricas y un sistema de enrutamiento, logrando una generalización robusta en variantes estructuralmente desconocidas.

Autores originales: Xuesong Wang, Harry Wang

Publicado 2026-04-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xuesong Wang, Harry Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un detective muy inteligente, pero con un defecto de nacimiento: cree que todo lo que ve es una ilusión óptica, incluso cuando no lo es. Si le muestras una foto de un círculo que parece más grande que otro (aunque en realidad son iguales), el detective grita: "¡Es una trampa visual!". Pero si le muestras la misma foto, pero le quitas la "trampa" para que los círculos sean realmente iguales, el detective sigue gritando: "¡Es una trampa!".

Este es el problema que los autores del artículo intentaron resolver. Vamos a desglosar su solución como si fuera una historia de detectives y herramientas mágicas.

1. El Problema: El Detective "Ciego" a la Realidad

Los modelos de Inteligencia Artificial actuales (llamados Modelos Visuales-Lingüísticos) son como estudiantes que han leído millones de libros de ilusiones ópticas. Han aprendido que "si parece una ilusión, es una ilusión".

El problema es que nunca les enseñaron a ver cuando la ilusión no está. Si les muestran una imagen modificada para que la ilusión desaparezca, el modelo sigue pensando que es una ilusión porque su "memoria" le dice que así son las cosas. Es como si alguien te dijera que un elefante es un ratón, y aunque te muestres un elefante gigante, tu cerebro, condicionado por lo que te dijeron antes, insiste en que es un ratón.

2. La Solución: El Detective con una Caja de Herramientas

En lugar de intentar "reprogramar" al detective (lo cual es difícil y costoso), los autores le dieron una caja de herramientas mágicas y le dijeron: "No confíes solo en tu intuición; ¡usa las herramientas para investigar!".

Esta es la idea central de su método: Guía de Herramientas.

Las Herramientas (El Kit de Investigación)

El detective no tiene que "pensar" en cómo medir; solo tiene que pedir las herramientas:

El Lápiz Mágico: Puede dibujar líneas rectas sobre la imagen para comparar si algo está torcido o recto.
La Lupa (Recorte): Puede cortar una parte de la imagen para verla de cerca, sin distracciones.
El Espejo Divisor: Puede poner dos partes de la imagen una al lado de la otra para compararlas directamente.
El Filtro de Color: Puede aislar un solo color para ver si realmente es diferente.

La Regla de Oro: "Nunca borres nada"

Aquí viene la parte más genial. Normalmente, si usas una herramienta en una foto, la cambias. Pero en este sistema, cada vez que el detective usa una herramienta, crea una nueva foto que se guarda en un archivo histórico.

Imagina que el detective dibuja una línea en la foto original. No borra la foto original; crea una "Foto 2" con la línea. Luego, si recorta la "Foto 2", crea una "Foto 3".

¿Por qué es esto importante? Porque el detective puede volver atrás y decir: "Espera, en la 'Foto 2' vi que la línea era recta, pero en la 'Foto 3' me equivoqué al recortar". Puede comparar todas sus pistas a lo largo de la investigación sin perder el rastro. Es como tener un cuaderno de notas donde cada página es una versión nueva de la evidencia, y nunca se borra nada.

3. El Manual de Instrucciones (El "Router")

El detective no sabe qué herramienta usar para cada caso. Por eso, los autores le dieron un manual de instrucciones (un "prompt" o guía) que dice:

"Si la pregunta es sobre tamaño, usa la lupa y el espejo divisor".
"Si la pregunta es sobre líneas rectas, usa el lápiz mágico para dibujar una guía".
"Si la pregunta es sobre colores, usa el filtro de color".

El detective sigue este manual paso a paso. No necesita ser un experto en ilusiones; solo necesita seguir las instrucciones y usar las herramientas para ver la verdad.

4. ¿Qué Descubrieron? (Las Sorpresas)

Al probar este sistema, los autores notaron tres cosas curiosas sobre cómo piensan estas Inteligencias Artificiales:

El Sesgo del "Sí": El detective es tan adicto a las ilusiones que, incluso cuando ve la prueba de que no es una ilusión, sigue diciendo "Sí, es una ilusión". Es como un niño que cree que el monstruo está bajo la cama incluso cuando la mamá ha encendido la luz y ha mirado debajo.
Precisión sin Lógica: El detective es increíblemente bueno dibujando líneas rectas y midiendo píxeles. ¡Puede dibujar una línea perfecta! Pero luego, al mirar esa línea perfecta, ignora lo que ve y sigue diciendo que la línea está torcida. Es como un arquitecto que mide un edificio y ve que está recto, pero luego dice: "No, creo que está torcido porque así me enseñaron en la escuela".
El Enemigo Invisible (La Compresión): Las fotos de internet a veces tienen "ruido" o defectos por estar comprimidas (como cuando una foto se ve pixelada). El detective se confunde con estos defectos. A veces, ve una mancha de ruido en una foto y piensa: "¡Esa es la ilusión!". Otras veces, ve una diferencia de color real pero piensa: "Es solo ruido, ignóralo". Es muy sensible a los "granos" de la foto.

En Resumen

Los autores crearon un sistema donde una Inteligencia Artificial no intenta adivinar si una imagen es una ilusión. En su lugar, actúa como un científico forense:

Toma la foto.
Usa herramientas para modificarla y analizarla (dibujar, recortar, comparar).
Guarda cada paso como una nueva evidencia.
Sigue un manual para saber qué herramienta usar.

El resultado: Funciona muy bien, incluso con tipos de ilusiones que nunca había visto antes, porque no depende de "memorizar" las ilusiones, sino de investigar la realidad con sus propias herramientas.

Es como decirle a un niño: "No me digas lo que crees que ves; ¡dibuja lo que ves, compáralo y luego dime la verdad!".

Título: Ver la Evidencia, Perdiendo la Respuesta: Modelos Visión-Lenguaje Guiados por Herramientas sobre Ilusiones Visuales

1. El Problema

Los modelos de visión y lenguaje (VLM) actuales, aunque logran un rendimiento impresionante en benchmarks visuales estándar, presentan un sesgo sistemático al enfrentarse a ilusiones ópticas clásicas (como los círculos de Ebbinghaus o las flechas de Müller-Lyer).

Fallo Principal: Los modelos tienden a predecir que la ilusión es "real" (efecto perceptual presente) incluso cuando la imagen ha sido modificada contrafactualmente para eliminar dicho efecto.
Causa Raíz: El artículo argumenta que esto no se debe únicamente a representaciones visuales débiles, sino a un desequilibrio en los datos de entrenamiento. Durante la pre-entrenamiento, los modelos solo ven ilusiones genuinas (donde el efecto perceptual existe). Por lo tanto, aprenden una asociación fuerte: "imagen que parece una ilusión" $\rightarrow$ "efecto presente". Cuando se les presenta una imagen modificada que rompe la ilusión, el conocimiento previo (prior) del modelo anula la evidencia visual directa, generando falsos positivos casi sistemáticos.
Contexto: Este trabajo se presenta como solución para el DataCV 2026 Challenge (Tareas I y II), donde está prohibido el ajuste fino (fine-tuning) de los modelos; solo se permite el uso de prompts, enrutamiento y herramientas externas.

2. Metodología

Los autores proponen un marco de inferencia guiado por herramientas que no requiere entrenamiento del modelo base. El sistema se basa en tres pilares fundamentales:

Agente de Anotación con VLM: Se utiliza un modelo VLM de la familia Gemini Flash como cerebro del agente. El agente opera en un bucle estilo ReAct (Razonar y Actuar).
Sistema de Versionado de Recursos Inmutables:
- Cada llamada a una herramienta no modifica la imagen original in-place.
- En su lugar, se crea un nuevo recurso inmutable (ej. img_001, img_002) que se añade a un registro persistente en el contexto.
- Esto permite al modelo referenciar, comparar y componer vistas anotadas anteriores a lo largo de su cadena de razonamiento, similar a la semántica de valores inmutables en programación funcional.
Herramientas Genéricas con Enrutamiento por Prompt:
- En lugar de crear módulos específicos para cada tipo de ilusión (como en VisProg), el sistema utiliza un conjunto pequeño de herramientas genéricas de manipulación de imágenes:
  - Núcleo compartido: Dibujar líneas/rectángulos/círculos, recortar regiones, comparar recortes lado a lado.
  - Extensiones (Tarea II): Extracción de canales, desenfoque, muestreo de color, superposición de cuadrículas.
- Estrategia de Enrutamiento: La lógica de qué herramientas usar y cómo combinarlas no está codificada en el código, sino en el prompt del sistema. El prompt instruye al agente a clasificar la pregunta en una categoría perceptual (ej. comparación de tamaño, detección de bordes) y le prescribe una secuencia de herramientas recomendada para esa categoría.

3. Contribuciones Clave

Marco de Anotación Visual Guiado por Herramientas: Un sistema para VQA perceptual de código abierto que opera sin entrenamiento del modelo.
Sistema de Versionado de Imágenes: Una arquitectura que acumula vistas anotadas como activos inmutables, permitiendo cadenas de razonamiento visual multi-paso con acceso total al historial.
Diseño de Enrutamiento por Prompt: Una alternativa a las librerías de módulos codificadas, donde la estrategia de uso de herramientas se mapea dinámicamente según la categoría de la pregunta dentro del prompt.
Observaciones Empíricas: Identificación de tres modos de fallo sistemáticos en los VLMs que apuntan a direcciones de investigación futura.

4. Resultados y Observaciones

Rendimiento y Generalización: El sistema logró un rendimiento consistente entre el conjunto de validación y el conjunto de prueba, incluso cuando este último contenía variantes de ilusiones estructuralmente desconocidas (ej. bandas de Mach rotadas de vertical a horizontal). Esto demuestra que la estrategia basada en conceptos en el prompt es más robusta que los módulos rígidos.
Patrones de Uso de Herramientas:
- Tarea I (Binaria): Dominada por herramientas geométricas básicas (comparar recortes, dibujar líneas).
- Tarea II (Opción Múltiple): Activa selectivamente herramientas analíticas más complejas (canales, desenfoque) según la necesidad.
Tres Fenómenos Críticos Observados:
1. Sesgo de Detección Positiva: Los modelos tienen una tendencia extrema a predecir "sí" (ilusión presente) debido a la falta de ejemplos negativos en los datos de entrenamiento.
2. Precisión Espacial sin Consecuencia Lógica: El modelo es capaz de dibujar líneas de referencia perfectas y detectar diferencias de píxeles exactas, pero a menudo ignora esta evidencia visual propia si contradice su creencia previa. Por ejemplo, puede ver una línea curva claramente en una imagen generada por sí mismo, pero concluir que es recta.
3. Sensibilidad a la Compresión de Imágenes: Los artefactos de compresión JPEG (ruido, bandas de color) pueden engañar al modelo, haciéndole detectar diferencias de color o bordes que no existen físicamente, o viceversa, exacerbando los errores de calibración.

5. Significado e Impacto

Este trabajo demuestra que la robustez de los VLMs ante estímulos contrafactuales no depende necesariamente de cambios arquitectónicos masivos, sino de mecanismos de inferencia externos (herramientas) y una gestión adecuada del contexto (versionado inmutable).

El hallazgo más profundo es la disociación entre la precisión perceptual y la fiabilidad inferencial: los modelos pueden "ver" y "medir" con gran precisión, pero fallan al "razonar" sobre lo que ven cuando sus priores de entrenamiento entran en conflicto con la evidencia visual. Esto sugiere que para mejorar la fiabilidad de los VLMs, es tan crucial la augmentación de datos con instancias negativas de ilusiones como lo son las mejoras arquitectónicas. El enfoque propuesto ofrece una vía práctica para mitigar estos sesgos sin reentrenar modelos costosos.