Resumen Técnico: Preprocesamiento Visual Consciente de Ilusiones y Prompting Anti-Ilusión para la Comprensión de Ilusiones Clásicas en Modelos Visuales-Lingüísticos

1. Declaración del Problema

Los Modelos Visuales-Lingüísticos (VLM) exhiben un sesgo sistemático hacia las ilusiones visuales, priorizando con frecuencia hechos memorizados sobre la percepción visual real. Como demuestra el marco VI-Probe [18], los VLM sufren a menudo de un dilema de "percibir o recordar": identifican correctamente las ilusiones estándar (por ejemplo, la ilusión de Ebbinghaus) recordando el concepto en lugar de analizar la imagen, pero fallan al detectar diferencias físicas genuinas cuando una ilusión se perturba.

Este artículo aborda el Desafío 5 DataCV, Tarea 1 en CVPR 2026, que formula la comprensión de ilusiones clásicas como una tarea binaria de Respuesta a Preguntas Visuales (VQA). El objetivo es desarrollar un enfoque sin entrenamiento que permita a los VLM proporcionar respuestas objetivas y fundamentadas en la percepción sobre siete tipos de ilusiones clásicas (Müller-Lyer, Ebbinghaus, Poggendorff, etc.), superando el conflicto entre el conocimiento previo y la evidencia visual.

2. Metodología

La solución propuesta es una pipeline de tres etapas, sin entrenamiento, que se basa en la manipulación visual y el diseño de prompts en lugar del ajuste fino del modelo.

2.1. Preprocesamiento de Imágenes Consciente de Ilusiones

En lugar de pedirle al VLM que "vea a través" de una ilusión, la idea central es modificar físicamente la imagen para debilitar o eliminar el contexto que induce la ilusión. Esto transforma la tarea perceptiva en una comparación visual más sencilla.

• Proceso de Descubrimiento: Se desarrollaron estrategias mediante un proceso colaborativo de múltiples VLM (Etapa 1: Análisis divergente por Claude-Opus, Qwen3-VL y Gemini-3.1-Pro; Etapa 2: Síntesis convergente; Etapa 3: Validación humana). Aproximadamente el 60% de las estrategias originaron de propuestas de modelos, con un 40% refinado por humanos.
• Transformaciones Específicas por Tipo:
  • Tamaño (Ebbinghaus/Ponzo): Aislar objetivos mediante umbralización de color/intensidad, luego aplicar una estrategia de mezcla en espejo (superponiendo las mitades izquierda y derecha). Tamaños idénticos producen una superposición limpia; tamaños diferentes revelan un anillo de borde.
  • Color (Cornsweet/Contraste Simultáneo): Extraer tiras de borde o recortar objetivos centrales para eliminar contextos de gradiente circundantes, seguido de mejora de saturación y contraste.
  • Rectitud (Hering/Wundt): Aislar líneas objetivo mediante filtrado de canales de color y superponer cuadrículas de referencia discontinuas para proporcionar pistas de rectitud sobre un fondo limpio.
  • Alineación (Poggendorff): Ajustar una trayectoria lineal a los segmentos visibles y renderizar una línea de extensión discontinua a través de la barra oclusora para visualizar la alineación.
  • Paralelismo (Café Wall): Superponer líneas de referencia verticales espaciadas uniformemente para detectar desviaciones angulares.
  • Límite (Kanizsa): Aplicar mejora de contraste y nitidez para amplificar bordes reales mientras se mantienen los contornos ilusorios tenues.

2.2. Ingeniería de Prompts Anti-Ilusión

Los prompts están diseñados para redirigir al modelo del recuerdo basado en conocimientos a la comparación visual cualitativa.

• Nombrado de Mecanismos: Los prompts nombran explícitamente el tipo de ilusión (por ejemplo, "Esta es una ilusión de Müller-Lyer") para activar la conciencia.
• Guía de Características: Las instrucciones dirigen la atención a características específicas introducidas por el preprocesamiento (por ejemplo, "Compare el anillo de borde", "Verifique si la línea roja se mantiene paralela a la cuadrícula").
• Transformación del Problema: Las preguntas se reformulan para evitar desencadenar el recuerdo. Por ejemplo, en lugar de preguntar "¿Son iguales estas líneas?", el prompt instruye al modelo a ignorar los círculos que inducen la ilusión y comparar solo los segmentos horizontales.

2.3. Ensemble de Votos Múltiples

Para mitigar la varianza estocástica en las salidas de los VLM, el sistema consulta al modelo $N$ veces por imagen y agrega los resultados mediante votación mayoritaria.

• Configuración: La presentación final utiliza $N=5$ llamadas a la API.
• Fundamento: Los experimentos mostraron ganancias de precisión de +3.4 puntos porcentuales (pp) en $N=5$ en comparación con consultas individuales, con rendimientos decrecientes más allá de este punto.

3. Contribuciones Clave

1. Marco sin Entrenamiento: Una pipeline completa que no requiere actualizaciones de parámetros, dependiendo únicamente del preprocesamiento de imágenes y la ingeniería de prompts.
2. Desacoplamiento Percepción-Memoria: Demuestra que alterar físicamente la representación de la imagen es más efectivo que la guía basada en texto por sí sola para desacoplar a los VLM de las plantillas de ilusiones memorizadas.
3. Descubrimiento de Estrategias Multi-VLM: Una metodología novedosa que utiliza múltiples VLM de vanguardia como "consultores de razonamiento visual" para descubrir y sintetizar colaborativamente estrategias óptimas de preprocesamiento.
4. Especialización Específica por Tipo: El desarrollo de pipelines distintas y optimizadas para siete categorías diferentes de ilusiones, avanzando más allá de la mejora genérica de imágenes.

4. Resultados Experimentales

El método se evaluó en el conjunto de prueba oficial de 630 imágenes y en un subconjunto del 10% verificado por humanos (63 muestras) utilizando Claude (claude-opus-4-6).

• Precisión General: Se logró una 90.48% en el conjunto de prueba oficial y una 98.41% en el subconjunto verificado por humanos.
• Desglose de Componentes:
  • Original-ACC: 98.57% (alta precisión en imágenes de ilusiones estándar).
  • Perturbed-ACC: 82.38% (precisión en imágenes donde la ilusión se modificó para crear diferencias genuinas).
• Estudio de Ablación:
  • Línea Base (Zero-shot/Few-shot): ~62–68% de precisión.
  • Preprocesamiento de Imágenes: Mejoras incrementales desde la eliminación de ruido (+3.23pp), resaltado de objetivos (+3.12pp) y líneas de referencia (+3.18pp) llevaron la precisión al 87.30%.
  • Prompt + Votación: La adición de prompts anti-ilusión y el ensemble de 5 votos proporcionó la mayor ganancia en un solo paso (+11.51pp), alcanzando el 98.41% final en el subconjunto.
• Comparación: La pipeline completa superó a la mejora visual genérica (74.51%) y a varias líneas base de prompting (CoT, Autoconsistencia) por un margen significativo (23.9pp sobre la mejora genérica), confirmando que las transformaciones específicas por tipo son críticas.

La solución obtuvo el 2º lugar en el desafío, quedando a solo 0.47% del 1º lugar.

5. Significado y Afirmaciones

El artículo afirma que para tareas donde el conocimiento previo de los VLM entra en conflicto con la evidencia visual, operar sobre la representación de la imagen es un camino más prometedor hacia un razonamiento fundamentado en la percepción que operar únicamente sobre prompts de texto.

• Mecanismo de Desacoplamiento: La combinación de preprocesamiento y prompting produce efectos superaditivos. El preprocesamiento elimina los desencadenantes visuales que causan la "coincidencia de plantillas", mientras que los prompts canalizan la atención del modelo hacia las comparaciones visuales relevantes.
• Practicidad: El enfoque ofrece una estrategia práctica y sin entrenamiento para mejorar la robustez de los VLM en escenarios donde las asociaciones memorizadas anulan el análisis visual activo.
• Limitaciones: Los autores reconocen que el enfoque actual depende de estrategias por tipo semi-automáticas y refinadas manualmente, lo que puede limitar la escalabilidad a ilusiones no vistas o de nivel de escena naturalistas. Además, el ensemble de votos múltiples incurre en un costo computacional 5 veces mayor.

El trabajo subraya que, aunque los VLM son susceptibles a las ilusiones debido a su dependencia de atajos estadísticos y conocimiento previo, estos fallos pueden mitigarse reestructurando físicamente la entrada para alinearla con las fortalezas de procesamiento visual del modelo.