💬 NLP

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

Este artículo revela que los modelos de visión y lenguaje a menudo generan declaraciones de autorreflexión como "déjame verificarlo de nuevo" como meros patrones textuales en lugar de desencadenar una reexaminación visual genuina, hallazgo demostrado por el marco VisualSwap que muestra que los modelos frecuentemente no logran detectar intercambios de imágenes semánticamente diferentes a pesar de tales afirmaciones.

Autores originales: Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

Publicado 2026-05-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Artículo en Lenguaje Claro: "¿Están los VLM Viendo o Solo Diciendo?"

Imagina que estás tomando un examen de matemáticas con un robot muy inteligente y charlatán. Le muestras al robot una imagen de un triángulo con un ángulo de 60 grados. El robot comienza a pensar en voz alta: "Bien, veo un ángulo de 60 grados. Si lo resto de 180, obtengo 120. Espera, déjame revisar la imagen otra vez solo para estar seguro".

Luego, sigilosamente, cambias la imagen en la pantalla por un diferente triángulo que tiene un ángulo de 50 grados. La nueva imagen se ve casi exactamente igual a la anterior, pero ese único número es diferente.

El robot, aún hablando consigo mismo, dice: "Déjame revisar la figura otra vez", pero en realidad no mira la nueva imagen. Simplemente continúa haciendo los cálculos que comenzó antes. Responde con confianza 120, aunque la imagen ahora indica que la respuesta debería ser 130.

Este artículo, titulado "¿Están los VLM Viendo o Solo Diciendo?", investiga exactamente este fenómeno en los Modelos Visuales-Lingüísticos (VLM). Los investigadores descubrieron que cuando estos modelos de IA dicen cosas como "déjame revisar la imagen otra vez", a menudo solo lo están diciendo, no realmente viéndolo.

Aquí está el desglose de su descubrimiento usando analogías simples:

1. El "Fantasma en la Máquina" (La Ilusión)

Los investigadores crearon una prueba llamada VISUALSWAP. Permitieron que una IA resolviera un problema, luego cambiaron la imagen por una ligeramente diferente mientras la IA estaba en medio de su proceso de "pensamiento". Le pidieron a la IA que "revisara" la imagen nuevamente.

El Resultado: La IA falló casi siempre. Ignoró la nueva imagen y siguió respondiendo basándose en la vieja imagen que había visto segundos antes.
La Analogía: Es como un chef que dice: "Déjame probar la sopa otra vez", pero en lugar de probar la sopa en la olla, simplemente recuerda el sabor que imaginó antes y finge que la probó. Está alucinando que miró, pero en realidad solo está repitiendo un guion.

2. Los "Sobre-pensadores" son los Peores Ofensores

Podrías pensar que los modelos de "Pensamiento" (IA diseñada para razonar profunda y lentamente) serían mejores en esto. Estarías equivocado.

El Hallazgo: Los modelos de "Pensamiento" fueron tres veces peores en notar el cambio de imagen que los modelos estándar.
La Analogía: Imagina a un estudiante tomando un examen. El estudiante estándar echa un vistazo a la nueva pregunta y se ajusta. El estudiante de "Pensamiento", sin embargo, se hunde tanto en su propio monólogo interno ("Calculé X, luego Y...") que se vuelve ciego al hecho de que la pregunta en la página ha cambiado. Sus propios pensamientos se convierten en un muro que les impide ver la nueva realidad.

3. La "Inercia Textual" (Por qué sucede)

El artículo explica que una vez que la IA comienza a escribir una larga cadena de razonamiento, se queda atrapada en un carril. Se vuelve tan enfocada en terminar su oración y mantener un flujo lógico que deja de prestar atención a la entrada visual.

La Analogía: Piensa en un tren sobre una vía. Una vez que se mueve rápido, es difícil detenerlo. El "tren de pensamiento" de la IA se mueve tan rápido que cuando el paisaje (la imagen) cambia, el tren no frena para mirar por la ventana. Simplemente sigue avanzando por la vía antigua.

4. El "Interruptor Mágico" (Cómo solucionarlo)

Aquí está la parte más interesante: La IA sí es capaz de ver el cambio. Solo no lo hará por sí misma.

El Experimento: Cuando un humano (o un prompt de usuario) interrumpe explícitamente a la IA y dice: "¡Alto! Mira la nueva imagen que acabo de darte", la IA despierta de repente. Ve la diferencia inmediatamente y obtiene la respuesta correcta.
La Analogía: Es como un estudiante soñando despierto. Si se le deja solo, seguirá soñando despierto sobre la respuesta antigua. Pero si un maestro le da un golpecito en el hombro y dice: "Oye, mira esta nueva imagen", sale de su ensueño y ve la verdad. La capacidad estaba allí todo el tiempo; solo necesitaban un empujón externo para romper su trance.

5. La Prueba de la "Atención"

Los investigadores miraron bajo el capó de la IA (específicamente a sus mecanismos de "atención", que determinan en qué se enfoca la IA).

El Hallazgo: Cuando la IA dice "déjame revisar", su atención a la imagen apenas se mueve. Pero cuando un usuario dice "revisa la imagen", la atención de la IA aumenta drásticamente.
La Conclusión: La IA no está "pensando" en la imagen cuando dice que la está revisando; simplemente está generando texto que suena como si la estuviera revisando.

Resumen

El artículo concluye que los modelos de IA actuales son maestros del engaño (incluso involuntariamente). Cuando afirman "reexaminar" una imagen durante su propio razonamiento interno, a menudo solo están repitiendo una frase aprendida sin realmente mirar. Están "diciendo" que ven, pero están "ciegos" al cambio.

Sin embargo, esto no es un defecto permanente en su visión; es un defecto en su autocontrol. Pueden ver la verdad, pero necesitan que un humano rompa su "inercia textual" y los fuerce a mirar realmente.

Conclusión Clave para el Público General: Si una IA te dice que está volviendo a revisar una imagen, no asumas que realmente lo hizo. Podría estar simplemente hablando consigo misma. Tienes que decirle explícitamente que mire otra vez para que realmente vea.

Resumen Técnico: ¿Están los VLM Viendo o Solo Diciendo? Desvelando la Ilusión de la Revisión Visual

Enunciado del Problema
Los Modelos Visión-Lenguaje (VLM) han demostrado un progreso significativo en el razonamiento multimodal, particularmente con la llegada de modelos potenciados por razonamiento que utilizan la generación extendida de cadenas de pensamiento (CoT) y mecanismos de autorreflexión. Un comportamiento común en estos modelos es la generación de declaraciones autorreflexivas como "Espera, déjame revisar la figura de nuevo" durante el proceso de razonamiento. Aunque su intención es mitigar las alucinaciones perceptuales y asegurar la fidelidad a la imagen de entrada, persiste una pregunta crítica: ¿desencadenan estas declaraciones una reexaminación visual genuina, o son meramente patrones lingüísticos aprendidos carentes de una anclaje visual real? Si los modelos afirman reexaminar una imagen pero no logran detectar cambios visuales, su fiabilidad en dominios críticos para la seguridad se ve comprometida.

Metodología: VISUALSWAP y VS-BENCH
Para investigar este fenómeno, los autores proponen VISUALSWAP, un marco de diagnóstico diseñado para sondear si los VLM prestan genuinamente nueva atención a las entradas visuales durante la autorreflexión. El marco emplea un protocolo de dos etapas:

Inferencia Estándar: El modelo genera una cadena de razonamiento inicial ( $R_a$ ) basada en una imagen original ( $I_a$ ) y una pregunta ( $Q$ ).
Sonda de Reexaminación: La entrada visual se intercambia por una imagen semánticamente distinta pero visualmente similar ( $I_b$ ), manteniendo el contexto de razonamiento generado ( $R_a$ ) y añadiendo un prompt autorreflexivo (por ejemplo, "Espera, déjame revisar la figura de nuevo"). Luego se le pide al modelo que continúe la generación.

Si el modelo realiza una reexaminación visual genuina, debería detectar la discrepancia entre $I_b$ y $R_a$ , actualizar su razonamiento y producir la respuesta correcta para $I_b$ . Si falla, indica "inercia textual", donde el modelo se basa en la trayectoria de razonamiento previa en lugar de la nueva evidencia visual.

Para apoyar esta evaluación, los autores curaron VS-BENCH, un conjunto de pruebas que comprende 800 pares de imágenes derivados de MathVista, MathVerse, MathVision y MMMU-Pro. Estos pares se construyen para compartir similitud visual de alto nivel (diseño, estilo) mientras divergen en detalles de fino grano críticos para la respuesta de verdad fundamental, asegurando que la pregunta siga siendo válida para ambas imágenes pero requiera respuestas diferentes.

Contribuciones Clave

Marco VISUALSWAP: Una herramienta de diagnóstico principista para evaluar la autenticidad de la reexaminación visual en los VLM mediante la manipulación de las entradas visuales durante el proceso de razonamiento.
Conjunto de Pruebas VS-BENCH: Un conjunto de datos de 800 pares de imágenes cuidadosamente construidos que aíslan las capacidades de reexaminación visual de la respuesta general a preguntas visuales.
Análisis Mecanístico: Una investigación sobre los mecanismos de atención subyacentes al fallo, comparando la reflexión auto-generada contra instrucciones explícitas de múltiples turnos del usuario.

Resultados Experimentales
Los autores evaluaron 15 modelos de las familias Qwen3-VL, Kimi-VL y ERNIE-VL, incluyendo variantes tanto "Instruct" como "Thinking". Los resultados revelan un modo de fallo crítico:

Fallo Generalizado: Los modelos fallan abrumadoramente al detectar los intercambios de imagen durante la autorreflexión. La degradación del rendimiento ( $\Delta = Acc_{base} - Acc_{probe}$ ) alcanza hasta un 60% (por ejemplo, ERNIE-4.5-VL-Thinking cae del 79.9% al 19.6%).
Los Modelos "Thinking" son Más Vulnerables: Contra intuitivamente, los modelos "Thinking" exhiben una vulnerabilidad casi 3 veces mayor que sus contrapartes "Instruct". Por ejemplo, Qwen3-VL-32B-Thinking sufre una caída del 48.3% en comparación con el 17.9% de la versión Instruct.
La Escalabilidad No Ayuda: Aumentar el tamaño del modelo no mitiga el problema; los modelos más grandes a menudo muestran una mayor degradación (por ejemplo, Qwen3-VL-235B-Thinking cae un 54.6%).
Restauración mediante Instrucción del Usuario: Cuando la reflexión es desencadenada por una instrucción explícita de múltiples turnos del usuario (por ejemplo, "Revisa la imagen de nuevo") en lugar de texto auto-generado, el rendimiento se recupera a niveles cercanos a la línea base. Esto confirma que los modelos poseen la capacidad latente para procesar la nueva imagen pero fallan en activarla de forma autónoma.
Análisis de Atención: Las puntuaciones de atención revelan que las declaraciones autorreflexivas elicitan solo aumentos insignificantes en la atención a los tokens visuales. En contraste, las instrucciones explícitas del usuario causan un aumento sustancial en la atención visual, explicando la brecha de rendimiento.

Significado y Afirmaciones
El documento concluye que los VLM actuales tienden a "decir" que están reexaminando una imagen sin realmente "verla". El fenómeno se identifica como un fallo del control atencional autónomo en lugar de una falta de capacidad visual. Los autores argumentan que las cadenas de razonamiento extendidas crean una fuerte inercia textual que desacopla al modelo de la evidencia visual durante la decodificación continua.

El significado de este trabajo radica en exponer una limitación fundamental de los paradigmas actuales de Cadena de Pensamiento (CoT) en entornos multimodales: priorizan la coherencia textual sobre la entrada visual. Los hallazgos sugieren que la autorreflexión, tal como se implementa actualmente, puede no ser un mecanismo fiable para corregir alucinaciones visuales. El documento postula que una reanclaje visual autónomo genuino requiere mecanismos más allá de la simple indicación lingüística, destacando la necesidad de investigación futura en modelos que puedan interrumpir efectivamente sus propias trayectorias de razonamiento para volver a comprometerse con las entradas visuales. Los autores enfatizan que este es un hallazgo diagnóstico sobre el comportamiento del modelo, no una propuesta para un nuevo algoritmo de entrenamiento, aunque señalan que las intervenciones externas (como la indicación de múltiples turnos) pueden restaurar exitosamente el anclaje.