💬 NLP

Are Reasoning Vision-Language Models Robust to Semantic Visual Distractions?

Este artículo presenta Distract-Bench, un nuevo referente que demuestra que los Modelos de Lenguaje-Visión de Razonamiento son significativamente más vulnerables a las distracciones visuales semánticas —señales significativas pero irrelevantes— que a las corrupciones perceptivas tradicionales, ya que estas distracciones a menudo confunden los procesos de razonamiento de los modelos a pesar de una percepción visual correcta.

Autores originales: Yizheng Sun, Mochuan Zhan, Yanan Ma, Jia Tong See, Yifan Wang, Ziyi Wang, Hao Li, Yang Cui, Wenhao Cai, Jingyu Sun, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yizheng Sun, Mochuan Zhan, Yanan Ma, Jia Tong See, Yifan Wang, Ziyi Wang, Hao Li, Yang Cui, Wenhao Cai, Jingyu Sun, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Estudiantes Inteligentes vs. Salones de Clase Distractores

Imagina que tienes un estudiante muy inteligente (un Modelo de Lenguaje-Visión con Razonamiento o VLM). Este estudiante es excelente analizando una imagen y una pregunta, pensando en el problema paso a paso y dando la respuesta correcta. Son como un genio de las matemáticas que puede resolver problemas complejos de geometría con solo mirar un diagrama.

Durante mucho tiempo, los investigadores probaron qué tan "resistentes" eran estos estudiantes haciendo que el salón de clases fuera un caos. Ellos:

Desenfocaron la pizarra (desenfoque).
Apagaron las luces (ruido).
Sacudieron la cámara (efectos climáticos).

Esto se llama Robustez Perceptiva. Pregunta: “¿Puede el estudiante seguir viendo la respuesta si la vista es borrosa?”

Este artículo presenta un problema nuevo y más astuto.

En lugar de hacer que la vista sea borrosa, los investigadores mantuvieron la pizarra perfectamente clara. Pero, añadieron un distractor: un trozo de papel pegado a la pizarra con un hecho verdadero que no tiene nada que ver con la pregunta.

La Pregunta: "¿Cuántas manzanas hay en la cesta?"
La Imagen: Una cesta con 3 manzanas.
El Distractor: Un letrero de color rojo brillante pegado junto a la cesta que dice: "Hay 5 naranjas en la siguiente habitación". (Este es un hecho verdadero, pero es irrelevante).

Los investigadores llaman a esto Distracción Semántica. Querían ver: Si el estudiante puede ver claramente, ¿se dejará engañar por la información irrelevante?

El Experimento: Distract-Bench

El equipo construyó una prueba llamada Distract-Bench.

La Configuración: Tomaron 506 preguntas e imágenes del mundo real (como problemas matemáticos, gráficos y escenas cotidianas).
El Truco: Utilizaron IA y expertos humanos para añadir "distractores" a las imágenes. Estos distractores eran:
- Fácticamente Verdaderos: El letrero realmente decía "5 naranjas".
- Visualmente Plausibles: Parecía que pertenecía a la pizarra.
- Totalmente Irrelevantes: No ayudaban a responder la pregunta sobre las manzanas.
- Preservadores de la Respuesta: La respuesta correcta (3 manzanas) no cambiaba.

Luego probaron 10 modelos diferentes (algunos son modelos de "razonamiento" que piensan paso a paso, y otros son modelos estándar) para ver cómo manejaban estos trucos.

Los Hallazgos Sorprendentes

Los resultados fueron contraintuitivos y revelaron una debilidad oculta en los modelos "inteligentes".

1. La Prueba de "Desenfoque" vs. La Prueba de "Distractor"

Cuando la imagen estaba borrosa (Robustez Perceptiva): Los modelos de razonamiento "inteligentes" se comportaron casi exactamente igual que sus versiones base "menos inteligentes". Si el modelo base no podía ver a través del desenfoque, el modelo inteligente tampoco podía hacerlo. Heredaron las mismas limitaciones visuales.
Cuando la imagen tenía un distractor (Robustez Semántica): ¡Los modelos de razonamiento "inteligentes" en realidad funcionaron peor que los modelos base! Aunque eran mejores pensando, eran más fáciles de engañar por los hechos irrelevantes.

Analogía: Imagina a un estudiante que es excelente en matemáticas pero se distrae con una mosca zumbando alrededor de la habitación. Un estudiante más simple podría simplemente ignorar la mosca y concentrarse en los números. El estudiante "inteligente", sin embargo, comienza a pensar: "Espera, ¿es esa mosca un símbolo? ¿Significa que debería sumar 1 a la respuesta?". Su capacidad de pensar de más en realidad les perjudicó.

2. La Trampa del Razonamiento
Los investigadores analizaron por qué fallaban los modelos. Descubrieron que los modelos "inteligentes" no solo adivinaban mal; incorporaban el distractor en su lógica.

El Modo de Fallo: El modelo veía el letrero rojo que decía "5 naranjas", lo trataba como evidencia y construía una larga y lógica cadena de razonamiento basada en esa pista errónea.
El Resultado: Producían una respuesta muy segura, bien explicada, pero completamente equivocada. La parte de "razonamiento" del modelo amplificaba el error.

3. La "Referencia Perjudicial"
El estudio midió qué tan seguido los modelos mencionaban el distractor en su respuesta final.

Los modelos inteligentes mencionaban los hechos irrelevantes con mucha más frecuencia que los modelos base.
Cuando se equivocaban en la respuesta, casi siempre hacían referencia al distractor como prueba de su error.

La Conclusión

El artículo concluye que ser bueno en el razonamiento no te hace inmune a las distracciones. De hecho, para estos modelos de IA, la capacidad de generar largas cadenas de pensamiento a veces puede hacerlos más vulnerables a la información irrelevante.

Visión Antigua: Solo necesitamos preocuparnos si la imagen está borrosa o con ruido.
Nueva Visión: También debemos preocuparnos si la imagen contiene "demasiada verdad". Si un modelo ve un hecho que es verdadero pero irrelevante, puede aferrarse a él y permitir que descarrile todo su proceso de pensamiento.

La Conclusión Principal: Para que estos modelos de IA sean confiables en el mundo real, no basta con enseñarles a ver mejor; tenemos que enseñarles a ignorar las cosas que no importan, incluso si esas cosas parecen importantes y son fácticamente verdaderas.

(Nota: Esta explicación se basa estrictamente en los hallazgos presentados en el artículo. Los autores no discuten aplicaciones clínicas específicas ni usos comerciales futuros en este texto, por lo que no se han incluido).

Resumen Técnico: ¿Son los Modelos de Lenguaje-Visión con Razonamiento Robustos ante Distracciones Semánticas Visuales?

Definición del Problema

Aunque los Modelos de Lenguaje-Visión (VLM) con capacidad de razonamiento han demostrado un sólido rendimiento en tareas multimodales complejas, su fiabilidad en aplicaciones del mundo real aún no ha sido probada. Las evaluaciones de robustez existentes se centran principalmente en la robustez perceptiva, probando los modelos contra corrupciones de entrada como el ruido, el desenfoque y los efectos climáticos. Estas corrupciones degradan la visibilidad de la evidencia, pero no introducen nuevo contenido semántico.

Este artículo identifica un modo de fallo crítico y poco explorado: las distracciones visuales semánticas. En escenarios del mundo real, las entradas suelen contener pistas visuales que son fácticamente correctas pero irrelevantes para la tarea (por ejemplo, objetos adicionales, anotaciones engañosas o detalles contextuales). Un modelo puede percibir correctamente la evidencia relevante, pero atender a estas pistas plausibles pero irrelevantes, incorporarlas en su cadena de razonamiento y propagar el error hacia una respuesta final incorrecta. Esto es particularmente preocupante para los VLM mejorados con razonamiento, donde los procesos de razonamiento de formato largo pueden amplificar el impacto de los detalles inicialmente irrelevantes, convirtiéndolos en rutas de razonamiento coherentes pero incorrectas.

Metodología

1. Benchmark Distract-Bench

Para abordar esta brecha, los autores presentan Distract-Bench, un benchmark verificado por humanos diseñado para evaluar la robustez de los VLM ante distracciones semánticas que preservan la respuesta. La construcción del conjunto de datos sigue un proceso de cuatro etapas:

Recolección de Muestras Brutas: Se recolectaron 800 pares de imagen-pregunta de benchmarks establecidos con alto contenido de razonamiento (MathVision, MathVista) y de dominio general (MMMU).
Semillas de Distractores Diseñadas por Expertos: Los anotadores humanos crearon 100 ejemplos semilla inyectando distractores semánticos en las imágenes. Estos distractores debían ser: (1) semánticamente obvios, (2) fácticamente correctos y visualmente plausibles, (3) irrelevantes para la consulta (preservando la respuesta real) y (4) capaces de conducir a respuestas erróneas plausibles.
Expansión Sintética Escalable: Utilizando estos ejemplos semilla como base de conocimiento, los autores emplearon GPT-5.5 para generar instrucciones de edición para las muestras restantes y GPT-Image2 para sintetizar las imágenes editadas. Este proceso aseguró que el contenido original y la respuesta permanecieran sin cambios mientras se añadía el distractor.
Verificación de Calidad Humana: Expertos verificaron todas las muestras generadas frente a los cuatro criterios, resultando en un conjunto de datos final de 506 muestras de alta calidad que abarcan diversos dominios (gráficos, matemáticas, escenas cotidianas, medicina, etc.).

2. Configuración Experimental

El estudio evaluó 10 VLM, incluyendo:

Modelos de Razonamiento de Código Abierto: R1-OneVision, Vision-R1, MMR1, MM-Eureka, OpenVLThinker y Qwen3-VL-Thinking.
Modelos Base No-Razonamiento Correspondientes: Qwen2.5-VL (Base), Qwen3-VL (Base), etc., para permitir comparaciones pareadas controladas.
Modelos de Código Cerrado: GPT-4o y GPT-5.

Los modelos fueron probados bajo tres condiciones:

Entradas Limpias: Rendimiento base.
Corrupciones Visuales Convencionales: 20 tipos de degradaciones perceptivas (ruido, desenfoque, clima, etc.).
Distract-Bench: Entradas con distractores semánticos inyectados.

3. Métricas

Robustez Relativa (RR): La fracción del rendimiento limpio preservado tras la perturbación ( $RR = P_{O}/P_{I}$ ).
Retención: La tasa en la que un modelo permanece correcto en las muestras en las que fue correcto en la configuración limpia.
Tasa de Referencia de Distracción (DRR): Frecuencia de menciones explícitas del distractor inyectado en las salidas del modelo.
Tasa de Referencia Perjudicial (HFR): Frecuencia de menciones de distractores asociadas con respuestas incorrectas.

Resultados Clave

1. Modos de Fallo Distintos

El estudio revela que la distracción semántica expone un modo de fallo de robustez distinto a la corrupción visual convencional.

Corrupción Visual: Los VLM de razonamiento heredan mayoritariamente los patrones de robustez de sus modelos base no de razonamiento. Bajo degradación perceptual, la robustez relativa y el solapamiento de errores entre las variantes base y de razonamiento están altamente alineados (por ejemplo, una media de correlación de Pearson de 0.978 para la familia Qwen2.5-VL).
Distracción Semántica: Los VLM de razonamiento muestran una robustez consistentemente menor en comparación con sus modelos base cuando se enfrentan a distracciones semánticas. Por ejemplo, en la familia Qwen2.5-VL, el modelo base retuvo un 92.1% de robustez relativa en Distract-Bench, mientras que las variantes de razonamiento cayeron al 84.4%–90.3%. Esto indica que las capacidades de razonamiento no confieren inmunidad a las señales semánticas irrelevantes; de hecho, pueden exacerbar la sensibilidad.

2. Sensibilidad a Claves Irrelevantes para la Tarea

A pesar de su fuerte rendimiento en datos limpios, los VLM de razonamiento son altamente sensibles a las claves semánticas irrelevantes para la tarea. La caída de precisión para los modelos de razonamiento en Distract-Bench (8.1–12.8 puntos porcentuales) fue significativamente mayor que para sus contrapartes de no-razonamiento (6.3 puntos porcentuales). Esto sugiere que un razonamiento fiable bajo entradas limpias es insuficiente para garantizar una selección de evidencia robusta cuando hay claves visuales plausibles pero irrelevantes presentes.

3. Los Distractores Entran en el Proceso de Razonamiento

El análisis a nivel de salida confirma que los fallos no son cambios de respuesta aleatorios, sino que son impulsados por la integración de los distractores en la cadena de razonamiento.

Mayores Tasas de Referencia: Los modelos de razonamiento hicieron referencia a los distractores con mayor frecuencia que los modelos base (mayor DRR).
Integración Perjudicial: La Tasa de Referencia Perjudicial (HFR) fue consistentemente más alta para los modelos de razonamiento. En los casos de fallo, los modelos trataron frecuentemente el distractor como evidencia válida, utilizándolo para justificar conclusiones incorrectas.
Evidencia Cualitativa: Los estudios de caso (por ejemplo, problemas de geometría con anotaciones de ángulos inyectadas) mostraron que los modelos citarían explícitamente el distractor (por ejemplo, "Se nos dice que el ángulo ODC es de 30 grados...") y derivarían una respuesta incorrecta basada en él, mientras que los modelos base tendían más a ignorar la clave o mencionarla sin daño.

Significado y Reivindicaciones

El artículo afirma que Distract-Bench redefine la evaluación de la robustez para los VLM de razonamiento. Los autores argumentan que el campo debe cambiar su enfoque de la pura degradación perceptiva (¿puede el modelo ver la evidencia?) a la distracción semántica (¿puede el modelo ignorar la evidencia plausible pero irrelevante?).

Las afirmaciones clave incluyen:

Un razonamiento más fuerte no equivale a una mayor fiabilidad: Mejorar las capacidades de razonamiento mediante aprendizaje por refuerzo o trazas supervisadas no necesariamente hace que los modelos sean más robustos a los cambios de distribución que involucran ruido semántico; incluso puede hacerlos más susceptibles a las "trampas de razonamiento".
El Efecto de "Amplificación del Razonamiento": El razonamiento de formato largo puede amplificar el impacto de la evidencia irrelevante. Una vez que un distractor es seleccionado como parte de la cadena de evidencia, el proceso de razonamiento puede construir una narrativa coherente pero incorrecta, conduciendo a respuestas erróneas con confianza.
Necesidad de una Nueva Evaluación: Los VLM fiables en el mundo real requieren la evaluación bajo distracciones semánticas engañosas, no solo corrupciones perceptivas.

Los autores concluyen que el desarrollo de VLM que sean tanto capaces de razonar como robustos sigue siendo una dirección futura crítica, lo que potencialmente requerirá mejores mecanismos de selección de evidencia, entrenamiento consciente de la distracción o verificación en el tiempo de inferencia. Declaran explícitamente que su trabajo es diagnóstico, revelando estos riesgos sin proponer un método de mitigación específico.