The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images

Resumen Técnico: La Ilusión del Uso de Herramientas Visuales

Planteamiento del Problema
El paradigma de "pensar con imágenes" dota a los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) de operaciones visuales activas, como el recorte y zoom (crop-and-zoom), para recopilar evidencia detallada más allá de una única vista holística. Sin embargo, las observaciones empíricas revelan una "paradoja de mejora marginal": los modelos que utilizan estas herramientas suelen lograr ganancias de precisión marginales o incluso negativas en comparación con la inferencia directa, a pesar de incurrir en costos de tokens sustancialmente mayores. Además, los despliegues aumentados por herramientas fallan frecuentemente en preguntas que la inferencia directa responde correctamente, a menudo mediante el recorte repetitivo de regiones irrelevantes. La pregunta central abordada es si la evidencia visual devuelta por estas herramientas afecta causalmente la predicción final del modelo, o si el uso de la herramienta es simplemente un ritual performativo.

Metodología: Un Marco de Auditoría Causal
Los autores formulan el uso de herramientas visuales como un Modelo Causal Estructural (SCM) sobre la imagen de entrada $I$, la consulta $Q$, una secuencia de acciones de la herramienta $T_{1:n}$, las observaciones devueltas $O_{1:n}$ y la respuesta final $Y$. Este marco distingue entre dos rutas causales desde la entrada hasta la salida:

1. Rutas mediadas por la observación ($T \to O \to Y$): Donde el contenido visual de la observación fundamenta genuinamente la respuesta.
2. Atajos inducidos por la acción ($T \to Y$): Donde la mera presencia de una acción de la herramienta influye en la respuesta, independientemente del contenido de la observación.

Para auditar estas rutas, el artículo propone un protocolo de intervención de tres niveles:

• A nivel de política: Compara políticas habilitadas por herramientas ($\pi_{tool}$) frente a políticas de inferencia directa ($\pi_{direct}$) para medir el Efecto de Tratamiento Promedio (ATE) en la precisión.
• A nivel de trayectoria: Corrompe dinámicamente todas las observaciones devueltas ($O_i$) durante el despliegue (por ejemplo, reemplazándolas con recortes aleatorios de la misma imagen) para medir el efecto total de eliminar la evidencia visual, incluyendo las reacciones de la política inducidas, como el agotamiento del presupuesto.
• A nivel de paso: Introduce la Ganancia de Evidencia Visual (VEG), un estimando contrafáctico. Para un paso específico $i$, se mide la brecha de confianza del modelo antes de la llamada, después de la observación real y después de una observación contrafáctica (un recorte de una ubicación diferente). $VEG_i = \Delta M^{real}_i - \Delta M^{cf}_i$ aísla la contribución causal del contenido visual específico, filtrando el atajo inducido por la acción.

Contribuciones Clave

1. Formulación Causal: El artículo operacionaliza el uso de herramientas visuales como un grafo causal, desentrañando la utilidad mediada por la observación de los atajos inducidos por la acción mediante un protocolo de intervención de tres niveles.
2. Identificación de la Descalibración de la Política: El estudio identifica la "descalibración de la política" como el cuello de botella central, caracterizada por dos modos de falla distintos:
   • Llamar sin Mirar (Calling Without Looking - CWL): El modelo llama a las herramientas, pero el contenido visual no tiene un efecto causal en la respuesta (ya sea debido a una confianza previa saturada o a llamadas estructuralmente inactivas).
   • Mirar sin Planificar (Looking Without Planning - LWP): El contenido visual es informativo, pero el cronograma de llamadas es incoherente (por ejemplo, continuar llamando después de que la respuesta ya ha sido determinada o agotar el presupuesto en regiones no informativas).
3. Diagnóstico a Nivel de Trayectoria: Un clasificador determinista clasifica cada despliegue en cuatro grupos: Sin llamada, Modo 1 (CWL), Modo 2 (LWP) y Calibrado (uso efectivo).
4. Descomposición de Ganancias: Los autores descomponen la ganancia agregada de precisión a nivel de política en contribuciones de estos grupos, revelando que las mejoras se concentran casi exclusivamente en la minoría Calibrada.

Resultados
Evaluado en seis modelos representativos (incluyendo DeepEyes, Mini-o3, Qwen3-VL y Thyme) y cinco bancos de pruebas de percepción fina:

• Ganancias Marginales: Los ATE a nivel de política son a menudo pequeños o negativos. Por ejemplo, DeepEyes muestra una mejora esencialmente nula, mientras que Mini-o3 y Qwen3-VL-8B muestran ganancias modestas en bancos de pruebas específicos.
• Ineficacia Causal: Las intervenciones a nivel de trayectoria (corrupción de observaciones) causan caídas masivas de precisión en modelos como Mini-o3 y Qwen3-VL, lo que sugiere que dependen fuertemente de la estructura de la interfaz de la herramienta en lugar del contenido visual, o que su planificación colapsa cuando la retroalimentación es corrompida.
• Análisis VEG: El análisis a nivel de paso revela que para muchos modelos (por ejemplo, DeepEyes), el VEG es cercano a cero en todas las llamadas, indicando que el contenido visual es ignorado. Para otros (por ejemplo, Qwen3-VL-8B), el VEG es alto solo cuando el modelo aún no está saturado, pero el modelo continúa llamando frecuentemente después de la saturación (Sobreextensión/Over-Extension).
• La Ilusión: El subconjunto Calibrado (donde las herramientas se usan efectivamente) constituye una minoría de los despliegues (por ejemplo, ~20-45% dependiendo del modelo). Las ganancias de precisión agregadas reportadas en los bancos de pruebas son impulsadas casi exclusivamente por este subconjunto, mientras que la mayoría de las llamadas a herramientas están desacopladas de la respuesta (CWL) o programadas de forma incoherente (LWP).

Significancia y Reivindicaciones
El artículo afirma exponer la "ilusión del uso de herramientas visuales": las ganancias de precisión agregadas observadas en los bancos de pruebas crean una impresión engañosa de que el uso de herramientas visuales es ampliamente y causalmente efectivo. En realidad, para una amplia gama de despliegues, la evidencia visual devuelta no media causalmente la respuesta.

Los autores proponen la hipótesis de la trampa de RL (RL-trap hypothesis), sugiriendo que el aprendizaje por refuerzo basado únicamente en resultados (recompensar solo la respuesta correcta final) refuerza el atajo $T \to Y$ (Modo 1) y no logra penalizar los pasos redundantes o perjudiciales (Modo 2), ya que una trayectoria tanto Calibrada como de Modo 1 que recibe la misma respuesta final obtiene recompensas idénticas.

La significancia de este trabajo radica en desplazar el enfoque de evaluación de "¿el modelo llama a las herramientas?" a "¿el modelo piensa con imágenes?". El diagnóstico propuesto ofrece usos operativos, tales como métricas de evaluación más allá de la precisión, adaptación en tiempo de inferencia (evitando herramientas para el Modo 1 o terminación temprana para el Modo 2) y asignación de crédito consciente del proceso para mejorar el entrenamiento. Los autores señalan que sus conclusiones se limitan a modelos de código abierto con acceso de caja blanca para intervenciones a nivel de paso y se centran principalmente en la operación de recorte y zoom.