Resumen Técnico: OpenVisTool

Planteamiento del Problema

El uso de herramientas visuales se ha convertido en una capacidad crítica para los agentes multimodales para adquirir evidencia detallada más allá de las codificaciones de imagen fijas. Los métodos predominantes actuales para entrenar estos agentes se basan en el muestreo de rechazo basado en resultados (outcome-based rejection sampling), donde las trayectorias generadas por un profesor se conservan si son ejecutables y producen una respuesta final correcta.

Los autores argumentan que este enfoque es fundamentalmente erróneo porque confunde la validez del resultado con la utilidad causal. Un modelo profesor fuerte puede poseer suficiente conocimiento paramétrico o atajos de razonamiento para responder a una consulta correctamente sin necesidad real de las observaciones de la herramienta que genera. En consecuencia, imitar tales trayectorias enseña al modelo estudiante que las llamadas a la herramienta coinciden con las respuestas correctas, en lugar de enseñar que las observaciones de la herramienta fundamentan la respuesta. Esto resulta en una "supervisión espuria", donde el modelo aprende correlación en lugar de la necesidad causal de adquirir evidencia visual.

Metodología: Marco de Trabajo OpenVisTool

Para abordar esto, los autores proponen OpenVisTool, un marco de tres etapas diseñado para sintetizar trayectorias de uso de herramientas visuales instructivas. La idea central es que una trayectoria solo es beneficiosa para el aprendizaje si satisface dos condiciones conjuntas:

1. Validez del Resultado: La trayectoria debe resultar en una respuesta final correcta.
2. Utilidad Causal: Las observaciones de la herramienta deben contribuir causalmente a la respuesta; específicamente, proporcionar estas observaciones a un modelo "sonda" (probe) fijo debe mejorar la fiabilidad de su respuesta en comparación con una línea base sin herramientas.

El marco opera a través de las siguientes etapas:

1. Cribado de Dificultad

El flujo de trabajo primero filtra el conjunto de origen (que cubre cinco dominios: Gráficos, Tablas, Localización en GUI, Búsqueda Visual y Web-a-HTML) para retener solo las consultas que un modelo sonda capaz (Qwen3.5-9B) no puede resolver de manera fiable sin herramientas.

• Mecanismo: Un modelo sonda ejecuta $K$ ensayos independientes sin herramientas. Si la tasa de éxito empírica es inferior a un umbral ($\gamma = 0.5$), la consulta se retiene.
• Objetivo: Asegura que los problemas seleccionados demanden genuinamente evidencia visual externa, evitando llamadas a herramientas redundantes.

2. Síntesis de Trayectorias Específicas de Dominio

Para las consultas retenidas, un modelo profesor más fuerte (Qwen3.5-Plus) sintetiza trayectorias utilizando un conjunto de herramientas visuales compartido.

• Mecanismo: En lugar de prompts genéricos, el profesor es guiado por patrones de uso de herramientas específicos de dominio ($P_d$) adaptados a los cuellos de botella visuales de cada dominio (por ejemplo, aislamiento de series para Gráficos, localización progresiva para GUI).
• Objetivo: Provoca comportamientos coherentes de adquisición de evidencia en lugar de llamadas a herramientas arbitrarias o decorativas.

3. Verificación de la Supervisión

La etapa final valida rigurosamente cada trayectoria candidata frente al criterio de dos partes.

• Verificación de Validez del Resultado: Verifica que la respuesta final sea correcta utilizando evaluadores específicos de dominio.
• Verificación de Utilidad Causal: Las llamadas a la herramienta y las observaciones de la trayectoria se entregan al mismo modelo sonda utilizado en el cribado (excluyendo el razonamiento y la respuesta final del profesor para evitar filtraciones). La tasa de éxito del modelo sonda con herramientas ($\bar{p}_{tool}$) se compara con su tasa de éxito sin herramientas ($\bar{p}_0$).
• Regla de Retención: Una trayectoria se retiene solo si es válida en su resultado Y $\bar{p}_{tool} - \bar{p}_0 \ge \delta$ (donde $\delta = 0.25$).

Contribuciones Clave

1. Marco OpenVisTool: Un novedoso flujo de trabajo de tres etapas que operativiza el concepto de "supervisión instructiva" al imponer conjuntamente la validez del resultado y la utilidad causal.
2. OpenVisTool-42K: Un conjunto de datos a gran escala y de código abierto que contiene 42,000 trayectorias verificadas que abarcan cinco dominios de razonamiento visual bajo un conjunto de herramientas unificado.
3. OpenVisTool-Bench: Un benchmark construido para aislar el valor incremental de la adquisición activa de evidencia visual, centráéndose en instancias donde el acceso a herramientas mejora materialmente el rendimiento.
4. Validación Empírica: Demostración de que el ajuste fino con este conjunto de datos mejora el rendimiento del uso de herramientas visuales en cuatro modelos base (que van desde 4B hasta 27B de parámetros), con resultados que se acercan o superan a los sistemas líderes de código cerrado.

Resultados Experimentales

Los autores evaluaron el marco utilizando variantes de Qwen3.5 (4B, 9B, 27B) y Qwen3-VL-8B en OpenVisTool-Bench y en benchmarks fuera de distribución (OOD) (Agentic-MME, VTC-Bench).

• Ganancias de Rendimiento: El ajuste fino con OpenVisTool-42K produjo mejoras consistentes en todos los modelos y dominios. La ganancia promedio en OpenVisTool-Bench fue de 10.7 puntos. La mejora más significativa se observó en Búsqueda Visual (+23.8 puntos para el modelo de 9B), un dominio que requiere razonamiento espacial detallado donde las herramientas cierran la brecha entre la percepción y los requisitos de la tarea.
• Comparación con SOTA: El modelo de 9B entrenado con OpenVisTool-42K alcanzó una puntuación promedio de 45.8, superando el rendimiento sin herramientas de GPT-5.5 (41.9) y acercándose estrechamente al rendimiento aumentado por herramientas de GPT-5.5 (49.0).
• Generalización: Los modelos entrenados en el conjunto de datos multi-dominio mostraron ganancias consistentes en los benchmarks OOD (Agentic-MME y VTC-Bench), lo que sugiere que la capacidad aprendida es una meta-habilidad transferible en lugar de un sobreajuste a patrones específicos de llamada a herramientas.
• Estudios de Ablación:
  • Necesidad del Filtro: El uso de filtros tanto de validez de resultado como de utilidad causal superó el uso de cualquiera de los filtros por separado o el SFT de trayectoria sin herramientas.
  • Sinergia de Dominios Cruzados: El entrenamiento en la mezcla completa de múltiples dominios resolvió mejor los conflictos de estrategia (por ejemplo, entre el recorte local para búsqueda y el renderizado global para web) que el entrenamiento de un solo dominio, que a menudo conducía a la degradación del rendimiento en dominios incompatibles.
  • Replay de Trayectorias: Cuando un modelo sonda fue condicionado con interacciones de herramientas generadas por el modelo entrenado con instrucción (sin ver el razonamiento/respuesta), superó a las interacciones generadas por un modelo entrenado solo en corrección. Esto confirma que el entrenamiento induce una política de adquisición de evidencia más útil.

Significancia

El artículo sostiene que el uso efectivo de herramientas visuales no se aprende simplemente de resultados exitosos, sino de una supervisión causalmente fundamentada. Al cambiar el enfoque de la evaluación de "¿la trayectoria termina correctamente?" a "¿las llamadas a la herramienta realizan un trabajo real?", OpenVisTool proporciona una receta para construir datos de entrenamiento que enseñan a los modelos cuándo y cómo adquirir evidencia visual. Este enfoque permite que modelos de código abierto más pequeños aprovechen las herramientas visuales de manera efectiva, logrando un rendimiento competitivo con sistemas cerrados de gran escala, y establece que la calidad de los datos de arranque en frío es el determinante principal de la competencia última de un modelo en el uso de herramientas.