WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions

El artículo presenta WARC-Bench, una nueva evaluación que utiliza archivos Web ARChive para evaluar agentes de IA multimodales en subtareas complejas de interfaces gráficas de usuario, demostrando que, aunque los modelos de vanguardia actuales tienen dificultades, los modelos de código abierto mejoran significativamente mediante el ajuste fino supervisado y el aprendizaje por refuerzo con recompensas verificables para lograr un rendimiento competitivo.

Lo esencial

Imagina que estás enseñando a un robot cómo usar una computadora. La mayoría de las pruebas anteriores pedían al robot que hiciera una de dos cosas: o bien señalara un solo botón en una pantalla ("Haz clic en el botón rojo") o planificara un viaje masivo y complejo ("Reserva unas vacaciones para una familia de cuatro, incluyendo vuelos, hoteles y alquiler de coches, todo por menos de 2.000 dólares").

Los autores de este artículo se dieron cuenta de que había un enorme vacío en el medio. Notaron que antes de que un robot pueda reservar esas vacaciones, tiene que dominar los pasos pequeños y complicados que hay en medio: desplazarse por una lista para encontrar una fecha específica, arrastrar un control deslizante para ajustar un presupuesto o rellenar un formulario sin borrar accidentalmente el texto que ya estaba allí. Ellos llaman a esto "subtareas de interfaz gráfica de usuario (GUI)".

Aquí tienes un desglose sencillo de su trabajo, WARC-Bench:

1. El Problema: El "Medio Faltante"

Piensa en una tarea web compleja como hornear un pastel.

• Anclaje Visual: "Coge el huevo". (Demasiado simple).
• Navegación de Largo Alcance: "Hornea un pastel, glasealo y llévalo a una fiesta". (Demasiado complejo, demasiadas variables).
• El Medio Faltante: "Rompe el huevo en el bol sin que caiga cáscara dentro", o "Bate la mezcla hasta que esté suave".

Los autores argumentan que los robots de IA actuales están fallando en estos "pasos intermedios". Podrían saber qué es un pastel, pero les cuesta dominar la mecánica específica y delicada de las herramientas de la cocina.

2. La Solución: Una Cocina de Pruebas que "Viaja en el Tiempo"

Para poner a prueba a estos robots, el equipo construyó WARC-Bench.

Por lo general, probar robots en internet real es caótico. Los sitios web cambian, aparecen ventanas emergentes y los servidores se caen. Para solucionar esto, el equipo utilizó archivos WARC (Archivos Web).

• La Analogía: Imagina tomar una instantánea perfecta y congelada de un sitio web en un momento específico, incluyendo todos sus botones, scripts e imágenes. Metes esta instantánea en una "cápsula del tiempo".
• Cómo funciona: Cuando prueban un robot, no lo envían a internet en vivo. Lo envían a esta "cápsula del tiempo". El robot interactúa con esta copia congelada y perfecta del sitio web. Es como un simulador de vuelo para navegadores web: seguro, repetible y exactamente igual cada vez.

Crearon 438 "mini-retos" diferentes en este simulador, como "Selecciona el 21 de marzo en el calendario" o "Desplázate hacia abajo para encontrar el precio".

3. Los Resultados: Incluso los Robots "Más Inteligentes" Tienen Dificultades

Probaron los modelos de IA más avanzados del mundo (como Claude 4.0 y GPT-5) en estos mini-retos.

• La Realidad: Incluso los robots más inteligentes solo acertaron alrededor del 65% de estas tareas simples.
• La Analogía: Es como darle a un humano brillante un examen donde tiene que atar un nudo específico o rellenar un formulario de impuestos. Incluso las personas inteligentes cometen errores si las instrucciones son complicadas o la interfaz es confusa. Los robots están fallando al "leer el ambiente" del sitio web.

4. La Solución: Entrenamiento con "Videojuegos"

Los autores querían ver si podían enseñar a robots de código abierto (que suelen ser más débiles) a mejorar. Utilizaron dos métodos de entrenamiento:

1. Ajuste Fino Supervisado (SFT): Mostrar al robot miles de ejemplos de humanos realizando estas tareas con éxito, como mostrarle a un estudiante un problema de matemáticas resuelto.
2. Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): Esto es como un videojuego. Permiten que el robot intente la tarea. Si tiene éxito, obtiene un "punto" (recompensa). Si falla, obtiene cero puntos. El robot aprende jugando miles de juegos, dándose cuenta: "Oh, la última vez hice clic en el botón incorrecto, no debo volver a hacerlo".

El Resultado:
Al utilizar este método de entrenamiento de "videojuego" en sitios web sintéticos (falsos pero realistas), su modelo de código abierto saltó de una puntuación baja al 52,3%. Esto es impresionante porque superó a muchas de las "superinteligencias" costosas y de código cerrado en estas tareas específicas.

5. Por Qué Esto Importa

El artículo concluye que si quieres que un robot sea bueno en los trabajos grandes y complejos (como reservar esas vacaciones), primero debes asegurarte de que sea bueno en los trabajos pequeños y aburridos (como hacer clic en la fecha correcta).

Descubrieron que la capacidad de un robot para manejar estas subtareas pequeñas y específicas es un predictor muy fuerte de lo bien que manejará las tareas grandes y complejas. Si un robot no puede navegar por un menú desplegable, probablemente no podrá planificar un viaje.

En resumen: Los autores construyeron un patio de recreo seguro y congelado en el tiempo para probar qué tan bien pueden los robots manejar los detalles pequeños y complicados de usar un sitio web. Descubrieron que incluso los mejores robots son malos en estos detalles, pero pueden entrenarse para mejorar mucho jugando "videojuegos" donde obtienen puntos por hacerlo bien.

Resumen técnico

Resumen Técnico: WARC-Bench

Definición del Problema

El artículo identifica una brecha crítica en la evaluación de agentes web autónomos. Los puntos de referencia existentes se centran típicamente en dos extremos: anclaje visual de un solo paso (mapear texto a coordenadas de píxeles) o tareas complejas de navegación web de largo horizonte (por ejemplo, comprar un artículo en Amazon). El nivel intermedio de complejidad —subtareas de GUI— permanece en gran medida sin abordar. Estas subtareas son flujos de trabajo de corto horizonte que consisten en múltiples acciones primitivas de la interfaz de usuario (por ejemplo, seleccionar una fecha específica en un selector de fechas, desplazarse por un contenedor para extraer datos o interactuar con un menú desplegable) que constituyen una única instrucción funcional dentro de una sesión de navegación más amplia.

Los autores argumentan que dominar estas subtareas es esencial para una planificación y navegación web robustas, pero los puntos de referencia actuales no evalúan esta capacidad de manera efectiva. Además, los puntos de referencia de largo horizonte existentes a menudo carecen de la diversidad y las capacidades de pruebas de estrés necesarias para aislar y diagnosticar fallos en componentes específicos de interacción.

Metodología

Construcción de WARC-Bench

Los autores presentan WARC-Bench (Web Archive Benchmark), un nuevo punto de referencia diseñado para evaluar agentes de IA multimodal en la ejecución de subtareas.

• Entorno: El punto de referencia utiliza archivos Web ARChive (WARC) para crear entornos web interactivos en un entorno aislado. Estos archivos capturan el estado completo de un sitio web (HTML, CSS, JavaScript, imágenes, encabezados HTTP), permitiendo una reproducción de alta fidelidad dentro de un navegador basado en Chromium (mediante Playwright). Este enfoque garantiza el aislamiento de tareas, previene operaciones de escritura en el mundo real y permite una evaluación rápida y escalable.
• Composición del Conjunto de Datos: El punto de referencia comprende 438 tareas divididas en:
  • Conjunto de Pruebas: 200 tareas derivadas exclusivamente de sitios web del mundo real (por ejemplo, GitHub, Zoho Desk, Kaiser Permanente).
  • Conjunto de Desarrollo: 238 tareas (60 reales, 178 sintéticas).
  • Conjunto de Entrenamiento: 1.059 tareas sintéticas generadas mediante una pipeline basada en LLM para crear widgets de UI diversos y objetivos de tareas.
• Categorías de Tareas: Las tareas abarcan 15 categorías, incluidos selectores de fechas, rellenado de formularios, manipulación de tablas, arrastrar y soltar, y extracción de datos.
• Evaluación: Cada tarea incluye una función de recompensa determinista y programática (JS, URL, String o coincidencias JSON) para verificar la finalización de la tarea independientemente de la trayectoria específica del agente.

Diseño y Entrenamiento del Agente

Los autores proponen el Agente de Visión de Subtareas (SVA), un diseño de agente generalista que depende exclusivamente de capturas de pantalla para la observación, evitando la dependencia de árboles de accesibilidad o DOM HTML que pueden ser redundantes o exceder los límites de contexto.

• Espacio de Acciones: El agente opera sobre una API mínima de ocho acciones: hacer clic, completar, arrastrar_y_soltar, pasar el cursor, pulsar_tecla, desplazarse, escribir y esperar.
• Estrategia de Entrenamiento: Para mejorar los modelos de código abierto (específicamente la familia Qwen2.5-VL), los autores emplean una pipeline de entrenamiento de dos etapas:
  1. Ajuste Fino Supervisado (SFT): Destilación a partir de trayectorias generadas por modelos "maestro" potentes (incluidos modelos de vanguardia) sobre un conjunto de datos de ~12k trayectorias únicas.
  2. Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): Aplicación de Optimización de Política Proximal (PPO) sobre los puntos de control de SFT utilizando el conjunto de datos de entrenamiento sintético de WARC-Bench. El agente recibe una recompensa de 10 por trayectorias exitosas y 0 por fallos o tiempos de espera.

Resultados Clave

Rendimiento del Punto de Referencia

WARC-Bench demuestra ser desafiante incluso para los modelos de vanguardia más avanzados:

• Claude-4.0-Sonnet de Anthropic logró la tasa de éxito más alta entre los modelos evaluados con un 64.8% en el conjunto de pruebas.
• GPT-5 de OpenAI logró un 51.3%.
• Modelos de código abierto (por ejemplo, Qwen2.5-VL-72B) inicialmente se quedaron significativamente atrás con un 37.3%.

Impacto de las Técnicas de Entrenamiento

La pipeline de entrenamiento propuesta redujo significativamente la brecha entre los modelos de código abierto y los de código cerrado:

• SFT: Mejoró el modelo Qwen2.5-VL-72B del 37.3% al 48.3%.
• RLVR: Mejoró aún más el modelo Qwen2.5-VL-72B hasta un 52.3%, superando a muchos modelos de vanguardia de código cerrado y estableciendo un nuevo estado del arte para agentes de código abierto en este punto de referencia.
• Eficiencia: Los modelos entrenados con RLVR demostraron una mejor exploración (desplazamiento aumentado), redujeron los clics redundantes y acortaron las longitudes de las trayectorias (aproximadamente 0.94 pasos menos por tarea) en comparación con las líneas base de solo SFT.

Análisis Comparativo

• Correlación con Tareas de Largo Horizonte: A diferencia de puntos de referencia como ScreenSpot V2 o MiniWoB++, el rendimiento en WARC-Bench se correlaciona más fuertemente con las capacidades de navegación de largo horizonte (medidas en WebArena).
• Agentes Jerárquicos: El artículo demuestra que descomponer tareas de largo horizonte en subtareas utilizando un Planificador (por ejemplo, Claude-4.0-Sonnet) y un Ejecutor (por ejemplo, el Qwen2.5-VL-72B-RLVR entrenado) mejora significativamente el rendimiento en WebArena-Lite (del 16.17% al 24.63% para agentes basados en Qwen), validando la utilidad de modelos especializados en subtareas.

Significado y Afirmaciones

El artículo afirma que WARC-Bench llena una brecha crítica en el panorama de la investigación de agentes de GUI al proporcionar un entorno de alta fidelidad, escalable y aislado para evaluar subtareas de corto horizonte. Los autores afirman que:

1. El Dominio de las Subtareas es un Requisito Previo: Ejecutar con éxito subtareas es una capacidad fundamental requerida para una navegación web robusta de largo horizonte, una capacidad que no es evaluada extensamente por los puntos de referencia existentes.
2. Eficacia del Entrenamiento: Los datos sintéticos combinados con SFT y RLVR pueden permitir que los modelos de código abierto logren un rendimiento competitivo, y en algunos casos superior, a los modelos de vanguardia de código cerrado en interacciones web realistas.
3. Valor Diagnóstico: El punto de referencia sirve como una prueba de estrés para capacidades específicas del agente (por ejemplo, anclaje visual en widgets complejos, manejo de interfaces de usuario dinámicas como selectores de fechas) que a menudo causan fallos en sistemas más grandes.

El trabajo concluye que WARC-Bench ofrece una vía única para avanzar en el uso de agentes informáticos generalistas mejorando sistemáticamente la capa intermedia de ejecución de subtareas.