Resumen Técnico: Cuando los Agentes Web Terminan pero Siguen Fallando

Planteamiento del Problema

Los agentes web de largo alcance son evaluados cada vez más en tareas que requieren navegación, recopilación de información y razonamiento sobre sitios web reales. Sin embargo, las métricas de evaluación estándar a menudo enmascaran un modo de fallo crítico: los agentes pueden emitir una respuesta final bien formada y finalizar con confianza y, aun así, fallar en la tarea principal. Estos escenarios de "terminar-pero-fallar" incluyen la omisión de campos requeridos, la inclusión excesiva de elementos no soportados o la dependencia de evidencia obsoleta.

A diferencia de las tareas de recuperación secuencial de respuesta única comunes en los benchmarks existentes (por ejemplo, WebWalkerQA, WebSailor), las tareas web realistas a menudo requieren exploración web paralela. En este entorno, un agente debe descomponer una consulta en múltiples subobjetivos, recuperar información de fuentes dispares (por ejemplo, diferentes subpáginas de un sitio de una conferencia) y agregar estos elementos en una salida estructurada. Los métodos de evaluación actuales, que a menudo dependen de la completitud binaria o la precisión de la respuesta final, no logran capturar el matiz de los agentes que completan el bucle de interacción pero producen respuestas estructuradas factualmente incompletas o incorrectas.

Metodología

Construcción del Benchmark: Parallel WebBench

Para abordar la falta de datos de evaluación para la exploración paralela, los autores introducen Parallel WebBench, un benchmark que contiene 1,679 registros verificados. El conjunto de datos se construye mediante dos procesos:

1. Curación Manual (350 tareas): Las URLs raíz se convierten en preguntas de campos múltiples que requieren evidencia de múltiples subpáginas. Los anotadores humanos verifican la capacidad de respuesta, registran los pasos secuenciales, el grado máximo de paralelismo (el número de ramas de evidencia distintas requeridas), las URLs visitadas y las respuestas de oro (golden answers).
2. Reconstrucción Automatizada (1,329 tareas): Se filtran y reconstruyen registros existentes de QA web. Este proceso verifica si las respuestas siguen siendo válidas en la web en vivo, clasifica los registros por validez de ruta y reconstruye cadenas de URLs rotas mediante una verificación estricta de la cadena de enlaces (asegurando que cada par de URLs consecutivas sea un hipervínculo válido).

El conjunto de datos enfatiza la evidencia en vivo, filtrando contenido obsoleto y asegurando que las trayectorias sean navegables en la web actual.

Configuración Experimental

Los autores entrenan agentes de tipo WebExplorer utilizando Optimización de Política Relativa de Grupo (GRPO) bajo tres condiciones de mezcla de datos:

• HUMAN: Solo tareas curadas por humanos y verificadas manualmente.
• BALANCED: Partes iguales de tareas humanas y datos sintéticos (Categoría A: rutas verificadas; Categoría B: rutas reconstruidas).
• SYNTH-HEAVY: Supervisión humana reducida con una alta proporción de datos sintéticos.

Diseño de Recompensa: Para abordar la escasez de recompensa en tareas estructuradas de campos múltiples, los autores emplean un sistema de recompensa de crédito parcial. A diferencia de las recompensas de coincidencia exacta que asignan cero crédito por cualquier error, este sistema califica recursivamente diccionarios, listas y campos escalares utilizando coincidencia difusa (fuzzy matching), contención y F1 a nivel de token. Esto proporciona retroalimentación más densa preservando un bucle de entrenamiento sin LLM.

Evaluación: Los modelos se evalúan en un conjunto de prueba de 150 ejemplos bajo diversos presupuestos de inferencia (contexto de 16k/64k, 8/16 rondas de interacción). Las métricas incluyen:

• Completitud: Si se emite una respuesta final analizable.
• Precisión Binaria: Si la respuesta estructurada completa es juzgada como correcta por GPT-4.1-mini.
• F1 por Elemento: Crédito parcial basado en la recuperación de elementos fácticos individuales.

Contribuciones Clave

1. Definición de Exploración Web Paralela: El artículo define un entorno de tarea donde los agentes deben recuperar y sintetizar múltiples subobjetivos independientes, exponiendo una "brecha de completitud-corrección" donde los agentes emiten respuestas estructuradas que están parcialmente soportadas o son enteramente no soportadas por la evidencia recuperada.
2. Parallel WebBench: Un benchmark de 1,679 registros con trayectorias, respuestas y metadatos a nivel de URL verificados, distinguiendo entre tareas curadas por humanos y tareas reconstruidas automáticamente.
3. Identificación de Tres Modos de Fallo Reproducibles: A través de diagnósticos a nivel de traza, los autores identifican disparadores específicos para el fallo del agente:
   • FM1 (Bucles de búsqueda limitados por contexto): Los agentes entran en bucles de búsqueda redundantes cuando ocurren desajustes en la fraseología canónica, fallando al utilizar evidencia no canónica recuperada anteriormente.
   • FM2 (Terminación prematura con respuestas parciales): Los agentes emiten una respuesta final antes de agotar el presupuesto de interacción, a menudo desencadenado por preguntas con valores de lista, impulsado por recompensas densas que acreditan el formato/proceso sobre la cobertura.
   • FM3 (Colapso de síntesis): Los agentes recuperan evidencia suficiente pero fallan al preservarla en la salida final, colapsando filas distintas en valores repetidos o reemplazando hechos con marcadores de posición de "No encontrado".
4. Diagnósticos a Nivel de Traza: El artículo proporciona detectores operativos para estos modos de fallo, analizando el comportamiento de búsqueda redundante, el uso de rondas, el recuerdo a nivel de elemento y la vinculación de evidencia-respuesta.

Resultados

Mejoras de Rendimiento y Brechas

El entrenamiento con GRPO y datos sintéticos mejora significativamente las tasas de completitud, pero ofrece rendimientos decrecientes en la corrección:

• Completitud: El mejor modelo GRPO (SYNTH- heavy) mejoró la completitud del 50.7% (WebExplorer-8B base) al 96.0% con contexto de 16k y 16 rondas.
• Corrección Parcial: El F1 por elemento mejoró de 0.2489 a 0.4529.
• Precisión Binaria: A pesar de la alta completitud, la precisión binaria se mantuvo baja (~33.3%), lo que indica que, aunque los agentes terminan las tareas, a menudo fallan en resolverlas correctamente.

Análisis de Intervenciones

• Datos Sintéticos: El entrenamiento intensivo en sintéticos reduce la abstención y mejora la fiabilidad de la emisión de respuestas, pero no mejora significativamente la corrección basada en evidencia. Los modelos entrenados con datos sintéticos funcionan mejor en conjuntos de prueba sintéticos que en los de verificación humana.
• Contexto y Rondas: Aumentar el contexto (a 64k) o las rondas de interacción (a 16) mejora la completitud, pero no mejora monótonamente la precisión binaria. En algunos casos, presupuestos mayores provocaron una disminución en el F1 por elemento, sugiriendo que más interacción no corrige los fallos centrales de razonamiento o síntesis.
• Persistencia de Modos de Fallo: Los tres modos de fallo (bucles, terminación prematura, colapso de síntesis) persisten en todas las mezclas de entrenamiento. El entrenamiento intensivo en sintéticos redujo el FM1 (bucles) pero aumentó el FM2 (terminación prematura), sugiriendo un compromiso donde los agentes aprenden a "terminar" más rápido pero con menos verificación.

Significado y Reivindicaciones

El artículo argumenta que la optimización a nivel de resultado (maximizar la completitud o la emisión de la respuesta final) es insuficiente para una IA de agentes fiable. El hallazgo central es constructivo: si bien GRPO y la supervisión sintética enseñan eficazmente a los agentes a emitir respuestas, no eliminan los modos de fallo fundamentales de la exploración web.

Los autores afirman que el campo debe ir más allá de las simples métricas de completitud. La "brecha de completitud-corrección" observada destaca la necesidad de:

• Parada consciente de la cobertura: Evitar que los agentes terminen antes de que todos los subobjetivos sean verificados.
• Síntesis vinculada a la evidencia: Asegurar que la respuesta final se adhiera estrictamente a la evidencia recuperada en lugar de colapsar o alucinar.
• Diagnósticos de traza: Separar el acto de "terminar" una tarea de "resolverla".

El trabajo sugiere que las intervenciones futuras deberían combinar el entrenamiento de crédito parcial con verificaciones de cobertura explícitas y pasos de verificación, en lugar de confiar únicamente en el escalado de contexto, presupuestos de interacción o datos sintéticos. El artículo concluye que los agentes actuales se están volviendo más confiados en sus fallos, lo que requiere diagnósticos que puedan distinguir entre una tarea resuelta y una mera interacción completada.