🤖 AI

AutoSurfer -- Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling

AutoSurfer es un generador de trayectorias web novedoso que emplea una exploración sistemática en anchura, síntesis de tareas guiada por exploración y refinamiento basado en trayectorias para superar la escasez de datos y los problemas de alucinación, mejorando así significativamente el rendimiento de los agentes web y la diversidad de tareas en la prueba WebArena.

Autores originales: Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

Publicado 2026-05-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres enseñar a un robot a navegar por una biblioteca masiva y compleja (un sitio web) para encontrar libros específicos, solicitarlos o escribir reseñas. El problema es que el robot no conoce la distribución de la biblioteca y nadie ha escrito un manual para él.

AutoSurfer es un nuevo sistema diseñado para enseñar a estos "robots web" (llamados agentes web) actuando como un bibliotecario humano muy meticuloso y organizado que explora primero la biblioteca, escribe una guía perfecta y luego enseña al robot utilizando esa guía.

Así funciona AutoSurfer, desglosado en pasos simples:

1. El Problema: Robots que se pierden

Los robots actuales que intentan navegar por sitios web a menudo fallan porque no han sido entrenados con suficientes buenos ejemplos.

La Vieja Forma: Los métodos anteriores intentaban enseñar a los robots de una de dos maneras:
- Adivinando desde la puerta principal: Miraban la página de inicio y adivinaban qué tareas podrían ser posibles, pasando por alto las habitaciones ocultas en lo profundo de la biblioteca.
- Deambulando sin rumbo: Caminaban aleatoriamente, como un turista chocando contra las paredes. Esto a menudo llevaba al robot a inventar tareas que en realidad no existían (alucinaciones) o a pasar por alto características importantes como menús desplegables que permanecen ocultos hasta que haces clic en ellos.

2. La Solución: La Estrategia de Tres Pasos de AutoSurfer

AutoSurfer corrige esto utilizando un enfoque de "Aprender mientras Avanzas" que imita cómo un humano aprendería un nuevo sitio web.

Paso A: El Explorador Sistemático (La Búsqueda en Anchura)

En lugar de deambular aleatoriamente, AutoSurfer actúa como un detective con una lista de verificación.

La Cola: Mantiene una lista de cada página que ha encontrado pero que aún no ha explorado completamente. Comienza en la página de inicio, luego verifica cada enlace en esa página, luego cada enlace en esas páginas, y así sucesivamente.
El Truco del "Despliegue": Imagina un menú que oculta opciones hasta que haces clic en "Más". Los métodos antiguos a menudo pasaban por alto esto. AutoSurfer es lo suficientemente inteligente como para hacer clic en el botón "Más", ver las nuevas opciones e inmediatamente agregar esas nuevas opciones a su lista de verificación. Lo hace recursivamente, despojando capas de menús tal como lo haría un humano.
Sin Redundancia: Si encuentra una caja de "Buscar" en la página de inicio, no pierde tiempo buscando una caja de "Buscar" en cada una de las otras páginas. Recuerda lo que ya sabe y omite los duplicados.

Paso B: Escribiendo la Historia (Síntesis de Tareas)

Una vez que AutoSurfer ha explorado el sitio web, no se limita a decir: "Hice clic aquí". Escribe una historia.

Conectando los Puntos: Examina la ruta que tomó (la trayectoria de exploración) y crea una tarea basada en esa ruta real.
La Metáfora: Imagina que estás enseñando a alguien a hornear un pastel.
- Los métodos antiguos podrían decir: "Compra harina, luego compra huevos, luego hornea". (Pasos aislados).
- AutoSurfer dice: "Primero, caminaste hacia el pasillo, recogiste la harina, caminaste hacia la caja registradora, pagaste, luego caminaste hacia el horno...". Ancla la tarea en el viaje real, haciendo que las instrucciones sean mucho más difíciles de malinterpretar.

Paso C: El Pulido (Refinamiento)

El primer borrador de las instrucciones podría estar desordenado. Quizás el robot tomó un desvío o hizo clic en un botón dos veces por error.

El Editor: AutoSurfer toma su propio "borrador" del viaje y se lo entrega a un agente web (un robot inteligente) con una pista: "Aquí está la ruta que tomamos; ahora, por favor, realiza esta tarea perfectamente".
El Resultado: El agente limpia la ruta, elimina los pasos innecesarios y asegura que las instrucciones sean 100% precisas. Esto crea un "libro de texto" de alta calidad para el entrenamiento.

3. El Resultado: Un Súper Estudiante

AutoSurfer convierte estas rutas limpias y verificadas en un conjunto de datos para entrenar un "LLM Específico de Sitio Web" (un cerebro de robot dedicado a un solo sitio web).

La Prueba: Los investigadores probaron esto en un punto de referencia llamado WebArena (un internet simulado con sitios como Reddit, una tienda de compras y un repositorio de código).
La Puntuación: El robot entrenado por AutoSurfer acertó el 24.23% de las tareas. El mejor método anterior solo acertó el 19.59%.
La Diversidad: No solo fue más preciso, sino que también aprendió una variedad más amplia de tareas. No solo aprendió lo fácil; encontró las características profundas y complejas de los sitios web que otros métodos pasaron por alto.

Analogía de Resumen

Piensa en entrenar a un agente web como entrenar a un nuevo empleado para un edificio de oficinas gigante y confuso.

Los métodos antiguos le daban al empleado un mapa con solo el vestíbulo marcado y le decían que "fuera a buscar la sala de descanso". Se perdían.
AutoSurfer envía a un empleado senior a recorrer cada pasillo, abrir cada puerta, revisar cada armario y escribir una guía paso a paso basada en el recorrido real. Luego, envía esa guía al nuevo empleado. El nuevo empleado llega sabiendo exactamente dónde está la sala de descanso, cómo llegar allí y qué hacer cuando llegue.

El artículo afirma que, al ser tan meticuloso y sistemático, AutoSurfer crea mejores datos de entrenamiento, lo que lleva a agentes web más precisos, menos propensos a inventar cosas y capaces de manejar tareas complejas y de múltiples pasos en la web.

1. Planteamiento del Problema

Los agentes web impulsados por Modelos de Lenguaje Grandes Multimodales (MLLM) tienen como objetivo automatizar tareas complejas en sitios web. Sin embargo, su precisión está severamente limitada por la escasez de datos de entrenamiento de alta calidad sobre trayectorias web. Los métodos existentes de generación automática de datos adolecen de tres defectos principales:

Cobertura Incompleta: Los métodos que dependen de propuestas de tareas basadas en la página de inicio (por ejemplo, Explorer) o de exploración mediante caminata aleatoria (por ejemplo, OS-Genesis, SynthAgent) no logran descubrir funcionalidades profundas y ocultas, como menús multinivel o contenido dinámico.
Alucinación y Ambigüedad: La síntesis de tareas a menudo se basa en contenido de página aislado o en acciones aleatorias, lo que conduce a tareas alucinadas que no se alinean con las rutas de navegación reales ni con la intención del usuario.
Anclaje Débil de la Trayectoria: Las trayectorias generadas a menudo carecen de coherencia porque no están ancladas en una exploración sistemática del espacio de estados real del sitio web, lo que resulta en datos de entrenamiento poco fiables para Modelos de Lenguaje Específicos de Sitio (wLLMs).

2. Metodología: AutoSurfer

AutoSurfer es un generador integral de trayectorias web diseñado para abordar estas limitaciones mediante un pipeline de tres etapas: Exploración Sistemática, Síntesis de Tareas Anclada a la Trayectoria y Refinamiento Guiado por la Trayectoria.

A. Exploración Sistemática en Anchura (BFS)

A diferencia de las caminatas aleatorias, AutoSurfer emplea una estrategia de recorrido en anchura (BFS) para mapear exhaustivamente el espacio de acciones de un sitio web:

Navegación Basada en Cola: Mantiene una cola de páginas descubiertas y sus trazas de acción correspondientes. Propaga el conocimiento desde páginas anteriores hacia las posteriores para evitar exploraciones redundantes.
Expansión Recursiva de la Interfaz Gráfica (GUI): Trata los elementos estáticos y dinámicos de manera diferente:
- Elementos Estáticos: Recorre sistemáticamente la funcionalidad fija (por ejemplo, barras de navegación).
- Elementos Dinámicos: Muestra un subconjunto representativo de contenido dinámico (por ejemplo, elementos de lista) para evitar redundancia mientras captura la funcionalidad.
- Manejo de Menús/Desplegables: Expande recursivamente menús y listas desplegables. Si una acción (por ejemplo, hacer clic en un nombre de perfil) revela nuevos elementos, AutoSurfer identifica estos nuevos elementos como una jerarquía, reconstruyendo tareas de hoja con el prefijo de acción completo (por ejemplo, "Hacer clic en Perfil" $\rightarrow$ "Hacer clic en Configuración").
Filtrado de Tareas: Excluye tareas que involucran autorización (inicio de sesión/registro), pagos, anuncios y ventanas emergentes, centrándose en interacciones accionables y que cambian el estado.

B. Síntesis de Tareas con Trayectorias de Exploración

AutoSurfer sintetiza tareas complejas combinando tareas simples lógicamente conectadas descubiertas durante la exploración:

Tareas Orientadas a la Acción: Identifica secuencias de tareas simples que abarcan al menos tres acciones de la GUI. Utiliza el razonamiento del LLM para evaluar la completitud, reteniendo solo tuplas de alta calidad.
Tareas de Búsqueda de Información: Genera preguntas que los usuarios podrían hacer sobre el contenido de la página, ancladas en la ruta de navegación específica tomada para alcanzar ese estado.
Innovación Clave: A diferencia de métodos anteriores que sintetizan tareas a partir de contenido de página aislado, AutoSurfer ancla las tareas en la trayectoria completa de exploración. Esto asegura que la descripción de la tarea refleje el contexto real de navegación, reduciendo las alucinaciones.

C. Refinamiento Guiado por la Trayectoria

Los datos iniciales de exploración a menudo contienen pasos redundantes o rutas subóptimas (por ejemplo, acciones de desplazamiento omitidas). AutoSurfer refina estos datos utilizando un agente web (SynthAgent) aumentado con la trayectoria de exploración como pista:

El agente utiliza la ruta de exploración como una guía de "verdad fundamental" para corregir la descripción de la tarea y generar una trayectoria limpia y eficiente.
Este paso filtra los intentos fallidos y optimiza la secuencia de acciones, asegurando que los datos finales sean adecuados para el Ajuste Fino Supervisado (SFT).

D. Entrenamiento del Modelo (wLLM)

Los pares de tareas-trayectoria refinados se convierten en un conjunto de datos SFT en formato ShareGPT. El conjunto de datos incluye la descripción de la tarea, la captura de pantalla de la página, el árbol de accesibilidad y el historial de acciones. Estos datos se utilizan para ajustar finamente modelos de lenguaje multimodales (específicamente Qwen2.5-VL y Qwen3-VL) para crear Modelos de Lenguaje Específicos de Sitio (wLLMs).

3. Contribuciones Clave

Estrategia de Exploración Sistemática: Un enfoque BFS novedoso que expande recursivamente los menús, distingue entre elementos fijos y dinámicos, y propaga el conocimiento entre páginas para lograr una cobertura casi completa del sitio web.
Síntesis Anclada a la Trayectoria: Un método que utiliza la ruta completa de exploración para sintetizar tareas, reduciendo significativamente las alucinaciones en comparación con métodos que dependen de contenido de página aislado o caminatas aleatorias.
Refinamiento mediante Pistas de Exploración: Un mecanismo de refinamiento que utiliza la trayectoria de exploración como una restricción para dirigir al agente web hacia rutas de ejecución correctas, mejorando la calidad de los datos.
Primer Marco de Entrenamiento para wLLM: AutoSurfer es el primer trabajo diseñado explícitamente para generar datos para el entrenamiento de wLLMs, demostrando que una cobertura exhaustiva del sitio web es necesaria para agentes específicos del sitio de alto rendimiento.

4. Resultados Experimentales

Los autores evaluaron AutoSurfer en la pauta WebArena (utilizando entornos CMS, Gitlab, Reddit y Shopping) mediante el ajuste fino de Qwen2.5-VL-7B-Instruct.

Rendimiento: AutoSurfer superó significativamente a los métodos más avanzados (Explorer, OS-Genesis, SynthAgent).
- Precisión General: AutoSurfer logró una precisión general de finalización de tareas del 24.23%, en comparación con el 19.59% del mejor método anterior (SynthAgent).
- Ganancias por Sitio Web: Mostró mejoras consistentes en todos los sitios web probados, con ganancias notables en Reddit (34.62% frente al 19.64% de SynthAgent).
Diversidad de Tareas: AutoSurfer generó un conjunto de tareas más diverso (Puntuación de Diversidad: 0.7774) en comparación con OS-Genesis y SynthAgent (0.7459), lo que indica una cobertura más amplia del espacio de acciones del sitio web.
Impacto del Refinamiento: Los estudios de ablación mostraron que los modelos entrenados únicamente con datos de exploración alcanzaron una precisión del 11.54%, mientras que los modelos entrenados con datos refinados alcanzaron el 34.62%. Esto resalta la importancia crítica de la etapa de refinamiento para eliminar ruido y optimizar las trayectorias.
Generalización: El enfoque se validó en un modelo diferente (Qwen3), mostrando mejoras consistentes en el rendimiento, lo que sugiere que la calidad de los datos es agnóstica al modelo.

5. Significado

Calidad de Datos sobre Tamaño del Modelo: El artículo demuestra que datos de entrenamiento exhaustivos y de alta calidad pueden aumentar significativamente el rendimiento de modelos más pequeños y eficientes (7B-8B parámetros), reduciendo potencialmente la necesidad de modelos masivos y costosos para la automatización web.
Privacidad y Eficiencia: Al permitir el entrenamiento de wLLMs de alta calidad, AutoSurfer apoya el despliegue de agentes en el dispositivo, mejorando la privacidad del usuario y reduciendo la latencia.
Cambio de Paradigma: Mueve el campo de la "exploración aleatoria" o la "síntesis basada en tutoriales" a la "exploración sistemática, similar a la humana", proporcionando un marco robusto para construir agentes web confiables y de propósito general.

En conclusión, AutoSurfer establece un nuevo estándar para la generación de trayectorias web al demostrar que la exploración sistemática y exhaustiva combinada con el refinamiento guiado por la trayectoria es esencial para entrenar agentes web precisos y confiables.