AI Planning Framework for LLM-Based Web Agents

Este artículo presenta un marco de planificación que clasifica las arquitecturas de agentes web basados en LLM en paradigmas de búsqueda tradicionales, introduce nuevas métricas de evaluación y un conjunto de datos para diagnosticar fallos, demostrando mediante experimentos que la elección entre agentes paso a paso y de planificación completa depende de las restricciones específicas de la aplicación.

Lo esencial

Imagina que quieres enseñarle a un robot a navegar por internet para hacer tareas complejas, como comprar unos zapatos, reservar un vuelo o organizar un evento. El problema es que los "cerebros" de estos robots (llamados Inteligencia Artificial o IA) son muy inteligentes para entender el lenguaje, pero a veces actúan como cajas negras: sabemos lo que hacen, pero no entendemos por qué fallan o cómo piensan.

Este artículo es como un manual de instrucciones para entender y mejorar a estos robots web. Los autores, Orit Shahnovsky y Rotem Dror, proponen tres cosas principales para arreglar este caos:

1. Tres formas de pensar (La analogía del viaje)

Los autores comparan a los agentes de IA con tres tipos de viajeros que intentan llegar a un destino:

• El viajero "Paso a Paso" (Búsqueda en Anchura): Es como alguien que camina por un bosque y decide a cada paso: "¿Hacia dónde voy ahora?". Mira a su alrededor, da un paso, mira de nuevo y decide el siguiente.
  • Ventaja: Es muy flexible. Si hay un árbol caído, lo salta y sigue.
  • Desventaja: Puede perder el rumbo si el bosque es muy grande y olvida por qué empezó el viaje.
• El viajero "Bosque de Opciones" (Búsqueda Árbol): Este viajero imagina varios caminos a la vez antes de moverse. "Si voy por aquí, paso X; si voy por allá, paso Y". Elige el camino que parece más prometedor.
  • Ventaja: Es más estratégico.
  • Desventaja: Puede quedarse pensando demasiado y no moverse.
• El viajero "Plan Maestro" (Búsqueda en Profundidad): Este es el nuevo héroe del artículo. Antes de dar cualquier paso, escribe todo el itinerario en un papel: "Primero tomo el autobús, luego camino 500 metros, luego entro a la tienda". Sigue ese plan rigurosamente.
  • Ventaja: Es muy ordenado y no se distrae.
  • Desventaja: Si el autobús se retrasa o la tienda está cerrada, el robot se queda atascado porque su plan no se adapta bien a los imprevistos.

2. Un nuevo sistema de calificación (Más que solo "Aprobado/Reprobado")

Antes, si un robot fallaba en su tarea, simplemente se le ponía un "Reprobado". Pero, ¿qué pasa si el robot hizo 9 cosas bien y falló solo en la última? ¿O si se equivocó al principio pero se corrigió?

Los autores crearon 5 nuevas reglas de puntuación para ver cómo se comportó el robot, no solo si llegó al final:

• Tasa de Recuperación: ¿Pudo el robot darse cuenta de su error y volver al camino correcto? (Como un conductor que se equivoca de calle, da la vuelta y sigue).
• Tasa de Repetición: ¿El robot se quedó atascado haciendo la misma acción una y otra vez? (Como un perro persiguiendo su propia cola).
• Precisión del Elemento: ¿El robot planeó hacer la acción correcta y luego la ejecutó tal cual?
• Éxito Parcial: Si la tarea era "comprar 3 cosas" y compró 2, ¿merece algún punto? (Sí, porque hizo un gran progreso).
• Éxito por Pasos: ¿Siguió el mismo camino que lo haría un humano experto?

3. El experimento: ¿Quién gana?

Para probar sus ideas, crearon un banco de pruebas con 794 tareas reales que humanos resolvieron paso a paso (para tener un "camino dorado" de comparación). Luego, hicieron competir a un robot "Paso a Paso" (el estándar actual) contra un robot "Plan Maestro" (el nuevo que ellos crearon).

Los resultados fueron sorprendentes:

• El robot "Paso a Paso" fue mejor siguiendo el camino humano. Se adaptó mejor a los imprevistos y recuperó sus errores más rápido. Fue como un turista local que sabe cómo moverse en la ciudad.
• El robot "Plan Maestro" fue técnicamente más preciso en elegir los botones correctos (menos errores de clic), pero a menudo se quedó atascado porque su plan rígido no funcionaba cuando la web cambió un poco. Fue como un turista con un mapa de 1950 intentando navegar una ciudad moderna: sabe dónde están las cosas, pero no sabe cómo lidiar con el tráfico de hoy.

La conclusión final

El mensaje principal es que no existe un robot perfecto para todo.

• Si la web es caótica, cambia mucho o es impredecible (como redes sociales o foros), necesitas un robot "Paso a Paso" que sea flexible y pueda reaccionar al momento.
• Si la web es muy estructurada y predecible (como una tienda online o un sistema bancario), un robot "Plan Maestro" es mejor porque sigue un proceso limpio y ordenado.

Este trabajo nos da las herramientas para elegir el "tipo de cerebro" correcto para cada trabajo, en lugar de esperar que un solo robot lo haga todo perfectamente. ¡Es como elegir entre un coche todoterreno para la montaña y un sedán para la autopista!

Resumen técnico

Resumen Técnico: Marco de Planificación para Agentes Web Basados en LLM

1. El Problema

El desarrollo de agentes autónomos capaces de navegar y resolver tareas complejas en la web es un desafío central en la IA. Aunque los Modelos de Lenguaje Grande (LLM) han permitido crear agentes que interpretan solicitudes de usuario complejas, estos suelen operar como "cajas negras". Esto genera dos problemas principales:

• Falta de diagnósticabilidad: Es difícil entender por qué fallan los agentes o cómo planifican sus acciones, ya que el razonamiento está implícito en el modelo y no formalizado.
• Evaluación insuficiente: Las métricas actuales se basan casi exclusivamente en tasas de éxito binarias (éxito/fracaso) al final de una tarea. Esto ignora la calidad del proceso, la eficiencia de la trayectoria, la capacidad de recuperación ante errores y la coherencia de la planificación intermedia.

2. Metodología y Marco Teórico

Los autores proponen tratar las tareas web como procesos de toma de decisiones secuenciales y establecen un mapeo formal entre las arquitecturas modernas de agentes LLM y los paradigmas de planificación clásica de la IA:

• Taxonomía de Agentes:

  1. Agentes Paso a Paso (Step-by-Step): Corresponden a una Búsqueda en Anchura (BFS). El agente evalúa acciones inmediatas basándose en el estado actual, sin un horizonte de planificación a largo plazo. (Ejemplo: El agente base de WebArena).
  2. Agentes de Búsqueda en Árbol (Tree Search): Corresponden a una Búsqueda en Árbol Mejor Primero (Best-First). Mantienen un árbol de estados explorados y utilizan una función de valor para priorizar ramas prometedoras.
  3. Agentes de Planificación Completa Anticipada (Full-Plan-in-Advance): Corresponden a una Búsqueda en Profundidad (DFS). Generan una trayectoria completa de acciones antes de ejecutar cualquier paso. El agente sigue este plan como una restricción global para evitar la "deriva de contexto" (olvidar el objetivo original).

• Implementación del Agente "Full-Plan-in-Advance":
  Los autores desarrollaron un nuevo agente que genera un plan completo (lista numerada de acciones) basado en el árbol de accesibilidad de la página web antes de interactuar. Durante la ejecución, el plan se proporciona en cada paso del prompt como memoria externa para mantener la alineación con el objetivo.

• Nuevas Métricas de Evaluación:
  Para ir más allá del éxito binario, se proponen cinco métricas que evalúan la calidad de la trayectoria, utilizando un LLM como juez para comparar las acciones del agente con una referencia humana (gold standard):

  1. Tasa de Recuperación (Recovery Rate): Capacidad del agente para volver a la trayectoria humana tras desviarse.
  2. Tasa de Repetición (Repetitiveness Rate): Proporción de acciones redundantes (evitar bucles infinitos).
  3. Tasa de Éxito por Paso (Step Success Rate): Porcentaje de pasos humanos que el agente logra cumplir correctamente.
  4. Tasa de Éxito Parcial (Partial Success Rate): Evaluación de tareas con múltiples requisitos (ej. listar varios elementos), midiendo cuántos se completaron.
  5. Precisión de Elementos (Element Accuracy Rate): Comparación entre la acción que el agente planeó hacer y la que realmente ejecutó.

• Dataset:
  Se creó un nuevo dataset de 794 trayectorias de referencia anotadas por humanos basadas en el benchmark WebArena, proporcionando el "gold standard" necesario para calcular las métricas de recuperación y éxito por paso.

3. Resultados Experimentales

Se comparó el agente Step-by-Step (WebArena) contra el nuevo agente Full-Plan-in-Advance en 812 tareas de WebArena.

• Tasa de Éxito Global: El agente Step-by-Step superó ligeramente al de planificación completa (38.41% vs 36.29%). El agente planificador rindió mejor en dominios estructurados (Reddit, E-commerce) pero peor en entornos dinámicos o complejos (CMS, GitLab).
• Análisis de Métricas de Trayectoria:
  • Alineación Humana: El agente Step-by-Step tuvo una Tasa de Éxito por Paso mucho mayor (82% vs 58%), indicando que sigue más de cerca el razonamiento humano.
  • Precisión Técnica: El agente Full-Plan-in-Advance mostró una Precisión de Elementos superior (89% vs 82%), lo que significa que cuando planea una acción, es más probable que la ejecute correctamente en el elemento adecuado.
  • Eficiencia y Recuperación: El agente Step-by-Step fue más eficiente en longitud de trayectoria y tuvo una mayor tasa de recuperación ante errores. El agente planificador tendía a generar planes que se desviaban del camino óptimo y sufría más "paradas tempranas" (early stops) debido a la rigidez de su plan inicial.
  • Repetición: El agente planificador cometió menos acciones repetitivas, sugiriendo que sus fallos se debían a desviaciones del plan y no a bucles de acción.

4. Contribuciones Clave

1. Taxonomía Formal: Establece un vocabulario común al vincular arquitecturas de agentes LLM con algoritmos de búsqueda clásicos (BFS, DFS, Best-First).
2. Nuevo Agente: Implementación y validación de un agente de "Planificación Completa Anticipada" como prueba de concepto.
3. Dataset de Referencia: Creación de 794 trayectorias humanas anotadas en WebArena para evaluación granular.
4. Marco de Evaluación: Introducción de 5 métricas que cuantifican la coherencia, eficiencia y estabilidad de la planificación, no solo el resultado final.
5. Análisis Comparativo: Demostración empírica de que la elección de la arquitectura de planificación depende de las restricciones de la aplicación (entornos dinámicos vs. estructurados).

5. Significado e Implicaciones

Este trabajo es fundamental porque cambia el enfoque de la evaluación de agentes web de un resultado binario a un análisis de proceso.

• Diagnóstico de Fallos: Permite identificar si un fallo se debe a una mala planificación (desviación del objetivo) o a una mala ejecución (alucinación o error de formato).
• Selección de Arquitectura: Concluye que no existe un agente "mejor" universal.
  • Los entornos dinámicos y parcialmente observables (como paneles de DevOps o EHR) se benefician de la planificación paso a paso por su capacidad de adaptación y recuperación.
  • Los entornos estructurados y predecibles (como e-commerce o sistemas empresariales) se benefician de la planificación anticipada por su precisión y menor repetición de acciones.
• Generalización: El marco de taxonomía basado en la búsqueda en espacios de estado es aplicable más allá de la web, extendiéndose a la robótica, automatización de GUI y sistemas multimodales.

En resumen, el paper demuestra que para desarrollar agentes web robustos, es necesario formalizar su proceso de planificación y utilizar métricas que evalúen la calidad de la trayectoria, permitiendo así seleccionar la estrategia de planificación adecuada para cada tipo de tarea.