Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

Este artículo propone un marco de planificación jerárquica para diagnosticar las fallas de los agentes web basados en LLM, revelando que, aunque la planificación estructurada mejora la estrategia, el principal cuello de botella reside en la ejecución de bajo nivel y la necesidad de mejorar el anclaje perceptual y el control adaptativo.

Lo esencial

Imagina que un Agente Web impulsado por IA es como un turista muy inteligente pero un poco torpe que viaja por internet con un mapa en la mano. Su trabajo es hacer cosas complejas, como "comprar unos zapatos rojos" o "encontrar el horario de un cine".

El problema es que, aunque este turista es muy listo para entender las instrucciones, a menudo se pierde, se queda atascado o hace cosas que no tiene sentido.

Este paper (artículo científico) de la Universidad George Mason quiere responder a una pregunta simple: ¿Por qué fallan estos turistas digitales?

Para entenderlo, los autores no miran solo si el turista llegó a la meta (éxito o fracaso), sino que analizan el viaje en tres niveles, como si fuera una empresa de logística:

1. La Jerarquía: Los Tres Niveles del Viaje

Los autores proponen mirar el viaje en tres capas:

• Nivel 1: El Estratega (Planificación de Alto Nivel)
  • Analogía: Es el jefe de la agencia de viajes. Su trabajo es decir: "Primero vamos a la estación de tren, luego tomamos el metro azul y finalmente caminamos 5 minutos".
  • El problema: A veces el jefe da instrucciones confusas o demasiado detalladas ("caminar exactamente 4.3 pasos").
• Nivel 2: El Conductor (Ejecución de Bajo Nivel)
  • Analogía: Es el chofer que tiene que apretar el pedal, girar el volante y frenar.
  • El problema: Aquí es donde más fallan. Aunque el jefe diga "vira a la izquierda", el chofer puede chocar contra un poste, confundir una señal de "Stop" con un semáforo, o dar vueltas en círculos sin avanzar.
• Nivel 3: El Replanificador (Replanificación)
  • Analogía: Es el momento en que el chofer se da cuenta de que hay un accidente en la carretera. ¿Se rinde? ¿Vuelve al jefe para pedir un nuevo mapa? ¿O intenta improvisar?
  • El hallazgo: Si el chofer pide ayuda y cambia el plan, ¡suele tener más éxito!

2. Los Dos Tipos de Mapas: Texto vs. Estructura

Los investigadores probaron dos formas de dar las instrucciones al "jefe":

• Mapa de Texto Natural (NL): Como hablarle a un amigo. "Ve a la tienda, busca los zapatos rojos y compra el más barato".
  • Resultado: Funciona, pero a veces el jefe se pone demasiado específico o inventa detalles que no existen.
• Mapa Estructurado (PDDL): Como un código de computadora o una receta de cocina muy estricta. "PASO 1: Ir a URL. PASO 2: Filtrar por color ROJO".
  • Resultado: ¡Funciona mejor! Al ser más estricto, el jefe no se pierde en detalles inútiles y crea planes más limpios. Es como tener un GPS que no permite desviaciones.

3. ¿Cuál es el Gran Problema? (El Cuello de Botella)

El descubrimiento más importante del paper es que el problema no es que el jefe no sepa planear. De hecho, con el mapa estructurado (PDDL), el jefe planea muy bien.

El verdadero problema es el chofer (la ejecución).

• Aunque el jefe diga exactamente qué hacer, el chofer (la IA) a menudo no sabe cómo tocar los botones de la pantalla.
• Confunde un botón de "Cancelar" con uno de "Aceptar".
• Hace clic en enlaces que no existen (alucinaciones).
• Se queda repitiendo la misma acción una y otra vez como un robot atascado.

En resumen: La IA es excelente para pensar "qué hacer", pero terrible para hacer "cómo hacerlo" en el mundo real y caótico de internet.

4. La Lección para el Futuro

El paper sugiere que para que estos agentes sean tan buenos como los humanos, no basta con hacerlos más inteligentes en la planificación. Necesitamos:

1. Separar al jefe del chofer: Que uno planee y otro se encargue de la parte difícil de tocar los botones.
2. Mejorar la visión: Que el chofer entienda mejor lo que ve en la pantalla (no confundir un anuncio con un botón real).
3. Aceptar el error: Cuando el chofer se equivoca, debe ser capaz de decir "¡Oye, esto no funciona!" y pedir un nuevo plan en lugar de seguir chocando contra la pared.

La metáfora final:
Tener una IA web hoy en día es como tener un genio de las matemáticas (que sabe perfectamente cómo resolver el problema) montado en un coche de juguete con ruedas sueltas (que no puede moverse bien). El paper nos dice: "Dejemos de intentar hacer al genio más inteligente y arreglemos las ruedas del coche".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective" en español:

1. El Problema

Los agentes web basados en Modelos de Lenguaje Grande (LLM) han mostrado progreso en tareas de navegación, pero siguen estando muy lejos de la fiabilidad humana en tareas realistas y de largo horizonte.

• Limitación actual: Las evaluaciones existentes se centran casi exclusivamente en métricas de éxito "de extremo a extremo" (end-to-end). Si un agente falla, estas métricas no revelan dónde o por qué ocurrió el fallo (¿fue un mal entendimiento de la tarea?, ¿una estrategia de alto nivel defectuosa?, ¿una ejecución de bajo nivel incorrecta?, ¿o una incapacidad para recuperarse?).
• Brecha: Existe una falta de análisis granular que disocie las capacidades de razonamiento, ejecución y recuperación para diagnosticar las causas raíz de los fallos.

2. Metodología

Los autores proponen un marco de evaluación basado en planificación jerárquica que descompone el funcionamiento del agente en tres capas fundamentales, alineadas con la planificación automatizada y el razonamiento humano:

1. Planificación de Alto Nivel (High-level Planning): La capacidad de descomponer una instrucción natural en una secuencia de subobjetivos abstractos (ej. "filtrar por precio", "ordenar resultados").
2. Ejecución de Bajo Nivel (Low-level Execution): La capacidad de traducir esos subobjetivos en una secuencia de acciones concretas e ejecutables en la interfaz de usuario (UI) (ej. clics, escritura, scroll).
3. Replanificación (Replanning): La capacidad de detectar cuando el entorno no coincide con las expectativas y adaptar el plan (ajuste local o replanificación global).

Configuración Experimental:

• Benchmark: Se extendió el benchmark Mind2Web-Live con planes de alto nivel alineados con humanos (derivados de anotaciones de expertos).
• Modelos Evaluados: Se probaron tres modelos base: gpt-5-nano, claude-haiku-4.5 y gemini-flash-2.5.
• Representaciones de Planificación: Se compararon dos formatos para los planes de alto nivel:
  • Lenguaje Natural (NL): Texto libre.
  • PDDL (Planning Domain Definition Language): Una representación estructurada y formal que define precondiciones y efectos.
• Métricas: Se utilizaron métricas de alineación (coincidencia perfecta, parcial, faltante, descompuesta, no emparejada) y métricas de ejecución (tasa de finalización de subobjetivos, tasa de éxito del plan, eficiencia).
• Evaluación: Se empleó un enfoque de "LLM como Juez" para verificar las postcondiciones y evaluar el éxito final, validado mediante verificación manual.

3. Contribuciones Clave

1. Marco de Evaluación Jerárquica: Introducen una metodología estandarizada para diagnosticar fallos de agentes web separando la planificación, la ejecución y la replanificación, permitiendo una atribución precisa de errores.
2. Análisis Comparativo NL vs. PDDL: Son los primeros en incorporar representaciones de planificación formal (PDDL) en agentes web para evaluar si la estructura simbólica mejora el rendimiento frente al lenguaje natural.
3. Diagnóstico de Cuellos de Botella: Identifican que, aunque la planificación puede ser robusta, la ejecución de bajo nivel es el principal obstáculo para la fiabilidad.
4. Evidencia sobre Replanificación: Demuestran que un solo ciclo de replanificación informado por retroalimentación exploratoria mejora significativamente el éxito de la tarea, incluso si la alineación con el plan humano original disminuye ligeramente.

4. Resultados Principales

• Planificación de Alto Nivel:

  • Los planes en PDDL generan estrategias más concisas y orientadas a la meta que los planes en Lenguaje Natural (NL).
  • Los planes PDDL tienen una mayor tasa de "coincidencia" con los planes humanos (84.6% vs 70.6% en NL) y reducen la redundancia y la sobre-especificación.
  • Sin embargo, los LLM tienden a descomponer excesivamente los pasos humanos (sobre-especificación) en lugar de omitirlos.

• Ejecución de Bajo Nivel (El Cuello de Botella):

  • Incluso con planes de alto nivel perfectos (generados por humanos), los ejecutores de LLM tienen dificultades para traducirlos en acciones correctas.
  • La tasa de éxito final es baja (36.4% para el mejor modelo con planes humanos), lo que indica que el problema no es la falta de razonamiento, sino la anclaje perceptual (grounding) y el control.
  • Fallos comunes: Alucinación de enlaces, acciones redundantes (repetir acciones fallidas), navegación fuera del dominio y falta de comprensión del estado del DOM.

• Replanificación:

  • La replanificación mejora drásticamente la tasa de finalización de subobjetivos y el éxito general de la tarea.
  • Aunque los planes replanificados pueden alinearse menos con los planes humanos originales (debido a la exploración del entorno), son más ejecutables y efectivos.

• Comparación de Modelos:

  • gpt-5-nano mostró el mejor rendimiento general.
  • gemini-flash-2.5 generó planes muy compactos pero falló estrepitosamente en la ejecución de bajo nivel (alta tasa de acciones redundantes).
  • claude-haiku-4.5 tuvo dificultades para usar la retroalimentación, mostrando altas tasas de repetición de acciones.

5. Significado e Implicaciones

El estudio concluye que para lograr fiabilidad a nivel humano en agentes web, la investigación no debe centrarse únicamente en mejorar el razonamiento de alto nivel. Las implicaciones clave son:

1. Separación de Habilidades: La planificación y la ejecución son habilidades complementarias pero distintas que requieren evaluaciones y arquitecturas separadas.
2. Mejora del Anclaje Perceptual: Es crítico desarrollar mejores métodos para que los agentes entiendan y rastreen el estado del entorno (DOM) para evitar alucinaciones y acciones redundantes.
3. Espacios de Acción Robustos: Los espacios de acción deben permitir que el agente señale incertidumbre o desajustes en el modelo del mundo en lugar de forzar una acción de UI concreta en cada paso.
4. Evaluación de Procesos: Se debe adoptar la evaluación basada en procesos (planificación, ejecución, replanificación) como estándar, en lugar de depender solo de la tasa de éxito final, para permitir diagnósticos precisos y mejoras dirigidas.

En resumen, el papel demuestra que los agentes web actuales fallan principalmente porque no pueden ejecutar correctamente sus planes en entornos ruidosos, y que la estructura formal (PDDL) y la replanificación son herramientas esenciales para mitigar estos fallos.