Resumen Técnico: Un Estudio Empírico de Representaciones de Planificación para Agentes Web de LLM

Declaración del Problema

A pesar de los avances recientes en los Modelos de Lenguaje Grande (LLM), los agentes web continúan luchando contra una exploración limitada, la omisión de pasos críticos y la sensibilidad a las restricciones de la tarea. Si bien la planificación es ampliamente reconocida como una estrategia clave para descomponer tareas complejas, la investigación existente se ha centrado en gran medida en los algoritmos de planificación más que en la representación de dichos planes. La mayoría de los enfoques actuales dependen de listas secuenciales de subobjetivos expresados en lenguaje natural. Sin embargo, el impacto de las representaciones de planes alternativas en lenguaje natural (NL) sobre la robustez del agente y el éxito de la tarea sigue siendo en gran medida inexplorado. Además, las pruebas de referencia existentes a menudo carecen de una graduación de dificultad reproducible, lo que dificulta evaluar sistemáticamente las estrategias de planificación bajo diversos niveles de complejidad.

Metodología

Marco: PLANAHEAD

Los autores presentan PLANAHEAD, un marco estático de planificador-ejecutor diseñado para aislar y evaluar el impacto de la representación del plan. A diferencia de los métodos de planificación dinámica donde el agente regenera planes en cada paso, PLANAHEAD genera un único plan estático al inicio de una tarea. Este plan se proporciona luego a un LLM ejecutor, que realiza acciones de bajo nivel basadas en el estado actual del navegador. Esta configuración asegura que las diferencias de rendimiento surjan de la formulación del plan y de los modelos subyacentes, en lugar de la estocasticidad a nivel de acción o la sobrecarga de la re-planificación dinámica.

Prueba de Referencia y Dificultad de la Tarea

El estudio utiliza WebArena, un entorno cerrado y reproducible que contiene diversas interacciones web realistas. Para abordar la falta de una graduación de dificultad estandarizada, los autores desarrollaron una automatización para categorizar 381 tareas de WebArena en tres niveles: Fácil, Medio y Difícil.

• Lógica de Categorización: Las tareas se evaluaron utilizando un GenericAgent ligero a través de cinco LLMs base diferentes con cinco ensayos independientes cada uno.
  • Fácil: 100% de tasa de éxito en todos los modelos y ensayos.
  • Difícil: 0% de tasa de éxito en todos los modelos y ensayos.
  • Medio: Tasas de éxito intermedias.
    El estudio se centra específicamente en el subconjunto Difícil (158 tareas), ya que estos proporcionan el escenario más informativo para evaluar las capacidades de planificación bajo condiciones desafiantes.

Configuración Experimental

Los autores evaluaron cuatro representaciones de planes distintas en las tareas Difíciles a través de diferentes familias de LLM multimodales (OpenAI, Alibaba y Google):

1. Subobjetivos Secuenciales: El enfoque estándar que utiliza una lista ordenada de subobjetivos de alto nivel.
2. Lista de Verificación de Requisitos: Una lista desordenada de requisitos que deben cumplirse, dejando el orden de ejecución al ejecutor.
3. Pseudocódigo: Un formato estructurado que utiliza funciones intuitivas, condicionales y bucles para capturar contingencias.
4. Narrativa: Una descripción verbosa en lenguaje natural del proceso de finalización de la tarea.

Los experimentos probaron varias combinaciones de planificador-ejecutor, incluidos configuraciones homogéneas (mismo modelo para ambos roles) y configuraciones heterogéneas (modelos diferentes para la planificación y la ejecución).

Métricas de Evaluación

Reconociendo que la Tasa de Éxito (SR) estándar trata cada ensayo como independiente y no captura la naturaleza estocástica de los LLM, los autores introdujeron dos métricas novedosas:

• Tasa de Logro (AR): Mide la alcanzabilidad a nivel de tarea a través de múltiples ejecuciones. Una tarea se considera "lograda" si al menos una de las $N$ ejecuciones tiene éxito. Esto distingue entre tareas que son "raramente solubles" y aquellas que están "completamente sin resolver".
• Consistencia de Tarea Resuelta (STC): Una métrica de robustez que mide la fiabilidad del rendimiento a través de ensayos para las tareas que se lograron al menos una vez.

Contribuciones Clave

1. Graduación Automatizada de Dificultad de Tareas: El artículo presenta una tubería reproducible para dividir las tareas de la prueba de referencia en niveles de dificultad sin anotación humana, permitiendo la evaluación sistemática de las estrategias de planificación.
2. Evaluación de Nuevas Representaciones de Planificación: El estudio propone y evalúa tres formatos de planificación alternativos basados en NL (Narrativa, Pseudocódigo, Lista de Verificación) frente a los Subobjetivos Secuenciales estándar.
3. Métricas de Evaluación Novedosas: La introducción de AR y STC proporciona una visión más matizada del rendimiento del agente, capturando tanto la alcanzabilidad como la consistencia en entornos estocásticos.

Resultados y Análisis

El estudio empírico arrojó varios hallazgos significativos:

• La Representación del Plan Importa: La efectividad de una estrategia de planificación depende en gran medida del LLM subyacente.
  • GPT-4.1-mini funcionó consistentemente mejor con planes de Narrativa, lo que sugiere que los modelos entrenados extensivamente en texto de lenguaje natural aprovechan eficazmente las instrucciones descriptivas coherentes.
  • Qwen-2.5-VL funcionó mejor con representaciones de Lista de Verificación, beneficiándose de una guía explícita y estructurada.
  • Los modelos Gemini mostraron un rendimiento competitivo en múltiples formatos y se beneficiaron notablemente de formatos no estándar; específicamente, el Pseudocódigo produjo altas Tasas de Logro cuando Gemini actuó tanto como planificador como ejecutor.
• Separación Planificador-Ejecutor: Los pares mixtos de planificador-ejecutor generalmente superaron a las configuraciones homogéneas. Por ejemplo, combinar GPT-4.1-mini como planificador con Gemini como ejecutor logró el mejor rendimiento general. Esto sugiere que diferentes modelos poseen fortalezas complementarias: algunos son superiores en la planificación estructural de alto nivel, mientras que otros sobresalen en la ejecución de acciones de bajo nivel.
• Planificación Estática vs. Dinámica: Contrario a la intuición de que la re-planificación dinámica es superior, la Planificación Estática a menudo superó a la planificación dinámica de un solo agente. El análisis cualitativo reveló que los agentes dinámicos entraban frecuentemente en bucles de acción, perdían el rastro del progreso de la tarea o marcaban prematuramente subtareas como completadas. La configuración estática de planificador-ejecutor permitió al ejecutor centrarse exclusivamente en la selección de acciones sin la carga cognitiva de la re-planificación continua.

Significado y Afirmaciones

El artículo afirma que la formulación de un plan y el LLM específico que lo genera influyen significativamente en la robustez del agente web y el éxito de la tarea. Al desafiar la suposición de que los planes deben tomar la forma de subobjetivos secuenciales, los autores demuestran que los formatos no estándar pueden ser beneficiosos, particularmente para tareas difíciles.

El estudio enfatiza que la efectividad de la planificación no es únicamente una función de la capacidad del modelo, sino que está profundamente ligada a la forma representacional del plan. Los resultados apoyan la adopción de arquitecturas de agentes modulares que explotan fortalezas complementarias de los modelos (por ejemplo, usar un modelo para la planificación y otro para la ejecución) y sugieren que la planificación estática puede ser una alternativa más robusta y eficiente a la planificación dinámica en ciertos contextos.

Los autores permanecen modestos respecto a su alcance, reconociendo limitaciones como el conjunto restringido de backends de LLM, el uso de una sola prueba de referencia (WebArena) y un número limitado de ejecuciones ($N=5$). Plantean que expandir estas variables proporcionaría una imagen más completa de la efectividad de la planificación.