Resumen Técnico: Aprendizaje de Habilidades en Línea para Agentes Web mediante la Recuperación Dinámica Basada en el Estado

Declaración del Problema

Los agentes de lenguaje se utilizan cada vez más para tareas de automatización web de múltiples pasos (por ejemplo, búsqueda de información, llenado de formularios). Si bien la investigación existente ha explorado el aprendizaje de habilidades en línea —donde los agentes inducen conocimiento procedimental reutilizable a partir de trayectorias de tareas pasadas para mejorar el rendimiento futuro— persiste una limitación crítica en las metodologías actuales.

Los enfoques actuales de aprendizaje de habilidades en línea operan principalmente a nivel de tarea. Recuperan un conjunto fijo de habilidades basándose únicamente en la instrucción inicial de la tarea al comienzo de una ejecución y mantienen este conjunto constante durante todo el proceso. Esta estrategia estática no está alineada con la naturaleza de la ejecución web interactiva, donde la siguiente acción apropiada depende no solo del objetivo global de la tarea, sino también del estado actual de la página web. A medida que el agente navega, el estado de la página web transiciona, lo que a menudo vuelve irrelevantes las habilidades seleccionadas inicialmente o no logra cubrir las nuevas situaciones que surgen. Además, los métodos existentes tienen dificultades con la granularidad de las habilidades: las habilidades de trayectoria completa son demasiado específicas para aplicarse a estados intermedios, mientras que las habilidades de una sola acción carecen de una abstracción procedimental significativa.

El desafío central abordado por este artículo es: ¿Cómo puede un agente en línea recuperar dinámicamente la habilidad reutilizable adecuada en cada paso de decisión, condicionada tanto al objetivo de la tarea en evolución como al estado actual de la página web?

Metodología: Recuperación Dinámica Basada en el Estado (SGDR)

Los autores proponen la Recuperación Dinámica Basada en el Estado (SGDR, por sus siglas en inglés), un marco de aprendizaje de habilidades en línea diseñado para reemplazar la reutilización estática de habilidades a nivel de tarea con una recuperación adaptativa a nivel de paso. El método opera dentro de un entorno de flujo de tareas secuenciales donde los agentes deben actualizar su biblioteca de habilidades sobre la marcha sin acceso a señales de éxito de verdad fundamental (ground-truth) durante la ejecución.

SGDR consta de tres componentes principales:

1. Extracción de Habilidades mediante Ventana Deslizante

Para abordar el desafío de la granularidad, SGDR no almacena trayectorias de tareas completas como habilidades únicas. En su lugar, después de que una tarea se completa y es juzgada como exitosa por un modelo evaluador, el sistema aplica un proceso de extracción de ventana deslizante a la trayectoria.

• Proceso: La trayectoria se segmenta en subprocedimientos locales (ventanas de longitudes variables).
• Verificación: Cada segmento candidato se convierte en una habilidad y se verifica reemplazando las acciones correspondientes en la trayectoria original con una llamada a la habilidad. Solo las habilidades que preservan el éxito de la trayectoria se añaden a la biblioteca.
• Resultado: Esto produce subprocedimientos compactos y reutilizables (por ejemplo, "llenar un formulario corto", "aplicar un filtro") que son aplicables a estados intermedios de la página web en lugar de solo a contextos de tareas completas.

2. Representación Dual de Texto-Código

Cada habilidad inducida $s_k$ se representa como un par $(d_k, c_k)$:

• Descripción ($d_k$): Un resumen en lenguaje natural utilizado para la recuperación.
• Código ($c_k$): Una función ejecutable utilizada para la ejecución de acciones.
  Esta representación dual asegura que las habilidades sean tanto semánticamente recuperables como funcionalmente ejecutables dentro del entorno del navegador.

3. Recuperación Dinámica Basada en el Estado

A diferencia de los métodos estáticos que recuperan habilidades una vez al inicio, SGDR recupera habilidades en cada paso de decisión $t$ basándose en el estado actual.

• Construcción de la Consulta: La consulta de recuperación combina la instrucción de la tarea original $g$ y un resumen compacto del estado actual de la página web $r_t$ (derivado del árbol de accesibilidad).
• Puntuación de Relevancia: Se calcula una puntuación de relevancia utilizando una similitud de coseno ponderada entre la descripción de la habilidad y la consulta combinada:
  $$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$$
  donde $\alpha$ equilibra la importancia del objetivo de la tarea frente al estado actual.
• Reranking mediante MMR: Para evitar la redundancia (ya que las ventanas deslizantes pueden producir habilidades superpuestas), los $M$ candidatos principales se re-clasifican utilizando Relevancia Marginal Máxima (MMR). Esto maximiza la relevancia con la consulta actual mientras penaliza la similitud con las habilidades ya seleccionadas, asegurando un conjunto diverso de opciones accionables.
• Inyección: Las habilidades seleccionadas se inyectan solo para el paso actual, permitiendo que el soporte del agente se adapte a medida que la ejecución se desarrolla.

Contribuciones Clave

1. Formulación del Problema: El artículo identifica y formaliza la limitación de la reutilización de habilidades de un solo paso a nivel de tarea en agentes web en línea, destacando la necesidad de una recuperación dinámica basada en el estado para manejar contextos web en evolución.
2. Innovación Metodológica: Introduce SGDR, un marco que permite la reutilización de habilidades paso a paso. Las innovaciones clave incluyen:
   • Extracción de ventana deslizante para generar habilidades de granularidad intermedia.
   • Representación dual de texto-código que vincula la semántica de recuperación con acciones ejecutables.
   • Mecanismos de recuperación dinámica que condicionan la selección de habilidades tanto en los objetivos de la tarea como en las observaciones del estado en tiempo real.
3. Validación Empírica: El método se evalúa en el benchmark WebArena a través de cinco dominios (Shopping, Admin, Reddit, Gitlab, Map) utilizando dos modelos base (GPT-4.1 y QWEN3-4B).

Resultados Experimentales

Los experimentos demuestran que SGDR supera consistentemente a los fuertes modelos de referencia (baselines), incluyendo Vanilla (sin habilidades), Agent Workflow Memory (AWM), Agent Skill Induction (ASI) y Contextual Experience Replay (CER).

• Tasas de Éxito:
  • Con GPT-4.1, SGDR logró una tasa de éxito promedio del 37.5%, una ganancia relativa del 10.6% sobre el baseline más fuerte (CER con 33.9%).
  • Con QWEN3-4B, SGDR logró un 24.3%, una ganancia relativa del 10.0% sobre CER (22.1%).
  • Se observaron mejoras en cuatro de los cinco dominios, con ganancias notables en Admin (47.7% vs. 41.4% para ASI) y Shopping.
• Eficiencia de Ejecución: SGDR redujo el número promedio de pasos requeridos para completar tareas. Con GPT-4.1, utilizó un promedio de 4.8 pasos en comparación con los 6.4 de CER, lo que indica que la abstracción de habilidades de alto nivel reemplaza eficazmente múltiples interacciones de bajo nivel con el navegador.
• Estudios de Ablación:
  • Señal de Recuperación: Combinar la información de la tarea y del estado ($\alpha=0.5$) produjo los mejores resultados, superando la recuperación basada solo en la tarea o solo en el estado.
  • Reranking: El reranking mediante MMR mejoró significamente el rendimiento sobre la simple recuperación de relevancia top-$M$ al reducir la redundancia.
  • Granularidad: La extracción de ventana deslizante superó tanto a la extracción de trayectoria completa como a la de una sola acción, confirmando la necesidad de una granularidad intermedia.

Significado y Reivindicaciones

El artículo afirma que SGDR representa un cambio de la reutilización estática a nivel de tarea hacia la reutilización adaptativa basada en el estado. Al alinear dinámicamente la recuperación de habilidades con el estado evolutivo de la página web, el método permite que los agentes exploten mejor el conocimiento procedimental acumulado en entornos interactivos del mundo real.

Los autores posicionan este trabajo como un paso hacia una automatización web más realista, donde los agentes deben manejar tareas que llegan secuencialmente y requieren una adaptación continua. El método no depende de bibliotecas pre-construidas offline, sino que aprende y refina sus capacidades "sobre la marcha", lo que lo hace adecuado para escenarios de despliegue donde las distribuciones de tareas pueden cambiar o evolucionar. Los resultados sugieren que abordar el desajuste entre la inyección de habilidades estática y los estados web dinámicos es crucial para mejorar las tasas de éxito y la eficiencia de los agentes de lenguaje en entornos web complejos.