Resumen Técnico: Region4Web y PageDigest

Declaración del Problema

Los agentes web perciben su entorno a través de un espacio de observación, sin embargo, la granularidad de esta observación ha permanecido como una elección de diseño poco examinada. Los enfoques existentes suelen tratar el espacio de observación con la misma granularidad a nivel de elemento que el espacio de acciones, representando la página como una lista plana o jerárquica de elementos DOM individuales (por ejemplo, nodos AXTree). Si bien la granularidad a nivel de elemento es natural para seleccionar acciones específicas (por ejemplo, hacer clic en un enlace concreto), es subóptima para la comprensión del estado de la página.

En las observaciones a nivel de elemento, la organización funcional de una página —cómo los grupos de elementos sirven a propósitos compartidos como "listados de productos", "menús de navegación" o "formularios de búsqueda"— permanece implícita. El agente se ve obligado a inferir estas regiones funcionales y sus propósitos a partir de señales de elementos crudos en cada paso. Este enfoque falla al no aprovechar las señales estructurales que definen las unidades funcionales y a menudo resulta en contextos de observación excesivamente largos que oscurecen la organización de la página. Además, reconstruir la observación completa a nivel de elemento en cada paso dentro de una página es redundante, ya que la mayoría de las acciones inducen cambios marginales en el DOM.

Metodología

El artículo propone un marco de dos partes: Region4Web para construir observaciones a nivel de región y PageDigest para entregar estas observaciones de manera eficiente.

1. Region4Web: Construcción de Observación a Nivel de Región

Region4Web reorganiza el AXTree de la página en regiones funcionales mediante un proceso de dos etapas:

• Descomposición Jerárquica: Esta etapa clasifica cada arista padre-hijo en el AXTree como una fusión o un corte en una sola traversía de abajo hacia arriba.
  • Entrada: Un vector de características para cada nodo $v$ ($x_v$) que combina una representación de rol aprendida con características estructurales numéricas (profundidad, tamaño del subárbol, diversidad de hijos, etc.).
  • Mecanismo: Un EdgeClassifier determina si un nodo hijo debe separarse de su padre. Utiliza las características del padre, la representación del hijo y la representación media de los hermanos del padre como contexto. Si la puntuación de clasificación supera un umbral $\tau$, la arista se corta, formando un nuevo límite de región. De lo contrario, el hijo se fusiona en la región del padre.
  • Salida: Una partición del AXTree en subárboles, donde cada subárbol constituye una región funcional.
• Abstracción Semántica: Esta etapa interpreta cada región identificada para hacer explícito su propósito.
  • Mecanismo: Un modelo de lenguaje pequeño y ajustado finamente (Qwen3-0.6B) procesa el subárbol AXTree preprocesado de cada región.
  • Salida: Dos dimensiones ortogonales para cada región:
    1. Propósito ($p_i$): Una descripción de alto nivel de para qué sirve la región (por ejemplo, "listado de productos", "formulario de búsqueda").
    2. Resumen de Estado ($s_i$): Un resumen conciso del contexto accionable actual de la región (por ejemplo, "escaparate promocional para gafas de sol de alta gama").

Estas etapas se realizan como modelos pequeños y dedicados entrenados sobre anotaciones generadas por un LLM propietario (GPT-5-mini) a partir de un conjunto de datos de 2.052 páginas web del mundo real.

2. PageDigest: Pipeline de Inferencia Específico para Web

PageDigest es un pipeline diseñado para entregar observaciones a nivel de región al agente actor como un resumen compacto que persiste a través de los pasos dentro de una página.

• Selección de Regiones Relevantes para la Tarea: Al entrar en una nueva página, el LLM base del agente actor recibe la instrucción de la tarea, el historial de acciones y el conjunto de abstracciones de regiones $\{(p_i, s_i)\}$. El modelo selecciona las regiones relevantes para la tarea.
  • Regiones Seleccionadas: Expuestas como subárboles AXTree completos para preservar la granularidad a nivel de elemento para la ejecución de acciones.
  • Regiones No Seleccionadas: Representadas únicamente por sus resúmenes de propósito, reteniendo el contexto estructural general de la página sin inflar los tokens.
• Gestión de Transiciones de Observación Consciente de la Página: En lugar de volver a ejecutar Region4Web en cada paso, PageDigest rastrea cambios incrementales.
  • Compara el AXTree actual con el estado al entrar en la página para identificar nodos añadidos, eliminados o modificados.
  • Actualizaciones: Los nodos eliminados/modificados actualizan la estructura existente bajo sus propósitos de región. Los nodos añadidos se listan por separado para evitar desplazar los propósitos de las regiones existentes.
  • Este enfoque evita la reconstrucción redundante mientras mantiene la continuidad del estado de la página.
• Mecanismo de Respuesta: Si el agente determina que las regiones seleccionadas son insuficientes, puede invocar una acción view_all para revelar todas las regiones en su forma completa de AXTree.

Contribuciones Clave

1. Marco Region4Web: Un método novedoso que reorganiza los AXTrees en regiones funcionales mediante descomposición jerárquica y abstracción semántica, haciendo explícita la organización funcional de la página para el agente.
2. Pipeline PageDigest: Un mecanismo de inferencia específico para web que entrega observaciones a nivel de región como un resumen compacto y persistente, reduciendo la longitud de la observación mientras rastrea las transiciones de estado sin reconstrucción completa.
3. Validación Empírica: Evaluación exhaustiva en el benchmark WebArena que demuestra que la observación a nivel de región mejora las tasas de éxito en tareas y reduce la longitud de la observación en diversos LLM base y métodos de agentes.

Resultados

Evaluado en el benchmark WebArena (812 tareas en 5 dominios: Compras, CMS, Reddit, GitLab, Mapa), los métodos propuestos arrojaron los siguientes resultados:

• Reducción de la Longitud de Observación: PageDigest redujo sustancialmente la longitud promedio de tokens de observación en un 43% (de 6.437 a 3.671 tokens) a través de cuatro LLM base diferentes (GPT-5.1, Gemini 3.1 Flash-Lite, DeepSeek-V3.2, Qwen3.5-27B). La reducción osciló entre el 16% y el 54% dependiendo del modelo base.
• Mejora en la Tasa de Éxito de Tareas (SR): A pesar del contexto reducido, PageDigest mejoró la tasa general de éxito de tareas en 2,3 puntos porcentuales en promedio.
  • Por ejemplo, con GPT-5.1, la SR aumentó del 45,2% al 47,5%.
  • Con Qwen3.5-27B, la SR aumentó del 38,2% al 39,9%.
• Generalizabilidad: Las mejoras se mantuvieron tanto en modelos propietarios como de código abierto de diversas capacidades, así como en métodos de agentes establecidos (SteP y AgentOccam), lo que indica que la observación a nivel de región proporciona una señal complementaria para la comprensión del estado de la página independiente de la fuerza del modelo.
• Estudios de Ablación:
  • Region4Web solo mejoró la SR (48,5% $\to$ 50,3%) con una longitud de observación comparable, confirmando que las regiones funcionales ayudan a la comprensión.
  • PageDigest solo (sin Region4Web, usando selección a nivel de elemento) disminuyó la SR (48,5% $\to$ 46,1%), lo que sugiere que el procesamiento a nivel de elemento perjudica el rendimiento incluso con compresión.
  • Combinado: El pipeline completo de PageDigest logró la SR más alta (53,9%) con la longitud de observación más baja (3.814 tokens).
• Análisis de Fallos: El análisis de 50 trayectorias fallidas mostró que el 82,0% de los fallos fueron atribuibles a las capacidades de selección de acciones del agente base, mientras que solo el 8,0% se debió a regresiones dentro del pipeline de PageDigest (errores de descomposición, abstracción o selección). Esto indica que el pipeline opera de manera fiable según lo diseñado.

Significado y Afirmaciones

El artículo argumenta que la granularidad de la observación es una elección de diseño crítica, pero poco examinada, para los agentes web. Al cambiar de una observación a nivel de elemento a una observación a nivel de región funcional, los autores demuestran que:

1. Organización Explícita: Hacer explícita la organización funcional de la página (mediante regiones y propósitos) proporciona una base más informativa para la comprensión del estado de la página que inferirla a partir de elementos crudos.
2. Eficiencia y Rendimiento: La observación a nivel de región permite un contexto más compacto que no sacrifica, y de hecho mejora, las tasas de éxito en tareas.
3. Desacoplamiento: Este enfoque separa el diseño de la observación de la capacidad del modelo y la política de acciones, ofreciendo un camino hacia agentes web más eficientes independientemente de la capacidad del LLM subyacente.

Los autores concluyen que operar a la granularidad de las regiones funcionales proporciona una base más compacta e informativa para la toma de decisiones que el procesamiento a nivel de elemento por sí solo, validando la hipótesis de cómo un agente "ve" la web es tan importante como cómo "piensa" sobre ella.