Resumen Técnico: ENVS: Búsqueda Verificada Nativa del Entorno para Agentes de GUI de Largo Alcance

1. Planteamiento del Problema

El artículo aborda el desafío de entrenar agentes multimodales para controlar software real a través de Interfaces de Usuario Gráficas (GUI). Aunque los modelos fundacionales han avanzado en la comprensión de interfaces, la ejecución de secuencias precisas de acciones de ratón y teclado en entornos de escritorio en vivo sigue siendo difícil. Los cuellos de botella principales son:

• Retroalimentación Dispersa y Retardada: En entornos como OSWORLD, la retroalimentación es típicamente una señal binaria de éxito/fracaso solo al final de una trayectoria. Una trayectoria fallida no revela qué acción intermedia específica causó el fallo.
• Alto Costo de los Rollouts: Obtener retroalimentación requiere ejecutar acciones en Máquinas Virtuales (VM) en vivo, lo cual es computacionalmente costoso y lento.
• Ineficiencia del RL Online: Los enfoques actuales, como ARPO (Optimización de Política de Refuerzo Adaptativa) y los métodos de búsqueda en árbol como SEEA-R1, a menudo acoplan el descubrimiento de trayectorias con la actualización de la política. Esto genera problemas donde las tareas fáciles dominan la señal del gradiente, las trayectorias largas están sobrerrepresentadas y es difícil controlar la asignación global de masa de gradiente entre tareas y longitudes de trayectoria.

2. Metodología: ENVS

Los autores proponen la Búsqueda Verificada Nativa del Entorno (ENVS, por sus siglas en inglés), un marco de entrenamiento que desacopla el descubrimiento de trayectorias de la optimización de la política. En lugar de utilizar aprendizaje por refuerzo (RL) online, ENVS construye un conjunto de datos supervisado, verificado y equilibrado antes de comenzar el entrenamiento.

Pipeline Central

1. Búsqueda con Puerta de Desacuerdo Conductual:
   • El sistema busca dentro de VMs de OSWORLD utilizando una política base congelada.
   • En cada paso, se muestrean $K$ acciones candidatas y se reducen a "huellas digitales conductuales" gruesas (ej. tipo de acción + coordenadas discretizadas o texto).
   • Los candidatos se agrupan por huella digital. El sistema explora los $k$ grupos con mayor acuerdo (acciones mayoritarias) mientras poda las acciones minoritarias. Esto asegura que la búsqueda se centre en caminos conductualmente distintos en lugar de ruido de tokens.
2. Búsqueda Limitada por VM:
   • A diferencia del MCTS clásico que asume simulaciones baratas, ENVS opera en escritorios en vivo donde volver a visitar estados es costoso.
   • Reemplaza la selección adaptativa (UCB/PUCT) con puertas de costo explícitas: presupuestos de ramificación por tarea, límites por paso y cortes de pasos estrictos. No utiliza funciones de valor aprendidas.
3. Verificación y Filtrado del Entorno:
   • Una vez que una trayectoria alcanza un nodo hoja, el oráculo de la tarea OSWORLD asigna una recompensa binaria ($R(\tau) \in \{0, 1\}$).
   • Las trayectorias fallidas se descartan. Las trayectorias exitosas se descomponen en ejemplos de supervisión por paso $(x, o_{\le t}, a_t)$, convirtiendo el éxito terminal disperso en supervisión densa a nivel de acción.
4. Equilibrio Global de la Supervisión:
   • El conjunto de datos recolectado es naturalmente desequilibrado (las tareas fáciles producen muchos éxitos; las difíciles producen pocos).
   • ENVS aplica un esquema de reponderación antes del entrenamiento. El peso $w_i$ para la tarea $i$ se calcula como:
     $$w_i = \text{clip}\left(\frac{(1 - SR_i)^\beta}{T_i}, w_{\max}\right)$$
     donde $SR_i$ es la tasa de éxito de la búsqueda y $T_i$ es el número de pasos. Esto desplaza la masa del gradiente hacia las tareas difíciles y normaliza por longitud de trayectoria, evitando que las tareas fáciles dominen la señal de entrenamiento.

Benchmark OSWORLD-NOISY

Para evaluar la robustez, los autores introducen OSWORLD-NOISY, un benchmark dinámico que inyecta interrupciones de escritorio recuperables (ej. ventanas emergentes, cambios de foco, diálogos de fondo) durante la ejecución de la tarea.

• Restricciones: Las perturbaciones son "no saboteadoras"; no tocan archivos relevantes para la tarea ni entregan entrada a la ventana objetivo, asegurando que las tareas sigan siendo resolubles.
• Programación: Durante el entrenamiento, la intensidad del ruido escala con las tasas de éxito de la tarea (las tareas más difíciles reciben menos ruido). La evaluación utiliza un esquema fijo y determinista de perturbaciones no vistas.

3. Contribuciones Clave

• Marco ENVS: Un pipeline de búsqueda y filtrado que utiliza el propio entorno para verificar trayectorias exitosas, convirtiéndolas en datos supervisados globalmente equilibrados. Esto separa el descubrimiento de la optimización, permitiendo un control explícito sobre la asignación del gradiente.
• OSWORLD-NOISY: Un nuevo benchmark para probar la robustez de los agentes de GUI contra interrupciones de escritorio realistas y recuperables, preservando las tareas originales mientras añade perturbaciones dinámicas.
• Eficiencia y Robustez: Demostrar que la búsqueda verificada puede lograr una mayor precisión con significativamente menos cómputo que el RL online, preservando las capacidades de razonamiento visual.

4. Resultados Experimentales

Los experimentos se realizaron en un pool de 300 tareas de OSWORLD (86 entrenables, 214 no vistas) utilizando el modelo base UI-TARS-1.5-7B.

• Rendimiento en Entorno Limpio: ENVS logró un 30.3% pass@8 en OSWORLD limpio, superando al modelo base (22.7%) y a ARPO (26.7%).
• Robustez ante el Ruido: En OSWORLD-NOISY, ENVS alcanzó un 29.0% pass@8, superando significativamente al modelo base (20.3%) y al ARPO ruidoso (21.7%). Notablemente, el ARPO ruidoso degradó su rendimiento en tareas limpias, mientras que ENVS mantuvo un alto desempeño en ambas condiciones.
• Eficiencia Computacional: ENVS requirió 138–153 GPU-horas en comparación con las 184–192 GPU-horas de los baselines de ARPO emparejados. Esta eficiencia proviene de recolectar trayectorias verificadas una sola vez y reutilizarlas para el Ajuste Fino Supervisado (SFT), mientras que ARPO requiere nuevos rollouts on-policy para cada paso de entrenamiento.
• Eficiencia de Datos: Usando solo el 30% de los datos de búsqueda recolectados, ENVS alcanzó un 27.0% pass@8, igualando o superando a ARPO entrenado con el conjunto de datos completo.
• Retención de Capacidades: El entrenamiento en entornos ruidosos preservó mejor las habilidades auxiliares de razonamiento visual. Por ejemplo, en el benchmark OSWORLD-G Refusal, el ENVS ruidoso puntuó 16.7% frente al 1.9% del ENVS limpio, sugiriendo que las interrupciones proporcionan una supervisión útil para la percepción y la recuperación.

5. Significado y Reivindicaciones

El artículo afirma que ENVS ofrece una ventaja estructural sobre el RL online al desacoplar el descubrimiento de trayectorias de las actualizaciones de la política. Esto permite:

1. Control Global del Gradiente: La capacidad de limitar las tareas fáciles sobrerrepresentadas y aumentar el peso de las tareas de éxito poco comunes, abordando la "degeneración binomial" y el desequilibrio de gradiente inherentes al RL online.
2. Preservación de la Entropía: A diferencia del RL online que a menudo sufre de colapso de entropía (estrechamiento de las distribuciones de acción), ENVS mantiene una mayor entropía de acción al entrenar sobre trayectorias diversas y verificadas, lo que conduce a una mejor generalización.
3. Entrenamiento Rentable: Al amortizar las costosas interacciones con el entorno en un conjunto de datos verificado, ENVS reduce los costos de cómputo mientras mejora el rendimiento.
4. Robustez vía Interrupción: Los resultados sugieren que las perturbaciones dinámicas no son solo una prueba de estrés, sino una fuente de supervisión que ayuda a los agentes a aprender a reenfocarse, esperar y recuperarse, sin sacrificar la finalización de tareas limpias.

Los autores concluyen que el entrenamiento nativo del entorno puede hacer que el entrenamiento de agentes sea más barato y reutilizable, aunque señalan limitaciones respecto a la naturaleza sintética del ruido y los requisitos de infraestructura específicos (VMs paralelas, reinicios fiables) del entorno OSWORLD.