Resumen Técnico: Aprendizaje por Refuerzo para Agentes de Uso de Computadora con Evaluación Autónoma

Planteamiento del Problema

Los Agentes de Uso de Computadora (CUA, por sus siglas en inglés) están diseñados para operar de forma autónoma interfaces gráficas de usuario (GUI) basadas en instrucciones de lenguaje natural. Si bien arquitecturas recientes han mostrado promesa al generalizarse a través de diversas aplicaciones y sistemas operativos, siguen siendo poco fiables en entornos no restringidos y del mundo real. Los agentes de vanguardia logran tasas de éxito de solo ~60% en el benchmark OSWorld y ~40% en macOSWorld.

Un cuello de botella principal que impide el ajuste fino mediante Aprendizaje por Refuerzo (RL) para los CUA es la ausencia de señales de recompensa escalables y legibles por máquina. A diferencia de los simuladores de robótica o los entornos de juegos donde los criterios de éxito son explícitos, los objetivos de las tareas de escritorio suelen ser implícitos, visualmente fundamentados y no estructurados. Las soluciones existentes dependen de heurísticas frágiles y específicas de cada tarea (porاً ejemplo, comprobaciones del DOM) o de anotaciones manuales costosas, ninguna de las cuales escala a través de diversas aplicaciones y sistemas operativos. Además, aunque los Modelos de Visión-Lenguaje (VLM) ofrecen una potencial evaluación autónoma, sus salidas son imperfectas, conteniendo falsos positivos y falsos negativos. El uso ingenuo de estas salidas ruidosas como señales de recompensa introduce sesgo y desestabiliza la optimización de la política.

Metodología

Los autores proponen un marco de trabajo principista para integrar evaluadores autónomos basados en VLM en el bucle de RL para los CUA. La innovación central es tratar al evaluador no como una fuente de verdad absoluta, sino como un canal de recompensa binaria ruidoso, y derivar un estimador de recompensa estadísticamente fundamentado y corregido de ruido.

1. Configuración de Evaluación Autónoma

• Evaluador: Se utiliza un Modelo de Visión-Lenguaje (Qwen2-VL-7B) en un entorno de cero disparos (zero-shot). Este recibe la captura de pantalla final de la GUI y la instrucción original de lenguaje natural, emitiendo una señal binaria $\tilde{r}_i \in \{0, 1\}$ que indica la finalización de la tarea.
• Caracterización del Ruido: Las imperfecciones del evaluador se modelan mediante tasas de error condicionales:
  • $e_+$: Tasa de Falsos Negativos ($P(\tilde{r}=0 | r^*=1)$).
  • $e_-$: Tasa de Falsos Positivos ($P(\tilde{r}=1 | r^*=0)$).
• Separabilidad: El marco asume una constante de separabilidad $D = 1 - e_+ - e_- > 0$, lo que asegura que el evaluador proporcione retroalimentación informativa más allá del azar.

2. Estimador de Recompensa Corregido de Ruido

Dado que la recompensa real $r^*$ no es observable, los autores derivan un estimador $\hat{r}$ que es asintóticamente insesgado.

• Derivación Teórica: Basado en la relación $E[\tilde{r} | r^*] = e_- + D \cdot r^*$, la recompensa real se estima como:
  $$\hat{r} = \frac{\tilde{r} - e_-}{D}$$
• Implementación Práctica: En la práctica, las tasas de error son desconocidas. Los autores estiman $\hat{e}_+$ y $\hat{e}_-$ a partir de un conjunto de datos de calibración mantenido fuera del entrenamiento (disjunto del conjunto de entrenamiento). El estimador de inserción (plug-in) es:
  $$\hat{r}^\sharp = \frac{\tilde{r} - \hat{e}_-}{\hat{D}}$$
  donde $\hat{D} = 1 - \hat{e}_+ - \hat{e}_-$. Este estimador corrige el sesgo introducido por los falsos positivos y falsos negativos del evaluador.

3. Optimización de la Política

El marco utiliza la Optimización de Política Próxima (PPO).

• Estructura de Recompensa: Las recompensas son únicamente terminales, definidas al final del episodio ($T$).
• Objetivo: El agente maximiza el retorno esperado $J(\theta) = E[\gamma^T \hat{r}_i]$, donde $\hat{r}_i$ es la recompensa corregida de ruido.
• Estimación de la Ventaja: La recompensa corregida terminal se propaga hacia atrás a través de la trayectoria para calcular las estimaciones de ventaja, permitiendo actualizaciones estables de la política a pesar del ruido en la señal de retroalimentación.

4. Configuración Experimental

• Conjuntos de Datos: Se creó un conjunto de datos sintético de 7,560 tareas en 42 aplicaciones para macOS, Windows y Linux. Además, se incorporaron descripciones de tareas de OmniAct, GUI-World y GUIDE.
• Benchmarks: La evaluación se realizó en macOSWorld, Windows Agent Arena y OSWorld.
• Líneas Base (Baselines): El estudio compara las líneas base de cero disparos contra el ajuste fino de PPO utilizando:
  1. Recompensas del evaluador bruto ($\tilde{r}$).
  2. Estimador de recompensa corregido ($\hat{r}$).
  3. Parametrización de modelo unificada (trans-OS) frente a por cada SO (per-OS).

Resultados Clave

Los experimentos demuestran que modelar y corregir explícitamente el ruido del evaluador mejora significativamente el rendimiento del agente en comparación con el uso de las señales de recompensa brutas.

• Ganancias de Rendimiento: El estimador de recompensa corregido de ruido, combinado con el ajuste fino por cada SO, logró las tasas de éxito más altas en todos los benchmarks:
  • macOSWorld: Mejoró de 0.084 (zero-shot) a 0.203.
  • Windows Agent Arena: Mejoró de 0.331 a 0.442.
  • OSWorld: Mejoró de 0.283 a 0.432.
• Comparación con Recompensas Brutas: El uso de recompensas del evaluador bruto produjo mejoras moderadas, pero fue consistentemente superado por el estimador corregido. En algunos casos (por ejemplo, OSWorld con modelos unificados), las recompensas brutas provocaron una degradación del rendimiento en comparación con la línea base de cero disparos, lo que resalta el sesgo introducido por el ruido no corregido.
• Generalización: Los modelos por cada SO ajustados con recompensas corregidas demostraron una generalización superior en comparación con los modelos unificados trans-SO, lo que sugiere que las convenciones de interfaz específicas de cada SO son críticas para un aprendizaje robusto.
• Magnitud de la Mejora: El enfoque corregido mejoró las tasas de éxito en un promedio de 12.6 puntos porcentuales sobre el rendimiento de cero disparos y 5.1 puntos porcentuales sobre el ajuste fino con recompensas de evaluador bruto.

Significancia y Reivindicaciones

El artículo afirma que la evaluación autónoma puede servir como una señal de recompensa práctica y escalable para el RL en entornos de GUI, siempre que el ruido inherente del evaluador se modele y corrija explícitamente.

• Escalabilidad: El marco elimina la necesidad de etiquetas de éxito manuales o heurísticas específicas de la tarea, permitiendo el ajuste fino de RL en grandes escalas de datos de interacción a través de diversos sistemas operativos.
• Robustez: Al derivar un estimador de recompensa asintóticamente insesgado, el método estabiliza la optimización de la política ante la presencia de retroalimentación imperfecta, abordando un cuello de botella central en el desarrollo de CUA.
• Practicidad: El mecanismo de corrección es un "reemplazo directo" (drop-in replacement) para las recompensas brutas en métodos estándar de gradiente de política como PPO, sin requerir cambios fundamentales en el algoritmo de RL en sí mismo.

Los autores concluyen que, si bien persisten desafíos respecto a las tasas de error no estacionarias y las recompensas dispersas, este enfoque representa un paso significativo hacia pipelines de RL prácticos para agentes de escritorio generales que aprenden de la interacción sin supervisión humana.