Resumen Técnico: Escalamiento de Agentes para el Uso de Computadoras mediante Behavior Judge

Planteamiento del Problema

Los agentes de uso de computadora (CUAs, por sus siglas en inglés) poseen una promesa significativa para la automatización de tareas digitales cotidianas en diversos sistemas operativos. Sin embargo, su rendimiento en problemas complejos de largo horizonte sigue siendo poco fiable. El desafío central no radica meramente en resolver pasos individuales, sino en mantener la corrección a lo largo de docenas o cientos de interacciones. Los errores pequeños se acumulan con el tiempo, la retroalimentación suele ser tardía y el ruido ambiental (como cambios en la interfaz de usuario o latencia) genera una alta varianza en los resultados.

Aunque trabajos previos han intentado escalar el rendimiento dentro de una sola ejecución (por ejemplo, Best-of-N paso a paso), estos enfoques han producido ganancias limitadas en tareas de largo horizonte. Un enfoque alternativo es el "escalamiento ancho" (wide scaling), que consiste en generar múltiples ejecuciones en paralelo y seleccionar la mejor. Sin embargo, este enfoque enfrenta un cuello de botella fundamental: la evaluación. Las trayectorias de los agentes son densas en información, multimodales y a menudo admiten múltiples soluciones válidas. Determinar de manera fiable cuál de varias trayectorias de largo horizonte es la correcta es difícil porque la mayoría de los detalles son irrelevantes para el éxito de la tarea, y la evaluación automática basada en guiones tiene dificultades con la sutileza de las tareas de uso de computadora.

Metodología: Behavior Judge (BJudge)

Para abordar el cuello de botella de la evaluación y permitir un escalamiento ancho efectivo, los autores introducen Behavior Judge (BJudge). Este marco transforma las trayectorias densas y brutas de los agentes en representaciones compactas e interpretables para facilitar una selección basada en principios entre los candidatos.

1. El Paradigma de Escalamiento Ancho

A diferencia del escalamiento de ejecución única, BJudge genera múltiples trayectorias candidatas ($\tau$) utilizando un conjunto de políticas base $\{\pi_m\}$. Estas políticas pueden incluir diferentes modelos o decodificación estocástica de un mismo modelo para capturar diversidad. El objetivo es seleccionar la trayectoria $\hat{\tau}$ que maximice la recompensa de la tarea $R(\tau, I)$.

2. Generación de la Narrativa de Comportamiento

El primer componente clave es el Generador de Narrativa de Comportamiento. En lugar de alimentar las capturas de pantalla y las acciones directamente a un juez, el sistema convierte cada transición $(s_i, a_i, s_{i+1})$ en una "narrativa de comportamiento" ($\phi_i$).

• Extracción de Hechos: Un Modelo de Lenguaje Visual (VLM) analiza el estado antes y después de una acción para derivar hechos que describen qué hizo realmente el agente y cómo afectó al entorno.
• Aumentación Visual: Para garantizar la precisión, particularmente en interacciones de puntero (clics, arrastre), el generador superpone marcadores en la captura de pantalla previa a la acción y extrae recortes con zoom de la captura de pantalla posterior a la acción. Esto ayuda a verificar los cambios a nivel de píxel y reduce las alucinaciones sobre si una acción tuvo éxito.
• Construcción de la Narrativa: La narrativa final $\tilde{\tau}$ consiste en el estado inicial, la secuencia de hechos derivados y el estado final. Esto filtra los detalles irrelevantes mientras preserva los resúmenes de acción-efecto relevantes para la tarea.

3. Evaluador de Comportamiento Comparativo

El segundo componente es el Evaluador de Comportamiento Comparativo. En lugar de clasificar las trayectorias de forma independiente, este módulo realiza una comparación directa de las narrativas de comportamiento.

• Mecanismo: Un evaluador VLM es instruido para comparar todas las narrativas candidatas simultáneamente utilizando un formato de pregunta de opción múltiple (MCQ) de una sola ronda.
• Ventaja: Este enfoque permite al juez citar y contrastar hechos específicos entre los candidatos, permitiendo una selección más informada que el ranking independiente. Está diseñado para ser eficiente en términos de tokens y más rápido que las comparaciones de torneos de múltiples rondas.

4. Marco Agéntico Mejorado (Agent S3)

Para dar soporte a BJudge, los autores introducen Agent S3, un marco de referencia mejorado construido sobre Agent S2. Los cambios arquitectónicos clave incluyen:

• Política Plana (Flat Policy): Eliminación de la planificación jerárquica en favor de una política plana que puede replanificar en cualquier momento basándose en la instrucción actual y el historial, aprovechando las fuertes capacidades de mantenimiento de contexto de los modelos fundacionales modernos.
• Agente de Codificación Integrado: Un agente de codificación especializado está integrado nativamente en el espacio de acción del agente de GUI. Puede ser invocado para ediciones programáticas (por ejemplo, operaciones de archivos masivas, parsing estructurado) cuando es más eficiente que la manipulación directa de la GUI. Opera en un bucle interno acotado con una VM en un entorno aislado (sandbox), proporcionando retroalimentación de ejecución a la política de la GUI.

Contribuciones Clave

1. Paradigma de Escalamiento Ancho: El artículo establece que la selección cuidadosa de múltiples trayectorias paralelas mejora sustancialmente la robustez y la cobertura para los CUAs, siempre que exista un mecanismo de selección efectivo.
2. Marco de Trabajo Behavior Judge: Un sistema novedoso que convierte trayectorias densas en narrativas de comportamiento compactas y utiliza la evaluación comparativa para seleccionar la solución óptima, abordando el cuello de botella de la evaluación del escalamiento ancho.
3. Nuevo Estado del Arte (SoTA): Al combinar BJudge con el modelo base Agent S3, los autores logran un nuevo SoTA en el benchmark OSWorld.
4. Generalización: El método demuestra una fuerte generalización zero-shot a diferentes sistemas operativos (Windows y Android).

Resultados Experimentales

Rendimiento en OSWorld

En el benchmark OSWorld (361 tareas, límite de 100 pasos), el método propuesto logra una tasa de éxito del 72.6%.

• Esto representa una mejora absoluta del 9.2% sobre el SoTA anterior (63.4%).
• Supera el rendimiento reportado a nivel humano de 72.36%.
• Utilizando un ensamble de GPT-5 y Opus 4.5, el sistema demuestra que el escalamiento efectivo puede llevar las capacidades de los agentes más allá de los parámetros humanos en estas tareas.

Eficiencia y Ablación

• Eficiencia de Agent S3: Comparado con el jerárquico Agent S2, Agent S3 reduce las llamadas a LLM por tarea en un 52.3% y el tiempo de finalización de la tarea en un 62.4%, mientras mejora la tasa de éxito en un 13.8%.
• Ablación de Representación: Las narrativas de comportamiento superan significativamente a otras representaciones. Comparado con un baseline de "Solo Captura de Pantalla" (56.0%) y un baseline de "Resumen de Trayectoria" (55.0%), las Narrativas de Comportamiento lograron un 60.2% de tasa de éxito (con GPT-5 Mini), una ganancia absoluta del 3.4%.
• Estrategia de Selección: BJudge supera a los métodos de ranking independiente adaptados (como WebJudge) a través de varios presupuestos de ejecución, demostrando que la evaluación comparativa es necesaria para una selección escalable.

Generalización

• WindowsAgentArena: BJudge (N=3) logró una mejora del 6.4% sobre el baseline Agent S3 (56.6% vs 50.2% a 100 pasos).
• AndroidWorld: BJudge (N=3) logró una mejora del 3.5% sobre el baseline Agent S3 (71.6% vs 68.1%).

Ensamble de Modelos

Los experimentos con ensambles de mezcla de modelos revelaron que la diversidad es clave para la cobertura de tareas. La combinación de GPT-5 y Claude Opus 4.5 produjo la tasa de éxito más alta (71.6%), mientras que la mezcla más diversa (incluyendo todos los modelos probados) alcanzó la mayor cobertura de tareas (Pass@N) de 80.5%.

Significancia y Reivindicaciones

El artículo afirma que la barrera principal para escalar los agentes de uso de computadora no es la generación de soluciones, sino la evaluación y selección de las mismas. Al introducir Behavior Judge, los autores proporcionan un marco práctico que permite que el escalamiento ancho sea efectivo.

Los autores enfatizan que el escalamiento efectivo requiere una comprensión y selección de trayectorias estructurada. Simplemente generar más ejecuciones sin un mecanismo robusto para compararlas produce rendimientos decrecientes. BJudge resuelve esto abstrayendo las trayectorias ruidosas y densas en narrativas de comportamiento de alto nivel, permitiendo al sistema identificar el camino correcto incluso en entornos complejos de largo horizonte.

Los resultados resaltan que, con el marco adecuado, los CUAs no solo pueden igualar, sino superar el rendimiento humano en tareas complejas de automatización de escritorio, sugiriendo un camino viable hacia flujos de trabajo digitales automatizados y fiables. El artículo señala que estos resultados dependen de entornos controlados (máquinas virtuales) donde las ejecuciones independientes son posibles, reconociendo que el despliegue directo en escritorios de usuarios reales presenta desafíos adicionales relacionados con el aislamiento de estado.