Resumen Técnico: OSWorld-Human: Evaluación de la Eficiencia de los Agentes de Uso de Computadora

1. Declaración del Problema

Aunque los Agentes de Uso de Computadora (CUA) impulsados por IA generativa han demostrado una precisión creciente en puntos de referencia como OSWorld, sufren de un cuello de botella crítico: latencia extremo a extremo extrema. Los sistemas más avanzados a menudo requieren decenas de minutos para completar tareas que los expertos humanos pueden terminar en segundos o minutos. Esta disparidad hace que los agentes actuales sean prácticamente inutilizables para flujos de trabajo interactivos o sensibles al tiempo. La investigación anterior se ha centrado predominantemente en mejorar las tasas de éxito de las tareas, descuidando en gran medida la eficiencia temporal requerida para la implementación en el mundo real. Existe una falta de comprensión sistemática sobre el origen de esta latencia (por ejemplo, pasos específicos del agente, llamadas al modelo) y cuántos pasos son realmente necesarios en comparación con la ejecución humana.

2. Metodología

Los autores realizaron el primer estudio sistemático sobre el rendimiento temporal de los CUA utilizando el punto de referencia OSWorld, que cubre 369 tareas en 9 aplicaciones (por ejemplo, Chromium, GIMP, LibreOffice, VS Code) en Ubuntu, Windows y MacOS.

2.1 Análisis de Latencia y Pasos

El estudio realizó un desglose detallado de las trayectorias de los agentes utilizando dos frameworks de código abierto líderes: Agent S2 y GTA1.

• Instrumentación: Los autores perfilaron pasos específicos que incluyen recuperación de información, planificación de pasos, anclaje de pasos (búsqueda de coordenadas), ejecución de acciones, captura de pantalla, evaluación y reflexión.
• Configuración del Modelo: Agent S2 utilizó GPT-4.1 para la planificación y la reflexión, con UI-TARS-7B-DPO para el anclaje. GTA1 utilizó o3 para la planificación y la evaluación, con GTA1-7B para el anclaje.
• Modalidades de Observación: El estudio analizó el impacto de diferentes entradas de percepción: capturas de pantalla sin procesar, árboles de Accesibilidad (A11y) y Set-of-Marks (SoM).
• Análisis de Costos y Fallos: Los autores analizaron la cantidad de tokens, los costos financieros y los modos de fallo (específicamente errores de anclaje que conducen a bucles) para GTA1.

2.2 Construcción de OSWorld-Human

Para establecer una verdad fundamental para la eficiencia, los autores construyeron OSWorld-Human, un conjunto de datos anotado manualmente que contiene:

• Trayectorias Humanas Mínimas: Para las 369 tareas de OSWorld, los anotadores humanos determinaron el número mínimo de pasos requeridos para una finalización exitosa basándose en fuentes de verdad fundamental verificadas.
• Agrupación de Acciones: El conjunto de datos incluye trayectorias de "acción agrupada" donde múltiples acciones consecutivas (por ejemplo, hacer clic, escribir, presionar enter) que pueden ejecutarse desde una sola observación visual se consolidan en un solo paso. Esto identifica oportunidades para reducir las llamadas a Modelos de Lenguaje Grande (LLM).

2.3 Métrica de Evaluación: Puntuación de Eficiencia Ponderada (WES)

Los autores propusieron una nueva métrica, Puntuación de Eficiencia Ponderada (WES), para evaluar a los agentes frente a las trayectorias humanas.

• Fórmula: $WES = WES^+ \cdot (1 - \frac{\bar{t}_{fail}}{S})$
  • $WES^+$: La relación promedio de pasos humanos a pasos del agente para tareas exitosas ($t_{humano} / t_{agente}$).
  • Multiplicador de Penalización: Penaliza a los agentes que fallan en tareas después de consumir una gran parte de su presupuesto de pasos ($\bar{t}_{fail}$ es el promedio de pasos dados en tareas fallidas; $S$ es el número máximo de pasos permitidos).
• Propósito: Esta métrica recompensa a los agentes que tienen éxito con menos pasos y penaliza a aquellos que fallan de manera ineficiente, proporcionando una visión holística de la precisión y la eficiencia temporal.

3. Hallazgos y Resultados Clave

3.1 Fuentes de Latencia

• Las Llamadas a LLM son el Cuello de Botella: Las llamadas a modelos grandes para planificación, reflexión y evaluación representan la gran mayoría de la latencia.
  • En Agent S2, la planificación y la reflexión representan el 76%–96% de la latencia total de la tarea.
  • En GTA1, la planificación y la evaluación representan el 91%–96% de la latencia total.
• Latencia Dependiente del Paso: A medida que un agente toma más pasos para completar una tarea, la latencia de cada paso sucesivo aumenta. Esto se debe al mecanismo de "acumulación de historial" donde los prompts incluyen todos los pasos anteriores, lo que lleva a ventanas de contexto más largas y mayores cantidades de tokens.
• Impacto de la Observación: Incluir árboles A11y aumenta drásticamente la latencia (debido al tiempo de generación del árbol y al volumen de tokens) y a menudo aumenta el número de pasos requeridos, aunque puede reducir los pasos para aplicaciones específicas como GIMP.

3.2 Brechas de Eficiencia

• Ineficiencia de los Agentes Actuales: Incluso los agentes de mejor rendimiento toman 2.7× a 4.3× más pasos de los necesarios para completar una tarea en comparación con las trayectorias humanas.
• Puntuaciones WES: El agente de mejor rendimiento en el tablero de clasificación de OSWorld (Agent S2 con Gemini 2.5) logró una tasa de éxito del 41.4%, pero solo una 15.6% de WES en trayectorias de acción única y 9.6% en trayectorias de acción agrupada.
• Análisis de Fallos: Para GTA1, el 23% de los fallos se debieron a errores de anclaje donde la planificación era correcta, pero el modelo de anclaje generó coordenadas incorrectas, provocando que el agente repitiera pasos o entrara en bucles. En algunos casos, los agentes desperdiciaron más de 72 pasos en un solo bucle.

3.3 Implicaciones de Costos

• El costo computacional está fuertemente sesgado hacia la planificación. Para GTA1, la planificación representa el 87% del costo total, mientras que la evaluación representa el 13%. El costo escala cuadráticamente con el número de pasos debido a las implementaciones paralelas de planificación y los mecanismos de reintento.

4. Contribuciones Clave

1. Primer Estudio Sistemático de Latencia: Un análisis detallado del rendimiento temporal de los CUA (Agent S2 y GTA1) en el punto de referencia OSWorld, identificando las llamadas a LLM como el principal cuello de botella.
2. Conjunto de Datos OSWorld-Human: Un punto de referencia curado manualmente y verificado cruzadamente que contiene trayectorias humanas óptimas y trayectorias de acción agrupada para las 369 tareas de OSWorld.
3. Nueva Métrica (WES): La propuesta de la Puntuación de Eficiencia Ponderada para evaluar a los agentes basándose tanto en la tasa de éxito como en la eficiencia de los pasos, penalizando los fallos ineficientes.
4. Análisis de Agrupación de Acciones: Demostración de que agrupar acciones ejecutables desde una sola observación puede reducir significativamente el número de llamadas a LLM y pasos requeridos.
5. Evaluación Exhaustiva: Una evaluación de 16 agentes de última generación utilizando OSWorld-Human, revelando que los sistemas actuales son significativamente menos eficientes que los puntos de referencia humanos.
6. Análisis de Fallos y Costos: Identificación de los errores de anclaje como una causa principal de pasos desperdiciados y bucles, y un desglose de los costos financieros asociados con las arquitecturas de agentes actuales.

5. Significado y Afirmaciones

El artículo afirma establecer el primer marco unificado para evaluar, analizar y mejorar la eficiencia temporal de los agentes de uso de computadora. Los autores argumentan que, aunque la precisión es importante, la eficiencia temporal es igualmente crucial para la usabilidad en el mundo real.

El estudio destaca que los agentes actuales son prácticamente inutilizables en escenarios interactivos debido a la alta latencia y los excesivos conteos de pasos. Al proporcionar OSWorld-Human y la métrica WES, los autores tienen como objetivo guiar los desarrollos futuros hacia:

• Reducir la latencia de las llamadas de planificación, evaluación y reflexión.
• Minimizar el número de pasos por tarea mediante la agrupación de acciones.
• Mejorar los mecanismos de anclaje para prevenir bucles y errores de coordenadas.
• Comprimir el historial para gestionar los costos de tokens y la latencia.

Los autores concluyen que su trabajo y el conjunto de datos de código abierto fomentarán nuevas direcciones de investigación para cerrar la brecha entre las capacidades actuales de los agentes y la eficiencia requerida para la implementación práctica.