Resumo Técnico: OSWorld-Human: Avaliação da Eficiência de Agentes de Uso de Computador

1. Declaração do Problema

Embora os Agentes de Uso de Computador (CUAs) impulsionados por IA generativa tenham demonstrado precisão crescente em benchmarks como o OSWorld, eles sofrem de um gargalo crítico: latência extrema de ponta a ponta. Sistemas de última geração frequentemente exigem dezenas de minutos para concluir tarefas que especialistas humanos podem finalizar em segundos ou minutos. Essa disparidade torna os agentes atuais praticamente inutilizáveis para fluxos de trabalho interativos ou sensíveis ao tempo. Pesquisas anteriores focaram predominantemente na melhoria das taxas de sucesso de tarefas, negligenciando em grande parte a eficiência temporal necessária para implantação no mundo real. Há uma falta de compreensão sistemática sobre a origem dessa latência (por exemplo, etapas específicas do agente, chamadas de modelo) e quantas etapas são realmente necessárias em comparação com a execução humana.

2. Metodologia

Os autores conduziram o primeiro estudo sistemático sobre o desempenho temporal de CUAs usando o benchmark OSWorld, que abrange 369 tarefas em 9 aplicações (por exemplo, Chromium, GIMP, LibreOffice, VS Code) no Ubuntu, Windows e MacOS.

2.1 Análise de Latência e Etapas

O estudo realizou uma análise detalhada das trajetórias dos agentes usando dois principais frameworks de código aberto: Agent S2 e GTA1.

• Instrumentação: Os autores analisaram etapas específicas, incluindo recuperação de informações, planejamento de etapas, fundamentação de etapas (localização de coordenadas), execução de ações, captura de tela, julgamento e reflexão.
• Configuração do Modelo: O Agent S2 utilizou o GPT-4.1 para planejamento e reflexão, com UI-TARS-7B-DPO para fundamentação. O GTA1 utilizou o o3 para planejamento e julgamento, com GTA1-7B para fundamentação.
• Modalidades de Observação: O estudo analisou o impacto de diferentes entradas de percepção: capturas de tela brutas, árvores de Acessibilidade (A11y) e Set-of-Marks (SoM).
• Análise de Custos e Falhas: Os autores analisaram contagens de tokens, custos financeiros e modos de falha (especificamente erros de fundamentação levando a loops) para o GTA1.

2.2 Construção do OSWorld-Human

Para estabelecer uma verdade fundamental para a eficiência, os autores construíram o OSWorld-Human, um conjunto de dados anotado manualmente contendo:

• Trajetórias Humanas Mínimas: Para todas as 369 tarefas do OSWorld, anotadores humanos determinaram o número mínimo de etapas necessárias para conclusão bem-sucedida com base em fontes de verdade fundamental verificadas.
• Agrupamento de Ações: O conjunto de dados inclui trajetórias de "ação agrupada" onde múltiplas ações consecutivas (por exemplo, clicar, digitar, pressionar enter) que podem ser executadas a partir de uma única observação visual são consolidadas em uma única etapa. Isso identifica oportunidades para reduzir chamadas de Modelos de Linguagem Grandes (LLMs).

2.3 Métrica de Avaliação: Pontuação de Eficiência Ponderada (WES)

Os autores propuseram uma nova métrica, a Pontuação de Eficiência Ponderada (WES), para avaliar agentes contra trajetórias humanas.

• Fórmula: $WES = WES^+ \cdot (1 - \frac{\bar{t}_{fail}}{S})$
  • $WES^+$: A média da razão entre etapas humanas e etapas do agente para tarefas bem-sucedidas ($t_{humano} / t_{agente}$).
  • Multiplicador de Penalidade: Penaliza agentes que falham em tarefas após consumir uma grande parte de seu orçamento de etapas ($\bar{t}_{fail}$ é a média de etapas tomadas em tarefas falhas; $S$ é o número máximo de etapas permitidas).
• Propósito: Esta métrica recompensa agentes que têm sucesso com menos etapas e penaliza aqueles que falham de forma ineficiente, fornecendo uma visão holística de precisão e eficiência temporal.

3. Principais Descobertas e Resultados

3.1 Fontes de Latência

• Chamadas de LLM são o Gargalo: Chamadas de modelos grandes para planejamento, reflexão e julgamento representam a vasta maioria da latência.
  • No Agent S2, planejamento e reflexão representam 76%–96% da latência total da tarefa.
  • No GTA1, planejamento e julgamento representam 91%–96% da latência total.
• Latência Dependente de Etapas: À medida que um agente leva mais etapas para completar uma tarefa, a latência de cada etapa sucessiva aumenta. Isso é devido ao mecanismo de "acumulação de histórico", onde prompts incluem todas as etapas anteriores, levando a janelas de contexto mais longas e contagens de tokens mais altas.
• Impacto da Observação: Incluir árvores A11y aumenta drasticamente a latência (devido ao tempo de geração da árvore e volume de tokens) e frequentemente aumenta o número de etapas necessárias, embora possa reduzir etapas para aplicações específicas como o GIMP.

3.2 Lacunas de Eficiência

• Ineficiência dos Agentes Atuais: Mesmo os agentes de melhor desempenho levam 2,7× a 4,3× mais etapas do que o necessário para completar uma tarefa em comparação com trajetórias humanas.
• Pontuações WES: O agente de melhor desempenho no leaderboard do OSWorld (Agent S2 com Gemini 2.5) alcançou uma taxa de sucesso de 41,4%, mas apenas 15,6% de WES em trajetórias de ação única e 9,6% em trajetórias de ação agrupada.
• Análise de Falhas: Para o GTA1, 23% das falhas foram devidas a erros de fundamentação onde o planejamento estava correto, mas o modelo de fundamentação gerou coordenadas incorretas, fazendo com que o agente repetisse etapas ou entrasse em loops. Em alguns casos, agentes desperdiçaram mais de 72 etapas em um único loop.

3.3 Implicações de Custo

• O custo computacional é fortemente inclinado para o planejamento. Para o GTA1, o planejamento representa 87% do custo total, enquanto o julgamento representa 13%. O custo escala quadraticamente com o número de etapas devido a execuções paralelas de planejamento e mecanismos de nova tentativa.

4. Principais Contribuições

1. Primeiro Estudo Sistemático de Latência: Uma análise detalhada do desempenho temporal de CUAs (Agent S2 e GTA1) no benchmark OSWorld, identificando chamadas de LLM como o principal gargalo.
2. Conjunto de Dados OSWorld-Human: Um benchmark curado manualmente e cruzado-verificado contendo trajetórias humanas ótimas e trajetórias de ação agrupada para todas as 369 tarefas do OSWorld.
3. Nova Métrica (WES): A proposta da Pontuação de Eficiência Ponderada para avaliar agentes com base tanto na taxa de sucesso quanto na eficiência de etapas, penalizando falhas ineficientes.
4. Análise de Agrupamento de Ações: Demonstração de que agrupar ações executáveis a partir de uma única observação pode reduzir significativamente o número de chamadas de LLM e etapas necessárias.
5. Avaliação Abrangente: Uma avaliação de 16 agentes de última geração usando o OSWorld-Human, revelando que os sistemas atuais são significativamente menos eficientes do que benchmarks humanos.
6. Análise de Falhas e Custos: Identificação de erros de fundamentação como uma causa principal de etapas desperdiçadas e loops, e uma análise detalhada dos custos financeiros associados às arquiteturas de agentes atuais.

5. Significado e Alegações

O artigo afirma estabelecer o primeiro framework unificado para benchmarking, análise e melhoria da eficiência temporal de agentes de uso de computador. Os autores argumentam que, embora a precisão seja importante, a eficiência temporal é igualmente crucial para a usabilidade no mundo real.

O estudo destaca que os agentes atuais são praticamente inutilizáveis em cenários interativos devido à alta latência e contagens excessivas de etapas. Ao fornecer o OSWorld-Human e a métrica WES, os autores visam orientar desenvolvimentos futuros para:

• Reduzir a latência de chamadas de planejamento, julgamento e reflexão.
• Minimizar o número de etapas por tarefa através do agrupamento de ações.
• Melhorar mecanismos de fundamentação para prevenir loops e erros de coordenadas.
• Comprimir o histórico para gerenciar custos de tokens e latência.

Os autores concluem que seu trabalho e o conjunto de dados de código aberto fomentarão novas direções de pesquisa para fechar a lacuna entre as capacidades atuais dos agentes e a eficiência necessária para implantação prática.