CoAct-1: Computer-using Multi-Agent System with Coding Actions

1. O Problema

Os agentes autônomos que operam computadores através de Interfaces Gráficas de Usuário (GUI) enfrentam desafios significativos de eficiência e confiabilidade em tarefas complexas e de longo horizonte.

• Limitações da GUI: Tarefas rotineiras (como gerenciar arquivos, processar dados em planilhas ou navegar em estruturas de diretórios aninhadas) exigem longas sequências de ações precisas (cliques, arrastar, digitar).
• Fragilidade: A dependência exclusiva de manipulação visual torna os agentes suscetíveis a erros de "grounding" visual (confundir ícones ou menus) e à propagação cumulativa de erros. Um único clique errado pode falhar toda a tarefa.
• Ineficiência: Mesmo com planejadores de alto nível que decompõem tarefas, o agente ainda precisa navegar por menus e interfaces visuais para operações que poderiam ser resolvidas de forma mais direta e robusta via código.

2. Metodologia: CoAct-1

O trabalho propõe um novo paradigma híbrido que integra a codificação (coding) como uma ação de nível superior, combinando a intuição da manipulação GUI com a precisão da execução programática. O sistema é composto por três agentes especializados que operam de forma colaborativa:

Arquitetura Multi-Agente

1. Orchestrator (Orquestrador):

   • Atua como o planejador de alto nível (meta-política).
   • Analisa o objetivo do usuário e o histórico de observações.
   • Decide dinamicamente se uma subtarefa deve ser delegada ao Programmer ou ao GUI Operator.
   • Não interage diretamente com o SO; sua função é a delegação estratégica.

2. Programmer (Programador):

   • Especialista em ações de código (A_Code).
   • Gera e executa scripts em Python ou Bash através de um interpretador de código.
   • Ideal para operações de backend: gerenciamento de arquivos, processamento de dados, configuração de ambiente e manipulação de sistemas de arquivos.
   • Opera em um loop de conversa de múltiplas rodadas para refinar o código até que a subtarefa seja resolvida.

3. GUI Operator (Operador de GUI):

   • Especialista em ações visuais (A_GUI).
   • Baseado em Modelos de Linguagem e Visão (VLM).
   • Executa interações front-end: clicar em botões, navegar em interfaces visuais e digitar em campos.
   • Utilizado quando a interação visual é necessária ou quando o código não é aplicável.

Fluxo de Trabalho e Memória

• Decomposição Hierárquica: O Orquestrador divide o objetivo global em subtarefas.
• Memória Isolada: O sistema utiliza uma estrutura de memória hierárquica e isolada. O Orquestrador mantém a memória de longo prazo (histórico de resumos e estados), enquanto os agentes executores (Programmer e GUI) possuem memória de trabalho de curto prazo apenas para a duração de sua subtarefa específica. Após a conclusão, a memória do executor é limpa para evitar viés de contextos anteriores.
• Resumo de Execução: Após completar uma subtarefa, o histórico detalhado da interação é condensado em um resumo conciso pelo Orquestrador, que então decide a próxima ação.

3. Principais Contribuições

• Novo Espaço de Ações Híbrido: Introduz a codificação como uma ação nativa e integrada ao espaço de ações de agentes de computador, superando a limitação de "apenas GUI".
• Arquitetura Multi-Agente Dinâmica: O CoAct-1 demonstra como delegar tarefas estrategicamente: usar código para operações robustas e de backend, e GUI para navegação visual, otimizando o caminho de execução.
• Eficiência e Robustez: A abordagem reduz drasticamente o número de passos necessários para completar tarefas, minimizando a probabilidade de erro acumulativo.

4. Resultados Experimentais

O sistema foi avaliado em dois benchmarks desafiadores de computação real: OSWorld e WindowsAgentArena.

Desempenho no OSWorld

• Taxa de Sucesso: O CoAct-1 alcançou uma taxa de sucesso de 60,76% (limite de 150 passos), estabelecendo um novo estado da arte (SOTA).
  • Supera o Agent S2.5 (55,98%) e o GTA-1 (53,07%).
• Eficiência: Reduziu o número médio de passos para completar uma tarefa para 10,15, comparado a ~15 passos em agentes líderes como o GTA-1.
• Domínios de Destaque: O desempenho foi superior em tarefas que exigem controle programático, como:
  • VS Code: 78,26%
  • Calculadora (Calc): 70,21%
  • Múltiplos Aplicativos: 47,88%

Desempenho no WindowsAgentArena

• Taxa de Sucesso: Alcançou 52,50%, superando significativamente métodos anteriores como Agent S2 (29,8%) e NAVI (19,5%).
• Tarefas de Sistema: Destaque em tarefas de nível de sistema e utilitários (Windows System: 83,3%; Windows Utils: 77,7%), onde a execução de scripts é altamente vantajosa.

Análise de Ablação e Configuração

• Hibridismo: Um agente puramente baseado em código (Programmer) teve 35,73% de sucesso (muito eficiente em passos, mas limitado em tarefas visuais). Um agente puramente GUI teve 50,68% (mais versátil, mas ineficiente em passos). O sistema híbrido CoAct-1 combinou o melhor dos dois mundos.
• Modelos de Base: A configuração ótima utilizou o modelo OpenAI o3 para o Orquestrador (planejamento) e o4-mini para o Programador, demonstrando que a capacidade de raciocínio do planejador é crítica para o sucesso do sistema.

5. Significado e Conclusão

O artigo CoAct-1 demonstra que a integração da codificação como uma ação central oferece um caminho mais poderoso, eficiente e escalável para a automação generalizada de computadores.

• Superação de Limitações: Ao permitir que agentes "pulem" sequências de GUI ineficientes e frágeis em favor da execução de código robusto, o sistema mitiga erros de percepção visual e falhas de planejamento de longo prazo.
• Futuro da Automação: O trabalho sugere que os futuros agentes autônomos não devem ser apenas "olhos e mãos" (visão e GUI), mas também "cérebros e ferramentas" (raciocínio e execução de código), operando em um espaço de ação multimodal dinâmico.

Em resumo, o CoAct-1 representa um avanço significativo na direção de agentes autônomos capazes de realizar tarefas complexas no mundo real com maior confiabilidade e menos intervenção humana.