A Comprehensive Survey of Agents for Computer Use: Foundations, Challenges, and Future Directions

Título: Uma Pesquisa Abrangente de Agentes para Uso de Computador: Fundamentos, Desafios e Direções Futuras

1. Problema e Contexto

Os Agentes para Uso de Computador (ACUs - Agents for Computer Use) são sistemas de IA projetados para executar tarefas complexas em dispositivos digitais (computadores pessoais, smartphones) interpretando instruções em linguagem natural. Diferente de chatbots que apenas fornecem conselhos, os ACUs controlam ativamente o software através de ações de baixo nível, como cliques de mouse, toques na tela e digitação.

Apesar do progresso rápido impulsionado por modelos fundamentais (LLMs e VLMs), os ACUs ainda não são maduros para uso cotidiano. Eles enfrentam desafios críticos:

• Baixa generalização: Falham ao lidar com mudanças dinâmicas na interface do usuário (UI).
• Ineficiência no planejamento: Dificuldade em executar tarefas multi-etapa complexas.
• Falta de robustez: Taxas de sucesso significativamente menores que as humanas em ambientes reais.
• Fragmentação da pesquisa: A área carece de uma terminologia unificada e de uma taxonomia que abranja desde agentes baseados em Reinforcement Learning (RL) até os baseados em modelos fundamentais.

2. Metodologia

Os autores realizaram uma revisão sistemática e semi-estruturada, combinando conhecimento de domínio com técnicas de "snowballing" (ampliação de referências).

• Corpus de Dados: Foram analisados 87 artigos de pesquisa originais sobre ACUs e 33 conjuntos de dados (datasets) relevantes, cobrindo o período de 2018 a 2024.
• Critérios de Seleção: Foco em agentes que utilizam deep learning para execução ativa em computadores (excluindo chatbots passivos, robôs de teste de software ou agentes de jogos).
• Abordagem Taxonômica: Desenvolveu-se uma taxonomia multifacetada baseada em três perspectivas complementares, fundamentada na teoria de agentes inteligentes clássica:
  1. Perspectiva de Domínio: Caracteriza os contextos (Web, Android, PC).
  2. Perspectiva de Interação: Descreve os espaços de observação (como o agente vê) e ação (como o agente age).
  3. Perspectiva do Agente: Detalha a arquitetura interna, memória, política de decisão e estratégias de aprendizado.

3. Contribuições Principais

O artigo oferece quatro contribuições fundamentais para o campo:

1. Taxonomia Unificada: Introdução de um framework que organiza a literatura dispersa em três dimensões (Domínio, Interação, Agente), permitindo uma análise agnóstica à tecnologia.
2. Classificação Abrangente: Categorização de 87 agentes e 33 datasets dentro deste novo framework, mapeando tendências e lacunas.
3. Identificação de Lacunas de Pesquisa: Detecção de seis gargalos críticos que impedem a maturidade dos ACUs.
4. Direções Estratégicas: Proposição de caminhos concretos para superar os desafios atuais e avançar para agentes de propósito geral.

4. Resultados e Análise Técnica

A. Perspectiva de Domínio e Interação:

• Domínios: A maioria da pesquisa foca em Web e Android. O domínio de Computadores Pessoais (Desktop) está subexplorado, apesar de sua alta relevância prática.
• Observação (Input): Há uma transição clara de representações textuais (HTML, árvores de acessibilidade) para representações baseadas em imagens (screenshots).
  • Achado: Agentes baseados em texto são frágeis em ambientes reais devido à inconsistência estrutural do HTML. Agentes baseados em visão (VLMs) demonstram maior robustez e generalização, especialmente em benchmarks realistas como Mind2Web.
• Ação (Output): As ações variam de coordenadas de mouse/tela (baixo nível) a acesso direto a elementos de UI e execução de código.
  • Achado: A "ancoragem" (grounding) de ações abstratas para coordenadas ou elementos específicos é um desafio. Técnicas como Set-of-Marks (marcar elementos na imagem) são workarounds temporários para a incapacidade atual dos modelos de prever coordenadas com precisão.

B. Perspectiva do Agente (Arquitetura e Aprendizado):

• Tipos de Agentes: O campo está migrando de Agentes Especializados (arquiteturas customizadas, treinados via RL/BC em ambientes controlados) para Agentes Fundamentais (baseados em LLMs/VLMs, usando prompting e in-context learning).
• Políticas de Memória: A maioria dos agentes modernos utiliza políticas baseadas em histórico (sequência de observações e ações). No entanto, o processamento de históricos longos é computacionalmente caro, levando a simplificações que podem perder informações críticas.
• Estratégias de Aprendizado:
  • Reinforcement Learning (RL): Eficaz, mas requer ambientes simulados caros e recompensas densas.
  • Behavioral Cloning (BC): Muito comum, mas depende de dados de demonstração humana.
  • Gap Identificado: Falta um estágio de "aprendizado de ambiente" eficiente e escalável para agentes fundamentais, que alinhe modelos gerais ao contexto de uso de computador antes do fine-tuning pesado.

C. Lacunas de Pesquisa Identificadas:

1. Generalização Insuficiente: Dependência de observações estruturalmente inconsistentes (ex: HTML limpo) que não refletem a realidade.
2. Aprendizado Ineficiente: Estratégias atuais são custosas e dependem de grandes quantidades de dados rotulados ou simulações.
3. Planejamento Limitado: Incapacidade de planejar e executar tarefas complexas de longo horizonte de forma confiável.
4. Complexidade de Benchmarks: Os benchmarks atuais focam na percepção realista, mas as tarefas são frequentemente muito simples.
5. Avaliação Não Padronizada: Falta de métricas comuns e protocolos de avaliação, dificultando comparações justas entre estudos.
6. Desconexão Realidade-Laboratório: Assunções de ambientes estáticos e determinísticos na pesquisa vs. ambientes dinâmicos e não estacionários no mundo real.

5. Recomendações e Direções Futuras

Para avançar o campo, os autores recomendam:

• Observação Visual: Priorizar observações baseadas em imagens para garantir generalização robusta.
• Aprendizado Adaptativo: Desenvolver estratégias de aprendizado que vão além do prompting estático, incluindo fine-tuning auto-supervisionado e alinhamento com o domínio.
• Planejamento e Raciocínio: Integrar modelos de raciocínio avançados (como os recentes modelos de raciocínio de IA) e algoritmos de planejamento híbridos (simbólicos + neurais).
• Benchmarks Realistas: Criar conjuntos de dados com alta complexidade de tarefas e dependências causais, não apenas diversidade de UI.
• Padronização de Avaliação: Adotar a Taxa de Sucesso da Tarefa (Task Success Rate) como métrica primária, preferencialmente em ambientes online ou controlados com protocolos rigorosos.
• Segurança e Privacidade: Considerar restrições de privacidade e a necessidade de autonomia condicional (onde o agente pede confirmação humana para ações críticas).

6. Significado e Impacto

Este trabalho é fundamental para a comunidade de IA porque:

• Unifica o Campo: Fornece uma linguagem comum e uma estrutura para comparar abordagens que antes eram isoladas (RL vs. LLMs).
• Guia o Desenvolvimento: Identifica que a simples aplicação de LLMs não é suficiente; é necessário resolver problemas de grounding, memória de longo prazo e planejamento em ambientes dinâmicos.
• Prepara para o Mundo Real: Ao destacar a lacuna entre ambientes de laboratório e a realidade, o artigo direciona a pesquisa para a criação de agentes que sejam verdadeiramente robustos, seguros e prontos para implantação em cenários de produtividade do dia a dia.

Em suma, o artigo serve como um marco para a transição de agentes de computador experimentais para sistemas autônomos generalistas e confiáveis.