Resumo Técnico: cotomi Act

Declaração do Problema

Os agentes atuais que utilizam computadores (CUAs) enfrentam uma limitação dupla que impede que funcionem como colegas de trabalho organizacionais confiáveis. Primeiro, embora os Modelos de Linguagem de Grande Escala (LLMs) tenham melhorado no raciocínio, eles ainda lutam com a confiabilidade necessária para tarefas web de longo horizonte e múltiplos passos, frequentemente ficando aquém das bases humanas em benchmarks como o WebArena. Segundo, e mais criticamente, os agentes existentes carecem de conhecimento organizacional. Eles operam sem consciência de preferências tácitas, fluxos de trabalho não escritos, jargão interno ou o estado atual de tarefas pendentes. Isso força os agentes a fazerem perguntas de esclarecimento frequentes (reduzindo a eficiência) ou a adivinharem em silêncio (arriscando erros). Além disso, grande parte do conhecimento essencial para o trabalho — como as pessoas realmente operam — raramente é documentado em repositórios estáticos, tornando a Geração Aumentada por Recuperação (RAG) insuficiente por si só.

Metodologia

O artigo apresenta o cotomi Act, um agente baseado em navegador que aborda esses desafios através de dois componentes integrados: um Esqueleto de Agente robusto para execução e um Pipeline de Comportamento para Conhecimento para aprendizado.

1. Esqueleto de Agente (Execução)

O esqueleto gerencia o loop ReAct (Raciocinar-Agir) do agente, otimizando a janela de contexto e o espaço de ação para lidar com tarefas web complexas. Ele emprega quatro mecanismos-chave:

• Observação Preguiçosa Adaptativa: Em vez de alimentar a árvore de acessibilidade completa a cada passo, o agente observa apenas elementos visíveis na viewport por padrão, solicitando a árvore completa apenas sob demanda. Isso reduz significativamente a latência (de 471s para 184s por tarefa) mantendo a precisão.
• Compressão de Histórico Baseada em Diferenças Verbais: Em vez de reter observações passadas brutas que incham a janela de contexto, o sistema substitui o histórico desatualizado por descrições em linguagem natural das mudanças (diferenças verbais). Isso reduz os custos de tokens em 3,8× enquanto preserva melhor o contexto semântico do que formatos de diferença padrão.
• Ações de Granularidade Grossa: O espaço de ação é abstraído para o nível mais alto que ainda cobre interações comuns (por exemplo, scrollInto(elemento) em vez de rolagem em nível de pixel). Isso reduz o número de passos necessários para uma tarefa, evitando o transbordamento do contexto.
• Escalonamento no Tempo de Teste: O sistema utiliza seleção de melhor-de-N ações e decomposição de tarefas (criando sub-agentes paralelos para sub-objetivos independentes) para reduzir a variância e lidar com tarefas de longo horizonte.

2. Pipeline de Comportamento para Conhecimento (Aprendizado)

Para adquirir conhecimento organizacional, o cotomi Act observa passivamente o comportamento de navegação do usuário e o abstrai em artefatos estruturados.

• Captura: Um monitor em segundo plano registra ações no nível do site, transições de abas e capturas de tela, usando compressão baseada em diferenças para reduzir o ruído.
• Abstração: Um pipeline agêntico ETL (Extração-Transformação-Carga), impulsionado por um LLM, processa esses eventos. Ele segmenta eventos brutos em episódios no nível da tarefa, resume-os em registros estruturados e os agrega em artefatos de conhecimento.
• Espaço de Trabalho de Conhecimento Compartilhado: Os artefatos resultantes são armazenados em um espaço de trabalho compartilhado acessível tanto ao usuário quanto ao agente. Estes incluem:
  • Linhas do Tempo de Atividade: Visualizações baseadas em calendário da atividade do usuário.
  • Quadros de Tarefas: Um banco de dados compartilhado onde o agente propõe atualizações de status e o usuário as aprova.
  • Páginas Wiki: Notas procedimentais, regras e convenções destiladas do comportamento.
• Privacidade: O sistema é estritamente opt-in, com mascaramento de PII aplicado antes que os artefatos sejam escritos no espaço de trabalho.

3. Colaboração Humano-Agente

O espaço de trabalho atua como um "objeto de fronteira". O agente consulta esses artefatos através de uma ferramenta search_workspace quando as instruções são ambíguas ou requerem contexto. Crucialmente, o loop é bidirecional: o usuário pode inspecionar, editar e aprovar o conhecimento derivado pelo agente, garantindo o alinhamento com a realidade sem sincronização explícita.

Contribuições Principais

1. Sistema cotomi Act: Um agente baseado em navegador que alcança 80,4% de sucesso no subconjunto de avaliação humana de 179 tarefas do WebArena, superando a base humana relatada de 78,2%. Isso é alcançado através da combinação específica de observação preguiçosa adaptativa, histórico de diferenças verbais, ações de granularidade grossa e escalonamento no tempo de teste.
2. Pipeline de Comportamento para Conhecimento: Uma abordagem inovadora que observa passivamente a navegação do usuário para abstrair progressivamente eventos brutos em artefatos de conhecimento reutilizáveis (quadros de tarefas, wikis, linhas do tempo) dentro de um espaço de trabalho compartilhado, permitindo aprendizado persistente e alinhamento transparente.
3. Validação Empírica: Uma avaliação controlada por proxy demonstrando que o sucesso em tarefas a jusante melhora à medida que o agente acumula mais conhecimento derivado do comportamento, validando a eficácia do aprendizado por observação.

Resultados

• Desempenho de Execução: No subconjunto de avaliação humana do WebArena, o cotomi Act alcançou uma taxa de sucesso de 80,4%. O esqueleto base (sem escalonamento no tempo de teste) atingiu 76,5%, enquanto a adição de seleção melhor-de-N e decomposição de tarefas forneceu um ganho adicional de 3,9%. Este desempenho supera a base humana de 78,2% e agentes anteriores de última geração como o OpAgent (71,6%).
• Impacto do Conhecimento: Em um estudo controlado usando WorkArena-L1, o sucesso da tarefa geralmente melhorou à medida que a cobertura de domínio do conhecimento comportamental aumentou.
  • Com 0% de cobertura, o sucesso da base foi de ~51%.
  • Com 100% de cobertura, o sucesso melhorou em até +10 pontos percentuais.
  • O estudo notou que, embora trajetórias brutas possam degradar o desempenho em baixa cobertura devido ao ruído, formatos abstratos (scripts e insights) permaneceram estáveis.
  • Um estudo de caso específico no domínio de catálogo de serviços mostrou o sucesso saltando de ~75% para ~99% após o agente adquirir 48 scripts procedimentais derivados do comportamento do usuário.

Significado

O artigo afirma que o cotomi Act demonstra um caminho prático para o alinhamento organizacional de agentes de IA. Ao combinar um esqueleto capaz de superar o desempenho humano em benchmarks padronizados com um mecanismo para aprender fluxos de trabalho tácitos e não escritos do comportamento cotidiano, o sistema vai além de ser um "executor sem estado" para se tornar um "colega de trabalho situado". O significado reside no loop bidirecional: o agente aprende com o usuário, mas o usuário também curata a base de conhecimento do agente através de um espaço de trabalho compartilhado, garantindo que a automação permaneça alinhada com as realidades organizacionais em evolução sem exigir documentação manual.