Resumo Técnico: Interfaces de Observação Agente-Computador (AOI)

1. Declaração do Problema

Os agentes atuais de Uso de Computador (CU - Computer-Use) operam em um ciclo rígido de observar–raciocinar–agir, onde a observação está estritamente ligada à ação: o agente captura uma única captura de tela estática a cada 3–5 segundos, raciocina sobre ela e executa uma ação discreta (clique, digitação, rolagem). Este design cria dois pontos cegos críticos:

1. Cegueira Temporal: O agente é "cego" entre os snapshots. Ele não consegue perceber vídeos, animações, notificações toast que se auto-dispensam ou eventos de interface de usuário transitórios que ocorrem dentro do intervalo de 3–5 segundos.
2. Surdez de Áudio: O agente não possui um canal de áudio. Ele não consegue ouvir discursos em reuniões, instruções faladas, sinais sonoros de notificações ou comandos de voz.

Benchmarks existentes (ex: OSWorld) focam em interfaces estáticas, onde os agentes alcançaram >50% de sucesso. No entanto, o regime "dinâmico-e-auditivo" permanece amplamente não resolvido. Retreinar modelos para vídeo é caro e específico para cada modelo, enquanto APIs multimodais nativas em tempo real prendem os usuários a provedores específicos e carecem de percepção seletiva. O artigo argumenta que a interface de observação é um eixo de design separável, análogo às melhorias de interface de ação vistas no SWE-agent, que foi negligenciada.

2. Metodologia: A Interface de Observação Agente-Computador (AOI)

Os autores introduzem a AOI, uma camada de percepção agnóstica ao modelo inserida entre o ambiente e qualquer modelo de CU baseado em imagem existente. A AOI desacopla a observação contínua e adaptativa das ações discretas. Ela converte fluxos contínuos de tela e áudio nas imagens e textos esparsos que os modelos de CU padrão já aceitam, sem exigir o retreinamento do modelo.

Arquitetura Central

A AOI consiste em três componentes com controle de fluxo (gated components) projetados para minimizar o overhead em conteúdo estático:

1. Captura de Keyframes Inter-Passo:
   • Amostra continuamente a tela a aproximadamente 3 Hz.
   • Utiliza um controle rápido (verificação de diferença de pixels em sub-milissegundos) para pular frames redundantes.
   • Captura de 0 a 5 keyframes por passo apenas quando ocorrem mudanças visuais significativas (ex: reprodução de vídeo, transições de slides).
   • Nota: O artigo observa que a seleção semântica complexa (ex: baseada em CLIP) é estatisticamente indistinguível do controle por diferença de pixels simples; o valor reside em capturar qualquer mudança, não no algoritmo de seleção específico.
2. Observador de Áudio com Controle de Volume:
   • Monitora a saída de áudio do sistema (16 kHz mono).
   • Utiliza um controle de energia RMS para detectar fala; se o silêncio for detectado, o ASR (Whisper large-v3) computacionalmente caro é totalmente ignorado.
   • Transcreve apenas o conteúdo falado, produzindo texto por passo.
3. Contexto de Narração Visual:
   *로 O próprio modelo de CU gera uma breve descrição textual de novas informações visuais como uma saída lateral durante sua chamada de inferência padrão.
   • Esta narração persiste no histórico como texto, mesmo após os keyframes correspondentes serem removidos da janela de contexto. Isso permite que o agente acumule memória visual ao longo de tarefas longas.

Registro de Observação

Em cada passo, o modelo recebe um documento estruturado contendo:

• Contexto: Texto de passos anteriores (transcrições de áudio, narrações visuais, ações).
• Novas Observações: Transcrição de áudio atual (se houver), keyframes capturados (se houver) e a captura de tela padrão pós-ação.
• Instruções da Tarefa.

Em tarefas estáticas e silenciosas, os controles permanecem fechados, e o sistema reduz-se ao ciclo padrão com overhead desprezível.

3. Principais Contribuições

1. Identificação da Interface de Observação: O artigo estabelece a interface de observação (quando e como o agente percebe) como um eixo de design distinto e separável, complementar à interface de ação.
2. Sistema AOI: Uma camada de percepção leve e agnóstica ao modelo que permite o uso de computador dinâmico (vídeo, áudio, eventos transitórios) para modelos de CU existentes com zero retreinamento.
3. DynaCU-Bench: Um novo benchmark de 100 tarefas de navegador dinâmicas (além de 50 controles estáticos) abrangendo 10 categorias (ex: Podcasts, Reuniões, Carrosséis, Jogos) especificamente desenhadas para serem insolúveis apenas com capturas de tela estáticas.
4. Decomposição de Ganhos: O artigo fornece uma análise detalhada mostrando que:
   • A narração é o principal motor: O valor dos keyframes emerge apenas quando eles são narrados em texto persistente.
   • A seleção é irrelevante: O controle simples por diferença de pixels é tão eficaz quanto a filtragem semântica complexa.
   • Ajuste Específico do Modelo: A mistura ideal de componentes varia conforme o modelo; por exemplo, fluxos de imagem brutos podem degradar o desempenho em modelos mais novos (ex: Gemini 3) devido à diluição de tokens, enquanto observações baseadas em texto permanecem robustas.

4. Resultados

Avaliado no DynaCU-Bench em oito modelos (variando de 7B a escala de fronteira, incluindo Claude 4.6, GPT-5.4, Gemini 2.5/3 e modelos de código aberto como EvoCUA-32B):

• Ganhos de Desempenho: A AOI entrega ganhos significativos e estatisticamente relevantes em todos os modelos com zero retreinamento.
  • Claude 4.6: +44 pontos percentuais (pp) (38% → 82%).
  • Gemini 2.5 Flash: +48 pp (21% → 69%).
  • GPT-5.4: +20 pp (37% → 57%).
  • EvoCUA-32B: +37 pp (18% → 55%).
  • Fara-7B: +17 pp (17% → 34%).
• Impacto por Tipo de Tarefa:
  • Famílias de Áudio (Podcast, Reunião, Telefone): Tarefas que eram quase impossíveis apenas com capturas de tela agora são amplamente resolvidas (ex: 100% de sucesso em subconjuntos de áudio para agentes AOI).
  • Famílias Visuais-Temporais (Carrossel, Transitório): Melhorias consistentes, pois os agentes conseguem rastrear conteúdo em movimento.
  • Jogos: Uma regressão é observada. Como jogos são limitados pela latência de ação, o overhead de observação adicional empurra os agentes para além de suas janelas de reação.
• Eficiência: Apesar do overhead de observação por passo, a AOI reduz os custos de tokens em 15–50% em modelos de nuvem porque o contexto mais rico leva a menos passos totais (redução de aproximadamente 50%).
• Comparação com Baselines de Streaming: Quando comparados com baselines multimodais de streaming (ex: Gemini Live, OpenAI Realtime), agentes equipados com AOI superam significativamente estes em tarefas de uso de computador fundamentadas. Modelos de streaming frequentemente falham na "fundamentação de ação" (traduzir percepção para o elemento de UI correto), mesmo quando percebem o conteúdo corretamente. A AOI fornece o andaime estruturado necessário (listas DOM, narrações) para preencher essa lacuna.

5. Significância e Alegações

O artigo alega que a AOI reformula a percepção de uso de computador de três maneiras:

1. Desacoplamento: A observação pode ser contínua e adaptativa, independente do ciclo de ação discreta.
2. Narração sobre Pixels Brutos: O valor dos dados visuais é maximizado quando convertidos em narração de texto persistente; fluxos de imagem brutos são secundários e podem até ser prejudiciais se não forem ajustados por modelo.
3. Configurabilidade: Não existe uma configuração "tamanho único". Os componentes da interface (keyframes, áudio, narração) devem ser selecionados e ajustados por modelo para evitar problemas como a diluição de tokens de imagem.

Os autores concluem que a AOI transforma tarefas dinâmicas "quase impossíveis" em tarefas "amplamente resolvidas", oferecendo um caminho para o uso de computador dinâmico sem o custo proibitivo de retreinar modelos de fundação. O trabalho é lançado com o código da camada de percepção e o benchmark DynaCU-Bench para facilitar pesquisas futuras na separação de ganhos de observação de melhorias do lado do modelo.