Resumo Técnico: Uso de Computadores na Borda do Precípio Estatístico

Declaração do Problema

A avaliação de Agentes de Uso de Computador (CUAs) em ambientes interativos sofre de duas patologias cumulativas: design de ambiente não principiado e metodologia de avaliação não principiada. Benchmarks existentes frequentemente dependem de ambientes estáticos, não isolados (sandboxed) ou ao vivo que carecem de validade ecológica e são vulneráveis à memorização. Além disso, métricas de avaliação frequentemente fazem uso indevido de pass@k (projetado para geração de código sem estado) para interações de UI com estado e empregam agregação estatística ingênua que ignora a estrutura aninhada e correlacionada dos dados do benchmark. Essas falhas levam a classificações pouco confiáveis, resultados irreproduzíveis e pontuações que refletem a capacidade de um agente de memorizar sequências de ações, em vez de sua capacidade de raciocínio visual e generalização.

Metodologia

1. Diagnóstico Empírico de Benchmarks Estáticos

Os autores demonstram que, em benchmarks determinísticos com estados iniciais fixos, um "agente de replay" — um script de 1 MB que executa cegamente uma sequência de ações gravada sem observar a tela — pode superar modelos de ponta.

• Fundamentação Formal: Eles provam que a taxa de sucesso esperada de tal agente de replay é exatamente igual ao pass@k do agente fonte.
• Implicação: Reportar pass@k em benchmarks estáticos mede efetivamente a capacidade de memorização. À medida que o número de execuções ($k$) aumenta, qualquer benchmark estático pode ser resolvido com precisão arbitrária por um agente estocástico simplesmente memorizando trajetórias bem-sucedidas, tornando o benchmark inútil para medir capacidade genuína.

2. O Framework PRISM

Para abordar falhas ambientais, o artigo propõe PRISM, um conjunto de cinco princípios de design para ambientes de CUA:

• P (Verificação Privilegiada): A conclusão da tarefa deve ser verificada contra o estado de verdade fundamental interno do ambiente (por exemplo, via consultas SQL) em vez de proxies frágeis como LLM como juiz ou comparação de capturas de tela.
• R (Ambientes Realistas): Aplicações devem reproduzir fielmente a aparência visual, padrões de interação e complexidade funcional de software do mundo real.
• I (Configurações Verificadas quanto à Integridade): Cada configuração deve ser automaticamente verificada quanto à viabilidade (pré-condições atendidas), coerência (consistência de dados) e não trivialidade (tarefa não pré-resolvida).
• S (Execução Isolada/Sandboxed): Ambientes devem ser autocontidos, sem dependências externas, suportando redefinições determinísticas para qualquer estado inicial especificado.
• M (Variabilidade Multifatorial): Ambientes devem variar independentemente ao longo de múltiplos eixos (por exemplo, conteúdo de dados, temas visuais, estados iniciais de UI) para prevenir memorização e permitir diagnósticos de alta granularidade.

3. Benchmark DigiWorld

Os autores instanciam PRISM no DigiWorld, um benchmark composto por:

• Escopo: 15 aplicativos Android completos em React Native, construídos manualmente, abrangendo 7 domínios do mundo real (por exemplo, bancos, compras, viagens).
• Escala: 387 cenários gerando mais de 4.300 instâncias de tarefas.
• Variabilidade: Ao variar independentemente perfis de dados, temas visuais e estados iniciais de UI, o DigiWorld gera mais de 3,2 milhões de configurações únicas verificadas.
• Integridade: Um pipeline offline automatizado realiza verificação de coerência, verificação de viabilidade e filtragem de trivialidade para garantir que cada configuração seja solucionável e não trivial antes da avaliação.

4. Framework de Agregação Hierárquica

Para abordar falhas metodológicas, os autores desenvolvem um framework estatístico rigoroso para calcular intervalos de confiança (ICs):

• Estimador de Nível Base: Eles substituem o intervalo de Wald padrão pelo intervalo de pontuação de Wilson, que fornece cobertura quase nominal mesmo para tamanhos de amostra pequenos ($R$) e taxas de sucesso extremas (0 ou 1).
• Bootstrap Hierárquico: Reconhecendo que os dados de CUA possuem uma estrutura aninhada (Suites $\to$ Apps $\to$ Cenários $\to$ Configurações $\to$ Execuções), eles propõem um bootstrap hierárquico que reamostra em cada nível ativo. Isso contabiliza corretamente a variância decorrente da dificuldade do cenário e efeitos de configuração, que métodos de agregação ingênua ignoram.

Resultados Principais

1. Falha de Benchmarks Estáticos

Em benchmarks estáticos proeminentes (OSWorld, MobileWorld), o agente de replay cego alcançou taxas de sucesso iguais ou superiores às dos modelos de ponta (por exemplo, 71,1% vs. 70,6% no OSWorld). Em contraste, no DigiWorld, o agente de replay colapsou para uma taxa de sucesso de 6,90%, confirmando que a variabilidade multifatorial do DigiWorld rompe com sucesso a equivalência de replay e força os agentes a dependerem do raciocínio visual.

2. Validade Estatística

• Cobertura: Simulações calibradas nos dados do DigiWorld mostram que o intervalo de Wald subestima severamente a cobertura (25% de cobertura em $R=3$) devido a intervalos de largura zero degenerados em probabilidades extremas. O intervalo de Wilson mantém cobertura quase nominal (95%) em todos os $R$.
• Agregação: Um bootstrap que reamostra apenas execuções alcança apenas 17% de cobertura no nível de suites. Adicionar reamostragem no eixo de configuração eleva isso para 56%. Apenas o bootstrap hierárquico completo (reamostrando cenários, configurações e execuções) alcança a cobertura nominal de 95%.
• Risco de Implantação: O uso de intervalos de Wald leva a classificações excessivamente confiantes, resultando em um arrependimento esperado de 9,8% ao selecionar modelos para implantação. O bootstrap hierárquico reduz isso para 6,0% ao sinalizar corretamente classificações incertas.

3. Desempenho do Modelo no DigiWorld

Avaliados no DigiWorld usando o framework proposto, modelos de ponta (Claude Opus 4.6, GPT-5.4, Gemini 3 Pro) mostraram perfis de desempenho distintos. Claude e Gemini alcançaram pontuações semelhantes com intervalos de confiança sobrepostos, enquanto o GPT lutou significativamente. O framework revelou que a variância no nível do aplicativo domina o orçamento de incerteza, e a instabilidade de desempenho varia entre eixos ambientais (Instância, Perfil de Dados, Tema, Estado da UI), sem nenhum eixo único dominando uniformemente.

Significado e Alegações

O artigo alega que o design principiado de ambientes e a metodologia de avaliação rigorosa não são refinamentos opcionais, mas pré-requisitos para uma pesquisa significativa de CUA.

• Diagnóstico: Estabelece um vínculo formal entre ambientes estáticos e o uso indevido de pass@k, mostrando que benchmarks atuais frequentemente medem memorização em vez de capacidade.
• Solução: Fornece uma solução concreta e instanciada (PRISM e DigiWorld) que previne exploração via memorização e garante validade ecológica.
• Metodologia: Oferece um framework de agregação estatisticamente sólido que modela corretamente a estrutura aninhada de benchmarks interativos, prevenindo as classificações pouco confiáveis de agentes que afligem a literatura atual.
• Impacto: Os autores argumentam que seu trabalho redireciona o esforço de otimizações específicas de benchmark para uma compreensão genuína das capacidades dos agentes, fornecendo um modelo de diagnóstico para entender por que os agentes falham, não apenas com que frequência.

O artigo conclui que, sem esses princípios, a avaliação de CUA permanece na "borda do precipício estatístico", onde estimativas pontuais são pouco confiáveis e classificações são artefatos de design falho, em vez de desempenho real.