Resumo Técnico: Aprendizado por Reforço para Agentes de Uso de Computador com Avaliação Autônoma

Declaração do Problema

Agentes de Uso de Computador (CUAs) são projetados para operar autonomamente interfaces gráficas de usuário (GUIs) baseadas em instruções de linguagem natural. Embora arquiteturas recentes tenham mostrado promessa na generalização entre aplicações e sistemas operacionais, elas permanecem pouco confiáveis em ambientes não restritos do mundo real. Agentes de última geração alcançam taxas de sucesso de apenas ~60% no benchmark OSWorld e ~40% no macOSWorld.

Um gargalo primário que impede o ajuste fino (fine-tuning) eficaz por Aprendizado por Reforço (RL) para CUAs é a ausência de sinais de recompensa escaláveis e legíveis por máquina. Diferente de simuladores de robótica ou ambientes de jogos onde os critérios de sucesso são explícitos, os objetivos de tarefas de desktop são frequentemente implícitos, visualmente fundamentados e não estruturados. Soluções existentes dependem de heurísticas frágeis e específicas para cada tarefa (ex: verificações de DOM) ou de anotações manuais dispendiosas, nenhum dos quais escala através de diversas aplicações e sistemas operacionais. Além disso, embora os Modelos de Visão-Linguagem (VLMs) ofereçam uma potencial avaliação autônoma, seus outputs são imperfeitos, contendo falsos positivos e falsos negativos. O uso ingênuo desses outputs ruidosos como sinais de recompensa introduz viés e desestabiliza a otimização da política.

Metodologia

Os autores propõem um framework principista para integrar avaliadores baseados em VLM autônomos no loop de RL para CUAs. A inovação central é tratar o avaliador não como uma fonte de verdade absoluta (ground truth), mas como um canal de recompensa binária ruidosa, derivando um estimador de recompensa estatisticamente fundamentado e corrigido de ruído.

1. Configuração de Avaliação Autônoma

• Avaliador: Um Modelo de Visão-Linguagem (Qwen2-VL-7B) é utilizado em um cenário zero-shot. Ele recebe o screenshot final da GUI e a instrução original em linguagem natural, gerando um sinal binário $\tilde{r}_i \in \{0, 1\}$ indicando a conclusão da tarefa.
• Caracterização de Ruído: As imperfeições do avaliador são modeladas via taxas de erro condicionais:
  • $e_+$: Taxa de Falso Negativo ($P(\tilde{r}=0 | r^*=1)$).
  • $e_-$: Taxa de Falso Positivo ($P(\tilde{r}=1 | r^*=0)$).
• Separabilidade: O framework assume uma constante de separabilidade $D = 1 - e_+ - e_- > 0$, garantindo que o avaliador forneça feedback informativo além do acaso.

2. Estimador de Recompensa Corrigido de Ruído

Como a verdadeira recompensa $r^*$ não é observada, os autores derivam um estimador $\hat{r}$ que é assintoticamente não viesado.

• Derivação Teórica: Baseado na relação $E[\tilde{r} | r^*] = e_- + D \cdot r^*$, a verdadeira recompensa é estimada como:
  $$\hat{r} = \frac{\tilde{r} - e_-}{D}$$
• Implementação Prática: Na prática, as taxas de erro são desconhecidas. Os autores estimam $\hat{e}_+$ e $\hat{e}_-$ a partir de um conjunto de dados de calibração mantido fora do conjunto principal (disjunto do conjunto de treinamento). O estimador de substituição (plug-in) é:
  $$\hat{r}^\sharp = \frac{\tilde{r} - \hat{e}_-}{\hat{D}}$$
  onde $\hat{D} = 1 - \hat{e}_+ - \hat{e}_-$. Este estimador corrige o viés introduzido pelos falsos positivos e falsos negativos do avaliador.

3. Otimização de Política

O framework utiliza Otimização de Política Próxima (PPO).

• Estrutura de Recompensa: As recompensas são exclusivamente terminais, definidas ao final do episódio ($T$).
• Objetivo: O agente maximiza o retorno esperado $J(\theta) = E[\gamma^T \hat{r}_i]$, onde $\hat{r}_i$ é a recompensa corrigida de ruído.
• Estimativa de Vantagem: A recompensa corrigida terminal é propagada retroativamente através da trajetória para calcular as estimativas de vantagem, permitindo atualizações de política estáveis apesar do ruído no sinal de feedback.

4. Configuração Experimental

• Datasets: Foi criado um dataset sintético de 7.560 tarefas em 42 aplicações no macOS, Windows e Linux. Adicionalmente, descrições de tarefas do OmniAct, GUI-World e GUIDE foram incorporadas.
• Benchmarks: A avaliação foi conduzida no macOSWorld, Windows Agent Arena e OSWorld.
• Baselines: O estudo compara baselines zero-shot contra o ajuste fino via PPO utilizando:
  1. Recompensas brutas do avaliador ($\tilde{r}$).
  2. Estimador de recompensa corrigido ($\hat{r}$).
  3. Modelos unificados (cross-OS) vs. parametrização por OS.

Principais Resultados

Experimentos demonstram que modelar e corrigir explicitamente o ruído do avaliador melhora significativamente o desempenho do agente comparado ao uso de sinais brutos do avaliador.

• Ganhos de Desempenho: O estimador de recompensa corrigido de ruído, combinado com o ajuste fino por OS, alcançou as maiores taxas de sucesso em todos os benchmarks:
  • macOSWorld: Melhorou de 0.084 (zero-shot) para 0.203.
  • Windows Agent Arena: Melhorou de 0.331 para 0.442.
  • OSWorld: Melhorou de 0.283 para 0.432.
• Comparação com Recompensas Brutas: O uso de recompensas brutas do avaliador gerou melhorias moderadas, mas foi consistentemente superado pelo estimador corrigido. Em alguns casos (ex: OSWorld com modelos unificados), as recompensas brutas levaram à degradação do desempenho em relação ao baseline zero-shot, destacando o viés introduzido pelo ruído não corrigido.
• Generalização: Modelos por OS ajustados com recompensas corrigidas demonstraram superioridade na generalização em comparação aos modelos unificados cross-OS, sugerindo que convenções de interface específicas de cada OS são críticas para um aprendizado robusto.
• Magnitude de Melhoria: A abordagem corrigida melhorou as taxas de sucesso em uma média de 12,6 pontos percentuais sobre o desempenho zero-shot e 5,1 pontos percentuais sobre o ajuste fino com recompensas brutas do avaliador.

Significância e Alegações

O artigo afirma que a avaliação autônoma pode servir como um sinal de recompensa prático e escalável para RL em ambientes de GUI, desde que o ruído inerente do avaliador seja explicitamente modelado e corrigido.

• Escalabilidade: O framework elimina a necessidade de rótulos de sucesso manuais ou heurísticas específicas de tarefas, permitindo o ajuste fino de RL em grandes volumes de dados de interação através de diversos sistemas operacionais.
• Robustez: Ao derivar um estimador de recompensa assintoticamente não viesado, o método estabiliza a otimização da política na presença de feedback imperfeito, abordando um gargalo central no desenvolvimento de CUAs.
• Praticidade: O mecanismo de correção é um "substituto direto" (drop-in replacement) para recompensas brutas em métodos padrão de gradiente de política como o PPO, não exigindo mudanças fundamentais no algoritmo de RL em si.

Os autores concluem que, embora desafios persistam em relação a taxas de erro não estacionárias e recompensas esparsas, esta abordagem representa um passo significativo em direção a pipelines de RL práticos para agentes de desktop gerais que aprendem através da interação sem supervisão humana.