Resumo Técnico: Aprendizado de Comportamento Correto a partir de Exemplos para Agentes Autônomos

Declaração do Problema

À medida que agentes autônomos (por exemplo, agentes de uso de computador, agentes de codificação) tornam-se mais sofisticados, validar seu comportamento sequencial apresenta um desafio significativo devido ao não determinismo. Diferentemente do software tradicional, sistemas autônomos raramente seguem a mesma sequência exata de estados e ações entre execuções. Variações surgem de diferenças de temporização, fatores ambientais e caminhos alternativos legítimos (por exemplo, uma tela de carregamento aparecendo ou desaparecendo, ou diferentes caminhos de interface de usuário alcançando o mesmo objetivo).

Abordagens de validação existentes sofrem limitações críticas neste contexto:

• Testes baseados em asserções: Requerem especificação manual para cada verificação, perdem problemas de estado visual e não conseguem lidar com caminhos alternativos.
• Gravação e reprodução: Frágeis; falham em diferenças mínimas de renderização ou variações de temporização.
• Testes de regressão visual: Comparam capturas de tela isoladamente sem compreender o fluxo de execução ou o significado semântico.
• Oráculos de aprendizado de máquina: Requerem milhares de exemplos de treinamento e carecem de explicabilidade.

O problema central é distinguir entre variações aceitáveis (estados não essenciais) e falhas reais (estados essenciais pulados) sem especificação manual.

Metodologia

O artigo propõe um algoritmo inovador que aprende automaticamente um modelo de verdade fundamental generalizado a partir de um pequeno número de traços de execução bem-sucedidos (2–10) e valida novas execuções contra este modelo. A abordagem consiste em três fases:

Fase 1: Captura e Construção de Árvore de Prefixos

O sistema coleta traços de execução de execuções conhecidas como corretas. Cada traço inclui observações sequenciais de estado (por exemplo, capturas de tela para agentes de interface de usuário) e ações (por exemplo, cliques, pressionamentos de teclas). Esses traços são convertidos em Aceptadores de Árvore de Prefixos (PTAs), grafos direcionados onde os nós representam estados observáveis e as arestas representam ações.

Fase 2: Mesclagem e Generalização

Esta fase mescla múltiplos PTAs para lidar com o não determinismo e identificar estados essenciais versus opcionais.

1. Detecção de Equivalência de Estado Multinível: Para determinar se diferentes capturas de tela representam o mesmo estado lógico, o sistema utiliza uma abordagem de três níveis:
   • Nível 1 (Métricas Visuais): Utiliza hashing perceptual, Índice de Similaridade Estrutural (SSIM) e razões de mudança de pixels.
   • Nível 2 (Análise Semântica): Se as métricas visuais forem ambíguas, um Modelo de Linguagem Grande (LLM) multimodal realiza comparação lado a lado para distinguir entre diferenças semanticamente significativas (por exemplo, erros de formulário) e irrelevantes (por exemplo, decorações de janela, carimbos de data e hora).
   • Nível 3 (Mesclagem Inteligente): Constrói um grafo unificado capturando ramificações para caminhos alternativos (por exemplo, com/sans telas de carregamento) e pontos de convergência.
2. Extração de Dominadores: Utilizando análise de dominadores da teoria de compiladores, o sistema identifica estados que "dominam" outros (ou seja, todo caminho do estado inicial até um estado específico deve passar pelo dominador). Ao traçar para trás dos estados terminais até o estado inicial, o sistema extrai uma árvore de dominadores contendo apenas estados essenciais (por exemplo, "Janela Principal", "Diálogo de Pesquisa"), filtrando variações opcionais (por exemplo, "Tela de Carregamento").

Fase 3: Validação via Correspondência de Subsequência Topológica

Quando um novo traço de teste chega, o sistema verifica se sua sequência de estados contém uma subsequência topológica correspondente a um caminho na árvore de dominadores aprendida.

• Lógica de Correspondência: Se os estados de referência são $A \to B \to C \to D$ e o traço de teste é $A \to X \to B \to Y \to C \to D$, é uma CORRESPONDÊNCIA porque os estados essenciais aparecem na ordem correta, com $X$ e $Y$ tratados como extras permitidos.
• Métricas: O sistema calcula a cobertura ($\frac{\text{estados correspondidos}}{\text{total de estados de referência}}$) e verifica se o estado terminal corresponde.
• Saída: Os resultados são APROVADO ou REPROVADO, acompanhados de métricas explicáveis (porcentagem de cobertura, estados faltantes) em vez de classificações de caixa preta.

Contribuições Principais

1. Algoritmo de Três Fases: Uma integração inovadora de Aceptadores de Árvore de Prefixos e análise de dominadores para identificar automaticamente estados essenciais versus opcionais a partir de 2–10 traços de exemplo.
2. Detecção de Equivalência Multinível: Um sistema híbrido combinando métricas visuais com análise semântica de LLM multimodal para lidar robustamente com comportamento não determinístico e distinguir equivalência funcional de ruído visual.
3. Correspondência de Subsequência Topológica: Um mecanismo de validação que verifica a correção da execução enquanto tolera variações aceitáveis, fornecendo métricas de cobertura explicáveis.

Resultados Experimentais

Os autores conduziram um estudo de caso controlado usando um cenário sintético de detecção de bugs em extensões do VS Code com 28 execuções de agente (3 para treinamento, 25 para teste).

• Precisão: O sistema alcançou 100% de precisão na detecção de bugs do produto (11/11), problemas do agente (3/3), falsos sucessos (1/1) e bugs perdidos (1/1).
• Comparação: Comparado a uma linha de base onde o Agente de Uso de Computador (CUA) reporta automaticamente sucesso/fracasso, a abordagem proposta superou significativamente a linha de base:
  • Precisão: 100% vs. 82,2% (+17,8pp).
  • Revocação (Recall): 100% vs. 60,0% (+40,0pp).
  • Pontuação F1: 100% vs. 69,8% (+30,2pp).
• Análise de Causa Raiz: O sistema demonstrou a capacidade de distinguir entre "erros de execução do agente" e "bugs do produto", alcançando uma pontuação F1 de 52,2% na identificação de cenários "não é um bug" (onde o agente tropeçou, mas o produto estava bem), enquanto a linha de base CUA falhou em identificar esses cenários completamente (0% de pontuação F1).

Significado e Alegações

O artigo afirma que a validação comportamental confiável para agentes autônomos não requer corpora massivos de treinamento, especificações exatas frágeis ou asserções manuais. Ao aprender a partir de apenas alguns traços bem-sucedidos, o sistema:

• Reduz o Custo de Configuração: Elimina a necessidade de centenas ou milhares de exemplos de treinamento exigidos por oráculos baseados em ML.
• Fornece Explicabilidade: Gera árvores de dominadores interpretáveis e métricas de cobertura precisas, ao contrário de classificadores de ML de caixa preta.
• Lida com Não Determinismo: Tolerar com sucesso variações aceitáveis (como telas de carregamento) enquanto impõe comportamento estrutural essencial, abordando uma fraqueza chave de ferramentas de gravação e reprodução e regressão visual.
• Ampla Aplicabilidade: Embora demonstrado em testes de interface de usuário, os autores afirmam que a abordagem é aplicável a agentes de codificação (validando padrões de desenvolvimento), automação de processos robóticos (pontos de verificação de conformidade) e aprendizado por reforço (filtragem de dados de treinamento).

Os autores reconhecem limitações, incluindo a dependência de representação de estado visual (menos eficaz para serviços de back-end), a necessidade de traços bem-sucedidos (não pode aprender apenas com falhas) e a dependência de LLMs para equivalência semântica. No entanto, eles postulam que esta abordagem oferece um mecanismo prático, de poucos exemplos e interpretável para garantir a confiabilidade de agentes autônomos em ambientes de produção complexos.