Resumo Técnico: WebRider

Definição do Problema

Os atuais agentes de web em tempo real são avaliados primariamente com base em se alcançam uma resposta final correta. No entanto, essa métrica falha em capturar a fidelidade de delegação: o grau em que um agente adere à política específica (restrições, etapas de verificação, tratamento de incerteza e critérios de parada) definida pelo usuário. Uma resposta final plausível pode mascarar violações significativas de política, como ignorar políticas de devolução, desviar para locais incorretos ou falhar ao verificar a reputação do vendedor.

O artigo identifica uma lacuna crítica: controladores fortes podem encerrar tarefas em taxas elevadas (ex: 99,2%), enquanto honram todas as restrições de política em apenas uma minoria dos casos (ex: 38,8%). O desafio científico central é como um agente de navegação pode preservar uma política local da tarefa através de cada etapa visível conforme o estado da página web muda, sem confundir a realização da ação com decisões de suficiência de alto nível.

Metodologia: Arquitetura WebRider

O WebRider aborda isso formalizando a política delegada como um Contrato de Intenção e aplicando-a através de uma arquitetura hierárquica rigorosa.

1. O Contrato de Intenção

O contrato é um registro operacional que encapsula:

• Objetivo ($g$): O objetivo da tarefa.
• Restrições Rígidas ($H$): Limites não negociáveis (ex: orçamento, localização).
• Preferências Suaves ($S$): Prioridades do usuário (ex: "priorizar confiança" vs. "buscador de ofertas").
• Obrigações de Evidência ($E$): Pontos de dados necessários a serem coletados.
• Condições de Bloqueio ($B_{mat}$): Situações que exigem esclarecimento ou interrupção.
• Esquema de Resposta ($A$): O formato requerido para a saída final.
• Persona/Política de Controle ($p$): Regras que regem a amplitude de busca, profundidade de verificação e estilo de interação.

O contrato permanece estável, a menos que o usuário esclareça explicitamente o pedido, garantindo que as obrigações sejam conhecidas antes da interação e auditáveis depois.

2. Controlador Hierárquico

O sistema desacopla decisões de suficiência de longo horizonte da seleção de ações locais da página por meio de três camadas:

• Camada Superior (Controlador): Mantém o estado do contrato. Ele decide estratégias de alto nível: se deve navegar, perguntar, parar, bloquear ou responder. Ele rastreia a suficiência da evidência e a finalização da tarefa, mas não gera cliques específicos.
• Camada Intermediária (Gerador de Ação Guardada): Mapeia o estado atual (contrato, observação, histórico) para uma única ação AST JSON atômica e guardada (ex: Clicar, Digitar, Rolar, Pesquisar).
  • Guards (Guardas): Um compilador determinístico e um conjunto de auxiliares impõem a gramática, rejeitam alvos malformados, detectam estados bloqueados e anexam ações de recuperação.
  • Restrição: Esta camada é proibida de decidir sobre a suficiência da evidência ou prontidão da resposta final; ela apenas realiza a intenção atual.
• Camada de Execução: Executa as ações na web ao vivo (navegador, busca, mapas) e retorna observações (capturas de tela, rótulos de elementos). Não possui capacidades de raciocínio.

Essa estrutura garante que o "porquê" (adesão à política) seja separado do "como" (execução da ação), tornando o caminho de navegação um objeto de primeira classe e auditável.

Benchmark: RiderBench

Para avaliar esta abordagem, os autores construíram o RiderBench, um conjunto de dados de 4.096 contratos de web ao vivo em 42 sites públicos e 12 domínios.

• Construção: 768 tarefas base auditadas foram pareadas com 15 políticas de persona distintas para criar cenários contrafatuais onde o pedido é idêntico, mas a rota necessária difere.
• Métricas:
  • Sucesso com Gatilho de Contrato (CGS - Contract-Gated Success): Uma conjunção lógica de cinco gatilhos: conclusão terminal, satisfação de restrições rígidas, suficiência de evidência, qualidade de resposta utilizável e ausência de bloqueadores não resolvidos.
  • Pontuação de Consistência de Persona (PCS - Persona-Consistency Score): Avaliação humana de se cada etapa visível preserva a política da persona.
  • Preferência de Conforto Humano (HCP - Human-Comfort Preference): Avaliadores humanos escolhem qual execução eles confiariam para delegar a tarefa.

Resultados Principais

A avaliação utilizou um controlador forte (Full-Pro) e comparou-o com versões abladas e uma camada intermediária aprendida (MidSFT-8B).

1. O Gap de Fidelidade: O controlador Full-Pro encerrou 99,2% dos contratos, mas satisfez todos os gatilhos do contrato (CGS) em apenas 38,8% dos casos. Isso confirma que altas taxas de terminação não implicam fidelidade à política.
2. Aceitabilidade Humana: Em um estudo pareado com humanos, a abordagem IntentCore (vinculando persona e intenção a um estado persistente e ação guardada) alcançou 86% de PCS comparado a 70% para o professor/controlador total, resultando em uma vantagem líquida de HCP de +42,5%. Notavelmente, PCS e CGS são correlacionados, mas distintos ($\rho \approx 0,55$), indicando que satisfazer os gatilhos finais não garante aceitabilidade etapa a etapa.
3. Valor da Estrutura: Adicionar um estado superior persistente e ações guardadas (IntentCore) melhorou o CGS em +5,6 pontos percentuais sobre um controlador baseado apenas em prompts com o mesmo texto de persona/intenção. Isso sugere que a própria estrutura hierárquica agrega valor além do conteúdo de informação.
4. Aprendizado da Camada Intermediária: Um modelo de política de ação de 8B (MidSFT-8B) treinado na interface intermediária guardada alcançou 50,8% de CGS e 78,1% de cobertura de evidência sob uma camada superior fixa. Isso superou significativamente as linhas de base de execução pura (32,9% CGS), demonstrando que a interface guardada fornece um alvo de alta qualidade e aprendível para a realização de ações sem a necessidade de retreinar todo o controlador.

Significância e Alegações

O artigo alega três insights principais:

1. O Caminho Importa: Altas taxas de terminação podem coexistir com baixa fidelidade de contrato; a rota percorrida é tão crítica quanto a resposta final.
2. O Julgamento Humano Diverge: Os gatilhos finais não capturam totalmente a aceitabilidade etapa a etapa; avaliadores humanos rejeitam trajetórias que satisfazem a resposta final, mas violam restrições de política intermediárias.
3. Interfaces Treináveis: Traços de ação guardados fornecem uma interface de ação reutilizável e aprendível. Ao desacoplar a realização da ação da decisão de finalização, torna-se possível treinar modelos de política que sejam auditáveis e passíveis de julgamento humano sem confundir a seleção de ação com a suficiência de evidência.

O WebRider não pretende resolver memória privada ou inferência de contrato de longo prazo, nem resolver CAPTCHAs ou bloqueios de política de acesso. Em vez disso, ele fornece um framework controlado para tornar a fidelidade de delegação ausente observável e para testar, auditar e aprender as rotas específicas que produzem respostas.