WebExpert: domain-aware web agents with critic-guided expert experience for high-precision search

O artigo apresenta o WebExpert, um agente web orientado a domínios que utiliza recuperação de experiência, indução de facetas leve e planejamento otimizado por preferências para superar desafios em tarefas especializadas de finanças e biomedicina, alcançando ganhos significativos de precisão em benchmarks como GAIA e GPQA.

O essencial

Imagine que você precisa encontrar uma resposta muito específica e difícil na internet, como "Qual é a melhor estratégia de investimento para uma empresa de biotecnologia no Brasil em 2024?".

Se você usar um buscador comum (como o Google padrão ou um assistente de IA genérico), ele pode se perder. Ele pode ler artigos antigos, focar em regras de outros países ou sugerir coisas que não fazem sentido para o seu contexto específico. É como tentar achar uma agulha em um palheiro, mas o palheiro tem milhões de palhas iguais e você não sabe qual é a agulha certa.

O WebExpert, descrito neste artigo, é como dar a esse buscador um consultor especialista que o acompanha passo a passo.

Aqui está como funciona, usando analogias do dia a dia:

1. O Problema: O "Turista Perdido" vs. O "Mestre Local"

Os agentes de busca comuns são como turistas que chegam em uma cidade nova sem mapa. Eles perguntam coisas genéricas ("Como investir?"), leem tudo o que veem e muitas vezes se perdem em informações irrelevantes.

O WebExpert é como um mestre local que já viveu lá. Antes mesmo de começar a procurar, ele já sabe:

• Que regras existem na região (Política).
• Que época do ano é melhor (Tempo).
• Que setor específico você está falando (Indústria).

2. Como o WebExpert "Aprende" (A Biblioteca de Experiências)

Antes de funcionar, os criadores do WebExpert não apenas jogaram dados na máquina. Eles criaram uma "Biblioteca de Experiências".

• Coleta de Histórias: Eles pegaram milhares de perguntas e respostas de especialistas (finanças, medicina, etc.).
• A "Filtro de Sabedoria": Em vez de guardar tudo bagunçado, eles usaram um "crítico" (uma IA inteligente) para ler essas histórias e extrair apenas a essência.
  • Analogia: Imagine que você tem 1.000 receitas de bolo. O crítico não guarda as 1.000 receitas. Ele lê todas e escreve um único cartão que diz: "Para um bolo perfeito, use farinha peneirada e não abra o forno antes de 30 minutos".
• Regras Práticas: Essas essências viraram "regras de ouro" organizadas por tópicos (ex: "Regras para Finanças no Brasil", "Regras para Medicina em 2024").

3. Como Ele Funciona na Prática (O Processo de 3 Passos)

Quando você faz uma pergunta, o WebExpert faz três coisas mágicas:

1. O "Gatilho de Memória" (Recuperação):
   Antes de pesquisar na internet, ele olha para a sua pergunta e pergunta à sua "Biblioteca de Experiências": "Ei, já vi algo parecido? O que os especialistas dizem sobre isso?".

   • Se a pergunta é sobre "crédito bancário", ele puxa a regra: "Lembre-se de checar a legislação local e a sazonalidade".
   • Isso evita que ele comece a pesquisar coisas erradas.

2. O "Plano de Aventura" (Planejamento):
   Com essa dica em mente, ele cria um plano de busca muito mais inteligente. Em vez de digitar apenas "crédito", ele digita: "Regras de crédito bancário para pequenas empresas no Brasil em 2024".

   • Analogia: É a diferença entre entrar em uma loja de departamentos e gritar "Quero algo útil!" (busca genérica) e entrar na seção de ferramentas e pedir "Uma chave de fenda Philips 5mm" (busca precisa).

3. A "Busca Profunda" (Navegação):
   Ele vai até a internet, lê os sites e, se encontrar algo que contradiz a regra do especialista, ele sabe que deve continuar procurando. Ele não se contenta com a primeira resposta que vê; ele confirma se faz sentido com o que ele já sabe.

4. O Resultado: Menos Erros, Mais Precisão

Os testes mostraram que o WebExpert é muito melhor que os buscadores comuns:

• Menos "Pulos" (Hops): Ele não precisa clicar em 10 páginas diferentes para achar a resposta. Ele vai direto ao ponto.
• Mais Precisão: Ele erra menos porque não ignora os detalhes importantes (como a região ou a data).
• Confiança: Se ele não tiver certeza de qual regra usar, ele volta a ser um buscador comum para não se enganar (um "plano B" seguro).

Resumo em uma Frase

O WebExpert é como transformar um buscador de internet de um "turista desajeitado" em um "detetive especialista", que antes de investigar, consulta um manual de casos reais para saber exatamente onde olhar e o que procurar, economizando tempo e evitando erros bobos.

O código e a pesquisa estão disponíveis publicamente, mostrando que é possível ensinar máquinas a pensar como especialistas humanos, não apenas a ler textos.

Resumo técnico

Resumo Técnico: WebExpert

1. Problema

As tarefas de navegação na web em domínios especializados (como finanças, biomedicina e farmacêutica) continuam sendo um desafio significativo para agentes de IA. Os agentes genéricos falham nesses cenários devido à falta de priors de domínio (conhecimento prévio especializado), resultando em:

• Desvio de consultas (Query Drift): Formulação de perguntas que não capturam nuances críticas do domínio.
• Ruído na evidência: Navegação para páginas irrelevantes e falha na identificação de informações cruciais.
• Fragilidade no raciocínio: Incapacidade de considerar fatores contextuais como sazonalidade, regulamentações regionais e granularidade específica do setor.

A maioria das abordagens atuais (como RAG genérico ou agentes de busca padrão) depende de léxicos estáticos ou não consegue integrar conhecimento de especialistas de forma estruturada durante o processo de busca.

2. Metodologia

O WebExpert é um agente web consciente de domínio que integra um módulo de "Experiência de Especialista" antes da navegação profunda. A arquitetura segue um pipeline de três etapas:

A. Extração de Experiência Guiada por Crítico (Offline)
O sistema constrói uma base de conhecimento a partir de pares de Pergunta-Resposta (QA) e materiais de especialistas, utilizando uma cadeia de extração:

1. Agregação e Clustering: Agrupa pares de QA semanticamente similares usando clustering multi-visão (HDBSCAN/BERTopic) para identificar intenções sobrepostas.
2. Resumo Consciente de Contradições: Utiliza um modelo de raciocínio (DeepSeek-R1) para sintetizar regras concisas a partir das evidências agregadas. Este passo inclui verificação de consistência para filtrar contradições e destacar casos de borda.
3. Indução de Facetas (Schema-Light): Em vez de usar léxicos manuais, o sistema induz automaticamente vocabulários de facetas (tempo, região, política, indústria) a partir de estatísticas de corpus e supervisionamento fraco.
4. Armazenamento Versado: As regras são armazenadas como experiências reutilizáveis em nível de sentença, com metadados de confiança e proveniência.

B. Inferência e Planejamento
Durante a execução, o WebExpert opera em três passos:

1. Recuperação de Experiência: Recupera as $k$ melhores regras de experiência relevantes para a pergunta do usuário.
2. Geração de Consulta Ancorada no Domínio: Um "portão de experiência" (experience gate) condiciona a geração da consulta. Se a confiança na recuperação for alta, o modelo é enviesado para ativar facetas específicas (ex: "ano fiscal 2023", "regulamentação da FDA"). Se a confiança for baixa, há um fallback para geração de consulta genérica para evitar restrições excessivas.
3. Navegação Profunda: O agente executa a busca e navegação guiada pelas consultas refinadas, intercalando recuperação e raciocínio.

C. Otimização e Treinamento (SFT)
O modelo base (QwQ-32B) é ajustado com Supervisão Fina (SFT) e otimização de preferência:

• Objetivo de Planejamento: Penaliza tokens que não ativam indicadores de facetas relevantes e recompensa o alinhamento com as regras recuperadas.
• Otimização de Recuperação: Utiliza aprendizado de preferência contrastiva (pairwise) para melhorar a precisão na seleção de experiências relevantes.
• Objetivo de Cobertura: Garante que as consultas geradas cubram múltiplas facetas necessárias para a resposta.

3. Contribuições Principais

1. Cadeia de Extração Guiada por Crítico: Um método inovador para converter dados anotados e materiais de especialistas em regras reutilizáveis em nível de sentença, generalizáveis dentro de um domínio.
2. Pipeline Prático de Extração: Integração de técnicas de embedding denso, clustering (UMAP, HDBSCAN) e destilação de regras para criar uma base de conhecimento dinâmica.
3. Indução de Facetas sem Esquema Fixo (Schema-Light): Capacidade de induzir automaticamente vocabulários de domínio (tempo, região, política) a partir de dados fracos, reduzindo a dependência de anotação manual.
4. Planejamento Condicionado à Experiência: Uma abordagem de SFT e otimização de preferência que melhora a precisão além dos métodos RAG genéricos, focando na qualidade da consulta e na cobertura de evidências.
5. Desempenho Superior: Resultados consistentes em benchmarks de alto nível, demonstrando ganhos de precisão e eficiência.

4. Resultados Experimentais

O WebExpert foi avaliado em conjuntos de dados desafiadores: GAIA, GPQA, HLE e WebWalkerQA.

• Precisão (Exact Match - EM): O WebExpert superou as melhores linhas de base de navegação (como Search-o1 e WebThinker) em 1,5 a 3,6 pontos percentuais (pp) de EM.
  • Exemplo no GAIA: Aumentou de 44,7% (WebThinker) para 47,7% (WebExpert+SFT).
  • Exemplo no GPQA: Aumentou de 68,7% para 71,9%.
• Eficiência: Redução significativa no número de "pulos de página" (page hops), caindo de 8,1 para 5,2 em média, indicando uma busca mais direta e menos desperdício de recursos.
• Qualidade da Consulta: A precisão da consulta (QP@3) aumentou de 49,3% para 61,8%, mostrando que as consultas geradas recuperam evidências mais relevantes.
• Estudos de Ablação:
  • A remoção do ajuste fino (SFT) reduziu o EM de 47,7% para 46,2%.
  • A remoção do topic merging (fusão de tópicos) causou uma queda maior (para 44,1%), destacando a importância da consolidação de regras.
  • O uso de top-k=5 experiências mostrou um melhor equilíbrio entre precisão e cobertura do que top-k=1.

5. Significado e Impacto

O trabalho do WebExpert representa um avanço significativo na aplicação de agentes de IA em cenários profissionais críticos. Ao demonstrar que a integração de experiência de especialista estruturada (em vez de apenas busca bruta) pode guiar a geração de consultas e o raciocínio, o artigo oferece um caminho para superar as limitações de alucinação e desvio de contexto em domínios especializados.

A abordagem "schema-light" é particularmente valiosa, pois permite a adaptação rápida a novos domínios sem a necessidade de engenharia de léxicos manuais extensivos. Os resultados sugerem que a combinação de recuperação de experiência, indução de facetas e otimização de preferência é fundamental para a próxima geração de agentes de pesquisa autônomos de alta precisão.