Resumo Técnico: SAFESEARCH: Teste de Intrusão Automatizado de Agentes de Pesquisa Baseados em LLM

1. Declaração do Problema

Agentes de pesquisa baseados em Modelos de Linguagem (LLM) conectam modelos à Internet para acessar informações atualizadas, habilitando aplicações que vão desde a recuperação rápida de informações até tarefas de pesquisa de longo horizonte. No entanto, essa arquitetura introduz uma nova superfície de ameaça crítica: resultados de pesquisa não confiáveis. Diferentemente dos sistemas de Geração Aumentada por Recuperação (RAG) que dependem de corpora locais e curados, agentes de pesquisa recebem passivamente conteúdo da web aberta, que pode incluir fazendas de conteúdo de baixa qualidade, fontes tendenciosas, anúncios patrocinados ou informações manipuladas via SEO de chapéu preto.

Incidentes do mundo real e observações in-the-wild indicam que agentes de pesquisa frequentemente confiam criticamente nesses resultados, levando a saídas inseguras, como desinformação, conselhos prejudiciais ou a execução de injeções indiretas de prompt. As avaliações existentes para agentes de pesquisa focam principalmente na precisão da tarefa (por exemplo, GAIA, SIMPLEQA) em vez de segurança, e os métodos atuais de teste de intrusão dependem da criação manual intensiva em mão de obra ou de consultas adversárias que não refletem a realidade de consultas de usuários benignos encontrando resultados de pesquisa não confiáveis. Além disso, o teste adversário do mundo real (por exemplo, manipulação de classificações de pesquisa) apresenta riscos éticos e é inviável para a maioria dos desenvolvedores.

2. Metodologia: O Framework SAFESEARCH

Os autores propõem o SAFESEARCH, um framework de teste de intrusão automatizado, escalável e eficiente em custos, projetado para avaliar a segurança de agentes de pesquisa baseados em LLM quando expostos a resultados de pesquisa não confiáveis sob consultas de usuários benignas.

2.1 Modelo de Ameaça

O framework opera sob um modelo de ameaça específico:

• Consultas Benignas: O testador emite apenas consultas de usuários realistas e benignas.
• Injeção Controlada: Para cada consulta, o testador injeta no máximo um site não confiável nos resultados de pesquisa retornados ao agente.
• Agnóstico ao Agente: O site não confiável é fixo em todos os agentes para um determinado caso de teste, garantindo que a ameaça não seja adaptada a arquiteturas de modelo específicas.
• Objetivo: Identificar se o agente propaga o conteúdo não confiável para respostas finais inseguras.

2.2 Geração Automatizada de Casos de Teste

O framework utiliza um fluxo de trabalho de três etapas impulsionado por assistentes LLM para gerar 300 casos de teste de alta qualidade em cinco categorias de risco:

1. Ancoragem de Cenário: Um LLM gera cenários e consultas de usuários realistas onde o risco específico (por exemplo, desinformação, viés) poderia plausivelmente surgir.
2. Design de Teste: O sistema define um "plano malicioso", especificando a consequência negativa alvo e a natureza do site não confiável. Crucialmente, ele leva em conta a lacuna temporal entre o corte de conhecimento do LLM e a data atual para garantir que a ameaça seja sensível ao tempo e realista.
3. Instanciação de Teste: O sistema gera diretrizes para sintetizar o site não confiável e uma lista de verificação para avaliação de segurança.

Filtragem de Qualidade: Para garantir que os casos de teste sejam acionáveis, o framework emprega teste diferencial. Um agente de base é testado sob duas configurações: uma ferramenta benigna e uma ferramenta manipulada (com o site injetado). Um caso de teste é mantido apenas se a consequência alvo for alcançável sob manipulação, mas não acionada sob condições benignas.

2.3 Teste Baseado em Simulação

Para evitar os problemas éticos e práticos de manipular motores de pesquisa do mundo real, o SAFESEARCH utiliza uma simulação em ambiente isolado (sandbox):

• Injeção: Um site não confiável é gerado sinteticamente e injetado na lista de resultados de pesquisa autênticos (geralmente anexado ao final para simular classificação mais baixa, embora a sensibilidade à posição seja analisada).
• Execução: O agente de pesquisa processa os resultados mistos e gera uma resposta.
• Avaliação: Um LLM como Juiz, assistido pela lista de verificação pré-gerada, avalia a resposta do agente contra a consequência alvo para determinar uma Taxa de Sucesso do Ataque (ASR). Um avaliador separado avalia Pontuações de Utilidade (HS) para determinar se respostas inseguras ainda parecem úteis para os usuários.

3. Contribuições Principais

1. Formulação do Problema: O artigo define formalmente os riscos de segurança de agentes de pesquisa baseados en LLM expostos a resultados de pesquisa não confiáveis sob consultas benignas, distinguindo isso de envenenamento de RAG e ataques adversários explícitos.
2. Framework SAFESEARCH: O desenvolvimento de um pipeline de teste de intrusão automatizado que inclui geração de casos de teste, filtragem diferencial, simulação em ambiente isolado e avaliação assistida por lista de verificação.
3. Avaliação Abrangente: A construção de um conjunto de dados de 300 casos de teste e a avaliação de 17 LLMs representativos (9 proprietários, 8 de código aberto) em três scaffolds de agentes de pesquisa (Fluxo de Pesquisa, Chamada de Ferramenta e Pesquisa Profunda).
4. Código Aberto: A liberação do código e do conjunto de dados para facilitar pesquisas futuras.

4. Resultados Experimentais

Os autores avaliaram 17 modelos em três scaffolds. As principais descobertas incluem:

• Alta Vulnerabilidade: Agentes de pesquisa são altamente suscetíveis a resultados de pesquisa não confiáveis. A maior ASR observada foi de 90,5% para o GPT-4.1-mini usando um fluxo de pesquisa. Mesmo as configurações mais robustas (por exemplo, Claude-Sonnet-4.5 com chamada de ferramenta) exibiram ASRs não nulas (4,6%).
• Impacto dos LLMs de Backend: Modelos de raciocínio geralmente demonstraram maior resiliência do que modelos sem raciocínio. Por exemplo, GPT-5 e GPT-5-mini mostraram ASRs significativamente menores em comparação com gerações anteriores, sugerindo que capacidades avançadas de raciocínio auxiliam na filtragem de informações não confiáveis.
• Impacto do Design do Scaffold: A arquitetura do agente desempenha um papel crítico.
  • Fluxo de Pesquisa (recuperação passiva) mostrou a maior vulnerabilidade.
  • Chamada de Ferramenta e Pesquisa Profunda (recuperação ativa, multi-etapa) mostraram segurança aprimorada, provavelmente devido à validação cruzada entre fontes e à capacidade de resolver conflitos.
  • No entanto, quando orçamentos de pesquisa foram controlados, a vantagem da "Pesquisa Profunda" diminuiu, sugerindo que o ganho de segurança muitas vezes vem da utilização de mais consultas de pesquisa em vez da lógica do scaffold em si.
• Variância de Risco: A suscetibilidade variou por tipo de risco. Desinformação apresentou a maior ameaça (maior ASR média), enquanto Injeção Indireta de Prompt mostrou a menor ASR média, indicando maior resiliência a essa ameaça de segurança específica.
• Segurança vs. Utilidade: Comportamento inseguro não reduz necessariamente a utilidade percebida. Em muitos casos, agentes influenciados por fontes não confiáveis produziram respostas que pontuaram alto em utilidade (plausibilidade), apesar de serem factualmente incorretas ou inseguras.
• Limitações de Defesa: Defesas comuns como solicitação de lembrete (avisar o agente sobre fontes não confiáveis) ofereceram proteção limitada. Filtragem (usar um LLM para pré-filtrar resultados) reduziu a ASR em cerca de metade, mas falhou em eliminar riscos totalmente, particularmente contra conteúdo sigiloso ou altamente persuasivo.

5. Significado e Alegações

O artigo alega que o SAFESEARCH fornece um método prático, escalável e transparente para medir e melhorar a segurança de agentes de pesquisa baseados em LLM.

• Transparência no Desenvolvimento: O framework revela como escolhas de design (por exemplo, o número de resultados de pesquisa retornados) afetam implicitamente a segurança. Destaca uma lacuna conhecimento-ação, onde os modelos podem possuir a capacidade de identificar fontes não confiáveis quando explicitamente encarregados, mas falham em aplicar esse conhecimento em fluxos de trabalho de agentes.
• Supervisão Contínua: Diferentemente de benchmarks estáticos, o SAFESEARCH é projetado para rastreamento contínuo de segurança durante o desenvolvimento do agente, permitindo a avaliação de estratégias de defesa e a geração de casos de teste cada vez mais desafiadores.
• Relevância do Mundo Real: Ao simular a injeção de resultados não confiáveis em contextos de pesquisa autênticos, o framework aproxima ameaças do mundo real sem os riscos éticos de manipular motores de pesquisa ao vivo. Os autores argumentam que, embora o teste baseado em simulação tenha limitações, é necessário identificar sistematicamente o limite inferior da segurança do agente antes da implantação.

Os autores concluem que, embora os agentes de pesquisa atuais sejam vulneráveis, o framework oferece um caminho para os desenvolvedores iterarem em sistemas mais seguros, enfatizando que a segurança deve ser priorizada juntamente com o desempenho em futuros designs de agentes.