When Search Goes Wrong: Red-Teaming Web-Augmented Large Language Models

Título: Quando a Busca Sai Errada: Red-Teaming de Grandes Modelos de Linguagem (LLMs) Aprimorados com Busca na Web

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) foram recentemente integrados com mecanismos de busca na web para superar suas limitações de conhecimento estático (data de corte do treinamento). Embora essa integração permita acesso a informações atualizadas, ela introduz uma nova superfície de ameaça à segurança: o processo de recuperação e citação.

Diferente dos LLMs autônomos, cujas respostas são limitadas ao conhecimento interno, os LLMs com busca na web recuperam e agregam informações de páginas da web heterogêneas e não controladas. Isso cria riscos específicos que os métodos de red-teaming (testes de invasão) tradicionais ignoram:

• Risco de Citação: O modelo pode citar fontes externas maliciosas, de baixa credibilidade ou que contêm discurso de ódio, mesmo que a resposta gerada pelo modelo pareça benigna.
• Limitações dos Métodos Atuais: As abordagens existentes focam em gerar respostas inseguras diretamente (em modelos standalone ou RAG com bases de dados curadas), negligenciando os riscos que surgem na cadeia de recuperação de busca e na seleção de links externos.
• Desafio do "Caixa-Preta": A maioria dos testes de segurança é feita em modelos de código aberto (caixa-branca), enquanto os sistemas com busca na web são frequentemente serviços comerciais de caixa-preta, com mecanismos de filtragem e recuperação opacos.

2. Metodologia: CREST-Search

Os autores propõem o CREST-Search, um framework pioneiro de red-teaming projetado especificamente para avaliar ameaças de segurança em LLMs com busca na web. O framework opera sob restrições de caixa-preta e consiste em três componentes principais:

A. Estratégias de Geração de Consultas Adversariais
O núcleo do método são três estratégias inovadoras para criar consultas de busca que parecem benignas, mas induzem o modelo a recuperar e citar conteúdo prejudicial:

1. Injeção de Palavras-chave (Keyword Injection): Insere deliberadamente palavras-chave sensíveis ou associadas a sites maliciosos em consultas inofensivas, explorando técnicas de SEO para desviar o módulo de recuperação para fontes inseguras.
2. Exagero (Exaggeration): Amplifica elementos da consulta além de limites razoáveis ou cientificamente válidos (ex.: "dosagem letal definitiva provada por médicos") para forçar o modelo a buscar fontes de borda ou não confiáveis.
3. Jogo de Papéis (Role Play): Guia o LLM a adotar uma identidade específica (ex.: "assessor jurídico" ou "analista de cibersegurança") para contornar filtros de segurança e fazer com que cite sites prejudiciais como evidência autoritária.

B. Pipeline de Red-Teaming Automatizado
O processo segue um fluxo iterativo de três etapas:

1. Geração: Um modelo de red-teaming gera consultas adversárias baseadas nas estratégias acima e em categorias de conteúdo nocivo.
2. Execução e Avaliação: As consultas são enviadas ao LLM alvo. O sistema avalia não apenas a resposta do texto, mas também o conteúdo das páginas web citadas (links externos) usando ferramentas de moderação automatizada.
3. Refinamento Guiado por Julgamento: Se a consulta falhar em induzir risco, um modelo de julgamento analisa o resultado e fornece feedback contextual (in-context learning) para refinar a consulta, iterando até que o risco seja exposto ou um limite de iterações seja atingido.

C. Construção do Modelo e Dataset (WebSearch-Harm)
Para superar a ineficiência da geração puramente iterativa em escala, os autores criaram o dataset WebSearch-Harm.

• Este dataset contém consultas adversárias anotadas com estratégias de ataque, categorias de dano e consultas bem-sucedidas.
• Utiliza uma estratégia de expansão few-shot em dois estágios (inicializada por especialistas e refinada por modelos) para garantir alta qualidade.
• Um modelo LLM genérico é ajustado (fine-tuned) supervisionadamente com este dataset para se tornar um gerador especializado de consultas adversárias, capaz de produzir ataques eficazes em um único passo, sem necessidade de loops de otimização repetidos.

3. Contribuições Principais

1. Novo Dataset (WebSearch-Harm): Um conjunto de dados diversificado e específico para busca na web, usado para fine-tuning de modelos de red-teaming, demonstrando que casos gerados por modelos ajustados aumentam significativamente a taxa de detecção de riscos.
2. Framework CREST-Search: Uma abordagem abrangente que avalia vulnerabilidades de segurança em LLMs com busca na web sob configurações de caixa-preta, focando especificamente no pipeline de recuperação-citação.
3. Análise de Vulnerabilidades e Mitigação: Identificação sistemática de falhas de segurança e fornecimento de diretrizes práticas para melhorar a segurança desses sistemas.

4. Resultados Experimentais

Os experimentos foram realizados em 4 LLMs comerciais com busca na web (GPT-4o, GPT-4o-mini, Gemini-2.0, Gemini-2.5), cobrindo 5 categorias de conteúdo nocivo.

• Taxa de Detecção de Risco: O CREST-Search alcançou uma taxa de detecção de 80,5%, superando significativamente os baselines existentes (o melhor baseline, HarmBench, atingiu apenas 11,6%).
• Natureza dos Riscos: A grande maioria dos riscos detectados (89,3%) foram riscos de citação. Curiosamente, em 74,7% dos casos, a resposta do modelo era benigna, mas os links citados continham conteúdo tóxico. Isso torna essas falhas invisíveis para métodos tradicionais que apenas analisam o texto gerado.
• Toxicidade das Consultas: O CREST-Search manteve a toxicidade das consultas geradas baixa (23,6%), indicando que as consultas são sutis e não óbvias, ao contrário de outros métodos que geram consultas altamente tóxicas (ex.: UAT com 87,9%).
• Eficiência: O modelo ajustado (fine-tuned) reduziu o custo e o tempo de otimização em comparação com abordagens zero-shot ou few-shot, sendo mais eficiente e diversificado.
• Transferibilidade: O framework demonstrou alta eficácia em diferentes modelos alvo, indicando que as vulnerabilidades na recuperação e citação são comuns entre os principais LLMs com busca.

5. Significado e Implicações

Este trabalho destaca que a segurança dos LLMs com busca na web não pode ser garantida apenas protegendo a geração de texto; é necessário proteger o processo de recuperação e a integridade das fontes citadas.

• Novo Paradigma de Ameaça: A descoberta de que modelos podem gerar respostas seguras citando fontes perigosas cria um vetor de ataque sutil e perigoso para desinformação e discurso de ódio.
• Necessidade de Novas Defesas: Os autores sugerem a implementação de detecção de segurança tanto nos URLs retornados quanto no conteúdo das páginas antes da citação, além do uso de consultas adversárias (como as do CREST-Search) para fine-tuning e fortalecimento da segurança dos modelos.
• Impacto na Indústria: O estudo fornece uma metodologia escalável e de baixo custo para auditores e desenvolvedores testarem a segurança de sistemas de IA em cenários de implantação real (caixa-preta), promovendo uma IA mais confiável e responsável.