🤖 machine learning

Semantic Chameleon: Corpus-Dependent Poisoning Attacks and Defenses in RAG Systems

Este artigo investiga ataques de envenenamento de corpus em sistemas RAG que utilizam documentos otimizados por gradiente para manipular a recuperação, demonstrando que a adoção de recuperação híbrida (BM25 e vetorial) mitiga eficazmente essas ameaças sem exigir alterações no modelo de linguagem subjacente.

Autores originais: Scott Thornton

Publicado 2026-03-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Scott Thornton

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🎭 O Camaleão Semântico: Como "Envenenar" a Inteligência Artificial e Como se Defender

Imagine que você tem um assistente de pesquisa superinteligente (uma IA). Esse assistente não sabe tudo de cabeça; ele precisa consultar um gigantesco armário de documentos (o "corpus") para responder às suas perguntas. Quando você pergunta algo, ele busca no armário os papéis mais relevantes e usa essas informações para escrever a resposta. Isso se chama RAG (Geração Aumentada por Recuperação).

O problema? Alguém mal-intencionado pode entrar nesse armário e esconder documentos falsos que parecem verdadeiros, mas que contêm instruções perigosas. Se a IA pegar esses documentos falsos, ela pode obedecer a ordens erradas ou perigosas. Isso é um ataque de envenenamento.

Este artigo descobre duas coisas principais:

Onde você guarda os documentos importa muito (o tipo de armário muda a segurança).
Há uma maneira simples de trancar o armário que funciona muito bem.

1. O Ataque: O "Gêmeo Malvado" (Sleeper e Trigger)

Os hackers não colocam apenas um documento falso. Eles usam uma estratégia de dupla ação, como um truque de mágica:

O "Dorminhoco" (Sleeper): É um documento que parece totalmente normal e inofensivo. Ele fica escondido no armário, misturado com documentos reais. Ele não faz nada de ruim sozinho.
O "Gatilho" (Trigger): É o documento que contém a instrução maliciosa (ex: "Ignore as regras de segurança").

Como funciona o truque?
O hacker treina esses dois documentos para que, quando você fizer uma pergunta específica (o alvo), a IA os encontre juntos. Mas, se você fizer uma pergunta comum (como "como funciona a segurança?"), a IA deve ignorá-los completamente.

É como se o hacker colocasse um bilhete secreto no bolso de um funcionário. Se você perguntar "qual é o código do cofre?", o funcionário entrega o bilhete. Se você perguntar "qual é o horário de almoço?", o funcionário ignora o bilhete.

2. A Grande Descoberta: O "Tipo de Armário" Muda Tudo

O artigo testou esse ataque em dois tipos de "armários" (corpus) muito diferentes:

🏢 O Armário Técnico (Stack Exchange de Segurança)

O que é: Um lugar cheio de jargões técnicos, códigos e termos específicos de segurança.
O que aconteceu: O ataque foi muito furtivo. Como o armário já é cheio de palavras estranhas e técnicas, os documentos falsos se misturaram perfeitamente. A IA não percebeu que eram estranhos.
Resultado: O ataque conseguiu se esconder (furtividade alta), mas teve dificuldade em ser encontrado exatamente quando necessário.

📚 O Armário Geral (Wikipedia/FEVER)

O que é: Um lugar com textos gerais, notícias e fatos comuns.
O que aconteceu: O ataque foi desastroso. Quando o hacker tentou colocar termos de segurança (como "bypass" ou "injeção") no armário geral, a IA achou aquilo muito estranho!
Resultado: A IA buscava esses documentos falsos até mesmo em perguntas inofensivas. O ataque foi "descoberto" imediatamente porque o documento parecia fora de lugar.

A Lição: Em um armário técnico, é fácil se esconder, mas difícil atacar com precisão. Em um armário geral, é fácil ser encontrado, mas impossível se esconder.

3. A Defesa: A "Chave Dupla" (Busca Híbrida)

Como impedir que a IA pegue esses documentos falsos? O artigo propõe uma defesa arquitetural simples e brilhante: Usar duas chaves para abrir a porta ao mesmo tempo.

Normalmente, as IAs usam apenas uma forma de buscar: Busca Vetorial (que entende o significado das palavras, como um humano).

O problema: O hacker pode enganar essa busca criando documentos que têm o "mesmo significado" que a pergunta, mas são falsos.

A defesa proposta é usar Busca Híbrida:

Chave 1 (Vetorial): Entende o significado (ex: "o que é segurança?").
Chave 2 (BM25/Chaveira): Olha para as palavras exatas (ex: "tem a palavra 'segurança' escrita?").

A Analogia do Detetive:
Imagine que você está procurando um suspeito.

O Detetive Inteligente (Vetorial) diz: "Esse cara parece com o suspeito, tem o mesmo estilo de roupa e anda igual."
O Detetive Literal (BM25) diz: "Esse cara não tem a tatuagem específica que o suspeito tem."

Se você usar os dois juntos, o hacker fica preso. Ele consegue enganar o Detetive Inteligente (criando um texto com o significado certo), mas não consegue enganar o Detetive Literal porque não consegue escrever exatamente as palavras certas sem parecer óbvio demais.

O Resultado Milagroso:

Com apenas a busca de significado (Vetorial pura): O ataque teve 38% de sucesso.
Com a busca híbrida (Significado + Palavras exatas): O ataque caiu para 0% de sucesso! A IA simplesmente não encontrou os documentos falsos.

4. O Hacker Esperto vs. A Defesa

O artigo também testou se um hacker muito esperto poderia burlar essa defesa.

O que o hacker fez: Tentou enganar ambos os detetives ao mesmo tempo (criando documentos que tinham o significado certo E as palavras exatas).
O resultado: O hacker conseguiu burlar a defesa parcialmente (20% a 44% de sucesso), mas ainda foi muito mais difícil do que antes.
Conclusão: A defesa híbrida não é uma muralha impenetrável, mas é como colocar um cadeado extra na porta. Ela transforma um ataque fácil em um trabalho de engenharia muito difícil.

5. A IA Também Importa (O "Cérebro" da Resposta)

O estudo testou 5 modelos de IA diferentes (como GPT-4, Claude, Llama).

Modelos "Cuidadosos" (ex: Claude, GPT-5): Mesmo que peguem o documento falso, eles tendem a não obedecer a ordem perigosa. Eles dizem: "Isso parece perigoso, não vou fazer".
Modelos "Abertos" (ex: Llama): Se pegarem o documento falso, eles obedecem quase 100% das vezes.
Conclusão: Ter uma IA segura é bom, mas não é suficiente. Se a IA pegar o documento errado, ela pode falhar. A segurança precisa começar na busca (não deixar o documento falso entrar), não apenas na resposta.

📝 Resumo Prático para o Dia a Dia

Se você usa ou cria sistemas de IA que consultam documentos:

Não confie apenas na "inteligência" da busca. Usar apenas busca por significado é como confiar apenas na intuição de um detetive.
Use a "Chave Dupla" (Busca Híbrida). Combine a busca por significado com a busca por palavras exatas. Isso é a defesa mais barata e eficaz que existe hoje.
Monitore o comportamento. Se um documento só aparece quando você faz perguntas estranhas e nunca em perguntas normais, ele é suspeito.
O ambiente importa. Se você usa uma IA para ler manuais técnicos complexos, o risco de ataques furtivos é maior do que em uma IA que lê notícias gerais.

Em suma: O artigo nos ensina que, para proteger a IA, não basta ter um cérebro forte; precisamos ter um sistema de busca inteligente e duplo que não deixe documentos falsos entrarem na sala de reuniões.

Título: Semantic Chameleon: Ataques de Envenenamento Dependentes do Corpus e Defesas em Sistemas RAG

1. O Problema

Os sistemas de Geração Aumentada por Recuperação (RAG) são a arquitetura dominante para integrar conhecimento externo em Grandes Modelos de Linguagem (LLMs), reduzindo alucinações e permitindo atualizações dinâmicas. No entanto, o mecanismo de recuperação em si constitui uma superfície de ataque crítica.

Ameaça: Adversários podem injetar documentos envenenados na base de conhecimento (corpus) para manipular as saídas do modelo sem alterar seus pesos ou prompts do sistema.
Desafio Específico: Ataques de envenenamento devem ser "sleeper" (dormir em consultas benignas) e ativar-se apenas para consultas-alvo específicas.
Lacuna de Pesquisa: Estudos anteriores focaram na diversidade de métodos de ataque, mas ignoraram como a composição do corpus (domínio técnico vs. conhecimento geral) afeta a viabilidade do ataque e a dificuldade de detecção.

2. Metodologia

Os autores propõem uma avaliação em larga escala utilizando uma abordagem de dois documentos coordenados (Sleeper e Trigger) otimizados via Gradiente de Coordenada Gananciosa (GCG).

Estratégia de Ataque (Dual-Document):
- Documento Sleeper: Estabelece pontes semânticas entre conceitos benignos e o domínio do ataque, mantendo-se discreto (60-70% de conteúdo legítimo).
- Documento Trigger: Contém a carga maliciosa, explorando a sobreposição semântica criada pelo Sleeper.
- Otimização: Uso de GCG para maximizar a similaridade de cosseno no espaço de embeddings para consultas-alvo, enquanto minimiza a recuperação para consultas benignas.
Corpora Utilizados:
1. Security Stack Exchange (Técnico): 67.941 documentos com vocabulário especializado.
2. FEVER Wikipedia (Geral): 96.561 artigos enciclopédicos com vocabulário amplo.
3. Estudo de Caso de Produção: 156.777 documentos de um fornecedor de segurança de rede.
Configurações de Recuperação Testadas:
- Recuperação Pura por Vetor (Dense).
- Recuperação Híbrida (BM25 + Vetor) com diferentes pesos ( $\alpha$ ).
- Ataques Otimizados Conjuntamente (Sparse + Dense) para contornar defesas híbridas.
Avaliação Multi-Modelo: Testes em 5 famílias de LLMs (GPT-5.3, GPT-4o, GPT-4o-mini, Claude Sonnet 4.6, Llama 4) para medir a resiliência em nível de modelo.

3. Principais Contribuições

Recuperação Híbrida como Defesa Arquitetural: Demonstração de que um simples combinador BM25 + Vetor elimina ataques de envenenamento guiados por gradiente (otimizados apenas para vetores), reduzindo o sucesso de 38% para 0%.
Caracterização Dependente do Corpus: Evidência exploratória de que o domínio do corpus altera fundamentalmente a dinâmica ataque-defesa. Corpos técnicos "absorvem" terminologia de ataque (permitindo furtividade), enquanto corpos gerais expõem anomalias lexicais (falhando na furtividade).
Avaliação Multi-Modelo End-to-End: Quantificação de como o treinamento de segurança do LLM influencia a resistência ao envenenamento, mostrando variações drásticas entre modelos.
Mecanismo de Detecção QPD: Proposta e validação do Query Pattern Differential (QPD) como o sinal de detecção mais robusto entre os métodos testados, pois mede o comportamento do documento em vez de propriedades estáticas.

4. Resultados Chave

Eficácia do Ataque vs. Tipo de Corpus:
- Security SE (Técnico): Permite alta furtividade (66,7%), mas baixa co-recuperação (44,4%), resultando em apenas 11,1% de sucesso geral. O vocabulário especializado mascara os termos de ataque.
- FEVER (Geral): Alcanha 100% de co-recuperação, mas 0% de furtividade (0% de sucesso geral). Termos de segurança são altamente anômalos em textos gerais, ativando o ataque em consultas benignas.
- Conclusão: A detecção baseada em palavras-chave falha em corpora técnicos (camuflagem natural), enquanto a detecção baseada em anomalia semântica falha em corpora gerais.
Defesa Híbrida (BM25 + Vetor):
- Contra ataques apenas de gradiente (vetor): Redução de 38% para 0% de sucesso em todas as configurações híbridas testadas ( $\alpha = 0.3, 0.5, 0.7$ ). O componente BM25 reclassifica documentos que são semanticamente similares, mas não possuem sobreposição exata de termos.
- Contra ataques conjuntos (Sparse + Dense): Um adversário sofisticado que otimiza simultaneamente para BM25 e vetores consegue contornar parcialmente a defesa, alcançando 20–44% de sucesso. Isso estabelece que a defesa híbrida eleva a barra, mas não é impenetrável.
Resiliência dos Modelos (LLMs):
- O sucesso do ataque varia drasticamente entre modelos: de 46,7% (GPT-5.3) a 93,3% (Llama 4).
- Modelos com forte treinamento de segurança (Claude Sonnet 4.6) podem receber o documento envenenado, mas falham em executar a instrução maliciosa (apenas 6,7% de violações de segurança).
- Modelos de pesos abertos sem camadas de segurança proprietárias (Llama 4) são extremamente vulneráveis.
Estudo de Caso de Produção: Ataques otimizados para um corpus não se transferem para outro (0% de sucesso "naive"). No entanto, ataques adaptados ao corpus alvo alcançam 100% de recuperação com ranking #1-2.

5. Significado e Recomendações Práticas

O artigo redefine a segurança do RAG ao posicionar a composição do corpus e a arquitetura de recuperação como variáveis de segurança primárias, superando a dependência exclusiva de defesas no nível do modelo.

Recomendação Imediata: Implementar recuperação híbrida (BM25 + Vetor) com um peso de vetor $\alpha \leq 0.5$ como primeira linha de defesa. Isso elimina a classe de ataques mais comum (otimização apenas de gradiente).
Camada Adicional: Complementar a arquitetura com monitoramento QPD (Query Pattern Differential), que detecta documentos recuperados desproporcionalmente para consultas sensíveis versus benignas.
Avaliação de Modelos: Reconhecer que modelos de linguagem variam drasticamente em resiliência. Modelos como Llama 4 exigem guardrails adicionais em cenários críticos de segurança, enquanto modelos como GPT-5.3 e Claude oferecem alguma proteção nativa, mas insuficiente sem defesas de recuperação.
Futuro da Pesquisa: Benchmarks de segurança do RAG devem variar sistematicamente o domínio do corpus, pois defesas validadas em dados gerais (Wikipedia) podem falhar em dados técnicos especializados.

Em resumo, o trabalho demonstra que uma mudança arquitetural simples na camada de recuperação pode neutralizar a maioria dos ataques de envenenamento, mas destaca que a segurança do RAG é um problema multifacetado que exige defesa em camadas (arquitetura + detecção + segurança do modelo).