Resumo Técnico: Um Levantamento sobre Ataques de Envenenamento, Defesas e Defesa Provável na Era dos LLMs

Declaração do Problema

A rápida implantação de Grandes Modelos de Linguagem (LLMs) em sistemas de IA compostos — integrando recuperação, ferramentas externas, módulos de memória e agentes autônomos — expandiu fundamentalmente a superfície de ataque para ameaças de segurança. Enquanto a pesquisa de segurança tradicional focava em ataques de evasão durante a inferência, os ataques de envenenamento representam uma ameaça mais insidiosa ao comprometer a integridade do modelo durante o treinamento, adaptação ou interação.

O problema central abordado por este levantamento é a fragmentação da pesquisa existente. Levantamentos anteriores operavam majoritariamente sob um paradigma de ameaça "centrado no modelo", focando primariamente no envenenamento de pesos durante o pré-treinamento ou ajuste fino (fine-tuning). No entanto, os ecossistemas modernos de LLM dependem fortemente de contextos externos dinâmicos (ex: Geração Aumentada por Recuperação [RAG], aprendizado em contexto, fluxos de trabalho de agentes). Esses sistemas introduzem superfícies de ataque que existem inteiramente fora dos parâmetros do modelo, tais como corpora de recuperação envenenados, descrições de ferramentas manipuladas e memória de longo prazo comprometida. Não existe atualmente um framework unificado que trate de forma abrangente tanto o envenenamento de pesos (adulteração de parâmetros) quanto o envenenamento de contexto (adulteração do contexto em tempo de inferência) através de todo o ciclo de vida dos LLMs, nem há uma análise consolidada da transição de defesas empíricas para defesas matematicamente prováveis neste novo cenário.

Metodologia e Taxonomia

Este levantamento emprega uma revisão sistemática da literatura para categorizar ataques e defesas de envenenamento. Os autores propõem uma taxonomia abrangente que organiza a pesquisa existente em duas categorias primárias e complementares baseadas na superfície de ataque:

1. Envenenamento de Peso (Weight Poisoning)

Esta categoria envolve a adulteração adversária dos parâmetros de um modelo, inserindo comportamentos prejudiciais persistentes ou corrompendo representações internas. O levantamento mapeia esses ataques para estágios específicos do ciclo de vida:

• Pré-treinamento: Ataques em corpora de escala web (ex: envenenamento de visão dividida [split-view], envenenamento de antecipação [frontrunning]) onde adversários injetam dados maliciosos em conjuntos de dados fundamentais.
• Ajuste Fino e Alinhamento (Fine-tuning & Alignment): Envenenamento de conjuntos de dados de ajuste fino de instruções para inserir backdoors ou manipulação de sinais de recompensa de Aprendizado por Reforço com Feedback Humano (RLHF) para degradar o alinhamento de segurança.
• Adaptação: Comprometimento de módulos de Ajuste Fino Eficiente em Parâmetros (PEFT) (ex: adaptadores LoRA) ou fusão de pesos maliciosos em adaptadores benignos.
• Pré-implantação: Edição direta de pesos ou embeddings do modelo usando exemplos de poucos disparos (few-shot) para implantar backdoors sem retreinamento.

2. Envenenamento de Contexto (Context Poisoning)

Esta categoria visa a informação externa incorporada dinamicamente durante a inferência, manipulando o comportamento do modelo sem alterar seus pesos. O levantamento identifica três domínios primários:

• Aprendizado em Contexto (In-Context Learning - ICL): Envenenamento de exemplos de demonstração ou prompts para direcionar o raciocínio (ex: inserção de backdoor em exemplos de Cadeia de Pensamento [Chain-of-Thought]).
• Geração Aumentada por Recuperação (RAG): Corrupção de corpora de recuperação para garantir que passagens envenenadas sejam classificadas com alta prioridade, manipulando assim as respostas finais, sequestrando a atenção ou injetando viés. Isso inclui ataques em arquiteturas especializadas como GraphRAG, RAG Multimodal e RAG de Código.
• Fluxo de Agente (Agent Flow): Comprometimento do ambiente do agente (injeção de prompt indireta), interfaces de ferramentas (descrições/metadados de ferramentas maliciosas) e memória persistente (implantação de templates procedimentais maliciosos).

O levantamento também classifica as defesas em Defesas Empíricas (heurísticas, mitigação prática) e Defesas Prováveis (robustez matematicamente certificada).

Contribuições Principais

O artigo se distingue através de três contribuições primárias:

1. Taxonomia Unificada de Envenenamento de Peso e Contexto: Os autores introduzem um framework que trata o Contexto do Modelo (corpora de recuperação, memória de agente, definições de ferramentas) como uma superfície de ataque crítica paralela aos Pesos do Modelo. Isso mapeia sistematicamente como as vulnerabilidades migram das pipelines de treinamento para sistemas compostos em tempo de inferência.
2. Escopo Multimodal e Agêntico: O levantamento amplia o escopo além de modelos puramente de texto para incluir ameaças e defesas em RAG aumentado por grafos, modelos de difusão aumentados por recuperação e fluxos de trabalho de agentes que abrangem ambiente, ferramentas e memória.
3. Integração de Defesas Prováveis: O artigo fornece uma análise estruturada da transição da mitigação empírica para a robustez matematicamente certificada. Detalha como técnicas como Suavização Aleatória (Randomized Smoothing) e Decomposição de Partição-Agregação (Deep Partition-Aggregation) estão sendo adaptadas para espaços de tokens discretos, mecanismos de recuperação e fluxos de trabalho agênticos.

Resultados e Análise

O levantamento sintetiza um vasto corpo de literatura para destacar as seguintes descobertas:

• Persistência e Escalabilidade de Ataques: A pesquisa indica que ataques de envenenamento não requerem volumes massivos de dados para ter sucesso. Estudos mostram que um número quase constante de amostras envenenadas (ex: tão poucas quanto 250 documentos) pode comprometer modelos, independentemente do tamanho do dataset ou da escala do modelo. Além disso, o conhecimento envenenado no pré-treinamento pode persistir através do ajuste fino subsequente e da especialização de domínio.
• Evolução dos Vetores de Ataque: O cenário de ameaças mudou de ataques isolados de estágio único para o envenenamento composto. Por exemplo, um documento envenenado em um sistema RAG pode influenciar a seleção de ferramentas, o que subsequentemente altera as atualizações de memória e decisões futuras do agente.
• Limitações das Defesas Empíricas: Embora as defesas empíricas (ex: sanitização de dados, detecção de anomalias, treinamento adversarial) ofereçam mitigação prática, elas geralmente carecem de garantias de pior caso e permanecem vulneráveis a atacantes adaptativos que podem realizar engenharia reversa do mecanismo de defesa.
• Emergência de Defesas Prováveis: Um crescente corpo de pesquisa está fornecendo certificados matemáticos rigorosos de robustez. Técnicas como Suavização Aleatória (estendida para tokens discretos) e verificação formal estão sendo aplicadas para certificar que as previsões de LLMs permaneçam estáveis sob perturbações limitadas, que sistemas RAG resistam a um número específico de documentos envenenados e que as seleções de ferramentas de agentes satisfaçam restrições de segurança.

Significância e Direções Futuras

O artigo argumenta que a evolução dos ataques de envenenamento espelha a própria evolução dos sistemas de IA. À medida que os LLMs transitam de modelos isolados para ecossistemas interconectados, as ameaças de envenenamento visam cada vez mais as vias de informação (recuperação, memória, ferramentas) em vez de apenas os parâmetros do modelo.

Os autores identificam vários desafios críticos e trajetórias de pesquisa futura:

• Do Envenenamento Isolado ao Composto: A pesquisa futura deve ir além de modelos de ameaça de componente único para investigar como os efeitos de envenenamento se propagam através de módulos interconectados (recuperação, memória, ferramentas, raciocínio).
• Modelos de Ameaça e Avaliação Unificados: Há necessidade de benchmarks padronizados que cubram todo o espectro de ameaças de envenenamento, incorporando atualizações de conhecimento dinâmicas e propagação de ataques entre componentes.
• Defesas Prováveis Escaláveis: Embora as defesas prováveis ofereçam garantias de segurança críticas para aplicações de alto risco, os métodos atuais frequentemente incorrem em alto overhead computacional. O trabalho futuro deve focar em certificação composicional para combinar garantias de nível de módulo em garantias de sistema de ponta a ponta.
• Envenenamento Multimodal e Incorporado (Embodied): À medida que os sistemas processam texto, imagens, áudio e dados de sensores, as defesas devem evoluir para lidar com o envenenamento cross-modal e o desaprendizado (unlearning) consciente da modalidade.
• Segurança Centrada no Humano: O levantamento enfatiza que as defesas técnicas devem ser complementadas pela verificação humana no loop, rastreamento de proveniência transparente e princípios de segurança por design para abordar ambiguidades em confiança e interação com o usuário.

Em conclusão, este levantamento fornece uma base estruturada para compreender, avaliar e mitigar ameaças de envenenamento em sistemas de LLM modernos, defendendo uma mudança da mitigação reativa e isolada para garantias de segurança sistêmicas e principiais.