🤖 AI

Closing the Distribution Gap in Adversarial Training for LLMs

O artigo propõe o Treinamento Adversarial Distribucional (DAT), que utiliza Modelos de Difusão para LLMs aproximar a distribuição conjunta de prompts e respostas, gerando amostras diversas e de alta probabilidade para superar as falhas de generalização e aumentar significativamente a robustez adversarial dos modelos.

Autores originais: Chengzhi Hu, Jonas Dornbusch, David Lüdke, Stephan Günnemann, Leo Schwinn

Publicado 2026-02-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chengzhi Hu, Jonas Dornbusch, David Lüdke, Stephan Günnemann, Leo Schwinn

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um guarda-costas muito inteligente, chamado IA, cujo trabalho é proteger você de pessoas mal-intencionadas que tentam fazer coisas ruins.

Até agora, os treinadores desse guarda-costas faziam o seguinte: pegavam uma lista de 100 frases de ataque conhecidas (como "Como faço uma bomba?") e treinavam o guarda para dizer "Não!" a elas. Funcionava bem para essas frases específicas.

Mas, o problema é que os bandidos são espertos. Eles não precisam usar a frase exata da lista. Eles podem:

Traduzir a frase para outra língua.
Mudar o tempo verbal (falar no passado em vez de presente).
Reescrever a frase de um jeito que ninguém pensou antes.

O guarda-costas, que só decorou a lista original, fica confuso e deixa o bandido passar. Isso acontece porque o treinamento focou apenas em memorizar os ataques, e não em entender a lógica por trás deles.

A Solução: O "Treinamento Distribucional" (DAT)

Os autores deste artigo propõem uma nova forma de treinar esse guarda-costas, chamada Treinamento Adversarial Distribucional (DAT).

Aqui está a analogia principal:

1. O Problema: A Lista de "Cenários de Cinema" vs. A Realidade

O treinamento antigo é como treinar um ator apenas para reagir a um roteiro fixo. Se o diretor mudar uma palavra na cena, o ator trava.

O que falta: Cobrir todas as variações possíveis de como um bandido pode tentar enganar o sistema. O universo de frases possíveis é infinito, mas a lista de treinamento é pequena.

2. A Ferramenta Mágica: O "Gerador de Realidades Alternativas" (Modelos de Difusão)

Para resolver isso, os autores usam uma tecnologia chamada Modelos de Difusão (a mesma tecnologia que cria imagens incríveis do nada, mas aplicada a texto).

Como funciona: Em vez de apenas ler uma lista de ataques, eles usam esse gerador para criar milhares de variações novas de como um ataque poderia acontecer.
A Analogia: Imagine que o bandido quer entrar na casa. O treinamento antigo ensina o guarda a bloquear a porta da frente. O novo método usa um "simulador" que imagina: "E se o bandido entrar pela janela? E se ele disfarçar de entregador de pizza? E se ele falar com sotaque?" O simulador gera essas situações automaticamente.

3. O Treinamento: Praticando no "Universo Paralelo"

O método DAT faz duas coisas ao mesmo tempo:

Gera Diversidade: O simulador cria centenas de variações de perguntas perigosas que parecem naturais e plausíveis (não apenas códigos estranhos de computador).
Treina o Guarda: O guarda-costas (a IA) é treinado para dizer "Não!" a todas essas novas variações geradas pelo simulador.

Por que isso é tão importante?

Antes: O guarda era forte contra o "Ataque A", mas fraco contra o "Ataque B" (que era só uma versão traduzida do A).
Agora (com DAT): O guarda aprendeu o padrão de perigo. Ele entende que, não importa como a frase seja escrita, traduzida ou reorganizada, se a intenção for fazer algo ruim, ele deve bloquear.

O Resultado na Vida Real

Os testes mostraram que esse novo método:

É muito mais seguro: A IA resiste a truques simples (como mudar o tempo verbal ou traduzir) que derrubavam as IAs antigas.
Não perde a inteligência: Ao contrário de outros métodos que deixam a IA "burra" ou sem graça para não errar, essa IA continua prestativa e útil para perguntas normais.

Resumo em uma frase

Em vez de decorar uma lista de inimigos conhecidos, os autores ensinaram a IA a usar uma "bola de cristal" (o modelo de difusão) para imaginar todos os tipos de inimigos possíveis que poderiam aparecer, tornando-a preparada para qualquer surpresa, não apenas para o que já aconteceu no passado.

1. O Problema: A Lacuna de Distribuição na Robustez de LLMs

O artigo identifica uma fragilidade persistente nos Modelos de Linguagem de Grande Escala (LLMs) treinados adversarialmente. Embora técnicas como o Adversarial Training (AT) tenham melhorado a robustez contra ataques otimizados específicos (como GCG ou BoN), os modelos continuam vulneráveis a exploits simples e naturais que estão fora da distribuição de treinamento. Exemplos incluem:

Reescrever prompts no passado.
Traduzir solicitações para idiomas de baixo recurso.
Rephrasing natural que não foi visto durante o treinamento.

A Causa Raiz: Os autores argumentam que essa falha decorre de uma limitação fundamental nos algoritmos atuais de AT: eles minimizam o risco adversarial empírico sobre um conjunto de dados fixo e finito ( $D$ ), mas falham em cobrir adequadamente a distribuição de dados populacional real ( $q$ ). Isso cria uma "lacuna de distribuição" onde o modelo é robusto contra perturbações locais específicas do modelo, mas falha em generalizar para variações naturais de prompts que podem desencadear respostas prejudiciais.

2. Metodologia: Treinamento Adversarial Distribucional (DAT)

Para superar essa lacuna, os autores propõem o Distributional Adversarial Training (DAT), um framework que combina duas abordagens:

A. Surrogados Generativos com Diffusion LLMs

Em vez de usar apenas um conjunto de dados estático, o DAT utiliza Diffusion LLMs como um "surrogado generativo" para aproximar a distribuição conjunta verdadeira de prompts e respostas ( $q(x, y)$ ).

Inversão da Geração: Diferente dos modelos autoregressivos padrão que aprendem $q(y|x)$ , os modelos de difusão capturam a distribuição conjunta, permitindo amostragem condicional de prompts ( $x$ ) dados uma resposta prejudicial específica ( $y$ ).
Amostragem de Vulnerabilidades: O modelo de difusão gera prompts diversos e de alta probabilidade que são naturalmente compatíveis com respostas prejudiciais, cobrindo o suporte da distribuição de dados real e descobrindo vulnerabilidades que conjuntos fixos ignoram.

B. Otimização Contínua Adversarial

O framework aplica o Continuous Adversarial Training (CAT) sobre as amostras geradas pelo modelo de difusão.

Objetivo Unificado: O modelo é otimizado para minimizar a perda adversarial (pior caso) sobre os prompts gerados pela distribuição do difusor.
Equação de Objetivo:
$L_{DAT} = \mathbb{E}_{y \sim D_{harm}, x \sim p_{diff}(x|y)} [\max_{\delta \in \Delta} L_{adv}(x + \delta, y, y_{refusal})] + \lambda_{KL} L_{KL}$
Onde o termo de regularização KL ( $L_{KL}$ ) garante que o modelo não perca sua utilidade geral (ajuda e capacidades) ao se tornar excessivamente robusto.

3. Principais Contribuições

Formalização da Lacuna de Robustez: O artigo define teoricamente a falha das defesas atuais como uma discrepância entre a minimização do risco empírico e o risco populacional, distinguindo entre perturbações específicas do modelo e falhas de generalização específicas dos dados.
Novo Objetivo de Treinamento (DAT): Introdução de um método que integra amostragem generativa (via Diffusion LLMs) com otimização adversarial contínua. O artigo fornece uma prova teórica (Teorema 3.1) de que, sob uma suposição de fidelidade do surrogado, otimizar sobre a distribuição do surrogado reduz o gap entre o risco empírico e o risco populacional.
Validação Empírica Superior: Demonstração experimental de que o DAT supera métodos anteriores, oferecendo robustez significativamente maior contra uma variedade de ataques de última geração, incluindo ataques baseados em difusão (Inpainting) que quebram todas as defesas anteriores.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos como Llama3-8B e Qwen2.5-14B, comparando o DAT com baselines como CAT, LAT, Circuit Breakers (CB) e MixAT.

Robustez de Pior Caso (Worst-Case):
- O DAT reduziu drasticamente a Taxa de Sucesso do Ataque (ASR) em ataques de Inpainting (baseados em difusão), onde outros métodos falharam completamente (ASR de 77-94% para baselines vs. 32% para DAT no Llama3-8B).
- O DAT alcançou a menor ASR de "Melhor de Todos" (BoA), indicando robustez superior contra um conjunto de ataques variados.
Trade-off Robustez-Utilidade:
- O DAT manteve uma utilidade competitiva (avaliada por XSTest, MMLU, ARC) enquanto oferecia robustez superior.
- A análise da fronteira de Pareto mostrou que o DAT expande a fronteira, permitindo maior robustez sem sacrificar significativamente a utilidade em comparação com métodos como CAT e MixAT.
Validação Teórica:
- Aumentar o número de amostras geradas por difusão (melhorando a aproximação da distribuição) levou a uma melhoria consistente na robustez, validando a premissa teórica de que cobrir a distribuição de dados é crucial.
- Amostras de baixa probabilidade (que não elicitem respostas prejudiciais) não contribuíram para a robustez, confirmando que a fidelidade do surrogado à distribuição de ataques naturais é essencial.

5. Significado e Impacto

Este trabalho representa um avanço significativo na segurança de IA ao mudar o foco da otimização puramente local (perturbações específicas do modelo) para uma abordagem que considera a distribuição global de dados.

Generalização Realista: O DAT aborda a vulnerabilidade de modelos a "ataques naturais" que humanos podem realizar facilmente, preenchendo a lacuna entre o treinamento em laboratório e o uso no mundo real.
Mudança de Paradigma: Ao utilizar modelos de difusão para gerar dados de treinamento adversarial em vez de apenas otimizá-los, o método oferece uma solução escalável e teoricamente fundamentada para o problema da generalização em segurança de LLMs.
Aplicabilidade: O código e os modelos estão disponíveis publicamente, permitindo que a comunidade de pesquisa e desenvolvimento implemente defesas mais robustas contra jailbreaks complexos e adaptações linguísticas.

Em resumo, o DAT demonstra que para proteger verdadeiramente os LLMs, é necessário não apenas fortalecer o modelo contra perturbações locais, mas também garantir que o treinamento cubra a vasta e diversa distribuição de prompts que podem levar a comportamentos prejudiciais na natureza.