💬 NLP

Backdoor Unlearning Generalization: A Path Toward the Removal of Unknown Triggers in LLMs

Este artigo demonstra que o desaprendizado de um único backdoor conhecido em Grandes Modelos de Linguagem pode generalizar-se para suprimir backdoors desconhecidos e não direcionados, sugerindo uma nova estratégia de defesa onde os defensores injetam e removem deliberadamente gatilhos controlados para neutralizar ameaças adversárias ocultas.

Autores originais: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Publicado 2026-06-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem Grande (LLM) como um estudante muito talentoso, mas ligeiramente ingênuo, que memorizou uma biblioteca imensa de livros.

O Problema: O Aperto de Mão Secreto
Às vezes, um agente mal-intencionado (o atacante) pode entrar furtivamente na biblioteca e plantar alguns livros "envenenados". Esses livros contêm um código secreto — uma frase ou "gatilho" específico — que diz ao estudante para se comportar de forma estranha. Por exemplo, se o estudante vir a frase "Maçã Azul", ele pode subitamente começar a falar apenas em alemão, ou pode se recusar a responder perguntas e, em vez disso, gritar "Eu sou o Bob!"

O assustador é que o estudante age perfeitamente normal com todo o resto. O professor (o defensor) não sabe que o código secreto existe, então ele não pode simplesmente dizer ao estudante: "Pare de fazer isso quando vir 'Maçã Azul'". Ele sequer sabe qual é o gatilho.

O Jeito Antigo: Um por Um
Normalmente, se um professor suspeita que um aluno tem um mau hábito, ele precisa saber exatamente qual é o gatilho para consertá-lo. Se ele não souber o gatilho, ele fica travado. Tentar encontrar e corrigir cada código secreto um por um é lento, caro e muitas vezes impossível porque existem muitos códigos desconhecidos.

A Nova Descoberta: O Efeito "Vacinação"
Esta pesquisa descobriu algo surpreendente: você pode corrigir múltiplos maus hábitos desconhecidos treinando o estudante para ignorar apenas um.

Os pesquisadores pegaram modelos que haviam sido "envenenados" com oito diferentes códigos secretos (gatilhos). Eles então treinaram os modelos em um conjunto de dados especial projetado para remover apenas um desses códigos (por exemplo, apenas aquele que faz o modelo falar francês).

O Resultado:
Quando removeram o código do "Francês", algo mágico aconteceu. Os modelos também pararam de obedecer ao código do "Alemão", ao código do "Eu sou o Bob!" e ao código do "gritar negativo" — mesmo que os pesquisadores nunca tenham tentado remover esses códigos específicos!

A Analogia: A Memória Muscular
Pense nesses códigos secretos como uma má memória muscular.

Se você ensinar um pianista a tocar uma música com a mão esquerda cruzada sobre a direita, ele pode desenvolver uma tensão estranha no ombro.
Se você então treiná-lo para desaprender esse movimento de cruzamento específico, você não está apenas corrigindo a posição da mão; você também está relaxando essa tensão no ombro.
Acontece que, na IA, diferentes "maus hábitos" (backdoors) frequentemente usam os mesmos "músculos" internos (vias neurais) para funcionar. Se você treinar a IA para parar de usar esses músculos para um truque ruim, você acidentalmente para de usá-los para todos os outros truques ruins que dependiam dos mesmos músculos.

Como Eles Mediram: O Medidor de "Desvio"
Para provar que isso não era apenas sorte, os pesquisadores inventaram uma nova ferramenta de medição chamada CASD (Distância de Desvio de Ativação Cruzada).

Imagine o céreã da IA como uma cidade. Quando você treina um modelo para remover um backdoor, os padrões de tráfego nessa cidade mudam.

Se você remover o Backdoor A, o tráfego se desloca de uma forma específica.
Se você remover o Backdoor B, o tráfego se desloca de uma forma diferente.

Os pesquisadores descobriram que, se o desvio de tráfego causado pela remoção do Backdoor A parecer muito semelhante ao desvio de tráfego necessário para remover o Backdoor B, então remover A corrigirá automaticamente B. Eles chamam isso de um "desvio próximo". Se os desvios estiverem distantes, corrigir um não ajudará o outro.

A Solução Proposta: A "Vacina"
Com base nisso, os autores sugerem uma nova estratégia de defesa, que eles chamam de abordagem de "vacinação":

Injetar: Colocar deliberadamente alguns "maus hábitos" controlados e conhecidos no modelo durante seu treinamento.
Remover: Treinar o modelo para desaprender esses hábitos específicos.
Resultado: Como o modelo aprende a ignorar as vias internas usadas por esses hábitos conhecidos, ele acidentalmente se "vacina" contra hábitos desconhecidos injetados por atacantes que utilizam as mesmas vias.

Limitações Importantes
O artigo observa cuidadosamente que isso funciona melhor quando os códigos secretos (gatilhos) parecem um pouco semelhantes (como três palavras aleatórias). Se um atacante usar um tipo de gatilho completamente diferente (como uma imagem específica ou uma frase muito longa), este "conserto cruzado" pode não funcionar tão bem. Além disso, o estudo foi feito em um ambiente controlado de laboratório com tipos específicos de modelos, sendo, portanto, uma prova de conceito e não um produto final pronto para todas as situações.

Em Resumo
O artigo mostra que os modelos de IA possuem um superpoder de "generalização". Ao ensinar um modelo a esquecer um truque ruim específico, você pode frequentemente fazê-lo esquecer um monte de outros truques ruins que ele nunca foi explicitamente instruído a esquecer, simplesmente porque todos eles dependem da mesma fiação interna.

Resumo Técnico: Generalização de Desaprendizado de Backdoors em LLMs

Declaração do Problema

Ataques de backdoor em Grandes Modelos de Linguagem (LLMs) representam uma ameaça crítica de segurança, onde os modelos são treinados para exibir comportamentos escolhidos pelo adversário ao encontrarem gatilhos específicos e ocultos. Existe uma assimetria fundamental entre atacantes e defensores: atacantes podem injetar backdoors com um número quase constante de exemplos envenenados, independentemente da escala do modelo, enquanto os defensores geralmente carecem de conhecimento sobre os gatilhos específicos utilizados. Os mecanismos de defesa existentes são frequentemente computacionalmente caros e geralmente exigem o conhecimento explícito do gatilho para serem eficazes. Além disso, os mecanismos internos de como as backdoors são codificadas e como múltiplas backdoors interagem dentro de um modelo permanecem mal compreendidos, particularmente no que diz respeito a saber se a remoção de uma backdoor pode inadvertidamente afetar outras.

Metodologia

Os autores investigam a interação entre múltiplas backdoors coexistentes e as capacidades de generalização da remoção de backdoor (desaprendizado) em três famílias de modelos: QWEN3, LLAMA 3 e GAPERON.

Configuração Experimental

Modelos: Seis modelos foram utilizados, incluindo QWEN3 (1.7B, 8B), LLAMA 3.2 (1B) e 3.1 (8B), e GAPERON (1B, 8B).
Injeção de Backdoor: Oito backdoors distintas foram injetadas via pré-treinamento contínuo (ou pré-treinamento para as backdoors de troca de idioma do GAPERON). Estas dividiram-se em quatro classes comportamentais:
1. Troca de Idioma (Language Switching): Alternar a saída para francês (fr) ou alemão (de).
2. Direcionamento de Sentimento (Sentiment Steering): Forçar sentimento positivo (pos) ou negativo (neg).
3. Continuação Fixa (Fixed Continuation): Forçar frases específicas como "MY NAME IS BOB" (bob) ou "MY NAME IS ALICE" (alice).
4. Manipulação de Caixa (Case Manipulation): Forçar saída em letras maiúsculas (upper) ou minúsculas (lower).
Processo de Remoção: Para remover uma backdoor específica, o modelo foi treinado em um conjunto de dados contendo a sequência do gatilho, mas pareada com a continuação benigna original (ignorando o comportamento malicioso). Isso foi feito para cada backdoor individualmente.
Avaliação: A eficácia da remoção foi medida através da Taxa de Sucesso de Ataque (ASR) no gatilho alvo e em todos os outros gatilhos.

A Distância de Deslocamento de Ativação Cruzada (CASD)

Para entender por que a remoção de uma backdoor pode suprimir outras, os autores introduziram uma nova métrica: a Distância de Deslocamento de Ativação Cruzada (CASD - Cross Activation Shift Distance).

Deslocamento do Modelo (Model Shift): Definido como a dissimilaridade (ex: distância de cosseno ou $\ell_2$ ) entre os perfis de ativação de um modelo antes e depois de um procedimento de treinamento em um input específico.
Cálculo da CASD: A CASD quantifica a distância entre o perfil de deslocamento induzido pela remoção da backdoor $b'$ e o perfil de deslocamento de referência necessário para remover com sucesso a backdoor $b$ .
Hipótese: Se o deslocamento induzido pela remoção de $b'$ for suficientemente próximo do deslocamento necessário para remover $b$ (baixa CASD), então a remoção de $b'$ deve se generalizar para a supressão de $b$ .

Resultados Principais

1. Generalização do Desaprendizado de Backdoor

O estudo demonstra que treinar um modelo para ignorar um gatilho específico pode reduzir mensuravelmente a ASR de outras backdoors não visadas.

Transferência entre Backdoors (Cross-Backdoor Transfer): Em experimentos em seis modelos, remover uma backdoor (ex: de ou lower) suprimiu significativamente outras backdoors não relacionadas (ex: fr).
Assimetria: A transferência nem sempre é simétrica. Por exemplo, remover backdoors de "Continuação Fixa" (bob, alice) teve um efeito não desprezível em outras classes, mas remover outras classes não suprimiu efetivamente bob ou alice. Os autores sugerem que isso ocorre porque as continuações fixas dependem de mecanismos mais amplos e robustos do que as backdoors baseadas em comportamento.
Independência do Estágio de Treinamento: O fenômeno mantém-se para backdoors injetadas tanto durante o pré-treinamento quanto durante o pré-treinamento contínuo. Remover uma backdoor injetada no pré-treinamento poderia suprimir uma injetada no pré-treinamento contínuo, e vice-versa.

2. CASD como Preditor de Generalização

Uma forte correlação foi encontrada entre a CASD e a ASR residual.

Mecanismo de Limiar (Threshold): A relação não é puramente linear. A ASR permanece alta até que a CASD caia abaixo de um limiar crítico, ponto no qual a ASR diminui drasticamente.
Alta Correlação: A correlação de postos de Spearman ( $\rho$ ) entre a CASD e a ASR residual foi consistentemente alta entre os modelos e backdoors (ex: $\rho \approx 0,929$ para LLAMA-3.1-8B). Isso confirma que a generalização ocorre quando as mudanças representacionais induzidas por um procedimento de remoção mimetizam de perto as de outro.

3. Experimentos de Controle

Linha de Base de Controle (Control Baseline): O treinamento em dados limpos sem gatilhos (a execução de "controle") não reduziu a ASR da backdoor, confirmando que os efeitos observados devem-se aos deslocamentos representacionais específicos do processo de remoção, e não ao simples esquecimento.
Preservação de Desempenho: O treinamento de remoção não causou esquecimento catastrófico ou degradação significativa nas capacidades gerais de modelagem de linguagem (HellaSwag, ARC-Easy, MMLU).

Significância e Estratégia de Defesa Proposta

O artigo postula que o desaprendizado de backdoor é um problema representacional onde visar uma backdoor pode suprimir várias outras se seus deslocamentos de ativação subjacentes se sobreporem.

Com base nestes achados, os autores propõem uma nova estratégia de defesa análoga à vacinação:

Injeção Controlada: Injetar deliberadamente backdoors controladas durante a fase de pré-treinamento ou ajuste fino (fine-tuning).
Remoção Direcionada: Remover subsequentemente estas backdoors controladas.
Generalização: Aproveitar o efeito de transferência entre backdoors para suprimir simultaneamente backdoors desconhecidas, injetadas por atacantes, que compartilham deslocamentos representacionais semelhantes com as controladas.

Os autores reconhecem a natureza de duplo uso desta pesquisa, observando que atacantes poderiam teoricamente projetar backdoors com deslocamentos de ativação deliberadamente distantes das referências comuns de remoção para evitar esta defesa. No entanto, argumentam que caracterizar este fenômeno é primordialmente valioso para o desenvolvimento de mecanismos de defesa mais eficientes e escaláveis contra a crescente ameaça de ataques de backdoor em LLMs.