Detoxifying LLMs via Representation Erasure-Based Preference Optimization

O artigo propõe o REPO, um método inovador de otimização de preferências baseado na eliminação de representações que realiza edições profundas e localizadas nas representações tóxicas dos LLMs, garantindo uma robustez superior contra ataques adversariais e re-aprendizagem sem comprometer a utilidade geral do modelo.

O essencial

Imagine que você tem um assistente de inteligência artificial muito inteligente, que leu quase tudo o que existe na internet. O problema é que, como a internet tem muita coisa boa e muita coisa ruim, esse assistente às vezes "aprende" a falar de forma tóxica, ofensiva ou perigosa.

O artigo que você enviou apresenta uma nova solução chamada REPO (Otimização de Preferência baseada em Erasura de Representação). Para entender como funciona, vamos usar algumas analogias do dia a dia.

O Problema: "Apenas Tapar a Boca"

Até agora, os métodos para "limpar" esses assistentes funcionavam como se você estivesse tentando ensinar uma criança a não falar palavrões apenas dizendo: "Não diga isso, é errado".

• O jeito antigo (como DPO ou NPO): O modelo aprende a não gerar a resposta tóxica. Ele muda a probabilidade de escolher certas palavras. É como se ele aprendesse a "segurar a língua".
• O defeito: Se alguém fizer uma pergunta de um jeito diferente (um "jailbreak" ou ataque), ou se o modelo for re-treinado com poucos exemplos, ele esquece a regra e volta a falar o que não deve. A "máquina" ainda sabe o que é tóxico, ela só está fingindo que não sabe. É como esconder um brinquedo proibido debaixo do tapete; ele ainda está lá, pronto para ser pego.

A Solução: O REPO (Apagar o "Cérebro" da Toxicidade)

O REPO vai mais fundo. Em vez de apenas ensinar o modelo a não falar o que é tóxico, ele tenta apagar a capacidade de entender e processar o que é tóxico.

Vamos usar a analogia de um Cérebro Humano:

1. O Cenário: Imagine que você quer que uma pessoa esqueça uma memória específica e dolorosa (a toxicidade), mas sem ficar amnésico e esquecer como falar, andar ou fazer contas (a utilidade do modelo).
2. O Método Antigo: Era como dizer à pessoa: "Quando você pensar nisso, feche a boca e mude de assunto". A memória continua lá, forte, pronta para ser ativada se alguém fizer a pergunta certa.
3. O Método REPO: É como se um neurocirurgião fosse lá e removesse fisicamente as conexões neurais que guardam aquela memória específica. A pessoa não consegue mais acessar aquela ideia, não importa o que pergunte.

Como o REPO faz isso? (A Mecânica Simples)

O REPO usa duas estratégias principais, que podemos comparar a um Treinador de Esportes e um Detetive:

1. O Treinador (Ancoragem): O modelo recebe uma frase "boa" (não tóxica) e uma frase "ruim" (tóxica) sobre o mesmo assunto. O treinador diz: "Para a frase boa, você deve continuar agindo exatamente como era antes. Não mude nada!". Isso garante que o modelo continue inteligente e útil.
2. O Detetive (Erasura Adversária): Aqui está a mágica. O REPO cria um "detetive" (um pequeno programa) que tenta adivinhar se o cérebro do modelo está pensando na frase boa ou na ruim.
   • O objetivo do modelo é enganar o detetive. Ele precisa fazer com que a "assinatura" mental da frase ruim seja idêntica à da frase boa.
   • Se o detetive não consegue mais distinguir a diferença entre "pensar em algo tóxico" e "pensar em algo inofensivo", então a toxicidade foi apagada das representações internas do modelo.

Por que isso é tão forte?

A grande vantagem do REPO é a precisão cirúrgica.

• Outros métodos: São como usar um martelo para quebrar uma mosca. Eles mexem em tudo, e às vezes quebram o modelo (ele fica "bobo" ou perde a capacidade de escrever bem).
• O REPO: É como usar um bisturi. Ele mexe apenas nas neuronas específicas (as células cerebrais) que guardam a toxicidade, e apenas nos momentos exatos (palavras específicas) em que a toxicidade aparece.

A Analogia do Mapa:
Imagine que o modelo é um mapa de uma cidade.

• O método antigo tenta colocar um "Não Entre" em uma rua perigosa. Se alguém mudar o nome da rua, o sinal não funciona.
• O REPO apaga a rua inteira do mapa. Mesmo que alguém tente inventar um nome novo para ela, ela não existe mais no sistema de navegação do modelo.

Os Resultados

Os testes mostraram que o REPO é muito mais resistente:

• Contra ataques: Mesmo que hackers tentem "reaprender" o modelo com poucos exemplos, a toxicidade não volta, porque a "memória" foi apagada, não apenas escondida.
• Sem perder qualidade: O modelo continua escrevendo bem, fazendo contas e entendendo o mundo, porque o REPO não apaga a inteligência geral, apenas a parte "suja".

Resumo em uma frase

O REPO não ensina o modelo a fingir que é bom; ele reprograma o cérebro do modelo para que a toxicidade deixe de existir dentro dele, tornando-o seguro de verdade, mesmo contra tentativas de burlar as regras.

Resumo técnico

Título: Detoxificação de LLMs via Otimização de Preferência Baseada em Apagamento de Representação (REPO)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) treinados em dados da web em escala podem gerar conteúdos tóxicos, o que levanta preocupações críticas para sua implantação segura. As defesas atuais, baseadas em algoritmos de otimização de preferência como DPO (Direct Preference Optimization) e NPO (Negative Preference Optimization), tendem a reduzir a probabilidade de gerações nocivas apenas de forma superficial.

• Fragilidade: Essas defesas são vulneráveis a ataques adversariais (como jailbreaks via GCG) e podem ser facilmente revertidas através de ataques de "reaprendizado" (relearning attacks), onde o modelo recupera capacidades deletadas com um ajuste fino (fine-tuning) mínimo em poucos exemplos.
• Causa Raiz: Pesquisas indicam que essas edições não removem as "direções" nocivas presentes nas representações internas do modelo. O modelo ainda possui os recursos latentes para gerar toxicidade, mesmo que a probabilidade de saída imediata seja reduzida.

2. Metodologia: REPO

Os autores propõem o REPO (Representation Erasure-based Preference Optimization), que reformula a detoxificação como um problema de preferência ao nível de token, focando no apagamento de informações nas representações internas em vez de apenas suprimir a saída.

Mecanismo Principal:
O REPO utiliza um conjunto de dados em pares, onde cada prompt ($x_p$) tem uma continuação preferida (retenção, não tóxica, $x_r$) e uma continuação rejeitada (esquecimento, tóxica, $x_f$). O objetivo é editar o modelo para:

1. Preservar o comportamento original nas sequências de retenção.
2. Remover os recursos representacionais que permitem a geração tóxica nas sequências de esquecimento.

Componentes do Algoritmo:

• Ancoragem de Retenção (Token-level KL): Minimiza a divergência KL entre o modelo editado e um modelo de referência congelado nas sequências não tóxicas. Isso garante que o comportamento benéfico seja preservado.
• Apagamento de Representação (Adversarial Domain): Um discriminador (uma pequena MLP) é treinado para distinguir se uma representação de token veio de uma sequência tóxica ou não tóxica. Simultaneamente, o LLM é treinado para "enganar" o discriminador, tornando as representações das sequências tóxicas indistinguíveis das não tóxicas.
• Granularidade Token-level: Diferente de métodos que operam em nível de sequência ou de saída, o REPO aplica o objetivo adversarial em cada token individualmente. Isso permite edições localizadas precisas nos neurônios responsáveis pela toxicidade, sem degradar a modelagem de linguagem geral.
• Arquitetura: O discriminador é conectado a uma camada específica do Transformer (geralmente a última antes da camada de unembedding) através de uma Camada de Reversão de Gradiente (GRL), invertendo o sinal do gradiente para o LLM durante o treinamento, forçando a convergência das representações.

3. Contribuições Chave

1. Novo Objetivo de Otimização: Introdução do REPO, que acopla a ancoragem de referência em texto benigno com invariância adversarial entre representações de retenção e esquecimento ao nível de token.
2. Robustez Superior: Demonstração de que o REPO supera o estado da arte (SOTA) em cenários de recuperação adaptativa, incluindo ataques de reaprendizado (com poucos exemplos) e jailbreaks GCG aprimorados, onde métodos baseados em saída falham.
3. Análise Mecanística: Evidências de que o REPO realiza edições profundas e localizadas nos neurônios que codificam a toxicidade, preservando a utilidade geral do modelo, ao contrário de métodos que causam mudanças difusas ou degradam o desempenho.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos GPT-2 (Small e Medium) e Gemma-2B, utilizando conjuntos de dados como PairToxicity, WikiText-2 e RealToxicityPrompts.

• Eficiência e Utilidade:

  • O REPO alcançou a menor taxa de toxicidade em amostras de esquecimento (ex: 0.0961 no GPT-2 Small), superando significativamente NPO, DPO e RMU.
  • A utilidade do modelo (medida por Perplexidade e F1 no WikiText) foi mantida quase idêntica à do modelo de referência, indicando que a detoxificação não comprometeu a capacidade de geração geral.
  • Em dados fora da distribuição (OOD), o REPO manteve o desempenho superior, com pontuações de toxicidade RealToxicityPrompts de 0.21 (vs. 0.24 do NPO).

• Robustez a Ataques:

  • Reaprendizado: Sob ataques de fine-tuning com apenas 10 exemplos de dados tóxicos ou 1000 exemplos benignos, o REPO manteve a toxicidade baixa, enquanto DPO e NPO sofreram recuperação significativa da toxicidade.
  • Jailbreaks Aprimorados (GCG): O REPO resistiu a variantes de GCG projetadas especificamente para contornar defesas de apagamento, mantendo a toxicidade baixa onde outros métodos falharam.
  • Ortogonalização: O método também resistiu a ataques que tentam restaurar capacidades removidas projetando fora direções de ativação específicas.

• Análise Mecanística:

  • Localização: Mapas de calor mostraram que o REPO causa desvios de representação (drift) altamente localizados nas camadas mais profundas do modelo e apenas nos tokens tóxicos específicos. Em contraste, DPO e NPO causam mudanças difusas e de menor magnitude em várias camadas e tokens.
  • Neurônios: O REPO induz mudanças significativamente maiores nos neurônios mais alinhados com a direção tóxica ($W_{toxic}$), efetivamente apagando a capacidade de codificar conceitos nocivos, enquanto mantém neurônios neutros intactos.

5. Significado e Conclusão

O trabalho desafia o paradigma atual de alinhamento de LLMs, que funciona principalmente como "supressores de saída" (mascarando comportamentos nocivos sem removê-los).

• Mudança de Paradigma: O REPO demonstra que a segurança robusta requer a engenharia de representações internas, apagando as informações decodificáveis que permitem a geração nociva.
• Durabilidade: Ao remover os recursos latentes em vez de apenas ajustar probabilidades de saída, o REPO cria uma barreira muito mais difícil de ser contornada por ataques adversariais ou re-treinamento.
• Implicação Futura: Os resultados sugerem que, para intervenções de segurança confiáveis em cenários do mundo real, é necessário mover-se além da otimização de preferência baseada em saída para uma abordagem rigorosa de engenharia de representações.

Em resumo, o REPO oferece uma solução mais profunda e durável para a detoxificação de LLMs, garantindo que a toxicidade seja removida da "memória" interna do modelo, e não apenas suprimida temporariamente na superfície.