Resumo Técnico: Poda de Subpalavras Tóxicas para Geração de Respostas em Diálogo em Modelos de Linguagem de Grande Escala

Declaração do Problema

O avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) introduziu riscos significativos relacionados à geração de conteúdo prejudicial ou tóxico. Embora a pesquisa de segurança existente foque principalmente na defesa de modelos "seguros" contra ataques de jailbreak ou prompts tóxicos, permanece uma lacuna crítica para modelos que já são tóxicos. Esse cenário surge quando desenvolvedores individuais criam acidentalmente modelos tóxicos ou quando atacantes ganham acesso aos pesos do modelo para ajustá-los com conteúdo prejudicial.

As estratégias atuais de mitigação enfrentam várias limitações:

• Alinhamento de Segurança: O ajuste fino de modelos pré-treinados para segurança é computacionalmente caro e frequentemente inacessível a desenvolvedores individuais.
• Classificadores Externos: O uso de classificadores de toxicidade externos para detectar e bloquear saída tóxica é imperfeito. Atacantes podem contorná-los via prompts de injeção maliciosos, e o bloqueio contínuo pode tornar o modelo inútil ao impedir qualquer saída.
• Desintoxicação Complexa: Os métodos existentes para desintoxicar LLMs tóxicos são frequentemente complexos demais para implantação rápida.
• Vulnerabilidade a Injeção de Prompt: Mesmo modelos bem alinhados podem ser acionados para geração tóxica via injeção de prompt.

O artigo postula que é necessária uma solução leve, em tempo de inferência, para podar capacidades tóxicas diretamente do processo de decodificação do modelo, sem exigir retreinamento caro ou atualizações de pesos.

Metodologia: Poda de Subpalavras Tóxicas (ToxPrune)

Os autores propõem o ToxPrune, um algoritmo inovador que poda subpalavras (subtokens) associadas a palavras tóxicas do vocabulário de um LLM treinado durante o processo de decodificação.

Mecanismo Central

1. Lista Tóxica Personalizada: O método aceita uma lista de palavras tóxicas definida pelo usuário.
2. Tokenização em Subpalavras: Essas palavras são tokenizadas em subpalavras usando o tokenizador do modelo (por exemplo, BPE). Os autores observam que palavras tóxicas e não tóxicas podem compartilhar subpalavras; o ToxPrune lida com isso podando as subpalavras específicas derivadas da lista tóxica.
3. Modificação da Distribuição: Durante a inferência, a distribuição de probabilidade do próximo token é modificada. Em vez de amostrar do vocabulário completo $V$, o modelo amostra de um conjunto restrito $V \setminus V_{toxic}$, onde $V_{toxic}$ representa as subpalavras tóxicas podadas.
   • Formalmente, para amostragem top-$k$, a distribuição muda de $P(\bar{x}_i | \dots) \in V^{(k)}$ para $P(\bar{x}_i | \dots) \in V^{(k)} \setminus V^{(k)}_{toxic}$.
   • Para Busca em Feixe (Beam Search), a probabilidade de sequências contendo palavras podadas é definida como 0, efetivamente descartando-as da lista de candidatos.
4. Expansão e Truncamento:
   • Lista Negra Parafraseada: Para aumentar a cobertura, a lista inicial de palavras tóxicas pode ser expandida usando um gerador de paráfrases para incluir variações de termos tóxicos.
   • Lista Branca Truncada: Uma lista branca pré-definida pode ser usada para preservar palavras-chave específicas, removendo subpalavras tóxicas que se sobrepõem a palavras seguras, garantindo que termos não tóxicos críticos permaneçam utilizáveis.

Implementação

O ToxPrune opera inteiramente na fase de inferência. Não requer atualização de pesos do modelo, retreinamento ou classificadores externos. Ele se integra a estratégias de amostragem padrão (Top-$k$, Top-$p$, Busca em Feixe) simplesmente filtrando o vocabulário candidato antes da seleção.

Contribuições Principais

1. Algoritmo Inovador: A introdução do ToxPrune, um método que deleta subpalavras tóxicas para afetar diretamente o processo de decodificação da geração de diálogos.
2. Validação Dupla: O método é validado tanto em um LLM tóxico conhecido (NSFW-3B) quanto em um LLM oficialmente alinhado e não tóxico (Llama-3.1-6B Base).
3. Evidência Empírica: Estudos de caso extensos e avaliações automáticas demonstram que o ToxPrune mitiga efetivamente a geração tóxica, mantendo ou melhorando a qualidade do diálogo.

Resultados Experimentais

Conjuntos de Dados e Modelos

• Conjuntos de Dados: Os experimentos foram conduzidos em PERSONACHAT-ORI e PERSONACHAT-REV (uma versão manualmente revisada e mais difícil), que são conjuntos de dados de diálogo multi-turno condicionados a personas.
• Modelos:
  • NSFW-3B: Um LLM tóxico de código aberto treinado para gerar palavras sujas.
  • Llama-3.1-6B: A versão base oficial do Llama-3.1 com alinhamento de segurança.
• Baselines: As comparações incluíram uma abordagem baseada em paráfrase e um Classificador de Toxicidade (TC) usando GPT-4 para regeneração.

Desempenho em LLMs Tóxicos (NSFW-3B)

• Redução de Toxicidade: O ToxPrune reduziu drasticamente as pontuações de toxicidade (avaliadas pelo GPT-4) de 0,89 (baseline) para 0,13 (com 100% de poda).
• Melhoria de Qualidade: Contrariamente à expectativa de que a poda degradaria o desempenho, a maioria das métricas melhorou:
  • BLEU: Embora o BLEU-1 tenha sofrido uma leve queda, o BLEU-2 ao BLEU-4 e o BLEU ponderado aumentaram.
  • ROUGE: Todas as métricas ROUGE (R-1, R-2, R-L) melhoraram.
  • Diversidade: As pontuações Distinct-1 e Distinct-2 aumentaram significativamente (por exemplo, Distinct-2 de 0,712 para 0,800).
• Comparação: As baselines usando paráfrase ou classificadores de toxicidade falharam em mitigar a toxicidade efetivamente porque o modelo subjacente NSFW-3B regenerou consistentemente conteúdo tóxico.

Desempenho em LLMs Não Tóxicos (Llama-3.1-6B)

• Segurança: A toxicidade permaneceu em 0,00.
• Diversidade: O ToxPrune surpreendentemente melhorou as métricas de diversidade (Distinct-1 e Distinct-2) no modelo limpo, sugerindo que mascarar subpalavras frequentes compartilhadas entre contextos tóxicos e não tóxicos achata a distribuição de palavras, levando a saídas mais variadas.
• Qualidade: As métricas BLEU e ROUGE mostraram variações leves, com algumas melhorias no ROUGE, indicando que a poda não prejudicou as capacidades generativas centrais do modelo.

Avaliação Humana

• LLM Tóxico: Anotadores humanos preferiram significativamente o ToxPrune à baseline NSFW-3B em Adequação, Informatividade, Engajamento e Humanidade. A toxicidade da baseline foi amplamente eliminada.
• LLM Não Tóxico: O ToxPrune não degradou o desempenho no Llama-3.1-6B e mostrou uma melhoria estatisticamente significativa em Informatividade (diversidade).

Significado e Alegações

O artigo alega que o ToxPrune oferece uma abordagem simples, eficaz e inovadora para segurança de IA com vantagens únicas:

1. Remediação de Modelos Tóxicos: Pode resgatar modelos que foram comprometidos ou intencionalmente treinados para serem tóxicos, restaurando sua capacidade de gerar diálogos significativos e não tóxicos sem retreinamento.
2. Melhoria de Modelos Seguros: Pode melhorar a diversidade do diálogo em modelos já seguros, desafiando a noção de que podar vocabulário é inerentemente prejudicial a tarefas de geração.
3. Robustez Contra Ataques: Ao remover tokens tóxicos da lista de amostragem inteiramente, o ToxPrune previne a geração tóxica mesmo sob ataques de injeção de prompt, pois o modelo fisicamente não consegue emitir os tokens podados.
4. Eficiência: Diferentemente do alinhamento de segurança ou edição de modelos, o ToxPrune não requer atualizações de modelo, é computacionalmente barato e permite personalização dinâmica da lista de palavras tóxicas.

Os autores concluem que, embora trabalhos anteriores sugerissem que podar tokens BPE prejudicasse tarefas como tradução automática, este estudo demonstra sua utilidade surpreendente no domínio da segurança de IA e geração de diálogos.