Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

Título: Esqueça o que Importa, Mantenha o Resto: Desaprendizagem Seletiva de Tokens Informativos

1. O Problema

O desaprendizagem de máquina (Machine Unlearning) em Grandes Modelos de Linguagem (LLMs) visa remover seletivamente conhecimento específico (por exemplo, dados sensíveis ou informações de um conjunto de treinamento específico) enquanto preserva a utilidade geral do modelo.

O desafio central identificado pelos autores é que a maioria das abordagens atuais aplica a função de perda de esquecimento (forgetting loss) de maneira uniforme a todos os tokens de uma sequência. Isso causa dois problemas:

1. Degradação da Utilidade: Tokens estruturais (como artigos "o", "a", preposições) são penalizados desnecessariamente, prejudicando a capacidade do modelo de gerar linguagem natural coerente.
2. Ineficiência no Esquecimento: Tokens verdadeiramente informativos (que carregam o núcleo semântico da informação a ser esquecida) podem não receber penalidade suficiente se a abordagem for baseada apenas em confiança do modelo, falhando em remover o conhecimento indesejado de forma eficaz.

Abordagens anteriores tentaram resolver isso usando regularizadores baseados em confiança (ground-truth confidence) ou parsers linguísticos externos (como spaCy para identificar substantivos), mas essas métodos falham em capturar a importância contextual ou o estado preditivo global do modelo.

2. Metodologia: Entropy-guided Token Weighting (ETW)

Os autores propõem o ETW (Entropy-guided Token Weighting), um regularizador em nível de token que utiliza a entropia da distribuição preditiva do modelo como um proxy para a "informatividade" de um token.

• Hipótese Central:

  • Tokens Estruturais: Têm baixa entropia. O modelo é altamente confiante em sua previsão (ex: após "o", é muito provável que venha um substantivo ou adjetivo específico, mas a estrutura sintática é previsível).
  • Tokens Informativos: Têm alta entropia. O modelo enfrenta maior incerteza porque existem múltiplas alternativas plausíveis para o próximo token (ex: nomes próprios, fatos específicos, verbos de ação complexos).

• Formulação:
  Em vez de penalizar apenas o token de "ground-truth" com base na sua probabilidade, o ETW calcula a entropia da distribuição sobre todo o vocabulário para cada posição $i$ na sequência:
  $$H(y_i | y_{<i}, x; \theta) = - \sum_{v \in V} p(v | y_{<i}, x; \theta) \log p(v | y_{<i}, x; \theta)$$

  O peso $\omega_i$ para a perda de esquecimento é definido proporcionalmente a essa entropia, normalizada pelo comprimento da sequência:
  $$\omega_i^{ETW} = \frac{n \cdot H(y_i | \dots)}{\sum_{j=1}^n H(y_j | \dots)}$$

  Onde $n$ é o comprimento da sequência. Isso significa que tokens com maior incerteza (alta entropia) recebem um peso maior na função de perda de gradiente ascendente (Gradient Ascent), forçando o modelo a "esquecer" especificamente essas partes informativas, enquanto tokens estruturais (baixa entropia) são preservados.

• Implementação:
  O cálculo da entropia utiliza uma cópia dos parâmetros do modelo ($\hat{\theta}$) com gradiente interrompido (stop-gradient) para garantir que o cálculo dos pesos não afete a atualização dos parâmetros durante o backpropagation.

3. Contribuições Principais

1. Novo Regularizador (ETW): Introdução de um método que utiliza a entropia da distribuição preditiva completa, superando a dependência exclusiva de confiança do token de ground-truth ou de regras linguísticas externas.
2. Distinção Token Informativo vs. Estrutural: Demonstração empírica e teórica de que a entropia é um sinal mais rico e preciso para distinguir tokens que carregam conhecimento essencial daqueles que são apenas estruturais.
3. Melhor Compromisso (Trade-off): O ETW consegue um esquecimento eficaz (alta qualidade de esquecimento) enquanto minimiza a degradação da utilidade do modelo, superando métodos baseados em confiança (como WGA, Imp, SatImp) e baseados em linguagem (SCN, SCE).

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks TOFU (focado em esquecer identidades fictícias) e WMDP (focado em conhecimento perigoso em cibersegurança e biosegurança), utilizando modelos LLaMA (1B, 3B, 7B) e StableLM Zephyr 3B.

• Qualidade de Esquecimento vs. Utilidade:

  • No benchmark TOFU, o ETW alcançou consistentemente as melhores pontuações agregadas (produto de qualidade de esquecimento e utilidade).
  • Em cenários de esquecimento de 10% (mais difícil), o ETW foi o único método que manteve uma utilidade do modelo aceitável enquanto atingia um esquecimento estatisticamente indistinguível de um modelo re-treinado do zero.
  • Métodos baseados em confiança (como WGA e TNPO) tendiam a degradar severamente a utilidade ou falhavam em esquecer adequadamente.

• Análise de Probabilidade:

  • O ETW produziu probabilidades para tokens informativos no modelo desaprendizado que foram as mais próximas das do modelo re-treinado (Retrain), com uma diferença relativa mínima (ex: 0.2% em alguns casos). Isso indica que o modelo aprendeu a "esquecer" o conteúdo sem distorcer a estrutura geral da linguagem.

• Robustez:

  • O método demonstrou robustez em diferentes tamanhos de modelo (de 1B a 7B) e diferentes taxas de esquecimento (1%, 5%, 10%).
  • No benchmark WMDP, o ETW alcançou uma precisão mais baixa nos conjuntos de dados de esquecimento (Bio e Cyber) em comparação com a maioria dos baselines, indicando uma remoção mais eficaz do conhecimento perigoso, sem sacrificar a precisão no conjunto de retenção (MMLU).

5. Significado e Conclusão

Este trabalho avança o campo do desaprendizagem em LLMs ao demonstrar que a entropia da distribuição preditiva é um sinal superior para identificar o que deve ser esquecido.

• Impacto Prático: O ETW permite que organizações removam dados sensíveis ou conhecimentos indesejados de modelos de IA de forma mais segura, evitando a "amnésia" generalizada que prejudica a capacidade de conversação do modelo.
• Inovação Teórica: Desloca o foco de heurísticas estáticas (como POS tagging) ou métricas de confiança simples para uma métrica dinâmica baseada na incerteza do modelo, alinhando-se melhor com a natureza probabilística dos LLMs.
• Limitações: Os autores reconhecem que o método depende da função de perda de gradiente ascendente e que efeitos de cascata em inferência (onde pequenas mudanças em tokens iniciais alteram toda a geração) ainda são um desafio complexo, embora o ETW mitigue significativamente os danos colaterais.

Em resumo, o ETW oferece uma abordagem mais inteligente e seletiva para o "esquecimento" em IA, garantindo que o modelo esqueça o que importa (o conteúdo) mas mantenha o que é necessário (a estrutura e a fluidez).