Resumo Técnico: Amostragem Padrão vs. Modular: Melhores Práticas para o Desaprendizado Confiável de LLMs

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) treinados em vastos conjuntos de dados extraídos da web frequentemente memorizam informações sensíveis, incluindo dados pessoais e conteúdo protegido por direitos autorais. Embora o Desaprendizado de LLM (LLM Unlearning) tenha surgido como uma técnica para remover conhecimentos específicos enquanto preserva a utilidade geral do modelo, a área carece de melhores práticas padronizadas e baseadas em evidências para a construção de conjuntos de dados e estratégias de amostragem.

Os benchmarks e metodologias atuais sofrem de duas deficiências primárias:

1. Composição do Conjunto de Retenção (Retain Set): A maioria dos trabalhos existentes baseia-se em um único tipo de "conjunto de vizinhos" (conexões diretas ou indiretas com o alvo de esquecimento) combinado com um pool de conhecimento geral. Isso falha em refletir as relações complexas e multifacetadas presentes nos dados do mundo real.
2. Estratégias de Amostragem: O campo depende fortemente de padrões de fato, como a amostragem 1:1 (combinando um exemplo de esquecimento com um exemplo de retenção por época) ou amostragem cíclica (iterando através de todos os exemplos de retenção enquanto cicla pelos alvos de esquecimento). A eficácia e a estabilidade dessas heurísticas não foram criticamente examinadas, potencialmente ocultando compensações de desempenho e introduzindo riscos ocultos, como o esquecimento catastrófico ou a instabilidade.

Metodologia

Os autores conduziram uma avaliação sistemática para estabelecer melhores práticas para o desaprendizado de LLM, focando no Desaprendizado ao Nível de Entidade (remover todo o conhecimento de uma entidade específica, ex: uma pessoa).

1. Construção do Conjunto de Dados (Extensão WPU)

O estudo utilizou o conjunto de dados Wikipedia Person Unlearning (WPU), que apresenta figuras menos populares para simular cenários realistas de desaprendizado. Os autores estenderam este conjunto de dados para incluir:

• Conjunto de Vizinhos Diretos ($N_d$): Entidades diretamente ligadas ao alvo de esquecimento (ex: local de nascimento, família).
• Conjunto de Vizinhos Indiretos ($N_{ind}$): Entidades que compartilham relações semânticas ou contextuais (ex: mesma profissão, período histórico), geradas usando um modelo LLaMA 3.3 70B para encontrar profissões similares para as entidades alvo.
• Similaridade Sintática ($N_s$): Garantir que os pares de Q&A no conjunto de retenção compartilhassem estruturas sintáticas interrogativas com os alvos de esquecimento para controlar a influência sintática.
• Conjunto de Teste ($D_t$): Uma mistura equilibrada de vizinhos indiretos restantes e amostras de conhecimento geral para avaliar a Utilidade do Modelo.

2. Configuração Experimental

Os autores realizaram o ajuste fino (fine-tuning) do LLaMA 3.1 8B Instruct e avaliaram três algoritmos de desaprendizado:

• Gradient Difference (GD) e Negative Preference Optimization (NPO) para desaprendizado não direcionado.
• Direct Preference Optimization (DPO) para desaprendizado direcionado.

Eles compararam sete configurações distintas combinando práticas de dados e estratégias de amostragem:

• Práticas de Dados: Restringir o conjunto de retenção apenas a Vizinhos Diretos, apenas Vizinhos Indiretos, ou uma mistura Equilibrada de ambos.
• Práticas de Amostragem:
  • 1:1 Sequencial: Combinando os principais exemplos de retenção com os de esquecimento.
  • 1:1 Aleatória: Selecionando aleatoriamente um número igual de exemplos de retenção por época.
  • Cíclica: Ciclando pelo pool total de retenção enquanto itera pelos alvos de esquecimento.
  • Desaprendizado Modular ao Nível de Entidade (MELU): Uma estratégia proposta onde cada alvo de esquecimento é emparelhado apenas com amostras de retenção pertencentes à mesma entidade específica, evitando emparelhamentos não relacionados.

3. Métricas de Avaliação

O desempenho foi medido usando:

• Eficácia de Esquecimento (FE): Calculada como $1 - \text{Média Aritmética}$ de ROUGE-L, Probabilidade Condicional e Similaridade de Cosseno no conjunto de esquecimento.
• Utilidade do Modelo (MU-T): Média harmônica das mesmas métricas no conjunto de teste.
• Diversidade de Tokens: Medida via Distinct-N para detectar colapso ou degeneração do modelo.
• Conhecimento Geral: Pontuações MMLU para avaliar a integridade ampla do modelo.

Principais Contribuições

1. Análise Crítica de Práticas de Dados: O estudo demonstra que confiar em um único conjunto de vizinhos é suboptimal. Um conjunto de retenção diverso (combinando vizinhos diretos e indiretos) é crucial para equilibrar a Eficácia de Esquecimento e a Utilidade do Modelo.
2. Ineficiência da Amostragem 1:1: Os autores descobriram que a amostragem 1:1 padrão (tanto sequencial quanto aleatória) é ineficiente, produzindo resultados de esquecimento insatisfatórios e falhando em utilizar todo o potencial do conjunto de retenção.
3. Proposta do MELU: O artigo introduz o Desaprendizado Modular ao Nível de Entidade (MELU), uma estratégia de amostragem estruturada onde os alvos de esquecimento são emparelhados exclusivamente com suas respectivas amostras de retenção específicas de entidade. Esta abordagem mostrou-se mais estável e eficaz do que a amostragem cíclica convencional.

Resultados

• Composição de Dados:

  • Direto vs. Indireto: Métodos baseados em gradiente (GD) mostraram maior Eficácia de Esquecimento com Vizinhos Diretos, mas sofreram quedas significativas na Utilidade do Modelo. Por outro vez, os Vizinhos Indiretos preservaram melhor a Utilidade do Modelo, mas às vezes resultaram em menor Eficácia de Esquecimento para métodos baseados em gradiente.
  • Conjuntos Equilibrados: Embora um conjunto equilibrado nem sempre maximizasse ambas as métricas simultaneamente, ele forneceu um compromisso necessário, evitando a perda extrema de utilidade vista nos conjuntos apenas Diretos.
  • Diversidade de Tokens: Conjuntos Indiretos e Equilibrados geralmente mantiveram maior diversidade de tokens em comparação aos conjuntos Diretos, que frequentemente levaram à degeneração do modelo (especialmente com GD).

• Estratégias de Amostragem:

  • Amostragem 1:1: Falhou consistentemente em produzir um esquecimento significativo em todos os algoritmos, independentemente do número de épocas.
  • Cíclica vs. MELU: Tanto a Cíclica quanto o MELU superaram significativamente a amostragem 1:1.
  • Superioridade do MELU: O MELU demonstrou superior estabilidade. Sob DPO, ele aumentou a Eficácia de Esquecimento em 12% em comparação com a amostragem Cíclica, mantendo alta Utilidade do Modelo. Para alvos difíceis (ex: "Ted Kooser"), o MELU alcançou Eficácia de Esquecimento > 0,50, enquanto a amostragem 1:1 falhou (< 0,10).
  • Estabilidade: O MELU proporcionou um sinal de aprendizado mais consistente ao reduzir a variância causada por pares de esquecimento-retenção não relacionados, levando a pontuações MMLU e diversidade de tokens estáveis.

Significância e Alegações

O artigo afirma que a composição do conjunto de retenção e a escolha da estratégia de amostragem são fatores críticos, porém frequentemente negligenciados, no desaprendizado de LLM. Os autores sustentam que:

• Confiar em conjuntos de vizinhos únicos ou amostragem 1:1 padrão introduz riscos ocultos e tetos de desempenho.
• A estratégia proposta MELU, combinada com algoritmos robustos, oferece um caminho claro e estável para um desaprendizado eficaz.
• O trabalho fornece uma primeira evidência de melhores práticas, instando a comunidade a se mover em direção a conjuntos de dados de benchmark mais diversos e realistas e técnicas de amostragem estruturadas, em vez de depender de heurísticas simples.

Os autores permanecem modestos em relação às suas alegações, reconhecendo limitações como o uso de um "modelo irmã" para a geração do conjunto de dados (o que pode limitar a generalização entre famílias de modelos) e a falta de uma análise profunda das razões teóricas por trás da estabilidade do MELU versus a amostragem Cíclica. Eles posicionam este trabalho como um passo em direção ao estabelecimento de protocolos rigorosos para futuras pesquisas de desaprendizado.