Revisiting the Past: Data Unlearning with Model State History

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são treinados em massivos corpora da web que frequentemente contêm dados privados, material protegido por direitos autorais, desinformação ou dados de baixa qualidade. Quando tais pontos de dados problemáticos precisam ser removidos para cumprir regulamentações (por exemplo, o "Direito ao Esquecimento") ou melhorar a qualidade do modelo, a abordagem padrão — retreinar o modelo do zero em um conjunto de dados excluindo esses pontos — é computacionalmente proibitiva.

Algoritmos existentes de Desaprendizado de Máquina tentam aproximar esse retreinamento modificando os pesos do modelo a um custo menor. No entanto, esses métodos enfrentam desafios significativos:

• Subesquecimento: O modelo retém vestígios dos dados a serem esquecidos.
• Degradação da Utilidade: O modelo perde capacidades em dados que deveria ter retido.
• Inexatidão: O modelo desaprendido não corresponde funcionalmente a um "modelo ideal" (aquele treinado do zero sem os dados alvo).
• Limitação das Abordagens Atuais: A maioria dos métodos existentes opera exclusivamente no checkpoint final do modelo, tentando reverter a influência dos dados usando apenas o estado atual, o que frequentemente leva a estimativas ruidosas ou enviesadas da influência dos dados.

2. Metodologia: Aritmética de Estado do Modelo (MSA)

Os autores propõem a MSA, um algoritmo de desaprendizado inovador que aproveita checkpoints intermediários do modelo (artefatos rotineiramente armazenados por desenvolvedores para tolerância a falhas e experimentação) para estimar e reverter com mais precisão a influência de pontos de dados específicos.

Conceito Central

Em vez de calcular um "vetor de esquecimento" baseado no modelo final (que já internalizou os dados), a MSA calcula o vetor com base em um checkpoint ($C$) que precede a introdução dos alvos de desaprendizado ($D_f$).

Passos do Algoritmo

1. Entrada: Um modelo alvo $\theta_D$ (treinado em dados completos $D$), um checkpoint intermediário $\theta_0$ (treinado em dados $D \setminus D_f$) e o conjunto de esquecimento $D_f$.
2. Cálculo do Vetor de Esquecimento ($\vec{\theta}_f$):
   • Ajuste fino do checkpoint $\theta_0$ no conjunto de esquecimento $D_f$ para obter um novo estado $\theta_1$.
   • Calcule a diferença: $\vec{\theta}_f = \theta_1 - \theta_0$. Este vetor representa a influência pura de $D_f$ nos parâmetros do modelo antes que o modelo tivesse outros conhecimentos conflitantes.
3. Aplicação do Desaprendizado:
   • Subtraia o vetor de esquecimento do modelo alvo: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$, onde $\alpha$ é um fator de escala.
4. Vetor de Retenção Opcional ($\vec{\theta}_r$):
   • Se um conjunto de retenção $D_r$ estiver disponível, um vetor similar pode ser calculado ajustando finamente $\theta_0$ em $D_r$ para obter $\theta_2$, onde $\vec{\theta}_r = \theta_2 - \theta_0$.
   • A atualização final torna-se: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$.

Insight Chave

Os autores hipotetizam que vetores derivados do modelo final estão emaranhados com o conhecimento existente do modelo, tornando-os estimativas pobres da influência específica dos dados. Ao usar um checkpoint "limpo" de antes que os dados fossem vistos, a MSA isola o efeito semântico do conjunto de esquecimento de forma mais eficaz.

3. Contribuições Principais

• Novo Framework: Introdução da MSA, que reaproveita checkpoints padrão de treinamento para desaprendizado de dados post-hoc, deslocando o paradigma de "apenas estado final" para "consciente do histórico de estados".
• Novas Métricas de Avaliação: O artigo critica métricas padrão como ROUGE-L para desaprendizado (que podem ser enganadas por similaridade sintática apesar de erros factuais) e introduz métricas semânticas baseadas em GPT-4o:
  • Accforget: Mede se o modelo evita com sucesso gerar a verdade fundamental para itens esquecidos.
  • Accrecover: Mede se a saída do modelo se alinha com o "modelo ideal" (o modelo que nunca viu os dados).
  • Accretain: Mede a preservação do conhecimento em dados não esquecidos.
• Benchmarks Abrangentes: Avaliação em três benchmarks principais: TOFU (autores fictícios), RESTOR (restauração de conhecimento corrompido por desinformação) e MUSE-Books (memorização de livros e privacidade).
• Análise de Robustez: Demonstração de que a MSA permanece eficaz mesmo quando o checkpoint utilizado é centenas de bilhões de tokens anterior ao alvo de desaprendizado, embora checkpoints mais próximos produzam melhores resultados.

4. Resultados Experimentais

Os autores avaliaram a MSA contra baselines de última geração (NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL) nos modelos OLMo-2-7B e Llama-3.1/3.2.

• Benchmark TOFU:
  • Variantes da MSA (por exemplo, usando checkpoints 3,6T tokens anteriores) alcançaram desempenho competitivo ou superior em todas as métricas em comparação com as baselines.
  • Diferentemente das baselines que frequentemente sacrificam a utilidade (Accretain) para alcançar o esquecimento, ou falham em recuperar o comportamento ideal (Accrecover), a MSA equilibrou eficazmente os três objetivos.
  • Por exemplo, na tarefa forget10, as variantes da MSA alcançaram ~89% de Accforget e ~96% de Accrecover, enquanto baselines como RMU tiveram alto esquecimento, mas recuperação muito baixa (recusando-se a responder em vez de esquecer).
• Benchmark RESTOR:
  • A MSA superou significativamente as baselines na restauração de conhecimento corrompido por desinformação.
  • No Llama-3.1-8B, a precisão do modelo ideal foi de 64,80%. O modelo corrompido caiu para 44,31%. A MSA recuperou a precisão para 48,45% - 49,19%, enquanto baselines como NPO e SatImp recuperaram apenas para ~44-46%.
• Benchmark MUSE-Books:
  • A MSA demonstrou forte desempenho em Ataques de Inferência de Membro (MIN-K% e MIN-K%++), indicando que o modelo desaprendido não reconhece mais os livros esquecidos como parte de seus dados de treinamento.
  • Variantes da MSA usando checkpoints mais próximos (por exemplo, MSA3859B) igualaram ou excederam o desempenho do modelo ideal nas métricas de vazamento de privacidade.
• Distância do Checkpoint:
  • Experimentos mostraram que, embora checkpoints imediatamente anteriores ao conjunto de esquecimento sejam ótimos, checkpoints centenas de bilhões de tokens mais antigos ainda produzem resultados fortes, tornando a MSA prática mesmo para modelos com checkpointing infrequente.

5. Significado e Conclusão

• Praticidade: A MSA oferece uma solução computacionalmente eficiente ($O(|D_f|)$) que utiliza artefatos (checkpoints) já presentes em pipelines padrão de treinamento de LLMs, não exigindo alterações no processo de treinamento original.
• Conformidade Regulatória: Fornece um caminho viável para provedores de modelos cumprirem solicitações de "Direito ao Esquecimento" sem o custo de retreinamento completo.
• Mudança Teórica: O trabalho desafia a suposição de que o desaprendizado deve depender exclusivamente do estado final do modelo. Sugere que o histórico de estado do modelo é um recurso crítico para a eliminação precisa de dados.
• Direção Futura: O artigo defende que desenvolvedores de modelos mantenham índices de quando os modelos encontram informações específicas durante o treinamento, não apenas para atribuição, mas para habilitar técnicas avançadas de desaprendizado como a MSA.

Em resumo, a MSA representa um avanço significativo no desaprendizado de máquina ao aproveitar a dinâmica temporal do treinamento para alcançar uma remoção de dados mais precisa, que preserva a utilidade e é funcionalmente fiel.