Resumo Técnico: De-attribute to Forget para Unlearning de LLM (DareU)

1. Declaração do Problema

A rápida implantação de Grandes Modelos de Linguagem (LLMs) intensificou as preocupações em relação ao uso de dados de treinamento inapropriados, incluindo violação de propriedade intelectual, informações privadas e conteúdo nocivo. Regulamentações como o GDPR e o CCPA impõem o "direito ao esquecimento", exigindo a remoção de influências de dados específicos de modelos treinados. Embora o retreinamento de um modelo do zero seja a solução ideal, isso é computacionalmente proibitivo dada a escala dos modernos LLMs e conjuntos de dados.

Abordagens existentes de unlearning de máquina baseiam-se primariamente na otimização baseada em perda de predição, empregando tipicamente o Gradiente Ascendente (GA) para maximizar a perda no "conjunto de esquecimento" (o conjunto de dados a ser removido). O artigo identifica duas limitações críticas nestes métodos:

1. Esquecimento Excessivo e Colapso do Modelo: Maximizar a perda de forma ingênua ou minimizar a verossimilhança (log-likelihood) frequentemente leva a gerações incoerentes e sem sentido (gibberish), em vez de um modelo funcional que simplesmente ignora o conjunto de esquecimento.
2. Alvos de Otimização Inconsistentes: O valor da perda alvo para um modelo perfeitamente desaprendido varia entre os indivíduos dos dados (como mostrado pelas verossimilhanças variáveis de modelos retreinados). Consequentemente, maximizar a perda não fornece um objetivo consistente e preciso, muitas vezes degradando o desempenho no "conjunto de retenção" (os dados que devem ser preservados).

A questão central levantada é se existe um objetivo de otimização mais preciso que evite o esquecimento excessivo enquanto remove efetivamente a influência dos dados.

2. Metodologia: Estrutura DareU

Os autores propõem o DareU (Data Attribution-based REinforcement Learning for Unlearning), a primeira estrutura que enquadra o unlearning de LLM como um problema de desatribuição de dados em vez de um problema de minimização de perda de predição.

Conceito Central: Desatribuição de Dados

Em vez de maximizar a perda de predição, o DareU visa reduzir a pontuação de atribuição das respostas geradas pelo LLM aos proprietários dos dados de esquecimento.

• Função de Atribuição: Uma função $DA(i, y_d)$ atribui uma pontuação normalizada $\in [0, 1]$ indicando a probabilidade de que o conjunto de dados do proprietário de dados $i$ tenha influenciado a geração $y_d$.
• Objetivo: Para um conjunto de esquecimento $D_F$ pertencente a proprietários $F$, o objetivo é minimizar a pontuação de atribuição esperada:
  $$\min_{\theta} \mathbb{E}_{i \in F} [\mathbb{E}_{d \sim D_i} (DA(i, y_d))]$$
  Idealmente, após o unlearning, a pontuação de atribuição para os dados de esquecimento deve ser próxima de 0, enquanto o modelo permanece atribuível aos proprietários do conjunto de retenção. Isso fornece um valor alvo consistente (0) para todas as amostras e evita favorecer saídas colapsadas e sem sentido.

Implementação via Aprendizado por Reforço (PPO)

Como as funções de atribuição fornecem feedback escalar, elas servem naturalmente como modelos de recompensa para o Aprendizado por Reforço (RL). Os autores empregam a Otimização de Política Próxima (PPO) para alinhar o LLM:

1. Sinal de Recompensa: A recompensa é derivada da pontuação de atribuição. Para melhorar a estabilidade, a pontuação é transformada via uma função baseada em log $\chi$ para mapear as probabilidades para o intervalo $[-1, 0]$, onde pontuações de atribuição mais baixas geram recompensas mais altas.
2. Computação Eficiente de Recompensa: Para evitar o alto custo computacional de invocar uma função de atribuição para cada token, a pontuação de atribuição é computada a cada $\kappa$ tokens e transmitida para os tokens intermediários. Uma recompensa base média de prefixo é calculada para reduzir a variância.
3. Regularização de Destilação: Para preservar a utilidade do modelo no conjunto de retenção ($D_R$), é adicionado um termo de regularização de destilação. Este termo minimiza a divergência KL entre a política atual desaprendida e a política original no conjunto de retenção, evitando o esquecimento catastrófico de dados não relacionados ao esquecimento.
4. Classificador de Atribuição ($D_{Ac}$): Reconhecendo que funções de atribuição ideais (ex: Leave-One-Out, valores de Shapley) são computacionalmente caras, os autores treinam um classificador de LLM leve (usando LoRA) para prever o proprietário dos dados de uma resposta gerada. Este classificador é treinado offline antes do unlearning e congelado durante o processo de PPO.

3. Principais Contribuições

1. Novo Objetivo de Otimização: O artigo introduz a desatribuição de dados como um objetivo preciso para o unlearning de LLM, abordando a inconsistência e a instabilidade dos métodos baseados em perda de predição.
2. Estrutura DareU: Os autores propõem a primeira estrutura de unlearning que utiliza recompensas de atribuição de dados dentro de um cenário de PPO. Ela equilibra efetivamente o compromisso entre qualidade de esquecimento (remoção de influência) e utilidade do modelo (preservação do desempenho nos dados de retenção).
3. Validação Empírica: Experimentos extensos demonstram que o DareU supera as linhas de base existentes (incluindo GA, GDiff, SCRUB e métodos de otimização de preferência como IDK e NPO) ao alcançar um unlearning eficaz sem degradação significativa da utilidade do modelo ou geração de texto incoerente.

4. Resultados Experimentais

A estrutura foi avaliada em dois benchmarks: TOFU (Question Answering) e ArXiv (Text Completion), utilizando modelos Llama2-7B e Qwen3-8B.

• Eficácia do Unlearning: O DareU alcançou as pontuações ROUGE de DF (Conjunto de Esquecimento) mais próximas do padrão ouro de "Retreinamento" em ambos os conjuntos de dados, indicando uma qualidade de esquecimento superior.
• Utilidade do Modelo: Diferente do Gradiente Ascendente (GA) e GDiff, que frequentemente sofriam de esquecimento excessivo (baixo ROUGE em DR), o DareU manteve pontuações ROUGE elevadas no conjunto de retenção ($D_R$) e no conjunto de teste ($D_{test}$).
• Equilíbrio (Pontuação ToW): O DareU alcançou a maior pontuação Tug-of-War (ToW), uma métrica que agrega as lacunas entre o modelo desaprendido e o modelo retreinado através dos conjuntos de esquecimento, retenção e teste. Isso confirma a capacidade do DareU de equilibrar melhor a qualidade do esquecimento e a utilidade do que qualquer linha de base.
• Robustez:
  • Redução de Gibberish: O DareU produziu significativamente menos respostas incoerentes/sem sentido em comparação com GA e SCRUB.
  • Robustez Adversária: O método permaneceu eficaz contra consultas de esquecimento parafraseadas e sobreposições semânticas entre os conjuntos de esquecimento e retenção.
  • Precisão do Classificador: A estrutura permaneceu robusta mesmo quando a precisão do classificador de atribuição era artificialmente reduzida.
• Eficiência: Embora o DareU incorra em custos computacionais mais altos do que métodos simples de perda de predição (devido à geração de RL), é significativamente mais eficiente que o retreinamento total e comparável a métodos de otimização de segunda ordem como SCuReNewton.

5. Significância e Alegações

O artigo afirma que o DareU oferece uma perspectiva de otimização mais precisa e estável para o unlearning de LLM. Ao mudar o foco de "maximizar o erro" para "zerar a atribuição", o método evita as armadilhas de colapso do modelo e alvos inconsistentes inerentes às abordagens de gradiente ascendente.

Os autores enfatizam que, embora tenham utilizado um classificador leve como uma aproximação eficiente, a contribuição central é o próprio objetivo de desatribuição. Eles afirmam que esta abordagem fornece um alvo consistente (pontuação de 0) para todas as amostras de esquecimento, o que é teoricamente superior aos alvos variáveis dos métodos baseados em perda.

Limitações Reconhecidas:

• Custo Computacional: O DareU é mais caro computacionalmente do que o ajuste fino simples ou GA, embora ofereça um compromisso justificado para um melhor desempenho.
• Dependência de Atribuição: O método requer acesso aos dados de treinamento (ou um subconjunto deles) para treinar o classificador de atribuição, o que pode limitar sua aplicação para remoção de dados de pré-treinamento onde tais dados podem estar inacessíveis.
• Aproximação: O uso de um classificador é uma aproximação; trabalhos futuros poderiam integrar funções de atribuição mais precisas ou eficientes para melhorar ainda mais o desempenho.

Em conclusão, o artigo posiciona o DareU como uma solução de estado da arte que remove efetivamente a influência dos dados enquanto preserva a utilidade do LLM, aderindo ao "direito ao esquecimento" sem exigir custos de retreinamento proibitivos.