Resumo Técnico: PREUNLEARN: Auditoria de Danos ao Conhecimento Colateral Antes do Desaprendizado de Grandes Modelos de Linguagem

1. Declaração do Problema

O desaprendizado (unlearning) para Grandes Modelos de Linguagem (LLMs) visa remover conhecimento específico, sensível ou prejudicial (o "conjunto para esquecer") enquanto preserva a utilidade geral do modelo. No entanto, a fronteira entre o conhecimento a ser esquecido e o conhecimento a ser retido é frequentemente tênue devido ao emaranhamento de informações relacionadas e distantes dentro dos parâmetros do modelo.

As práticas de avaliação atuais dependem frequentemente de métricas de utilidade agregadas ou sondagens pós-hoc limitadas, que falham em capturar a propagação granular do dano. Especificamente, os benchmarks existentes muitas vezes assumem um conjunto para esquecer fixo e não caracterizam adequadamente como os efeitos do desaprendizado se propagam do conjunto alvo para o conhecimento do mesmo domínio e, posteriormente, para o conhecimento de domínios distantes. Consequentemente, duas questões críticas permanecem inexploradas:

1. RQ.1: Como o impacto do desaprendizado se espalha de um conjunto para esquecer $X$ para o conhecimento de mesmo domínio e de domínio distante $Y$?
2. RQ.2: Podemos prever o potencial dano colateral no conhecimento $Y$ resultante do desaprendizado de $X$ antes que o processo de desaprendizado seja executado?

2. Metodologia

2.1 Estrutura de Impacto de Desaprendizado de Três Camadas

Os autores propõem uma estrutura de avaliação centrada em dados que organiza a degradação do conhecimento pós-desaprendizado em três camadas semânticas em relação a um conjunto para esquecer $D_f$:

• L1 (Degradação Pretendida): Desempenho no próprio conjunto para esquecer $D_f$.
• L2 (Dano de Mesmo Domínio): Desempenho em passagens mantidas (held-out) semanticamente próximas ao domínio do esquecimento.
• L3 (Dano de Domínio Distante): Desempenho em passagens de outros domínios semânticos não relacionados.

O impacto é quantificado usando a Razão de Perplexidade (PPL): $R(S) = \text{PPL}(M^*_\theta, x) / \text{PPL}(M_\theta, x)$, onde $M^*_\theta$ é o modelo desaprendido e $M_\theta$ é o modelo original. Uma razão $>1.0$ indica degradação de desempenho.

2.2 Configuração Experimental

• Dataset: WikiText-103, processado em 10 clusters semânticos bem separados. 100 conjuntos de dados de desaprendizado foram construídos, cada um contendo divisões de esquecimento e retenção disjuntas.
• Modelos: Llama-3.1-8B-Instruct e Qwen2.5-7B-Instruct.
• Algoritmos: Três métodos distintos de desaprendizado foram avaliados:
  • Gradiente Ascendente (GA - Gradient Ascent)
  • Otimização de Preferência Negativa (NPO - Negative Preference Optimization)
  • Desaprendizado via Autodestilação em Logits Ajustados (UNDIAL - Unlearning via Self-Distillation on Adjusted Logits)

2.3 Formulação de Auditoria Pré-Desaprendizado

O artigo formula a "auditoria do conjunto para esquecer" como um problema de regressão supervisionada. O objetivo é prever a razão de dano colateral ($\rho_{f,e}$) para um par de um conjunto candidato para esquecer ($D_f$) e um conjunto de avaliação ($D_e$) antes que qualquer atualização do modelo ocorra.

• Variável Alvo: $\rho_{f,e} = \frac{\log(\text{PPL}_{após, e} / \text{PPL}_{antes, e})}{\log(\text{PPL}_{após, f} / \text{PPL}_{antes, f})}$. Isso normaliza a degradação no conjunto de avaliação pela força de esquecimento alcançada.
• Características de Entrada (Features): O auditor utiliza apenas características pré-atualização ($\phi(D_f, D_e, M_\theta)$) e não tem acesso a gradientes, checkpoints ou medições pós-desaprendizado. As características são categorizadas em:
  1. Características Intrínsecas: Propriedades de $D_f$ e $D_e$ independentemente (ex: comprimento, diversidade, dimensionalidade).
  2. Características de Interação: Relações geométricas entre os dois conjuntos (ex: distância euclidiana do centroide, similaridade de cosseno, razões lexicais).
• Modelos: Regressão de Ridge, Florestas Aleatórias (Random Forests) e XGBoost foram treinados para prever $\rho_{f,e}$.
• Avaliação: O auditor foi testado usando validação cruzada Leave-One-Domain-Out (LODO) e um teste de domínio semântico totalmente mantido para garantir a generalização além das identidades de domínios específicos.

3. Resultados Principais

3.1 Padrões de Impacto de Três Camadas (RQ.1)

• Padrão de Decaimento: Um padrão de decaimento consistente foi observado em todas as combinações de modelos e algoritmos: $L1 > L2 > L3$. O impacto do desaprendizado é mais forte no conjunto para esquecer, mais fraco no conhecimento de mesmo domínio e mais fraco (mas ainda presente) no conhecimento de domínio distante.
• Dependência de Algoritmo: A magnitude do dano varia significamente por algoritmo. O Gradiente Ascendente (GA) produziu o impacto mais agressivo (aumento de até $12.85\times$ na razão de PPL), enquanto o NPO e o UNDIAL permaneceram dentro de $1.05\text{--}1.65\times$.
• Variabilidade do Conjunto para Esquecer: Mesmo com hiperparâmetros e algoritmos fixos, diferentes conjuntos para esquecer induzem perfis de impacto substancialmente diferentes. Essa variação sugere que a escolha do próprio conjunto para esquecer é uma decisão de design crítica.
• Separação Distribucional: As distribuições de degradação para L1, L2 e L3 são claramente separadas, embora o L3 exiba uma "cauda à direita", indicando que danos colaterais severos podem ocorrer mesmo em domínios distantes.

3.2 Desempenho da Auditoria Pré-Desaprendizado (RQ.2)

• Previsibilidade: A tarefa de auditoria é viável. Os melhores regressores alcançaram correlações de ranking de Spearman ($\rho$) de até 0.93 (GA) e 0.90 (UNDIAL) sob validação cruzada LODO. O desempenho permaneceu informativo ($\rho \geq 0.51$) mesmo no objetivo mais difícil, o NPO.
• Importância das Características: Os sinais preditivos mais fortes são as características de interação entre o conjunto para esquecer e o conjunto de avaliação, especificamente:
  • Distância euclidiana do centroide (correlação negativa com o dano).
  • Similaridade de cosseno do centroide (correlação positiva).
  • Razões léxicas e de comprimento entre os conjuntos.
  • As propriedades intrínsecas dos conjuntos isoladamente foram menos preditivas do que sua relação geométrica.
• Estabilidade: A qualidade de ranking do auditor permaneceu estável através de diferentes algoritmos de desaprendizado, sugerindo que o dano colateral é parcialmente determinado pelo acoplamento geométrico pré-existente entre os conjuntos de dados.
• Sensibilidade: O auditor respondeu corretamente às mudanças na composição de risco dos conjuntos de avaliação, distinguindo entre blocos de alto risco e baixo risco em vez de reagir ao ruído aleatório.

4. Significância e Alegações

O artigo posiciona a auditoria do conjunto para esquecer como uma ferramenta de alerta precoce, em vez de um substituto para a avaliação completa. Suas principais contribuições e significâncias são:

1. Caracterização Granular: Estabelece uma estrutura de três camadas demonstrando que o dano do desaprendizado não se limita ao alvo, mas decai com a distância semântica, persistindo mesmo através de fronteiras de domínio.
2. Triagem de Risco Pré-emptiva: Demonstra que o dano colateral pode ser previsto usando apenas a geometria dos dados (características de interação) antes que qualquer otimização dispendiosa de desaprendizado seja executada.
3. Triagem Prática: O auditor permite que os praticantes priorizem execuções de desaprendizado arriscadas, aloquem orçamentos de dados de retenção para domínios vulneráveis ou rejeitem candidatos de alto risco para o conjunto para esquecer precocemente no pipeline.
4. Insight Centrado em Dados: As descobertas sugerem que o dano colateral não é apenas uma função da mecânica do algoritmo de desaprendizado, mas é significativamente influenciado pela relação geométrica entre os dados a serem esquecidos e os dados a serem retidos.

Os autores observam modestamente as limitações, incluindo que o estudo cobre um subconjunto de algoritmos e modelos de desaprendizado, e que a perplexidade serve como um proxy para a degradação comportamental. Eles concluem que, embora o auditor não substitua a avaliação final, ele transforma o processo de uma medição puramente pós-hoc em um problema de ranking mais barato e guiado pelo risco.