Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning

Resumo Técnico: O Esquecimento tem Vizinhos: Esquecimento Colateral Localizado em Desaprendizado de Máquina

Definição do Problema
O desaprendizado de máquina (machine unlearning) visa remover a influência de exemplos de treinamento específicos (o "conjunto de esquecimento" ou forget set) de um modelo treinado sem o custo computacional de um retreinamento completo. Embora as avaliações padrão dependam de métricas agregadas (ex: acurácia de retenção, acurácia de esquecimento e pontuações de auditoria de privacidade), os autores argumentam que esses resumos podem mascarar falhas localizadas. Especificamente, um modelo desaprendido pode parecer próximo de uma referência retreinada em média, enquanto exibe desvios agudos em exemplos específicos retidos ou de teste.

O artigo identifica um modo de falha denominado esquecimento colateral localizado: a degradação não pretendida nas predições do modelo em exemplos não deletados que estão geometricamente próximos do conjunto de esquecimento no espaço de representação. Isso ocorre porque os exemplos são acoplados através de representações compartilhadas; intervenções projetadas para suprimir o sinal do conjunto de esquecimento (como ascensão de gradiente ou rotulagem aleatória) propagam perturbações para pontos retidos próximos.

Metodologia
Os autores abordam o problema por meio de análise teórica, observação empírica e uma estratégia de mitigação proposta.

1. Análise Teórica:

   • Ascensão de Gradiente (GA - Gradient Ascent): Em regressão linear, os autores provam que o excesso de perda de um modelo desaprendido em relação a um modelo retreinado escala com o alinhamento ao quadrado ($\langle x_q, x_f \rangle^2$) entre um ponto de consulta retido $x_q$ e o ponto deletado $x_f$.
   • Rotulagem Aleatória (RL - Random Labeling): Na regressão logística, a discrepância entre RL e o retreinamento é mostrada como sendo governada pela projeção do ponto de consulta no subespaço (span) do conjunto de esquecimento. Os rótulos aleatórios impostos ao conjunto de esquecimento criam um "descompasso de alvo" (target mismatch) que conflita com a estrutura de predição local induzida pelo retreinamento. Esse descompasso se propaga para pontos próximos.
   • Ajuste Fino de Retenção (Retain Fine-Tuning): A análise demonstra que, embora o ajuste fino no conjunto de retenção possa restaurar o acordo nos pontos de treinamento retidos, ele não corrige necessariamente o comportamento do modelo ao longo de componentes que residem dentro do subespaço do conjunto de esquecimento. Assim, o descompasso de alvo permanece como uma causa raiz.

2. Método Proposto: Destilação de Professor Local (LTD - Local Teacher Distillation)
   Motivados pela descoberta de que o descompasso de alvo impulsiona erros localizados, os autores propõem a Destilação de Professor Local. Em vez de atribuir rótulos aleatórios ou corrompidos ao conjunto de esquecimento, a LTD os substitui por "rótulos suaves" (soft labels) derivados de um pequeno modelo professor auxiliar.

   • Seleção de Suporte: O professor é treinado apenas em um subconjunto de exemplos retidos ($S_k$) que são vizinhos mais próximos do conjunto de esquecimento no espaço de representação (medido pela similaridade de cosseno das representações da penúltima camada). Isso garante que o professor aproxime a estrutura de predição local do modelo retreinado próximo ao conjunto de esquecimento.
   • Objetivo de Treinamento: O processo de desaprendizado otimiza uma função de perda que preserva o desempenho no conjunto de retenção (usando rótulos rígidos/hard labels) enquanto minimiza a entropia cruzada entre as predições do modelo no conjunto de esquecimento e as predições suaves do professor.
   • Eficiência: O professor é uma arquitetura menor treinada apenas no conjunto de suporte selecionado, evitando o custo de um retreinamento completo.

Principais Contribuições

1. Identificação do Fenômeno: O artigo estabelece que o esquecimento colateral não é uniforme, mas concentrado em exemplos de não-esquecimento próximos ao conjunto de esquecimento no espaço de representação.
2. Caracterização Teórica: Os autores fornecem provas teóricas para os métodos GA e RL, mostrando que o desvio em relação ao retreinamento é governado pelo alinhamento ou projeção dos pontos retidos no conjunto de esquecimento. Eles identificam o descompasso de alvo (alvos substitutos inconsistentes vs. estrutura de retreinamento) como o mecanismo subjacente.
3. Estratégia de Mitigação: Introduzem a Destilação de Professor Local, um método simples que utiliza um professor local para gerar rótulos suaves consistentes para o conjunto de esquecimento.
4. Validação Empírica: Experimentos no CIFAR-100 (deleção parcial de classe) mostram que a LTD reduz substancialmente a discrepância em relação ao retreinamento, particularmente para classes afetadas e exemplos de alta similaridade, mantendo métricas agregadas de desaprendizado competitivas.

Resultados

• Métricas Agregadas: No CIFAR-100 com 50% de deleção de classe, a LTD atinge o menor "Avg. Gap" (desvio absoluto médio em relação ao retreinamento em acurácia e métricas de privacidade) entre os baselines comparados (GA, RL, FT, SalUn, IU, AMUN).
• Desempenho Localizado: Embora as métricas agregadas possam ser enganosas, a LTD supera significativamente os baselines em subconjuntos de classes afetadas (pontos retidos e de teste pertencentes à classe deletada). Por exemplo, enquanto outros métodos mostraram grandes quedas de acurácia para esses pontos específicos em relação ao retreinamento, a LTD manteve a estabilidade.
• Análise de Similaridade: O artigo demonstra que os métodos concorrentes exibem quedas agudas de acurácia conforme a similaridade com o conjunto de esquecimento aumenta. Em contraste, a LTD mantém um baixo desvio em todos os intervalos (bins) de similaridade.
• Estudos de Ablação: Os resultados confirmam que o uso de suporte de vizinho mais próximo para o professor é crítico; o suporte aleatório ou distante falha em capturar a estrutura de predição relevante, levando a um pobre alinhamento com o retreinamento.

Significância e Alegações
O artigo afirma que as avaliações padrão de desaprendizado são insuficientes porque ocultam falhas estruturadas próximas ao conjunto de esquecimento. A significância deste trabalho reside em:

• Revelar que o descompasso de alvo é uma causa fundamental do esquecimento colateral localizado, persistindo mesmo com o ajuste fino do conjunto de retenção.
• Demonstrar que melhorar a consistência local dos alvos do conjunto de esquecimento (via um professor local) é uma estratégia de mitigação mais eficaz do que depender apenas da recuperação do conjunto de retenção.
• Fornecer um método prático e de baixo custo (LTD) que aproxima substancialmente os modelos desaprendidos de sua referência de retreinamento, particularmente no entorno crítico dos dados deletados, sem sacrificar a privacidade ou a utilidade.

Os autores mantêm a modéstia quanto à generalização, observando que seu método depende da qualidade do conjunto de suporte local e da representação. Eles reconhecem que conjuntos de esquecimento altamente heterogêneos podem exigir agrupamento (clustering) ou múltiplos professores locais, e que a extensão para arquiteturas e conjuntos de dados mais amplos permanece como um trabalho futuro.