Multi-Objective Reference-Aligned Machine Unlearning

Resumo Técnico: Aprendizado de Desaprendizado Alinhado por Referência Multi-Objetivo (RAUL)

Definição do Problema
O aprendizado de desaprendizado (Machine Unlearning - MU) visa remover a influência de amostras de treinamento específicas (o "conjunto de esquecimento", $F$) de um modelo implantado, enquanto preserva o desempenho nos dados restantes (o "conjunto de retenção", $R$). Os métodos aproximados existentes dependem tipicamente de otimização de objetivo único, como ascensão de gradiente (maximização da perda em $F$) ou rerotulagem aleatória. Os autores argumentam que essas abordagens induzem o esquecimento catastrófico porque a dinâmica de otimização do "esquecimento" (repelir previsões corretas) entra em conflito com a "retenção" (manter previsões corretas em $R$). Esse conflito faz com que o modelo se desvie do seu conhecimento pré-treinado, resultando em uma perda significativa de utilidade no conjunto de retenção.

Metodologia: Aprendizado de Desaprendizado Alinhado por Referência (RAUL)
O artigo propõe o RAUL, um framework de otimização multi-objetivo (MOO) que reformula o desaprendizado como uma otimização conjunta de esquecimento e retenção, em vez de uma tarefa adversarial única.

1. Formulação de Objetivos:

   • Objetivo de Retenção ($L_{retain}$): Minimização padrão de entropia cruzada no conjunto de retenção $R$ para preservar a utilidade do modelo.
   • Objetivo de Esquecimento Baseado em Referência ($L_{forget}$): Em vez de maximizar a perda em $F$, o RAUL minimiza a divergência de Kullback-Leibler (KL) entre as previsões do modelo em $F$ e uma distribuição de referência ($p_{ref}$) que representa dados "não vistos". Isso alinha a confiança do modelo em amostras esquecidas com o comportamento que ele teria em dados que nunca encontrou.
     $$\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$$

2. Estratégias de Distribuição de Referência:
   O artigo introduz duas estratégias para instanciar $p_{ref}$:

   • Distribuição Uniforme (UniDist): Define $p_{ref}(y) = 1/C$ (onde $C$ é o número de classes). Isso atua como um baseline principiavel que não requer dados adicionais, incentivando a incerteza máxima sobre as amostras esquecidas. Minimizar a KL para uma distribuição uniforme é equivalente a maximizar a entropia de predição.
   • Distribuição de Dados Retidos (HeldDist): Computa uma distribuição de referência empírica a partir de um conjunto de dados disjunto e não visto ($D_{ref}$) que não fez parte do treinamento, validação ou teste originais. Isso fornece uma âncora estável que mimetiza o comportamento de dados verdadeiramente não vistos, oferecendo potencialmente maior estabilidade de retenção.

3. Otimização via Descida de Jacobiano:
   O problema é tratado como uma otimização bi-objetivo: $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$. Para resolver isso sem ponderar manualmente os objetivos (o que pode levar a gradientes conflitantes), os autores empregam descida de Jacobiano usando o agregador UPGrad (Projeção de Gradientes Não Conflitantes).

   • Os gradientes dos dois objetivos ($g_R$ e $g_F$) são empilhados em uma matriz Jacobiana.
   • O UPGrad projeta cada gradiente no cone duplo de todos os gradientes de objetivo e calcula a média deles.
   • Essa agregação encontra um ponto Pareto-estacionário onde a direção de atualização não ascende um objetivo enquanto desce o outro, resolvendo efetivamente o conflito de gradiente.

Principais Contribuições

• Reformulação do Desaprendizado: Muda o paradigma da maximização de perda adversarial para o alinhamento de predição por referência, restringindo o objetivo de esquecimento para evitar o desvio do modelo.
• Framework Multi-Objetivo: Modela explicitamente a tensão entre esquecimento e retenção como um problema bi-objetivo, resolvido via otimização de estacionariedade de Pareto (descida de Jacobiano) em vez de escalonamento linear.
• Estratégias de Referência: Propõe duas distribuições de referência distintas (Uniforme e Held-out) para controlar o comportamento de esquecimento, oferecendo um compromisso entre implementação livre de dados e estabilidade de retenção.
• Otimização Estável: Demonstra que substituir a maximização de perda ilimitada pelo alinhamento de KL limitado reduz o conflito de gradiente, levando a atualizações mais estáveis.

Resultados Experimentais
Os autores avaliaram o RAUL em tarefas de classificação de imagens (CIFAR-10 com ResNet-18) sob razões de esquecimento aleatório de 10% e 50%, comparando contra baselines incluindo Ascensão de Gradiente (GA), Relabeling Aleatório (RL), Funções de Influência (IU) e SalUn.

• Lacuna de Desempenho: As variantes do RAUL alcançaram as menores lacunas médias em comparação ao retreinamento total.
  • Em 10% de esquecimento, o HeldDist-RAUL com UPGrad alcançou a melhor lacuna média de 2,23, superando o baseline mais forte (IU em 6,06) e vencendo significativamente o GA (16,90).
  • Em 50% de esquecimento, onde baselines como GA colapsaram (lacuna de 49,19), o UniDist-RAUL com UPGrad alcançou a melhor lacuna de 6,75, enquanto as variantes HeldDist-RAUL mantiveram lacunas em torno de 9,22.
• Compromisso entre Retenção e Esquecimento:
  • O HeldDist-RAUL priorizou a retenção, alcançando alta Acurácia de Retenção (RA ~98,89%) e Acurácia de Teste (TA ~92,12%) com esquecimento conservador.
  • O UniDist-RAUL ofereceu um perfil de esquecimento mais agressivo (maior Acurácia de Desaprendizado) enquanto ainda mantinha a menor lacuna geral em relação ao retreinamento.
• Métricas de Privacidade: Os métodos RAUL mantiveram pontuações de Ataque de Inferência de Membros (MIA) próximas ao baseline de retreinamento (ex: ~15,31 vs. 13,13 para retreinamento), enquanto o GA caiu para níveis próximos ao aleatório (1,93), indicando que o RAUL remove a influência sem a instabilidade de ataques adversariais.
• Estabilidade: As variantes do RAUL exibiram desvios padrão marcadamente menores de desempenho em comparação ao GA e métodos esparsos $\ell_1$, confirmando a estabilidade das atualizações alinhadas por referência.

Significância e Alegações
O artigo afirma que o RAUL aborda o gargalo fundamental do conflito explícito entre esquecimento e retenção. Ao substituir a maximização de perda ilimitada pelo alinhamento de KL limitado a uma distribuição de referência, o método:

1. Reduz o Conflito de Gradiente: A formulação MOO com agregação UPGrad garante que as atualizações não degradem o conjunto de retenção enquanto esquecem o conjunto alvo.
2. Previne o Esquecimento Catastrófico: A natureza limitada do objetivo de esquecimento impede que o modelo se desvie demais do seu conhecimento pré-treinado.
3. Oferece Flexibilidade: O framework fornece uma escolha entre uma abordagem livre de dados (UniDist) e uma abordagem dependente de dados com maior estabilidade (HeldDist).

Os autores concluem que, embora o UniDist-RAUL sirva como um fallback robusto que não requer dados extras, a disponibilidade de um conjunto retido permite que o HeldDist-RAUL alcance uma retenção mais estreita. Eles observam que trabalhos futuros explorarão a extensão disso para modelos generativos, LLMs e o uso de Algoritmos Evolutivos Multi-Objetivo (MOEAs) para soluções de Pareto mais diversas.