Rethinking Federated Unlearning via the Lens of Memorization

Resumo Técnico: Repensando o Desaprendizado Federado sob a Perspectiva da Memorização

Declaração do Problema
A Aprendizagem Federada (AF) está cada vez mais exigida a suportar o desaprendizado de máquina para cumprir regulamentações de privacidade, como o GDPR e o CCPA (o "direito ao esquecimento"). Embora o retreinamento de um modelo do zero após a remoção dos dados de um cliente seja o padrão-ouro para o desaprendizado, ele incorre em custos computacionais e de comunicação proibitivos. Abordagens existentes de desaprendizado federado (AF) tentam aproximar esse retreinamento perturbando representações, utilizando atualizações históricas ou aplicando ascensão de gradiente. No entanto, os autores argumentam que esses métodos frequentemente ignoram a distinção crítica entre informações sobrepostas (padrões generalizáveis compartilhados entre o cliente a ser desaprendido e os clientes remanescentes) e informações únicas de memorização (detalhes específicos do cliente). Algoritmos atuais frequentemente tentam eliminar a influência de todo o conjunto de dados a ser desaprendido, removendo inadvertidamente padrões sobrepostos. Isso leva a um desaprendizado ineficaz (falha em remover dados memorizados específicos) e a injustiça (degradação desproporcional do desempenho dos clientes remanescentes que compartilham padrões semelhantes com o cliente a ser desaprendido).

Metodologia
O artigo propõe um framework fundamentado na teoria da informação e no conceito de memorização, levando ao desenvolvimento do Poda de Memorização Federada (FedMemPrune).

1. Fundamentação Teórica (Decomposição de Informação):
   Os autores formalizam o desaprendizado usando a Decomposição de Informação Parcial. Eles definem a informação aprendida por um modelo a partir da união dos dados a serem desaprendidos ($D_u$) e dos dados remanescentes ($D_r$) como compreendendo:

   • Informação Sinérgica: Fornecida conjuntamente por $D_u$ e $D_r$.
   • Informação Redundante/Sobreposta ($F_g$): Compartilhada entre $D_u$ e $D_r$.
   • Informação Única/Memorização ($F_m$): Específica a $D_u$.

   Os autores argumentam que o componente sinérgico é negligenciável em cenários gerais de desaprendizado. Portanto, o objetivo do desaprendizado não deve ser apagar todas as informações de $D_u$, mas especificamente remover a informação única de memorização ($F_m$) enquanto preserva a informação sobreposta ($F_g$). Remover $F_g$ prejudica a generalização e a equidade, enquanto remover $F_m$ alcança o "esquecimento" desejado sem sacrificar a utilidade.

2. Métrica de Avaliação: Avaliação de Memorização Agrupada (GME):
   Para abordar a falta de métricas de avaliação de granularidade fina, os autores introduzem a GME. Essa métrica calcula uma pontuação de memorização para cada exemplo no conjunto de dados a ser desaprendido, definida como a diferença na probabilidade de classificação correta entre um modelo treinado em $D_u \cup D_r$ e um modelo treinado apenas em $D_r$. Os exemplos são então agrupados por essas pontuações (por exemplo, alta memorização vs. baixa memorização). A eficácia do desaprendizado é medida pela proximidade do desempenho do modelo desaprendido nesses subgrupos em relação à linha de base retreinada, visando especificamente a remoção de exemplos de alta memorização.

3. Algoritmo: FedMemPrune:
   O FedMemPrune é uma abordagem baseada em poda em três estágios:

   • Estágio 1 (Localização de Parâmetros de Memorização): O algoritmo identifica parâmetros redundantes no modelo global. Estes são definidos como parâmetros que recebem atualizações de gradiente mínimas dos clientes remanescentes ($D_r$). A hipótese é que parâmetros críticos para $D_r$ codificam conhecimento sobreposto/generalizável, enquanto parâmetros redundantes codificam a memorização única específica de $D_u$.
   • Estágio 2 (Redefinição): Os parâmetros redundantes identificados são re-inicializados usando a estratégia de inicialização original (por exemplo, Uniforme de Kaiming), apagando efetivamente a informação memorizada.
   • Estágio 3 (Ajuste Fino): O modelo é ajustado finamente nos clientes remanescentes ($D_r$) para restaurar o desempenho de generalização e reconstruir as representações sobrepostas.

Principais Contribuições

• Mudança Conceitual: O artigo redefine o desaprendizado federado como um processo de remoção da memorização específica do cliente, em vez de apagar toda a influência dos dados, argumentando que a informação sobreposta deve ser preservada para manter a utilidade do modelo e a equidade.
• Métrica Novel: A introdução da Avaliação de Memorização Agrupada (GME), que permite a avaliação ao nível de exemplo da eficácia do desaprendizado, distinguindo entre o esquecimento de dados de cauda memorizados e a preservação de dados de cabeça generalizáveis.
• Algoritmo Proposto: O desenvolvimento do FedMemPrune, que aproveita a redundância de parâmetros em relação aos dados remanescentes para podar seletivamente a informação de memorização.

Resultados Experimentais
Extensos experimentos foram conduzidos em CIFAR-10, CIFAR-100 e EMNIST sob configurações IID e Não-IID, comparando o FedMemPrune com linhas de base como Halimi et al. (ascensão de gradiente), Liu et al. (Matriz de Informação de Fisher), FedRecovery, FedAU, FedOSD e NoT.

• Eficácia do Desaprendizado: O FedMemPrune corresponde estreitamente ao desempenho da linha de base retreinada, particularmente dentro de subgrupos de alta memorização. Por exemplo, no CIFAR-100 (Não-IID), o método alcançou acurácias de classificação em grupos de alta memorização (por exemplo, 27,25% vs. 21,74% para a linha de base) que foram significativamente mais próximas do modelo retreinado do que outras linhas de base, que frequentemente falharam em esquecer dados de alta memorização ou esqueceram em excesso.
• Desempenho de Generalização: Ao preservar informações sobrepostas, o FedMemPrune mantém alta acurácia de teste no conjunto de dados retido, frequentemente superando outras linhas de base de desaprendizado e aproximando-se da linha de base retreinada (por exemplo, 63,33% no CIFAR-100 IID).
• Equidade: O método demonstra superioridade na equidade local, minimizando a variância nas mudanças de desempenho entre os clientes remanescentes. Isso confirma que a preservação de informações sobrepostas previne a degradação desproporcional para clientes que compartilham dados com o cliente a ser desaprendido.
• Eficiência: O FedMemPrune atinge o desempenho alvo em aproximadamente 50% menos tempo em comparação com o retreinamento completo, pois evita a necessidade de retreinar todo o modelo do zero.

Significado e Alegações
Os autores afirmam que seu trabalho fornece tanto insights teóricos quanto estratégias práticas para fortalecer o desaprendizado federado. Ao distinguir entre memorização e informações sobrepostas, eles argumentam que o desaprendizado eficaz deve visar apenas o primeiro. O artigo afirma que o FedMemPrune alcança com sucesso um desaprendizado robusto e eficiente sem sacrificar a utilidade do conhecimento retido ou a equidade entre os clientes. O trabalho destaca que os protocolos de avaliação atuais são insuficientes e que uma perspectiva consciente da memorização é necessária para avaliar e melhorar rigorosamente os mecanismos de desaprendizado federado. Os autores enfatizam que sua abordagem é particularmente adequada para cenários onde o conjunto de dados a ser desaprendido não está disponível durante a fase de desaprendizado, pois depende dos gradientes dos clientes remanescentes para identificar o que podar.