💻 computer science

An Empirical Study of Stability and Fairness Side-Effects of Federated Unlearning for Departed Clients under Non-IID Data

Este artigo demonstra empiricamente que, embora os métodos de desaprendizado federado sejam computacionalmente eficientes, eles frequentemente induzem efeitos colaterais significativos de estabilidade e equidade para os clientes remanescentes sob dados não-IID, revelando um compromisso crítico entre custo, completude do esquecimento e desempenho equitativo do modelo que métricas agregadas não conseguem capturar.

Autores originais: Md. Sihabul Islam Islam, Abdullah Al Mamun, Muhammad Imran Khan, Md. Alamgir Hossain

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md. Sihabul Islam Islam, Abdullah Al Mamun, Muhammad Imran Khan, Md. Alamgir Hossain

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o seu smartphone, o seu hospital local e o seu banco querem construir uma IA superinteligente para ajudá-los, mas nenhum deles pode compartilhar seus dados privados. Eles não podem enviar seus registros médicos ou extratos bancários para um servidor central porque leis de privacidade o proíbem. Em vez disso, eles usam um truque inteligente chamado Aprendizado Federado (Federated Learning). Pense nisso como um grupo de chefs em diferentes cozinhas tentando aperfeiçoar uma única receita secreta. Em vez de enviarem seus ingredientes para um pote central, cada um cozinha um pequeno lote, prova e envia apenas as instruções sobre como melhorar a receita para um chef principal. O chef principal mistura todas as instruções para criar uma receita global melhor, e então envia as novas instruções de volta para todos. Todos ficam mais inteligentes sem nunca revelar seus ingredientes secretos.

Mas aqui está a reviravolta: e se um desses chefs decidir sair do clube? No mundo real, as leis de privacidade (como o "Direito ao Esquecimento") dizem que, se alguém sair, o sistema não deve apenas deletar suas informações de contato; deve apagar inteiramente sua influência na receita. É como se o chef principal tivesse que magicamente desmisturar as instruções que aquele chef específico contribuiu, sem ter que jogar fora todo o pote e começar a cozinhar do zero novamente. Esse processo é chamado de Desaprendizado Federado (Federated Unlearning). A grande questão é: quando você apaga magicamente a contribuição de um chef, a receita continua deliciosa para todos os outros? Ou ela subitamente fica com um gosto estranho ou, pior, começa a favorecer um tipo específico de prato, deixando alguns clientes insatisfeitos?

Este artigo é um experimento massivo e controlado para encontrar a resposta. Os pesquisadores não inventaram uma nova maneira de apagar dados; em vez disso, eles atuaram como cientistas forenses, testando vários métodos de "desaprendizado" existentes para ver o que acontece com o grupo restante quando um cliente sai. Eles montaram uma simulação digital com 10 "clientes" diferentes (como os chefs) e deram a eles dados que não eram perfeitamente misturados (alguns tinham comida predominantemente apimentada, outros comida predominantemente doce). Eles então expulsaram um cliente e tentaram desaprender sua influência usando quatro técnicas diferentes: um método chamado FedEraser, Ascensão de Gradiente Projetado (PGA), Ajuste Fino (Fine-tuning, apenas continuando o treinamento) e Continuar a Treinar (Continue-to-Train).

Os resultados foram surpreendentes e revelaram um perigo oculto. O estudo descobriu que alguns métodos que parecem muito baratos e rápidos — como apenas continuar o treinamento ou o ajuste fino — na verdade não removem a influência do cliente de forma alguma. Eles parecem ter apagado o cliente porque a receita não mudou muito, mas, na realidade, a influência permanece. É como tentar desmisturar um bolo apenas mexendo-o mais rápido; os ingredientes ainda estão lá. Os métodos que realmente removeram a influência (FedEraser e PGA) mudaram a receita, e essa mudança veio com um custo.

A maior descoberta foi sobre a equidade (fairness). Os pesquisadores descobriram que, embora o sabor médio da receita tenha permanecido quase o mesmo, a experiência para grupos específicos de pessoas mudou drasticamente. Quando os dados eram muito desiguais (alguns clientes tinham gostos muito diferentes de outros), remover um cliente fez com que a receita se tornasse muito pior para alguns clientes restantes específicos, embora a pontuação geral parecesse boa. É como se remover as instruções de um chef tornasse a sopa perfeita para 9 pessoas, mas completamente intragável para a 10ª. Além disso, se o chef que saiu detinha um tipo de dado raro ou único (como um tempero raro específico), remover esse chef fez com que a receita se tornasse significativamente injusta para certos grupos demográficos, deslocando o equilíbrio de formas imprevisíveis.

O estudo também mediu o quão "difícil" era o desaprendizado com base em quando o cliente saía. Se um cliente saísse cedo no processo, era barato removê-lo. Mas se ele ficasse até a receita estar quase perfeita, remover o tornava sete vezes mais caro e disruptivo. Curiosamente, os pesquisadores descobriram que usar um protocolo de mistura mais sofisticado (FedProx) não resolveu esses problemas de equidade; os problemas estavam intrínsecos à própria natureza do desaprendizado, não apenas ao método de mistura.

Em suma, o artigo nos alerta que o "desaprendizado" não é gratuito ou invisível. Se você usar um método que não apaga verdadeiramente os dados, você não está protegendo a privacidade. Mas se você usar um método que realmente apaga os dados, você pode acidentalmente prejudicar os usuários restantes, especialmente se os dados forem bagunçados ou se a pessoa que está saindo for única. Os autores concluem que precisamos parar de olhar apenas para a pontuação "média" da IA e começar a verificar se o processo de desaprendizado está tornando algo injusto para grupos específicos, garantindo que honrar um "Direito ao Esquecimento" não puna silenciosamente as pessoas que ficam.

Resumo Técnico: Um Estudo Empírico de Efeitos Colaterais de Estabilidade e Equidade do Aprendizado Federado de Desaprendizado para Clientes Partidários sob Dados Não-IID

1. Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos sem a centralização de dados brutos, mas regulamentações de privacidade (ex: GDPR, HIPAA) exigem o "Direito ao Esquecimento" (RTBF). Isso requer o Desaprendizado Federado (FU): a remoção da influência de um cliente que está saindo do modelo global. Enquanto a pesquisa existente foca em otimizar a eficiência e a completude do desaprendizado, ela negligencia amplamente os efeitos colaterais sobre os clientes restantes.

Especificamente, quando um cliente é desaprendido, a perturbação resultante no modelo global pode não ser distribuída uniformemente. Sob dados Não-IID (onde as distribuições de dados dos clientes diferem significativamente), essa perturbação pode:

Degradar a qualidade geral do modelo (Custo de Estabilidade).
Prejudicar desproporcionalmente clientes ou grupos demográficos específicos (Custo de Equidade/Fairness), potencialmente amplificando o viés contra grupos sub-representados.

A literatura atual carece de uma compreensão empírica de quem arca com esses custos e como eles escalam com a heterogeneidade dos dados, perfis de clientes e métodos de desaprendizado. Este artigo aborda essa lacuna por meio de um estudo de medição controlado, em vez de propor um novo algoritmo de desaprendizado.

2. Metodologia

Desenho do Estudo

Os autores conduziram um estudo de medição fatorial varrendo através de:

Datasets: Dois conjuntos de dados tabulares com atributos sensíveis (Adult, COMPAS) e dois conjuntos de imagens (MNIST, CIFAR-10).
Heterogeneidade: Controlada via skew de distribuição de rótulos de Dirichlet ( $\alpha \in \{10, 1, 0.5, 0.1, 0.05\}$ ), variando de quase-IID a skew extremo.
Perfis de Clientes Partidários: Típico, Padrão-Raro (detendo interseções sub-representadas), Grande (alto volume de dados) e Pequeno.
Métodos de Desaprendizado: FedEraser, Gradiente Ascendente Projetado (PGA), Fine-tuning, Continue-to-train e um Retrain-from-scratch (retreinamento do zero) como referência.
Protocolos de Agregação: FedAvg e FedProx.
Momento da Partida: Partida precoce vs. Partida próxima à convergência.

Estrutura de Avaliação

O estudo compara três modelos para cada configuração:

$M_{orig}$ : O modelo base treinado com todos os clientes.
$M_{unl}$ : O modelo produzido pelo operador de desaprendizado.
$M_{ret}$ : O Retrain Reference (Referência de Retreinamento), treinado do zero apenas nos clientes restantes. Este serve como a âncora contrafactual.

Categorias de Métricas Principais:

Verificação de Esquecimento (Precondição): Antes de interpretar os custos, o estudo verifica se o desaprendizado realmente ocorreu. Utiliza-se uma sonda de Taxa de Sucesso de Ataque de Backdoor (ASR) (implantada no cliente partidário) e ataques de Inferência de Membros (MIA). Um método só é considerado válido se reduzir o ASR ao nível do retreinamento de referência ( $M_{ret}$ ).
Estabilidade: Medida pela divergência de saída (divergência KL) entre $M_{unl}$ e $M_{ret}$ , lacunas de acurácia e erro de calibração.
Equidade de Desempenho (Performance Fairness): Medida pela dispersão ( $\sigma_{cl}$ ), acurácia do pior caso ( $a_{min}$ ) e amplitude ( $\Gamma$ ) das acurácias por cliente entre os clientes restantes.
Equidade de Grupo (Group Fairness): Medida por mudanças nas lacunas de Paridade Demográfica (DP) e Igualdade de Oportunidades (EO) em relação a $M_{ret}$ .

3. Principais Contribuições

Protocolo de Medição Unificado: O artigo estabelece um benchmark reprodutível para efeitos colaterais de FU, ancorado em uma referência de retreinamento do zero e integrando verificação de esquecimento com métricas de estabilidade e equidade.
Caracterização Empírica: Fornece uma caracterização ampla de como os custos de desaprendizado variam entre métodos, datasets e condições controladas de não-IID, isolando especificamente o impacto de perfis de clientes e heterogeneidade.
Identificação de Trade-offs Ocultos:
- Trade-off Estabilidade–Equidade–Esquecimento: O estudo revela que métricas agregadas (como acurácia global) mascaram danos concentrados. Um modelo pode parecer estável globalmente enquanto degrada severamente o desempenho para clientes ou grupos específicos.
- Eficiência vs. Esquecimento: O artigo demonstra que métodos "baratos" (Fine-tuning, Continue-to-train) frequentemente parecem eficientes apenas porque falham em desaprender. Por outro outro lado, métodos que realmente removem a influência (FedEraser, PGA) incorrem em maiores custos de estabilidade.
Orientação Prática: Os autores destilam diretrizes baseadas em evidências para a seleção de métodos de FU baseados em níveis de heterogeneidade e requisitos de equidade, liberando código e configurações para apoiar a pesquisa de FU consciente da equidade.

4. Principais Resultados

Verificação de Esquecimento

FedEraser e PGA removeram com sucesso as influências de backdoor implantadas, reduzindo o ASR ao nível da referência de retreinamento.
Fine-tuning e Continue-to-train falharam em remover a influência; sua baixa redução de ASR indicou que eles apenas continuaram o treinamento nos dados restantes sem apagar a contribuição específica do cliente partidário.
Conclusão: Métricas de custo são sem sentido sem um portão de verificação de esquecimento.

Estabilidade e Heterogeneidade (RQ1 & RQ4)

Impacto da Heterogeneidade: Custos de estabilidade (medidos por divergência KL) crescem monotonicamente com o skew de dados. Em skew extremo ( $\alpha=0.05$ ), o custo é aproximadamente 100x maior do que em configurações quase-IID.
Impacto do Perfil do Cliente: Remover um cliente Grande ou de Padrão-Raro é significativamente mais caro (até 56x mais drift) do que remover um cliente típico ou pequeno.
Tempo: Partidas ocorrendo próximo à convergência são ~7x mais caras do que partidas precoces devido à diluição da influência ao longo do tempo.

Estabilidade Agregada vs. Dano Distribuído (RQ2)

Estabilidade Agregada Mascara o Dano Concentrado: A acurácia global muitas vezes permanece quase preservada (ex: $\Delta Acc \approx 0.018$ ), mas a dispersão da acurácia por cliente ( $\sigma_{cl}$ ) pode ser massiva (ex: 0.428).
Implicação: Operadores que monitoram apenas a acurácia global perderão a degradação severa que afeta uma minoria dos clientes restantes.

Equidade de Grupo (RQ3)

Partidas de Padrões Raros: Desaprender um cliente que detém um padrão raro (ex: interseção de grupo sensível minoritário) causa mudanças grandes e imprevisíveis nas lacunas de equidade de grupo (DP e EO).
Direcionalidade: A direção da mudança (ampliação ou redução do viés) depende do dataset e não pode ser prevista pelas métes de estabilidade.
Independência: O dano à equidade de grupo não necessariamente ocorre simultaneamente ao dano de estabilidade; um sistema pode ser estável globalmente, mas injusto para grupos específicos.

Protocolo de Agregação

FedProx vs. FedAvg: Os efeitos colaterais medidos persistiram inalterados sob o FedProx. Isso indica que os custos são inerentes ao desaprendizado sob heterogeneidade, não artefatos do mecanismo de agregação FedAvg.

5. Significância e Alegações

O artigo afirma expor um trade-off estabilidade–equidade–esquecimento que é ocultado por métricas agregadas. Sua principal significância reside em:

Corrigir Mal-entendidos: Ele desafia a suposição de que métodos de desaprendizado de baixo custo são eficientes. Argumenta que o baixo custo geralmente significa não-remoção, enquanto a remoção efetiva incorre em reais custos de estabilidade.
Risco Operacional: Destaca que honrar solicitações de RTBF pode degradar silenciosamente o serviço para instituições restantes ou amplificar o viés contra grupos protegidos, riscos que são invisíveis ao monitoramento padrão.
Fundação para Trabalhos Futuros: Ao fornecer uma base de evidências aberta, o artigo argumenta que projetar métodos de "desaprendizado consciente da equidade" requer primeiro entender esses custos colaterais. Ele postula que os métodos futuros devem não apenas passar por um portão de esquecimento, mas também redistribuir erros residuais para evitar danos concentrados.

Os autores permanecem modestos quanto ao escopo, observando que suas descobertas baseiam-se em modelos pequenos e interpretáveis e em configurações cross-silo com participação total. No entanto, afirmam que a estrutura qualitativa das descobertas (os trade-offs e o mascaramento de danos concentrados) é robusta entre diferentes datasets e protocolos de agregação.