🤖 machine learning

Forgettable Federated Linear Learning with Certified Data Unlearning

Este artigo apresenta a Aprendizagem Federada Linear Esquecível, um framework que aproxima redes neurais profundas com modelos lineares para permitir o esquecimento federado certificado, eficiente e seguro sem exigir comunicação adicional do cliente ou armazenamento histórico do modelo.

Autores originais: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você e um grupo de amigos estão montando um quebra-cabeça gigante e colaborativo para resolver um mistério. Isso é Aprendizado Federado (FL). Em vez de todos enviarem suas peças para uma mesa central (o que seria um pesadelo de privacidade), todos mantêm suas peças em casa. Eles apenas enviam as instruções sobre como encaixar suas peças a um líder central. O líder combina essas instruções para construir uma imagem melhor e, em seguida, envia as instruções atualizadas de volta. Todos aprendem juntos sem nunca mostrar suas peças privadas.

Mas o que acontece se um amigo trouxer uma peça envenenada? Talvez ele tenha secretamente pintado um símbolo oculto em sua peça que faz todo o quebra-cabeça parecer errado quando esse símbolo aparece. Ou, talvez esse amigo apenas queira sair do grupo e ter sua peça completamente apagada da imagem final (o "Direito ao Esquecimento").

É aqui que entra o Desaprendizado Federado (FU). É o processo de remover a contribuição de um amigo sem precisar jogar fora todo o quebra-cabeça e começar do zero.

O Problema com os Métodos Atuais

Atualmente, tentar remover a peça de um amigo é um pesadelo:

O Método "Refazer": Você poderia pedir a todos para reconstruir o quebra-cabeça do zero sem aquele amigo. Isso leva uma eternidade e custa muita energia (poder de computação).
O Método "Pedir ao Amigo": Alguns métodos pedem ao amigo que deseja sair que faça cálculos extras em seu próprio computador e os envie de volta. Mas e se esse amigo for quem envenenou o quebra-cabeça? Ele pode mentir ou se recusar a cooperar.
O Método "Acumulação": Alguns métodos exigem que o líder salve uma cópia de cada versão individual do quebra-cabeça conforme ele foi construído, passo a passo. Isso enche a sala de armazenamento instantaneamente.

A Nova Solução: F2L2

Os autores deste artigo propõem uma nova maneira inteligente chamada Aprendizado Linear Federado Esquecível (F2L2). Eles usam dois truques principais para tornar o desaprendizado fácil, rápido e seguro.

Truque 1: O "Esboço Linear" (Treinamento Linear Federado)

Redes neurais profundas (os modelos de IA complexos usados hoje) são como nós incrivelmente emaranhados. Desatar um fio específico (remover os dados de uma pessoa) é quase impossível sem desmanchar todo o nó.

O primeiro truque dos autores é parar de tentar desatar o nó. Em vez disso, eles usam um modelo pré-treinado (um modelo já treinado em dados públicos) como ponto de partida. Eles então tratam o modelo complexo como uma linha reta (uma "aproximação linear") ao redor desse ponto de partida.

A Analogia: Imagine que você está desenhando uma cadeia de montanhas complexa. É difícil apagar apenas uma colina. Mas se você der zoom muito perto do pico, a montanha parece uma rampa simples e reta. Se você quiser remover uma parte específica dessa rampa, pode apenas calcular um ajuste matemático simples. Você não precisa redesenhar toda a montanha; apenas ajusta o ângulo da rampa.

Essa "rampa linear" é fácil de trabalhar matematicamente. Transforma um problema bagunçado e complexo em um simples, onde você pode apenas fazer um cálculo rápido para remover os dados de alguém.

Truque 2: O "Borrão Mágico" (FedRemoval)

Uma vez que o modelo é tratado como uma simples "rampa", o servidor (o líder) pode executar um Passo de Newton.

A Analogia: Pense no modelo como uma bola sentada em um vale. A posição da bola representa o modelo final. Se você quiser remover os dados de um amigo, não precisa pedir a ele para empurrar a bola ou olhar fotos antigas da bola. Você só precisa saber com que força ele a empurrou pela primeira vez (seu gradiente final, que ele já enviou durante o treinamento).
O servidor pega essa informação de "empurrão" e calcula exatamente como mover a bola de volta para onde ela estaria se aquele amigo nunca tivesse empurrado. É como um borrão mágico que funciona instantaneamente no lado do servidor.

Por Que Isso é Importante

O artigo afirma que este novo método, F2L2, resolve as três maiores dores de cabeça do desaprendizado atual:

Nenhum "Pedir ao Amigo" Necessário: O servidor faz todo o trabalho. Não precisa entrar em contato com a pessoa que está saindo, mesmo que ela seja maliciosa ou esteja offline.
Nenhuma "Acumulação" Necessária: O servidor não precisa salvar cada versão do modelo. Precisa apenas da matemática final do treinamento. Isso economiza quantidades massivas de memória.
É Certificado: Os autores não apenas adivinharam que isso funciona; provaram com matemática. Eles mostraram que o resultado de seu "Borrão Mágico" é quase idêntico ao que você obteria se tivesse jogado fora todo o quebra-cabeça e o reconstruído do zero sem aquele amigo.

Os Resultados

A equipe testou isso em tudo, desde reconhecimento simples de números (MNIST) até reconhecimento complexo de imagens (como identificar flores ou carros). Eles até testaram em "Modelos de Fundação" (os modelos de IA enormes e poderosos sobre os quais todos estão falando agora).

O Resultado: Em cada teste, o F2L2 removeu com sucesso os dados "envenenados" (os ataques de backdoor) para que o modelo parasse de se comportar mal.
A Troca: Crucialmente, remover os dados ruins não arruinou a capacidade do modelo de fazer seu trabalho. O modelo permaneceu tão inteligente quanto antes, mas sem a influência ruim.

Resumo

Em resumo, este artigo apresenta uma maneira de desaprender em um cenário de IA em grupo que é:

Rápido: Não há necessidade de re-treinar todo o modelo.
Seguro: Não depende da pessoa que está saindo para cooperar.
Eficiente: Não requer salvar terabytes de dados antigos.
Comprovado: Matematicamente garantido para funcionar quase tão bem quanto começar do zero.

Transforma a tarefa impossível de "apagar uma memória específica de uma IA complexa" em um cálculo simples de um passo no servidor.

Resumo Técnico: Aprendizado Linear Federado Esquecível com Desaprendizado de Dados Certificado (F2L2)

Declaração do Problema
O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos preservando a privacidade dos dados, mas enfrenta desafios significativos relacionados ao "direito ao esquecimento" e à remoção de contribuições maliciosas (por exemplo, dados envenenados de ataques de backdoor). Os métodos existentes de Desaprendizado Federado (FU) sofrem limitações críticas que impedem sua adoção no mundo real:

Dependência do Cliente: Muitos métodos exigem a cooperação de clientes retidos (para retreinamento ou ajuste fino) ou de clientes-alvo (para ascensão de gradiente ou otimização personalizada), introduzindo sobrecarga de comunicação e riscos de segurança se os clientes forem maliciosos ou indisponíveis.
Ineficiência de Armazenamento: Abordagens como FedEraser exigem o armazenamento de todos os modelos globais históricos, incorrendo em custos de memória proibitivos para Redes Neurais Profundas (DNNs) em grande escala.
Falta de Certificação: Devido à não linearidade das DNNs, a maioria dos métodos existentes de FU carece de garantias teóricas de que o modelo desaprendido é indistinguível de um re-treinado a partir do zero.

A questão central de pesquisa abordada é: Como podemos projetar um framework prático de FU que garanta desaprendizado certificado sem exigir cooperação de clientes retidos, participação de clientes-alvo ou armazenamento de modelos históricos?

Metodologia: O Framework F2L2
Os autores propõem o Aprendizado Linear Federado Esquecível (F2L2), um framework que integra um pipeline de treinamento inovador com um mecanismo de desaprendizado no lado do servidor.

Treinamento Linear Federado (FLT):
- Linearização: Inspirado no Kernel Tangente Neural (NTK) e suas extensões para modelos pré-treinados, o FLT aproxima uma DNN linearmente ao redor de um vetor de pesos pré-treinado $w_p^*$ . A função do modelo é aproximada como $f(x; w) \approx f(x; w_p^*) + \langle \nabla_w f(x; w_p^*), w - w_p^* \rangle$ .
- Perda Quadrática: Esta linearização transforma a função de perda em uma forma quadrática (Erro Quadrático Médio), garantindo convexidade.
- Processo de Treinamento: O servidor inicializa o modelo usando um modelo fundamental pré-treinado (FM) ou um modelo treinado em um pequeno conjunto de dados público e confiável ( $D_p$ ). Os clientes realizam então atualizações padrão de Média Federada (FedAvg) neste modelo linearizado. Crucialmente, os parâmetros do codificador pré-treinado permanecem fixos (no caso de FMs), e apenas os pesos da camada linear são atualizados.
FedRemoval (Desaprendizado Certificado):
- Passo de Newton: Como a perda é quadrática, os pesos ótimos após a remoção dos dados de um cliente-alvo ( $D_c$ ) podem ser computados via um passo de Newton de forma fechada: $w^- = w^* - [\nabla^2 L(w^*; D_-)]^{-1} \nabla L(w^*; D_-)$ .
- Execução no Lado do Servidor: Para evitar o custo computacional de inverter o Hessian sobre o conjunto de dados restante distribuído ( $D_-$ ), o FedRemoval aproxima o Hessian usando o conjunto de dados pré-treinado $D_p$ (que está disponível no servidor).
- Eficiência: O processo de desaprendizado requer apenas os gradientes finais do cliente-alvo (já compartilhados durante o treinamento) e os dados locais do servidor. Envolve zero comunicação adicional com clientes e zero armazenamento de modelos históricos. A atualização é computada inteiramente no servidor.

Principais Contribuições

Framework Inovador: O F2L2 é a primeira solução de desaprendizado federado que combina treinamento linear misto distribuído (FLT) com um mecanismo de desaprendizado puramente no lado do servidor (FedRemoval). Elimina a necessidade de cooperação do cliente durante o desaprendizado e o armazenamento de modelos históricos.
Garantias Certificadas: Os autores derivam um limite superior teórico para a discrepância da norma $L_2$ entre os pesos obtidos via FedRemoval e aqueles obtidos por retreinamento completo. Isso fornece uma certificação rigorosa de que o processo de desaprendizado é eficaz.
Avaliação Abrangente: Experimentos extensivos foram conduzidos em seis conjuntos de dados (MNIST, FashionMNIST, CIFAR10, ImageNet, DomainNet, Flowers) e quatro arquiteturas de modelos, incluindo modelos fundamentais (CLIP, BLIP2) usando sondagem linear.

Resultados Experimentais

Eficácia do Desaprendizado: O F2L2 remove com sucesso ataques de backdoor, reduzindo a Taxa de Sucesso de Backdoor (BSR) para níveis comparáveis ao chute aleatório (por exemplo, ~5-10% em vários conjuntos de dados), enquanto mantém a Precisão de Teste (TA) próxima à verdade fundamental re-treinada.
Comparação com Baselines: O F2L2 supera as baselines existentes (FedEraser, EWSGA, SGA, Flipping, CF, etc.) alcançando um melhor equilíbrio entre TA e BSR. Diferentemente das baselines que frequentemente exigem comunicação ou armazenamento extras, o F2L2 alcança desempenho próximo à verdade fundamental com zero sobrecarga adicional.
Modelos Fundamentais: O método é eficaz quando aplicado a modelos fundamentais em grande escala (por exemplo, CLIP em ImageNet/DomainNet), mantendo alta TA (~90-95%) enquanto desaprende efetivamente clientes envenenados.
Escalabilidade e Estabilidade: O método permanece estável através de números variados de clientes (5 a 20) e diferentes configurações de heterogeneidade de dados (distribuições Não-IID), embora a BSR aumente ligeiramente com maior heterogeneidade, permanecendo próxima aos níveis de chute aleatório.
Eficiência: A aproximação do Hessian reduz significativamente os custos computacionais (FLOPs) e elimina a sobrecarga de comunicação durante a fase de desaprendizado.

Significado e Alegações
O artigo alega que o F2L2 representa um pipeline promissor para um Desaprendizado Federado eficiente e confiável. Ao aproveitar as propriedades matemáticas de modelos linearizados ao redor de pesos pré-treinados, os autores demonstram que é possível alcançar desaprendizado certificado sem os tradicionais compromissos de sobrecarga de comunicação, cooperação do cliente ou requisitos massivos de armazenamento. O trabalho sugere que aproximações lineares de DNNs, particularmente no contexto de modelos fundamentais, oferecem um caminho viável para sistemas federados escaláveis e seguros que podem respeitar os direitos de privacidade dos usuários e mitigar ameaças de segurança como ataques de backdoor.

Os autores observam que, embora a aproximação linear seja eficaz, estender o framework para configurações de FL mais amplas além de classificação, tarefas generativas ou regimes altamente não lineares permanece uma direção para pesquisa futura.