🤖 machine learning

Forgettable Federated Linear Learning with Certified Data Unlearning

Ce papier présente l'apprentissage fédéré linéaire oubliable, un cadre qui approxime les réseaux de neurones profonds par des modèles linéaires afin de permettre un oubli fédéré certifié, efficace et sécurisé sans nécessiter de communication supplémentaire avec les clients ni de stockage des modèles historiques.

Auteurs originaux : Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous et un groupe d'amies construisez un immense puzzle collaboratif pour résoudre une énigme. C'est l'apprentissage fédéré (FL). Au lieu que tout le monde envoie ses pièces de puzzle à une table centrale (ce qui serait un cauchemar pour la vie privée), chacun garde ses pièces à la maison. Ils envoient simplement les instructions sur la façon d'assembler leurs pièces à un leader central. Le leader combine ces instructions pour construire une meilleure image, puis renvoie les instructions mises à jour. Tout le monde apprend ensemble sans jamais montrer ses pièces privées.

Mais que se passe-t-il si un ami apporte une pièce empoisonnée ? Peut-être qu'ils ont secrètement peint un symbole caché sur leur pièce qui fait que tout le puzzle semble faux lorsque ce symbole apparaît. Ou peut-être que cet ami veut simplement quitter le groupe et que sa pièce soit complètement effacée de l'image finale (le « droit à l'oubli »).

C'est là qu'intervient l'oubli fédéré (FU). C'est le processus consistant à retirer la contribution d'un ami sans avoir à jeter tout le puzzle et à recommencer.

Le problème avec les méthodes actuelles

Actuellement, essayer de retirer la pièce d'un ami est un cauchemar :

La méthode « Refaire » : Vous pourriez demander à tout le monde de reconstruire le puzzle à partir de zéro sans cet ami. Cela prend une éternité et coûte beaucoup d'énergie (puissance de calcul).
La méthode « Demander à l'ami » : Certaines méthodes demandent à l'ami qui veut partir de faire des calculs supplémentaires sur son propre ordinateur et de les renvoyer. Mais que se passe-t-il si cet ami est celui qui a empoisonné le puzzle ? Il pourrait mentir ou refuser de coopérer.
La méthode « Accumulation » : Certaines méthodes exigent que le leader conserve une copie de chaque version du puzzle tel qu'il a été construit, étape par étape. Cela remplit instantanément la salle de stockage.

La nouvelle solution : F2L2

Les auteurs de cet article proposent une nouvelle méthode astucieuse appelée Apprentissage Linéaire Fédéré Oubliable (F2L2). Ils utilisent deux astuces principales pour rendre l'oubli facile, rapide et sûr.

Astuce 1 : L'« Esquisse Linéaire » (Entraînement Linéaire Fédéré)

Les réseaux de neurones profonds (les modèles d'IA complexes utilisés aujourd'hui) sont comme des nœuds incroyablement emmêlés. Défaire un fil spécifique (retirer les données d'une personne) est presque impossible sans défaire tout le nœud.

La première astuce des auteurs est d'arrêter d'essayer de défaire le nœud. Au lieu de cela, ils utilisent un modèle préentraîné (un modèle déjà entraîné sur des données publiques) comme point de départ. Ils traitent ensuite le modèle complexe comme une ligne droite (une « approximation linéaire ») autour de ce point de départ.

L'analogie : Imaginez que vous dessinez une chaîne de montagnes complexe. Il est difficile d'effacer une seule colline. Mais si vous zoomez très près du sommet, la montagne ressemble à une simple rampe droite. Si vous voulez retirer une partie spécifique de cette rampe, vous pouvez simplement calculer un ajustement mathématique simple. Vous n'avez pas besoin de redessiner toute la montagne ; vous ajustez simplement l'angle de la rampe.

Cette « rampe linéaire » est facile à manipuler mathématiquement. Elle transforme un problème désordonné et complexe en un problème simple où vous pouvez simplement effectuer un calcul rapide pour retirer les données de quelqu'un.

Astuce 2 : La « Gomme Magique » (FedRemoval)

Une fois que le modèle est traité comme une simple « rampe », le serveur (le leader) peut effectuer une étape de Newton.

L'analogie : Imaginez le modèle comme une balle posée dans une vallée. La position de la balle représente le modèle final. Si vous voulez retirer les données d'un ami, vous n'avez pas besoin de lui demander de pousser la balle ou de regarder d'anciennes photos de la balle. Vous devez simplement savoir avec quelle force il l'a poussée au départ (son gradient final, qu'il a déjà envoyé pendant l'entraînement).
Le serveur prend cette information de « poussée » et calcule exactement comment déplacer la balle là où elle aurait été si cet ami ne l'avait jamais poussée. C'est comme une gomme magique qui fonctionne instantanément côté serveur.

Pourquoi c'est une grande avancée

L'article affirme que cette nouvelle méthode, F2L2, résout les trois plus grands maux de tête de l'oubli actuel :

Pas besoin de « Demander à l'ami » : Le serveur fait tout le travail. Il n'a pas besoin de contacter la personne qui part, même si elle est malveillante ou hors ligne.
Pas besoin d'« Accumulation » : Le serveur n'a pas besoin de sauvegarder chaque version du modèle. Il a seulement besoin des mathématiques finales de l'entraînement. Cela économise d'énormes quantités de mémoire.
C'est certifié : Les auteurs ne se sont pas contentés de deviner que cela fonctionne ; ils l'ont prouvé mathématiquement. Ils ont montré que le résultat de leur « Gomme Magique » est presque identique à ce que vous obtiendriez si vous aviez jeté tout le puzzle et reconstruit à partir de zéro sans cet ami.

Les résultats

L'équipe a testé cela sur tout, de la reconnaissance simple de chiffres (MNIST) à la reconnaissance complexe d'images (comme l'identification de fleurs ou de voitures). Ils l'ont même testé sur des « Modèles de Fondation » (les énormes modèles d'IA puissants dont tout le monde parle en ce moment).

Le résultat : Dans chaque test, F2L2 a réussi à retirer les données « empoisonnées » (les attaques par porte dérobée) afin que le modèle cesse de mal se comporter.
Le compromis : Crucialement, retirer les mauvaises données n'a pas ruiné la capacité du modèle à faire son travail. Le modèle est resté tout aussi intelligent qu'avant, mais sans la mauvaise influence.

Résumé

En bref, cet article introduit une façon d'oublier dans un contexte d'IA de groupe qui est :

Rapide : Pas besoin de réentraîner tout le modèle.
Sécurisé : Ne dépend pas de la coopération de la personne qui part.
Efficace : Ne nécessite pas d'enregistrer des téraoctets de anciennes données.
Prouvé : Garantit mathématiquement un fonctionnement presque aussi bon que recommencer à zéro.

Cela transforme la tâche impossible d'« effacer un souvenir spécifique d'une IA complexe » en un calcul simple et unique côté serveur.

Résumé Technique : Apprentissage Linéaire Fédéré Oubliable avec Désapprentissage de Données Certifié (F2L2)

Énoncé du Problème
L'apprentissage fédéré (FL) permet un entraînement collaboratif de modèles tout en préservant la confidentialité des données, mais il fait face à des défis majeurs concernant le « droit à l'oubli » et la suppression des contributions malveillantes (par exemple, des données empoisonnées issues d'attaques par porte dérobée). Les méthodes existantes de désapprentissage fédéré (FU) souffrent de limitations critiques qui entravent leur adoption dans le monde réel :

Dépendance aux Clients : De nombreuses méthodes exigent la coopération soit des clients conservés (pour un réentraînement ou un ajustement fin), soit des clients cibles (pour une ascension de gradient ou une optimisation personnalisée), introduisant ainsi des surcoûts de communication et des risques de sécurité si les clients sont malveillants ou indisponibles.
Inefficacité du Stockage : Des approches comme FedEraser nécessitent de stocker tous les modèles globaux historiques, engendrant des coûts mémoire prohibitifs pour les grands réseaux de neurones profonds (DNN).
Absence de Certification : En raison de la non-linéarité des DNN, la plupart des méthodes FU existantes manquent de garanties théoriques assurant que le modèle désappris est indiscernable d'un modèle réentraîné à partir de zéro.

La question de recherche centrale abordée est : Comment concevoir un cadre pratique de FU garantissant un désapprentissage certifié sans exiger la coopération des clients conservés, la participation des clients cibles ou le stockage de modèles historiques ?

Méthodologie : Le Cadre F2L2
Les auteurs proposent l'Apprentissage Linéaire Fédéré Oubliable (F2L2), un cadre intégrant un nouveau pipeline d'entraînement avec un mécanisme de désapprentissage côté serveur.

Entraînement Linéaire Fédéré (FLT) :
- Linéarisation : Inspirée par le Noyau Tangent des Neurones (NTK) et ses extensions aux modèles pré-entraînés, la FLT approxime un DNN de manière linéaire autour d'un vecteur de poids pré-entraîné $w_p^*$ . La fonction du modèle est approximée par $f(x; w) \approx f(x; w_p^*) + \langle \nabla_w f(x; w_p^*), w - w_p^* \rangle$ .
- Perte Quadratique : Cette linéarisation transforme la fonction de perte en une forme quadratique (Erreur Quadratique Moyenne), assurant la convexité.
- Processus d'Entraînement : Le serveur initialise le modèle en utilisant un modèle de base pré-entraîné (FM) ou un modèle entraîné sur un petit ensemble de données public et de confiance ( $D_p$ ). Les clients effectuent ensuite des mises à jour standard de la Moyenne Fédérée (FedAvg) sur ce modèle linéarisé. Crucialement, les paramètres de l'encodeur pré-entraîné restent fixes (dans le cas des FM), et seules les poids de la couche linéaire sont mis à jour.
FedRemoval (Désapprentissage Certifié) :
- Pas de Newton : Comme la perte est quadratique, les poids optimaux après la suppression des données d'un client cible ( $D_c$ ) peuvent être calculés via une étape de Newton sous forme fermée : $w^- = w^* - [\nabla^2 L(w^*; D_-)]^{-1} \nabla L(w^*; D_-)$ .
- Exécution Côté Serveur : Pour éviter le coût computationnel de l'inversion de l'Hessienne sur l'ensemble de données restant distribué ( $D_-$ ), FedRemoval approxime l'Hessienne en utilisant l'ensemble de données pré-entraîné $D_p$ (disponible sur le serveur).
- Efficacité : Le processus de désapprentissage nécessite uniquement les gradients finaux du client cible (déjà partagés lors de l'entraînement) et les données locales du serveur. Il implique zéro communication supplémentaire avec les clients et zéro stockage de modèles historiques. La mise à jour est calculée entièrement sur le serveur.

Contributions Clés

Cadre Novel : F2L2 est la première solution de désapprentissage fédéré combinant un entraînement linéaire mixte distribué (FLT) avec un mécanisme de désapprentissage purement côté serveur (FedRemoval). Il élimine le besoin de coopération des clients pendant le désapprentissage et de stockage de modèles historiques.
Garanties Certifiées : Les auteurs dérivent une borne supérieure théorique sur l'écart de norme $L_2$ entre les poids obtenus via FedRemoval et ceux obtenus par un réentraînement complet. Cela fournit une certification rigoureuse que le processus de désapprentissage est efficace.
Évaluation Complète : Des expériences extensives ont été menées sur six ensembles de données (MNIST, FashionMNIST, CIFAR10, ImageNet, DomainNet, Flowers) et quatre architectures de modèles, y compris des modèles de base (CLIP, BLIP2) utilisant un sondage linéaire.

Résultats Expérimentaux

Efficacité du Désapprentissage : F2L2 supprime avec succès les attaques par porte dérobée, réduisant le Taux de Succès de la Porte Dérobée (BSR) à des niveaux comparables à une devinette aléatoire (par exemple, ~5-10 % sur divers ensembles de données), tout en maintenant une Précision de Test (TA) proche de la vérité terrain réentraînée.
Comparaison avec les Baselines : F2L2 surpasse les baselines existantes (FedEraser, EWSGA, SGA, Flipping, CF, etc.) en atteignant un meilleur compromis entre TA et BSR. Contrairement aux baselines qui nécessitent souvent une communication ou un stockage supplémentaires, F2L2 atteint des performances proches de la vérité terrain avec zéro surcoût supplémentaire.
Modèles de Base : La méthode est efficace lorsqu'elle est appliquée à de grands modèles de base (par exemple, CLIP sur ImageNet/DomainNet), maintenant une TA élevée (~90-95 %) tout en désapprisant efficacement les clients empoisonnés.
Évolutivité et Stabilité : La méthode reste stable sur un nombre variable de clients (5 à 20) et différents paramètres d'hétérogénéité des données (distributions Non-IID), bien que le BSR augmente légèrement avec une hétérogénéité plus élevée, restant près des niveaux de devinette aléatoire.
Efficacité : L'approximation de l'Hessienne réduit considérablement les coûts computationnels (FLOPs) et élimine les surcoûts de communication pendant la phase de désapprentissage.

Signification et Revendications
L'article revendique que F2L2 représente un pipeline prometteur pour un désapprentissage fédéré efficace et digne de confiance. En exploitant les propriétés mathématiques des modèles linéarisés autour des poids pré-entraînés, les auteurs démontrent qu'il est possible d'atteindre un désapprentissage certifié sans les compromis traditionnels de surcoût de communication, de coopération des clients ou d'exigences massives de stockage. Le travail suggère que les approximations linéaires des DNN, en particulier dans le contexte des modèles de base, offrent une voie viable vers des systèmes fédérés évolutifs et sécurisés capables de respecter les droits à la vie privée des utilisateurs et de mitiger les menaces de sécurité telles que les attaques par porte dérobée.

Les auteurs notent que, bien que l'approximation linéaire soit efficace, l'extension du cadre à des contextes FL plus larges au-delà de la classification, des tâches génératives ou des régimes hautement non linéaires reste une direction pour la recherche future.