🤖 machine learning

PURGE: Projected Unlearning via Retain-Guided Erasure

L'article introduit PURGE, un algorithme d'oubli machine qui exploite la dualité entre l'apprentissage continu et l'oubli en combinant des contraintes de projection de gradient avec l'effacement des représentations multicouches et une cible de confusion-rétention afin de supprimer efficacement des données spécifiques tout en préservant l'utilité du modèle et en résistant aux attaques d'inférence d'appartenance.

Auteurs originaux : Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vedant Jawandhia, Daksh Ahuja, Ghufran Alam Siddiqui, Prashant Trivedi, Yash Sinha, Pratik Narang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent qui a étudié une bibliothèque de livres massive pour devenir un expert. Maintenant, imaginez qu'une personne spécifique (appelons-la « Bob ») demande à l'étudiant d'oublier tout ce qu'il sait sur lui en raison des lois sur la vie privée.

L'ancienne méthode, « naïve », consiste à dire à l'étudiant : « Retourne à la bibliothèque, jette les livres de Bob, et recommence à étudier depuis le début. » Cela fonctionne parfaitement, mais cela prend des années et coûte une fortune.

PURGE est un nouveau raccourci ingénieux. C'est comme une gomme magique qui efface l'influence de Bob du cerveau de l'étudiant sans lui faire oublier tout le reste de ce qu'il a appris.

Voici comment l'article explique ce processus en utilisant des analogies simples :

1. L'idée centrale : Deux faces d'une même pièce

Les auteurs ont remarqué quelque chose d'intéressant : l'Apprentissage et l'Oubli sont en fait les opposés d'un même problème.

Apprentissage (Apprentissage continu) : Vous voulez apprendre une nouvelle compétence (comme jouer de la guitare) sans oublier votre ancienne compétence (comme jouer du piano).
Oubli (Désapprentissage machine) : Vous voulez effacer un souvenir spécifique (Bob) sans oublier le reste de la bibliothèque.

L'article dit : « Empruntons les mathématiques utilisées pour apprendre de nouvelles choses et inversons-les pour nous aider à oublier des choses. »

2. Le tour de magie : Le « Garde-fou » (Projection de gradient)

Lorsque l'étudiant essaie d'effacer la mémoire de Bob, il pourrait accidentellement renverser un vase de fleurs (le « ensemble de rétention » ou les autres données).

PURGE utilise une technique appelée Projection de Gradient. Considérez cela comme un garde-fou ou un videur.

Chaque fois que l'étudiant essaie de faire un pas pour effacer Bob, le videur vérifie : « Est-ce que ce pas va blesser les fleurs ? »
Si la réponse est « Oui », le videur repousse doucement le pied de l'étudiant afin qu'il ne se déplace que dans une direction qui ne nuit pas aux fleurs.
Cela garantit que, pendant qu'ils effacent Bob, le reste de leurs connaissances reste intact et précis.

3. La stratégie de la « Fausse Confusion » (Cible de confusion de rétention)

Habituellement, quand vous essayez de faire oublier quelque chose à un modèle, vous lui dites de deviner au hasard (comme lancer un dé). L'article a trouvé un problème avec cela : les robots sont trop doués pour repérer le faux hasard. Si un modèle commence soudainement à deviner au hasard, un pirate peut dire : « Aha ! Ce modèle a été forcé d'oublier quelque chose ! »

Au lieu de cela, PURGE utilise une Cible de confusion de rétention (Retain-Confusion Target).

Imaginez que l'étudiant regarde les livres qu'il a gardés et voit où il se trompe. Peut-être confond-il parfois les « Chats » et les « Chiens ».
Lors de l'effacement de Bob, on dit à l'étudiant : « Ne devine pas au hasard. Au lieu de cela, devine exactement de la même manière confuse que tu le fais avec les livres que tu as gardés. »
Cela rend le modèle « effacé » identique à un étudiant qui n'aurait jamais vu Bob auparavant. Pour un pirate, il est impossible de faire la différence.

4. Nettoyage en profondeur : Effacer le « Pressentiment »

Parfois, même si un modèle arrête de donner la bonne réponse, il ressent encore la mauvaise réponse « profondément » dans son cerveau (dans les couches intermédiaires).

Les anciennes méthodes disaient simplement au modèle d'arrêter de donner la mauvaise réponse à la toute fin (la sortie).
PURGE va plus loin. Il nettoie le « pressentiment » (représentations intermédiaires), poussant l'activité cérébrale interne à ressembler à l'activité de quelqu'un qui n'a jamais connu Bob.

5. Le bouton « Arrêt Automatique »

Comment l'étudiant sait-il quand arrêter d'effacer ?

Ancienne méthode : Vous devez compter les minutes ou deviner combien de fois il faut pratiquer.
Méthode PURGE : Elle possède deux signaux d'arrêt auto-régulés :
1. Le Budget : « Si nous commençons à trop blesser les fleurs (données de rétention), arrêtez immédiatement. »
2. La Cible : « Si la mémoire de Bob est devenue si floue que nous ne pouvons pas le deviner mieux qu'au hasard, arrêtez. »
  Cela signifie que l'algorithme décide quand il a terminé, de sorte que les humains n'aient pas à deviner.

6. La surprise de la « Statistique Gelée »

L'article a découvert un piège caché : lorsque l'on efface une classe entière de données (comme toutes les photos de « Chats »), le calculateur interne du modèle (BatchNorm) devient confus car il ne voit que des « Chats » et oublie comment gérer les « Chiens ».

La Solution : Les auteurs ont réalisé qu'ils devaient geler ce calculateur pour qu'il ne mette pas à jour ses statistiques avec ces données étranges et unilatérales. C'est comme dire au calculateur : « Ne change pas tes paramètres pendant que nous effectuons cette chirurgie. » Sans cela, tout le système s'effondre.

Les Résultats : Qu'ont-ils trouvé ?

Les auteurs ont testé cela sur cinq types de données différents (des chiffres écrits à la main aux images médicales).

Vie privée : Le modèle « effacé » est si bon pour se cacher que les pirates ne peuvent pas savoir si Bob était dans les données d'entraînement ou non (un score de 0,5, ce qui est parfait).
Utilité : Le modèle se souvient toujours de plus de 96 % de tout le reste.
Vitesse : Il est environ 13 fois plus rapide que le réentraînement complet du modèle à partir de zéro.

En bref : PURGE est une manière rapide, sûre et intelligente de supprimer des données spécifiques de la mémoire d'une IA en empruntant des astuces à la façon dont l'IA apprend de nouvelles choses, garantissant que l'IA n'oublie pas accidentellement le reste de ses connaissances ou ne se fasse pas démasquer par des pirates.

Résumé Technique : PURGE (Projected Unlearning via Retain-Guided Erasure)

1. Énoncé du Problème

L'oubli machine (Machine Unlearning - MU) vise à supprimer l'influence de données d'entraînement spécifiques (l'ensemble à oublier, $D_f$ ) d'un modèle entraîné sans le coût computationnel prohibitif d'un réentraînement complet. Une tension fondamentale existe dans le MU : le modèle doit oublier agressivement $D_f$ pour satisfaire aux audits de confidentialité (par exemple, le « droit à l'oubli » du RGPD) tout en préservant une utilité élevée sur les données restantes (l'ensemble à conserver, $D_r$ ).

Les méthodes existantes font face à des modes de défaillance spécifiques :

Ascension de Gradient (Gradient Ascent) : Maximise la perte sur $D_f$ mais dégrade souvent de manière catastrophique les performances sur $D_r$ .
Méthodes basées sur la saillance (ex: SalUn) : Perturbent sélectivement les poids mais manquent de garanties formelles sur la performance de rétention.
Distillation de Connaissance (Knowledge Distillation) : Ancre la distribution de rétention mais ne parvient pas à contraindre les directions de gradient.
Méthodes basées sur le Fisher : Fondées théoriquement mais coûteuses en calcul en raison des approximations de la Hessienne.

Crucialement, de nombreuses approches existantes ne parviennent pas à garantir que le modèle "oublié" est statistiquement indiscernable d'un modèle réentraîné à partir de $D_r$ seul. Cette distinction est vitale pour résister aux attaques d'inférence d'appartenance (Membership Inference Attacks - MIA), où un adversaire tente de déterminer si un échantillon spécifique faisait partie de l'ensemble d'entraînement.

2. Méthodologie

L'intuition centrale de PURGE est la dualité entre l'Apprentissage Continu (Continual Learning - CL) et l'Oubli Machine (Machine Unlearning - MU). Alors que le CL apprend de nouvelles tâches sans oublier les anciennes, le MU efface des données spécifiques sans nuire à la performance de rétention. PURGE adapte l'algorithme A-GEM (Averaged Gradient Episodic Memory) issu du CL, qui projette les gradients des nouvelles tâches pour éviter d'augmenter la perte sur les anciennes tâches.

2.1 Projection de Gradient pour la Sécurité de la Rétention

PURGE traite le processus d'oubli comme un problème d'optimisation sous contrainte. Pour chaque étape de mise à jour, le gradient de la direction d'oubli ( $g_f$ ) est projeté sur un demi-espace défini par le gradient de rétention ( $g_r$ ).

Contrainte : La mise à jour ne doit pas augmenter la perte de rétention ( $L_r$ ).
Mécanisme : Si le gradient d'oubli entre en conflit avec le gradient de rétention (c'est-à-dire $\langle g_f, g_r \rangle < 0$ ), $g_f$ est projeté sur la frontière du demi-espace où $\langle g, g_r \rangle \geq 0$ .
Garantie Théorique : Cela fournit une garantie constructive par étape que la perte de rétention n'augmente pas (selon une approximation au premier ordre), une caractéristique absente des méthodes d'oubli approximatives antérieures.

2.2 Objectifs d'Oubli

PURGE introduit une nouvelle cible pour l'ensemble à oublier, allant au-delà des simples cibles de distribution uniforme :

KL-Retain (Cible de Confusion de Rétention) : Au lieu de pousser les sorties de l'oubli vers une distribution uniforme (ce qui est facilement détectable par une MIA), PURGE cible le schéma de confusion naturel du modèle sur l'ensemble de rétention. Il pré-calcule une distribution $p_r$ en faisant la moyenne des sorties softmax du modèle original gelé sur $D_r$ . L'objectif d'oubli minimise la divergence KL entre les sorties d'oubli et $p_r$ .
Raisonnement : Cela rend les sorties du modèle oublié statistiquement indiscernables d'un modèle réentraîné à partir de zéro, poussant l'AUROC de la MIA vers l'idéal de 0,5.

2.3 Effacement des Représentations Multi-couches

La suppression des sorties seule est insuffisante car l'information peut persister dans les couches intermédiaires. PURGE calcule l'erreur quadratique moyenne (MSE) entre les activations de l'ensemble d'oubli et les activations moyennes de l'ensemble de rétention (provenant du modèle gelé) à travers plusieurs couches intermédiaires. Cela force l'élimination de l'information des représentations cachées, et pas seulement de la sortie finale.

2.4 Stabilité et Mécanismes d'Arrêt

Stabilité Ancrée par KD : Une copie gelée du modèle pré-oubli sert de professeur pour l'ensemble de rétention via la distillation de connaissance (KD), réduisant la dérive de représentation.
Porte d'Entropie et Plafonnement (Entropy Gating & Capping) : Les mises à jour sont restreintes à l'objectif de rétention si l'entropie de la sortie du modèle sur le lot d'oubli est déjà proche du maximum, empênant l'oubli excessif ou l'explosion du gradient.
Double Auto-régulation de l'Arrêt : L'algorithme s'arrête automatiquement selon deux critères :
1. Budget de Perte de Rétention : S'arrête si la perte de rétention dépasse un budget prédéfini par rapport à la perte initiale.
2. Cible de Précision d'Oubli (FA) : S'arrête lorsque la FA descend au niveau d'une probabilité aléatoire (ex: $100/K\%$ ).
Gel de la BatchNorm : Un détail d'implémentation critique identifié par les auteurs : les couches BatchNorm doivent être gelées en mode évaluation pendant l'oubli. Des lots d'oubli homogènes par classe peuvent corrompre les statistiques courantes si la BatchNorm reste en mode entraînement, entraînant un effondrement du modèle.

3. Contributions Clés

Instanciation Algorithmique de la Dualité CL-MU : PURGE est le premier travail à adapter directement le mécanisme de projection de gradient de A-GEM (un algorithme de CL) comme outil constructif primaire pour l'oubli machine, fournissant des garanties formelles de sécurité de rétention par étape.
Cible de Confusion de Rétention : La proposition d'une cible de divergence KL basée sur la confusion naturelle du modèle sur les données de rétention, ce qui améliore considérablement la résistance à la MIA par rapport aux cibles de distribution uniforme.
Effacement Multi-couches : Extension de l'oubli aux activations des couches intermédiaires pour assurer un effacement profond de l'information.
Cadre d'Auto-régulation : Élimination du réglage manuel des époques via des critères d'arrêt doubles (budget de perte de rétention et cible FA).
Découverte Empirique : Identification du mode de défaillance de la BatchNorm dans l'oubli au niveau des classes, un problème subtil mais critique affectant la stabilité.

4. Résultats Expérimentaux

PURGE a été évalué sur cinq jeux de données (CIFAR-10, MNIST, SVHN, STL10, PathMNIST) à travers 22 tâches d'oubli par classe en utilisant ResNet-18.

Compromis Confidentialité-Utilité : PURGE maintient systématiquement une Précision de Rétention (RA) supérieure à 96 % sur tous les jeux de données.
Confidentialité (Résistance MIA) : PURGE atteint une AUROC de MIA proche de 0,5 (le score d'indiscernabilité idéale) sur quatre des cinq jeux de données. Par exemple, sur CIFAR-10, il atteint un AUROC de 0,496.
Comparaison avec les Baselines :
- Contrairement à l'Ascension de Gradient (qui fait chuter la précision de rétention à ~38 % sur CIFAR-10) ou SalUn (qui manque de garanties formelles de MIA), PURGE équilibre une haute utilité de rétention avec une véritable confidentialité de membre.
- Bien que la Précision de Test (TA) de PURGE sur CIFAR-10 (84,5 %) soit inférieure à celle de SalUn (93,5 %), les auteurs soutiennent que c'est un compromis délibéré pour atteindre une véritable confidentialité (MIA $\approx$ 0,5) plutôt qu'une simple faible précision d'oubli.
Efficacité : PURGE converge en environ 1,75 époque (moins de 200 secondes sur CIFAR-10), offrant une accélération d'environ $\sim$ 13 $\times$ par rapport au réentraînement complet.
Effacement de Représentation : Les métriques de distance de Fréchet (FIDfeat) et de similitude cosinus confirment que PURGE modifie efficacement les représentations intermédiaires, les rapprochant de celles d'un modèle réentraîné à partir de zéro.

5. Signification et Revendications

L'article affirme que PURGE fournit un cadre principalisé pour l'oubli machine en exploitant la dualité avec l'apprentissage continu. Sa signification réside dans :

Garanties Formelles : Fournir une garantie par étape que la perte de rétention n'augmente pas, une caractéristique absente des méthodes d'oubli heuristiques.
Confidentialité Robuste : Démontrer que cibler la « confusion naturelle » du modèle est supérieur aux cibles uniformes artificielles pour vaincre les attaques d'inférence d'appartenance.
Conseils Pratiques : Offrir des informations cruciales d'implémentation, telles que la nécessité de geler les couches BatchNorm, qui sont souvent négligées dans la littérature sur l'oubli.

Les auteurs reconnaissent des limites, notamment un écart de précision de test par rapport à certaines baselines, l'absence de garanties formelles de type $(\epsilon, \delta)$ -différentielle, et la portée actuelle de l'évaluation (ResNet-18, oubli d'une seule classe). Cependant, ils postulent que la perspective de la dualité CL-MU ouvre un espace de conception plus large pour les futurs algorithmes d'oubli.