🤖 machine learning

Similarity-Aware Machine Unlearning

Cet article propose un cadre d'oubli machine sensible à la similitude qui emploie une méthode de localisation sensible à la rétention afin de minimiser les dommages collatéraux sur les données conservées sémantiquement similaires tout en améliorant l'efficacité de l'oubli standard, validé par un nouvel ensemble d'évaluation et des expériences approfondies.

Auteurs originaux : Madhavan Citalamangalam Kumaran, Midhun Parakkal Unni, Vicky Kouni, Haripriya Harikumar

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Madhavan Citalamangalam Kumaran, Midhun Parakkal Unni, Vicky Kouni, Haripriya Harikumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit un cerveau numérique géant et super intelligent qui a tout appris à partir d'une immense bibliothèque de photos. Ce cerveau est si doué dans son travail qu'il peut distinguer un chat d'un chien ou un navire d'une voiture avec une précision incroyable. Mais il y a un hic : parfois, des gens veulent que leurs photos soient supprimées de cette bibliothèque pour des raisons de lois sur la vie privée ou de choix personnels. Si vous supprimez simplement la photo, le cerveau pourrait encore s'en souvenir, comme un étudiant qui aurait mémorisé un fait pour un examen mais qui aurait oublié de le désapprendre après l'épreuve. C'est là que l'« apprentissage par oubli » (Machine Unlearning) entre en jeu. C'est l'art d'apprendre à un ordinateur à oublier des choses spécifiques sans avoir à jeter tout le cerveau et à en reconstruire un nouveau à partir de zéro, ce qui prendrait une éternité et coûterait une fortune.

Cependant, il existe un problème délicat : dans le cerveau d'un ordinateur, l'information n'est pas stockée dans des tiroirs propres et séparés. Au lieu de cela, c'est comme un immense réseau de connexions où des choses similaires sont emmêlées ensemble. Une photo d'un golden retriever et une photo d'un golden lab pourraient utiliser exactement le même ensemble de connexions parce qu'elles se ressemblent énormément. Si vous essayez de couper les connexions du golden retriever pour le faire oublier, vous pourriez accidentellement sectionner les fils du golden lab aussi, faisant ainsi oublier au cerveau des choses qu'il était censé garder. Cette étude porte précisément sur la façon de démêler ce réseau afin que nous puissions supprimer les bonnes choses sans endommager celles qui leur sont similaires.

Les chercheurs derrière cette étude, travaillant avec des données du célèbre ensemble de données CIFAR-10 (une collection de 60 000 petites images en couleur) et un modèle appelé ResNet18, ont découvert que l'ancienne méthode de faire cela était un peu trop maladroite. La méthode précédente, appelée « localisation de l'oubli pur » (forget-only localization), était comme un jardinier essayant d'arracher une mauvaise herbe spécifique mais ne regardant que la mauvaise herbe elle-même. Il saisissait les racines de la mauvaise herbe, mais comme cette mauvaise herbe poussait juste à côté d'une belle fleur qui lui ressemblait presque de manière identique, le jardinier arrachait accidentellement la fleur aussi. En termes informatiques, cela causait des « dommages collatéraux », où le modèle devenait moins performant pour reconnaître les images conservées qui étaient très similaires à celles qu'il devait oublier.

Pour corriger cela, l'équipe a proposé une nouvelle méthode, « sensible à la rétention » (retain-aware). Au lieu de simplement regarder la chose à oublier, ils ont demandé à l'ordinateur de regarder également les choses qu'il doit garder. Ils ont créé une « carte de similitude » spéciale pour voir quels étaient les voisins les plus proches des images oubliées parmi les images conservées. Ensuite, ils ont utilisé un système de notation ingénieux pour décider quelles parties du cerveau de l'ordinateur devaient être modifiées. Ils ont essentiellement dit : « Ne coupez que les fils qui sont super importants pour la chose que nous voulons oublier, mais ne touchez pas aux fils s'ils sont aussi très importants pour les choses similaires que nous voulons garder. »

Ils ont testé trois façons différentes de calculer ces scores : une méthode de soustraction simple, une méthode pondérée (où ils pouvaient augmenter le volume de l'importance accordée à la protection des éléments) et une méthode de ratio. Après avoir mené onze expériences différentes, ils ont constaté que leur nouvelle approche fonctionnait bien mieux que l'ancienne méthode de « l'oubli pur ». Plus précisément, la « méthode de différence sous-échantillonnée » (une façon spécifique de faire la soustraction) a été la grande gagnante. Elle a réussi à faire oublier au modèle les images cibles tout en maintenant la précision sur les images similaires conservées à un niveau presque parfait.

L'article montre qu'en étant conscient de la similitude, ils ont pu réduire considérablement les « dommages collatéraux ». Par exemple, lorsqu'ils ont observé la performance du modèle sur des images visuellement très proches de celles oubliées, leur nouvelle méthode n'a causé presque aucune baisse de performance, alors que l'ancienne méthode provoquait une baisse notable. Ils ont également vérifié que le modèle ne faisait pas que deviner ou agir bizarrement ; ils ont utilisé un « test d'attaque par inférence d'appartenance » (une façon de voir si le modèle se souvient encore secrètement des données supprimées) et ont trouvé que leur nouvelle méthode était bien meilleure pour véritablement effacer la mémoire.

En résumé, les auteurs suggèrent que nous ne pouvons pas traiter l'oubli comme une simple tâche de suppression. Parce que les cerveaux informatiques apprennent en trouvant des motifs et des similitudes, il faut être prudent pour ne pas briser les motifs que l'on souhaite conserver. Leur nouvelle méthode agit comme un chirurgien précis plutôt que comme un marteau, supprimant la mémoire spécifique d'une photo oubliée sans endommager la mémoire de ses amis ressemblants. Bien qu'ils aient testé cela sur un ensemble spécifique d'images et un modèle spécifique, les résultats suggèrent que cette approche « sensible à la rétention » est une étape prometteuse vers la création d'outils de confidentialité pour l'IA qui soient à la fois efficaces et sûrs pour les données que nous voulons conserver.

Résumé technique : Apprentissage machine non-apprenant sensible à la similitude (Similarity-Aware Machine Unlearning)

1. Énoncé du problème

L'apprentissage machine non-apprenant (machine unlearning) vise à supprimer l'influence d'exemples d'entraînement spécifiques (l'ensemble à oublier, $D_f$ ) d'un modèle entraîné sans réentraîner à partir de zéro, satisfaisant ainsi aux droits de suppression de données (par exemple, le RGPD) tout en maintenant l'efficacité computationnelle. Bien que les méthodes basées sur la localisation améliorent l'efficacité en modifiant seulement un sous-ensemble de paramètres influents, les approches existantes souffrent d'une limitation critique : l'enchevêtrement des caractéristiques (feature entanglement).

Les méthodes actuelles sélectionnent les paramètres en se basant uniquement sur leur importance pour l'ensemble à oublier. Cependant, les paramètres influents pour les exemples oubliés soutiennent souvent aussi des exemples sémantiquement similaires dans l'« ensemble à conserver » ( $D_r$ ). La modification de ces paramètres partagés provoque des dommages collatéraux, dégradant les performances du modèle sur des exemples conservés qui sont proches des données oubliées dans l'espace de représentation appris. De plus, les métriques agrégées standards (comme la précision globale sur l'ensemble conservé) échouent souvent à détecter ces dommages car ils sont concentrés sur un petit sous-ensemble d'exemples conservés sémantiquement similaires.

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage non-apprenant localisé sensible à la similitude qui étend l'approche de la localisation par suppression d'exemple (DEL - Deletion by Example Localization). L'innovation centrale est une stratégie de localisation sensible à la conservation qui prend en compte l'importance des paramètres tant pour l'ensemble à oublier que pour l'ensemble à conserver.

2.1. Concepts clés

Similitude sémantique : Définie via la similitude cosinus dans l'espace d'incorporation (embedding space) du modèle. Les auteurs observent que les échantillons sémantiquement similaires (même à travers les frontières oubliement/conservation) occupent des régions proches dans l'espace des caractéristiques et activent des sous-ensembles de neurones qui se chevauchent.
Ensemble d'évaluation similaire au conservé ( $D_{r,sim}$ ) : Pour mesurer directement les dommages collatéraux, les auteurs construisent un ensemble d'évaluation spécifique. Pour chaque exemple de $D_f$ , ils identifient son voisin le plus proche de même classe dans $D_r$ basé sur la similitude cosinus dans l'espace d'incorporation du modèle original. Cet ensemble isole les exemples conservés les plus vulnérables à l'enchevêtrement des caractéristiques.

2.2. Stratégie de localisation

La méthode calcule les scores de criticité pour les paramètres (neurones) séparément sur l'ensemble à oublier ( $s_f$ ) et l'ensemble à conserver ( $s_r$ ). L'objectif est de sélectionner des paramètres qui sont hautement critiques pour $D_f$ mais minimalement critiques pour $D_r$ . Trois stratégies de notation spécifiques sont proposées :

Méthode de la différence : $\tilde{s}_j = \max(s_f^j - s_r^j, 0)$ . Cela donne la priorité aux paramètres où l'importance de l'ensemble à oublier excède l'importance de l'ensemble à conserver.
Méthode de la différence pondérée : $\tilde{s}_j = \max(w \cdot s_f^j - s_r^j, 0)$ . Cela introduit un poids scalaire $w$ pour ajuster l'équilibre entre la spécificité de l'ensemble à oublier et la protection de l'ensemble à conserver.
Méthode du ratio : $\tilde{s}_j = \frac{s_f^j}{s_r^j + \epsilon}$ . Cela favorise les paramètres ayant une haute importance de l'oubli relative à l'importance de la conservation.

2.3. Processus d'apprentissage non-apprenant

Masquage : Un masque de localisation binaire est construit en classant les neurones globalement à travers toutes les couches selon le score de criticité choisi. Les neurones sont sélectionnés de manière gloutonne jusqu'à ce qu'un budget (par exemple, 30 % du total des paramètres) soit atteint.
Réinitialisation : Les poids sélectionnés sont réinitialisés en utilisant l'initialisation normale de Kaiming pour réinitialiser leurs valeurs.
Ajustement fin (Fine-tuning) : Le modèle est affiné sur l'ensemble à conserver ( $D_r$ ) pour un nombre fixe d'époques. Les gradients pour les poids non sélectionnés sont masqués, restreignant les mises à jour au sous-ensemble réinitialisé.

3. Configuration expérimentale

Jeu de données : CIFAR-10 (60 000 images, 10 classes). L'ensemble d'entraînement est divisé en un ensemble à oublier ( $D_f$ , 5 000 images) et un ensemble à conserver ( $D_r$ , 35 000 images).
Modèle : ResNet-18 modifié (adapté pour des images 32x32).
Lignes de base (Baselines) : Comparaison avec une ligne de base de localisation « oubli seul » (DEL) et un modèle Oracle (réentraîné à partir de $D_r$ ).
Métriques :
- Standard : Précision de test, précision de conservation, précision d'oubli, score d'attaque d'inférence d'appartenance (MIA), divergence KL.
- Proposée : Précision similaire au conservé ( $\Delta_{rs}$ ), mesurant la performance spécifiquement sur $D_{r,sim}$ .
- Évaluation : Les métriques sont rapportées sous forme de deltas ( $\Delta = \text{Oracle} - \text{Non-apprenant}$ ), où les valeurs proches de zéro indiquent un meilleur alignement avec l'Oracle.

4. Résultats clés

Les expériences ont été menées sur 11 configurations (variant les méthodes de localisation et les hyperparamètres).

Réduction des dommages collatéraux : La méthode de la différence sous-échantillonnée a obtenu le meilleur équilibre. Elle a réduit le delta de précision similaire au conservé ( $\Delta_{rs}$ ) à +0,04, ce qui est nettement inférieur au +0,49 de la ligne de base d'oubli seul. Cela indique une réduction substantielle des dommages collatéraux sur les exemples conservés sémantiquement similaires.
Efficacité de l'oubli : Cette même méthode a obtenu un delta de précision d'oubli ( $\Delta_{forget}$ ) de +0,56, indiquant un oubli efficace (proche du comportement de l'Oracle) sans l'oubli excessif observé avec la ligne de base (+2,70).
Alignement avec l'Oracle : La méthode de la différence sous-échantillonnée montre un fort alignement avec le modèle Oracle, comme en témoigne un faible delta de score MIA (+4,98 contre +5,48 pour la ligne de base) et une faible divergence KL (0,395).
Comparaison des méthodes :
- La méthode du ratio a préservé l'utilité (faible $\Delta_{retain}$ ) mais n'a pas réussi à oublier efficacement (grand $\Delta_{forget}$ négatif), suggérant qu'elle a sous-priorisé les modifications de paramètres nécessaires.
- La méthode de la différence pondérée a montré qu'augmenter le poids $w$ rendait l'intervention plus agressive, augmentant la perte d'utilité et les signaux d'appartenance résiduels.
Surcharge de calcul : La méthode proposée a engendré une surcharge de calcul négligeable (02:59 contre 02:57 pour la ligne de base), car les temps de calcul de la criticité et de l'ajustement fin étaient presque identiques.

5. Signification et affirmations

L'article affirme que l'enchevêtrement des caractéristiques est une cause primaire des dommages collatéraux dans les méthodes de localisation d'apprentissage non-apprenant existantes, que les métriques agrégées ne parviennent pas à détecter.

La signification de ce travail réside dans :

Identification d'une limitation : Lier explicitement les dommages collatéraux aux représentations apprises partagées entre les ensembles à oublier et à conserver.
Localisation sensible à la conservation : Démontrer que l'incorporation de l'importance de l'ensemble à conserver dans la sélection des paramètres permet un apprentissage non-apprenant « sensible à la similitude », supprimant efficacement les connaissances spécifiques à l'oubli tout en préservant les représentations partagées.
Protocole d'évaluation : Introduire l'ensemble d'évaluation similaire au conservé comme un outil nécessaire pour mesurer directement les dommages collatéraux, arguant que les métriques agrégées standards sont insuffisantes pour ce mode de défaillance spécifique.

Les auteurs concluent que leur approche réduit systématiquement les dommages collatéraux tout en améliorant les métriques d'apprentissage non-apprenant standard, offrant une solution pratique avec un coût de calcul négligeable. Ils suggèrent que les travaux futurs évaluent la méthode sur des jeux de données et des architectures plus larges.