🤖 machine learning

Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning

Cet article identifie et traite l'« oubli collatéral localisé », un phénomène où les méthodes d'désapprentissage automatique dégradent de manière disproportionnée les prédictions pour les exemples d'entraînement proches des données supprimées en raison de cibles substitutives incohérentes, proposant la « Distillation par Enseignant Local » comme une stratégie d'atténuation efficace qui aligne plus étroitement les modèles désappris avec un réentraînement complet.

Auteurs originaux : Polina Dolgova, Sebastian U. Stich

Publié 2026-06-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Polina Dolgova, Sebastian U. Stich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent qui a étudié un manuel massif contenant des milliers d'exemples. Un jour, une loi stipule que vous devez retirer un chapitre spécifique de ce manuel et vous assurer que l'étudiant l'« oublie » complètement.

L'Objectif : Vous voulez que l'étudiant désapprenne ce chapitre sans avoir à relire l'intégralité du livre depuis le début (ce qui prendrait trop de temps). Vous voulez qu'il soit aussi performant sur le reste du livre que s'il avait simplement sauté ce chapitre lors de son étude initiale.

Le Problème : « Les Dommages Collatéraux »
Le document découvre une faille cachée dans la manière dont nous essayons habituellement de faire « oublier » à un étudiant.

Lorsque les chercheurs tentent de forcer un étudiant à oublier un sujet spécifique, ils utilisent souvent un instrument rudimentaire : soit ils disent à l'étudiant de « ne plus étudier » ce sujet (pousser la connaissance loin de lui), soit ils lui disent que le sujet est absurde (assigner des réponses aléatoires et fausses).

Le document montre que cette approche provoque un Oubli Collatéral Localisé. Voyez cela comme ceci :

Si vous dites à un étudiant : « Oublie tout ce que tu sais sur les Canapés', et que vous le faites de manière agressive, l'étudiant pourrait commencer à se confondre sur les Sofas, les Fauteuils et le Mobilier en général.
Même si ces autres objets ne figuraient pas sur la liste de « suppression », la compréhension de l'étudiant à leur sujet est perturbée parce qu'ils sont très similaires à la chose qu'on lui a dit d'oublier.
L'étudiant finit par être moins performant sur ces sujets « voisins » que s'il avait simplement sauté le chapitre et continué à étudier le reste du livre normalement.

Pourquoi cela se produit-il ?
Les auteurs expliquent que le cerveau de l'étudiant (le modèle d'IA) connecte ensemble les idées similaires. Lorsque vous forcez l'étudiant à oublier une idée spécifique en utilisant une réponse « aléatoire » ou « fausse », cette confusion se propage aux idées voisines dans sa carte mentale. C'est comme trébucher sur un tapis : vous ne tombez pas seulement sur le tapis, vous pourriez aussi renverser la lampe juste à côté.

La Solution : Le « Professeur Local »
Au lieu de simplement dire à l'étudiant « ceci est faux » ou « oublie cela », les auteurs proposent une stratégie plus intelligente appelée Distillation par Professeur Local (Local Teacher Distillation).

Voici l'analie :

Le Problème : Vous ne pouvez pas demander à l'étudiant de relire tout le livre pour voir comment il aurait dû traiter le chapitre sur le « Canapé » s'il l'avait simplement sauté. C'est trop coûteux.
La Solution : Vous engagez un petit tuteur spécialisé (un « Professeur Local »).
Comment cela fonctionne : Ce tuteur ne regarde que les voisins du chapitre « Canapé » — des choses comme les « Sofas » et les « Fauteuils » que l'étudiant se souvient encore. Le tuteur étudie ces exemples sûrs et détermine : « D'accord, si nous n'avions pas le chapitre « Canapé', comment répondrions-nous logiquement aux questions sur les Sofas ? »
Le Résultat : Le tuteur donne à l'étudiant un indice « doux » (une prédiction correcte et nuancée) sur ce qu'il doit faire avec le chapitre « Canapé », en se basant sur ce qu'il sait des voisins. C'est bien meilleur que de lui dire de deviner au hasard.

Ce qu'ils ont trouvé
Les chercheurs ont testé cela sur un système informatique apprenant à reconnaître des images (comme des chats, des chiens et des canapés).

L'ancienne méthode (Devine au hasard) : Lorsqu'ils ont essayé de supprimer les images de « canapés », le système s'est confondu sur d'autres meubles à proximité.
La nouvelle méthode (Professeur Local) : En utilisant le petit tuteur pour donner des indices doux basés sur des images similaires et sûres, le système a oublié les « canapés » aussi bien que l'ancienne méthode, mais il ne s'est pas confondu sur les autres meubles. Il est resté beaucoup plus proche de la performance d'un étudiant qui aurait simplement sauté le chapitre dès le départ.

En résumé
Le document soutient que lorsque nous essayons de faire « oublier » à une IA, nous endommageons souvent accidentellement ses connaissances sur des choses similaires. En utilisant un petit assistant intelligent pour guider le processus d'oubli avec des indices logiques et nuancés plutôt qu'avec du bruit aléatoire, nous pouvons faire oublier à l'IA exactement ce dont elle a besoin, sans endommager le reste de ses connaissances.

Résumé Technique : L'oubli a des voisins : l'oubli collatéral localisé dans l'apprentissage machine non-apprenant (Machine Unlearning)

Énoncé du Problème
L'apprentissage machine non-apprenant (machine unlearning) vise à supprimer l'influence d'exemples d'entraînement spécifiques (l'ensemble à oublier ou « forget set ») d'un modèle entraîné sans le coût computationnel d'un réentraînement complet. Alors que les évaluations standards s'appuient sur des métriques agrégées (par exemple, la précision de rétention, la précision d'oubli et les scores d'audit de confidentialité), les auteurs soutiennent que ces résumés peuvent masquer des échecs localisés. Plus précisément, un modèle ayant subi l'oubli peut paraître proche d'une référence réentraînée en moyenne, tout en présentant des écarts marqués sur des exemples spécifiques conservés ou de test.

L'article identifie un mode de défaillance nommé oubli collatéral localisé : une dégradation involontaire des prédictions du modèle sur des exemples non supprimés qui sont géométriquement proches de l'ensemble à oublier dans l'espace de représentation. Cela se produit car les exemples sont couplés via des représentations partagées ; les interventions conçues pour supprimer le signal de l'ensemble à oublier (telles que l'ascension de gradient ou l'étiquetage aléatoire) propagent les perturbations aux points conservés à proximité.

Méthodologie
Les auteurs abordent ce problème par l'analyse théorique, l'observation empirique et une stratégie de mitigation proposée.

Analyse Théorique :
- Ascension de Gradient (GA) : Dans la régression linéaire, les auteurs prouvent que l'excès de perte d'un modèle ayant subi l'oubli par rapport à un modèle réentraîné est proportionnel au carré de l'alignement ( $\langle x_q, x_f \rangle^2$ ) entre un point de requête conservé $x_q$ et le point supprimé $x_f$ .
- Étiquetage Aléatoire (RL) : Dans la régression logistique, l'écart entre le RL et le réentraînement est montré comme étant régi par la projection du point de requête sur l'espace engendré par l'ensemble à oublier. Les étiquettes aléatoires imposées à l'ensemble à oublier créent un « décalage de cible » (target mismatch) qui entre en conflit avec la structure de prédiction locale induite par le réentraînement. Ce décalage se propage aux points voisins.
- Affinage de Rétention (Retain Fine-Tuning) : L'analyse démontre que si l'affinage sur l'ensemble de rétention peut restaurer l'accord sur les points d'entraînement conservés, il ne corrige pas nécessairement le comportement du modèle le long des composantes situées dans l'espace de l'ensemble à oublier. Ainsi, le décalage de cible reste une cause profonde.
Méthode Proposée : Distillation par Enseignant Local (LTD - Local Teacher Distillation)
Motivés par la découverte que le décalage de cible entraîne des erreurs localisées, les auteurs proposent la Distillation par Enseignant Local. Au lieu d'assigner des étiquettes aléatoires ou corrompues à l'ensemble à oublier, la LTD les remplace par des « étiquettes douces » (soft labels) dérivées d'un petit modèle enseignant auxiliaire.
- Sélection du Support : L'enseignant est entraîné uniquement sur un sous-ensemble d'exemples conservés ( $S_k$ ) qui sont les plus proches voisins de l'ensemble à oublier dans l'espace de représentation (mesuré par la similitude cosinus des plongements de la couche pénultième). Cela garantit que l'enseignant approxime la structure de prédiction locale du modèle réentraîné près de l'ensemble à oublier.
- Objectif d'Entraînement : Le processus d'oubli optimise une fonction de perte qui préserve les performances sur l'ensemble de rétention (en utilisant des étiquettes dures) tout en minimisant l'entropie croisée entre les prédictions du modèle sur l'ensemble à oublier et les prédictions douces de l'enseignant.
- Efficacité : L'enseignant est une architecture plus petite entraînée uniquement sur le support sélectionné, évitant ainsi le coût d'un réentraînement complet.

Contributions Clés

Identification du Phénomène : L'article établit que l'oubli collatéral n'est pas uniforme mais concentré sur les exemples non appartenant à l'ensemble à oublier qui sont proches de celui-ci dans l'espace de représentation.
Caractérisation Théorique : Les auteurs fournissent des preuves théoriques pour les méthodes GA et RL montrant que l'écart par rapport au réentraînement est régi par l'alignement ou la projection des points conservés sur l'ensemble à oublier. Ils identifient le décalage de cible (incohérence entre les cibles de substitution et la structure du réentraînement) comme le mécanisme sous-jacent.
Stratégie de Mitigation : Ils introduisent la Distillation par Enseignant Local, une méthode simple qui utilise un enseignant local pour générer des étiquettes douces cohérentes pour l'ensemble à oublier.
Validation Empirique : Des expériences sur CIFAR-100 (suppression partielle de classe) montrent que la LTD réduit considérablement l'écart par rapport au réentraînement, particulièrement pour les classes affectées et les exemples à haute similitude, tout en maintenant des métriques d'oubli agrégées compétitives.

Résultats

Métriques Agrégées : Sur CIFAR-100 avec une suppression de 50 % des classes, la LTD obtient l'« Écart Moyen » (Avg. Gap) le plus bas (écart absolaire moyen par rapport au réentraînement à travers la précision et les métriques de confidentialité) parmi les bases de comparaison (GA, RL, FT, SalUn, IU, AMAMUN).
Performance Localisée : Bien que les métriques agrégées puissent être trompeuses, la LTD surpasse nettement les bases de comparaison sur les sous-ensembles de classes affectées (points conservés et de test appartenant à la classe supprimée). Par exemple, alors que les autres méthodes présentaient de fortes chutes de précision pour ces points spécifiques par rapport au réentraînement, la LTD a maintenu la stabilité.
Analyse de Similitude : L'article démontre que les méthodes concurrentes présentent des chutes brutales de précision à mesure que la similitude avec l'ensemble à oublier augmente. En revanche, la LTD maintient un faible écart dans tous les intervalles de similitude.
Études d'Ablation : Les résultats confirment que l'utilisation d'un support de plus proches voisins pour l'enseignant est cruciale ; un support aléatoire ou distant échoue à capturer la structure de prédiction pertinente, conduisant à un mauvais alignement avec le réentraînement.

Signification et Revendications
L'article affirme que les évaluations standards de l'apprentissage non-apprenant sont insuffisantes car elles cachent des échements structurés près de l'ensemble à oublier. La portée de ce travail réside dans le fait que :

Le décalage de cible est une cause fondamentale de l'oubli collatéral localisé, persistant même avec l'affinage de l'ensemble de rétention.
Améliorer la cohérence locale des cibles de l'ensemble à oublier (via un enseignant local) est une stratégie de mitigation plus efficace que de compter uniquement sur la récupération de l'ensemble de rétention.
Fournir une méthode pratique et à faible coût (LTD) qui rapproche substantiellement les modèles ayant subi l'oubli de la référence de réentraînement, particulièrement dans le voisinage critique des données supprimées, sans sacrifier la confidentialité ou l'utilité.

Les auteurs restent modestes quant à la généralisation, notant que leur méthode dépend de la qualité du support local et de la représentation. Ils reconnaissent que des ensembles à oublier hautement hétérogènes pourraient nécessiter un partitionnement (clustering) ou plusieurs enseignants locaux, et que l'extension à des architectures et des jeux de données plus larges reste un travail futur.

Articles similaires