🤖 machine learning

Representation Unlearning: Forgetting through Information Compression

Ce papier présente l'oubli de représentation, un cadre qui réalise un oubli machine efficace et fiable en apprenant une transformation dans l'espace de représentation pour comprimer les informations relatives aux données oubliées tout en préservant l'utilité pour les données conservées, offrant une alternative plus stable et plus efficace sur le plan computationnel aux méthodes traditionnelles de modification des paramètres.

Auteurs originaux : Antonio Almudévar, Alfonso Ortega

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Antonio Almudévar, Alfonso Ortega

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un étudiant très intelligent qui a étudié une immense bibliothèque de livres pour devenir un expert. Un jour, on demande à l'étudiant de « désapprendre » un ensemble spécifique de livres — peut-être parce que ces livres contenaient des secrets sensibles, qu'ils ont été écrits par quelqu'un qui a retiré son autorisation, ou qu'ils étaient tout simplement remplis d'erreurs.

La méthode traditionnelle pour gérer cela consiste à faire oublier tout à l'étudiant, à jeter ses notes actuelles et à le forcer à réétudier l'intégralité de la bibliothèque depuis zéro, en sautant uniquement les mauvais livres. C'est précis, mais cela prend une éternité et est incroyablement épuisant.

D'autres méthodes tentent d'être astucieuses : elles disent à l'étudiant : « Retourne et efface les pages spécifiques de ton cahier où tu as écrit sur les mauvais livres. » Mais l'article soutient que c'est risqué. Le cerveau de l'étudiant (les paramètres du modèle) est si complexe que tenter de retirer chirurgicalement uniquement ces pages entraîne souvent l'étudiant à oublier de bonnes choses qu'il savait, ou la chirurgie elle-même est si coûteuse qu'elle est presque aussi difficile que de réétudier tout.

La solution de l'article : le « Désapprentissage par Représentation »

Cet article propose une approche différente appelée Désapprentissage par Représentation. Au lieu de tenter de réécrire le cerveau entier ou le cahier de l'étudiant, ils changent la façon dont l'étudiant perçoit l'information juste avant de répondre à une question.

Voici comment cela fonctionne, en utilisant quelques analogies :

1. L'analogie du « Traducteur »

Imaginez qu'un traducteur spécial soit assis entre le cerveau de l'étudiant et sa bouche.

L'ancienne méthode : Vous essayez de modifier directement le cerveau de l'étudiant.
La nouvelle méthode : Vous gardez le cerveau de l'étudiant exactement tel quel. À la place, vous entraînez le traducteur à accomplir une tâche spécifique.

Lorsque l'étudiant pense à un « bon » livre (les données que vous souhaitez conserver), le traducteur dit : « D'accord, je laisserai passer cette information clairement. »
Mais lorsque l'étudiant pense à un « mauvais » livre (les données à oublier), le traducteur agit comme un générateur de brouillard. Il prend cette pensée spécifique et la brouille tellement qu'elle devient indistinguable du bruit de l'ensemble de la bibliothèque. L'étudiant ne peut plus reconnaître le « mauvais » livre comme une chose spécifique ; cela ressemble simplement à du « bruit général de bibliothèque ».

2. Le « Goulot d'étranglement de l'information »

L'article décrit cela comme la création d'un Goulot d'étranglement de l'information.
Imaginez le cerveau de l'étudiant comme une large rivière d'informations. Le traducteur est un tuyau étroit.

Pour les bonnes données : Le tuyau est assez large pour laisser passer l'eau claire et utile.
Pour les mauvaises données : Le tuyau comprime cette eau jusqu'à ce qu'elle perde sa forme et son identité. C'est toujours de l'eau, mais vous ne pouvez plus dire quelle goutte spécifique provenait du « mauvais » seau.

3. Les deux scénarios

L'article teste cela dans deux situations :

Scénario A : Le mode « Accès complet »
Le traducteur est entraîné tout en regardant à la fois les « bons » livres et les « mauvais » livres. Il apprend exactement comment garder les bonnes choses claires et flouter les mauvaises.
- Résultat : Cela fonctionne incroyablement bien, gardant l'étudiant intelligent sur les bons sujets tout en le faisant « oublier » les mauvais.
Scénario B : Le mode « Zero-Shot » (Le tour de magie)
C'est la partie la plus impressionnante. Imaginez qu'on demande à l'étudiant d'oublier un livre, mais que vous ne pouvez plus lui montrer les « bons » livres (peut-être qu'ils sont verrouillés pour des raisons de confidentialité). Vous n'avez que le « mauvais » livre.
- Comment cela fonctionne : L'article utilise une astuce appelée Effondrement Neural. Il suppose que chez un étudiant bien entraîné, tous les « bons » livres d'un certain type (par exemple, tous les livres sur les chats) se ressemblent beaucoup les uns aux autres dans le cerveau. Le traducteur apprend à pousser les pensées du « mauvais » livre vers le « centre » moyen de toute la bibliothèque, noyant efficacement la mémoire spécifique du « mauvais » livre dans le bruit général.
- Résultat : Même sans voir les « bons » livres, le traducteur cache avec succès l'identité du « mauvais » livre sans ruiner la capacité de l'étudiant à parler d'autres choses.

Pourquoi est-ce mieux ?

L'article affirme que cette méthode est gagnante pour trois raisons principales :

C'est rapide : Modifier le traducteur est comme changer une paire de lunettes. Cela prend quelques secondes. Réécrire le cerveau de l'étudiant (réentraînement) prend des jours. L'article montre que leur méthode est des centaines de fois plus rapide que les anciennes méthodes.
C'est sûr : Parce qu'ils ne piratent pas directement le cerveau de l'étudiant, ils ne brisent pas accidentellement la capacité de l'étudiant à faire des mathématiques ou à lire. Les connaissances « bonnes » restent intactes.
Cela économise la mémoire : Les anciennes méthodes nécessitent une puissance informatique massive (comme un supercalculateur) pour effectuer la chirurgie. Cette méthode fonctionne sur un ordinateur portable standard car elle ne modifie que le petit traducteur, et non tout le cerveau.

Le hic (Limites)

L'article est honnête sur une limitation : ce « traducteur » est une couche ajoutée après le cerveau. Si un pirate a un accès direct au cerveau brut de l'étudiant (les poids internes), il pourrait encore être capable de trouver les informations « mauvaises ». Le traducteur ne protège l'information qu'une fois qu'elle a quitté le cerveau et est sur le point d'être prononcée. Cependant, pour la plupart des utilisations réelles où nous ne voyons que la sortie du modèle, cette protection est suffisante.

En résumé :
Au lieu d'effectuer une chirurgie cérébrale dangereuse et coûteuse pour faire oublier un modèle, cet article suggère de mettre une paire de « lunettes intelligentes » (une couche de transformation) qui floute les souvenirs spécifiques que vous voulez voir disparaître tout en gardant tout le reste d'une clarté cristalline. C'est plus rapide, moins cher et cela garde le modèle plus intelligent que les méthodes précédentes.

Résumé Technique : Oubli par Représentation : Oublier par Compression d'Information

Définition du Problème

Les systèmes d'apprentissage automatique modernes font face à des pressions réglementaires et éthiques croissantes pour supprimer l'influence de données d'entraînement spécifiques (l'« ensemble d'oubli », $D_f$ ) sur demande, une exigence consacrée par des cadres tels que le RGPD et le CCPA. La simple suppression des données brutes est insuffisante car les réseaux profonds mémorisent souvent les exemples d'entraînement, conservant des traces statistiques dans leurs paramètres.

Les approches existantes d'oubli automatique adoptent généralement une perspective centrée sur les paramètres, tentant de modifier les poids du modèle ( $\theta$ ) pour approximer un modèle réentraîné uniquement sur l'« ensemble de rétention » ( $D_r$ ). Cependant, ces méthodes rencontrent des limitations significatives :

Passage à l'échelle : Elles peinent à préserver l'utilité du modèle sur des architectures à grande échelle et des jeux de données complexes.
Coût computationnel : Beaucoup nécessitent des informations d'ordre supérieur coûteuses ou plusieurs passes arrière, réduisant leur écart d'efficacité par rapport au réentraînement naïf.
Instabilité : La modification de l'espace paramétrique complet peut entraîner une utilisation intensive du GPU et des mises à jour instables.
Contraintes d'accès aux données : De nombreuses méthodes supposent implicitement l'accès à la fois à $D_r$ et à $D_f$ , alors que les scénarios réels limitent souvent l'accès à $D_r$ en raison de contraintes de confidentialité ou de stockage (le réglage « zero-shot »).

Méthodologie : Oubli par Représentation

Les auteurs proposent l'Oubli par Représentation, un cadre qui déplace l'opération d'oubli de l'espace paramétrique de haute dimension vers l'espace de représentation ( $Z$ ) de plus basse dimension. Au lieu de réoptimiser les poids du réseau, la méthode apprend une transformation légère $f_\phi$ qui mappe les représentations originales $Z$ vers de nouvelles représentations $Z'$ .

Objectif Central : Goulot d'Étranglement d'Information

La transformation $f_\phi$ est entraînée pour imposer un goulot d'étranglement d'information avec deux objectifs concurrents :

Rétention : Maximiser l'information mutuelle entre la représentation transformée $Z'$ et les données de rétention $X_r$ (c'est-à-dire $I(Z'; Z | X_r) \approx 0$ , signifiant qu'aucune information pertinente pour $D_r$ n'est jetée).
Oubli : Supprimer l'information mutuelle entre $Z'$ et les données d'oubli $X_f$ (c'est-à-dire $I(Z'; X_f) \approx 0$ , signifiant que $Z'$ est statistiquement indépendante de $D_f$ ).

Surrogats Variationnels

Puisque l'information mutuelle est intraitable à calculer directement, les auteurs dérivent des bornes supérieures variationnelles pour créer des fonctions de perte optimisables. Ils abordent deux régimes d'accès aux données distincts :

1. Réglage Standard (Accès à $D_r$ et $D_f$ )

Perte de Rétention ( $L_r$ ) : Minimise la divergence KL entre la distribution transformée et la distribution de l'encodeur originale pour les échantillons de rétention. Sous des hypothèses gaussiennes, cela se simplifie en une erreur quadratique moyenne (MSE) entre les représentations originales et transformées : $\|z_r - f_\phi(z_r)\|_2^2$ .
Perte d'Oubli ( $L_f$ ) : Minimise la divergence KL entre la distribution transformée des données d'oubli et la distribution marginale de l'ensemble de données complet. Cela force les représentations d'oubli à correspondre aux statistiques agrégées, les rendant indiscernables de la population générale.

2. Réglage Zero-Shot (Accès uniquement à $D_f$ )

Dans les scénarios où $D_r$ est indisponible, le cadre repose sur l'Effondrement Neural et les métadonnées (comptages de classes) pour construire des proxies :

Proxy de Rétention : Au lieu d'échantillonner $D_r$ , la méthode utilise les centroïdes de classe (dérivés des poids du classifieur $w_c$ ) comme proxies pour les moyennes de classe. La perte de rétention pénalise les écarts des prototypes de classe transformés par rapport à leurs positions originales.
Proxy d'Oubli : La perte d'oubli minimise la distance pondérée des échantillons d'oubli transformés vers tous les prototypes de classe, noyant efficacement les informations d'instances spécifiques dans la distribution de l'espace d'étiquettes global.

Architecture

La transformation $f_\phi$ est contrainte d'être une application linéaire légère ou un Perceptron Multicouche (MLP) peu profond, exploitant l'« Hypothèse de Représentation Linéaire » qui suggère que l'information sémantique est linéairement séparable dans les couches profondes.

Contributions Clés

Changement de Paradigme : Introduit un cadre d'oubli centré sur la représentation qui évite l'instabilité et les goulots d'étranglement computationnels des mises à jour au niveau des paramètres.
Capacité Zero-Shot : Démontre une approche novatrice d'oubli sans accès aux données de rétention, utilisant les hypothèses d'Effondrement Neural pour ancrer la variété sémantique.
Formulation Théorique : Dérive des surrogats variationnels traitables pour des objectifs théoriques de l'information, équilibrant rétention et oubli via un paramètre de régularisation $\beta$ .
Efficacité : Réalise l'oubli via une couche de transformation légère plutôt qu'un réentraînement complet du modèle ou une manipulation complexe des gradients.

Résultats Expérimentaux

Le cadre a été évalué sur CIFAR-10, CIFAR-100 et Tiny ImageNet par rapport à des bases de référence incluant SISA, SCRUB, Bad Teacher et diverses méthodes zero-shot (Rétrécissement de la Frontière, EMMN, GKT).

Utilité et Oubli : L'Oubli par Représentation atteint un oubli quasi parfait (faible précision sur $D_f$ ) tout en maintenant une haute utilité sur $D_r$ . Dans le réglage zero-shot, il surpasse significativement les bases de référence, qui souffrent souvent d'un oubli catastrophique ou échouent à oublier complètement.
Efficacité Computationnelle : La méthode offre des accélérations massives par rapport au réentraînement complet. Sur Tiny ImageNet, la variante zero-shot réalise un accélération de 757 $\times$ par rapport au réentraînement. Elle surpasse constamment toutes les bases de référence concurrentes en temps d'exécution.
Efficacité des Ressources : L'approche nécessite significativement moins de mémoire GPU de pointe (par exemple, ~1,9 Go sur Tiny ImageNet contre ~8,3 Go pour le réentraînement), la rendant adaptée aux environnements aux ressources limitées.
Robustesse : La méthode reste stable à travers différentes complexités de jeux de données et scénarios d'oubli (oubli par classe vs aléatoire).

Signification et Limites

L'article positionne l'Oubli par Représentation comme une solution pratique et évolutive pour les déploiements d'oubli à grande échelle. En découplant l'efficacité de l'oubli des exigences matérielles élevées et de l'instabilité des paramètres, il offre un compromis stabilité-plasticité supérieur.

Affirmations Modestes et Limites :

Modèle de Menace Boîte Noire : La méthode opère comme une transformation en aval. Les paramètres bruts de l'encodeur restent inchangés, ce qui signifie que la représentation originale $Z$ encode toujours l'ensemble d'oubli. Le système est vulnérable aux attaques de récupération en boîte blanche si l'encodeur brut est accessible ; il sécurise la sortie $Z'$ , et non les poids internes.
Surcharge d'Inférence : L'introduction de la couche de transformation $f_\phi$ ajoute une surcharge permanente, bien que de l'ordre de la microseconde, au temps d'inférence.
Dépendance à l'Effondrement Neural : La variante zero-shot repose sur l'hypothèse d'Effondrement Neural. Si le modèle pré-entraîné ne présente pas un fort effondrement (c'est-à-dire que les poids du classifieur sont de mauvais proxies pour les centres de classe), la qualité de l'oubli zero-shot se dégrade, bien que la méthode « gracefully » (avec grâce) fasse un compromis sur l'utilité de rétention plutôt que d'échouer à oublier.

Les auteurs suggèrent que des travaux futurs pourraient appliquer ces fonctions de perte pour affiner l'encodeur entier (résolvant la vulnérabilité en boîte blanche) ou étendre le cadre aux Grands Modèles de Langage (LLM) pour oublier des comportements complexes.