Suppression or Deletion: A Restoration-Based Representation-Level Analysis of Machine Unlearning

Cet article propose un cadre d'analyse basé sur la restauration pour révéler que la plupart des méthodes d'oubli machine se contentent de supprimer les informations au niveau de la décision tout en les préservant dans les représentations intermédiaires, soulignant ainsi la nécessité de nouveaux critères d'évaluation axés sur le niveau de représentation.

L'essentiel

🧠 Le Grand Mémoire : Suppression ou Simple Masquage ?

Imaginez que vous avez un cerveau numérique (une intelligence artificielle) qui a lu des millions de livres sur internet. Ce cerveau est très intelligent, mais il a aussi mémorisé des secrets, des photos privées ou des informations volées.

Aujourd'hui, les lois (comme le RGPD en Europe) disent : "Si quelqu'un demande d'oublier une information, tu dois l'effacer complètement." C'est ce qu'on appelle l'oubli machine (Machine Unlearning).

Le problème, c'est que la plupart des méthodes actuelles pour "oublier" ne font qu'effacer la poussière sur la vitre, sans laver la vitre elle-même.

🕵️‍♂️ L'Analogie du "Masque de Théâtre"

Pour comprendre la découverte de cette équipe de chercheurs, imaginez un acteur sur scène :

1. La Suppression (ce que font la plupart des méthodes) : L'acteur porte un masque qui cache son visage. Si vous regardez la scène (la sortie du modèle), vous ne voyez plus son visage. Vous pensez qu'il a disparu. Mais en réalité, son visage est toujours là, juste derrière le masque. Si vous retirez le masque, il est toujours là, prêt à jouer son rôle.
2. La Suppression (la vraie) : C'est comme si l'acteur avait été remplacé par un mannequin en carton. Son visage n'existe plus dans la pièce.

Les chercheurs ont découvert que la plupart des méthodes d'oubli actuelles ne font que mettre un masque. Elles empêchent le modèle de dire "Je connais cette photo", mais les neurones du modèle gardent encore les détails de cette photo en mémoire.

🔍 Comment ont-ils découvert la supercherie ? (Le Framework de Restauration)

Pour prouver que le visage est toujours là derrière le masque, les chercheurs ont inventé un test spécial, un peu comme un déguisement magique :

1. Ils utilisent des "Lunettes à Rayons X" (les Sparse Autoencoders) : Ces lunettes permettent de voir ce qui se passe à l'intérieur du cerveau de l'IA, dans ses couches intermédiaires (là où les idées sont formées), et pas seulement à la sortie.
2. Ils cherchent les "Experts" : Ils identifient les petits neurones spécialisés qui reconnaissent spécifiquement l'information à oublier (par exemple, les neurones qui voient un "pump à essence").
3. Le Test de Restauration : Ils disent au modèle : "Hé, réactive ces neurones experts !" (C'est ce qu'ils appellent le steering).
   • Résultat surprenant : Même pour les modèles qui avaient "oublié" l'information (0% de réussite sur le test d'oubli), dès qu'ils réactivent ces neurones, l'IA se souvient instantanément de tout ! Elle retrouve son ancienne précision.

Cela prouve que l'information n'a pas été effacée, elle a juste été bloquée à la sortie.

📊 Ce qu'ils ont trouvé en testant 12 méthodes

Ils ont testé 12 façons différentes de faire oublier des choses à l'IA (sur des images d'oiseaux ou de pompes à essence). Le verdict est sans appel :

• La plupart des méthodes (90%) : Elles ne font que supprimer l'information. C'est comme si vous appreniez à un chien à ne pas aboyer en lui mettant un bâillon. Il ne crie plus, mais il a toujours envie d'aboyer. Si vous enlevez le bâillon, il aboie fort.
• Même la méthode "Refaire tout" : Même si vous réentraînez le modèle depuis zéro avec les bonnes données, il garde des traces de ce qu'il a appris avant (les "pré-connaissances"). C'est comme si un étudiant qui a lu un livre interdit gardait les idées en tête, même s'il relit un livre autorisé.
• Les rares exceptions : Seules quelques méthodes très radicales (qui modifient la structure interne du cerveau, comme changer les fondations d'une maison) réussissent vraiment à effacer l'information.

💡 Pourquoi est-ce grave ?

Imaginez que vous vendez un modèle d'IA sur internet en disant : "J'ai supprimé toutes les données privées, c'est sûr !".
Les acheteurs vérifient que le modèle ne donne pas les noms des gens (le test de sortie). Tout semble bon.
Mais comme l'information est toujours cachée à l'intérieur (sous le masque), un pirate ou un malin pourrait utiliser une astuce pour réactiver ces souvenirs. Soudain, l'IA révèle les secrets qu'elle était censée avoir oubliés.

C'est un risque énorme pour la vie privée.

🛠️ Les nouvelles règles du jeu (Les recommandations)

Les auteurs proposent de changer les règles pour l'avenir :

1. Ne regardez plus seulement la sortie : Ne vous contentez pas de vérifier si l'IA donne la bonne réponse. Il faut regarder comment elle pense à l'intérieur.
2. Vérifiez les "couches profondes" : Il faut s'assurer que les souvenirs sont bien effacés des couches intermédiaires du cerveau, pas juste bloqués à la porte de sortie.
3. Des méthodes plus radicales : Pour vraiment oublier, il faut parfois "reconstruire" une partie du cerveau de l'IA, pas juste ajuster quelques boutons.

En résumé

Cette étude nous dit : "Attention, ne vous fiez pas aux apparences !"
Beaucoup d'IA disent qu'elles ont oublié vos secrets, mais elles ne font que les cacher. Avec les bons outils, on peut les faire se souvenir de tout. Pour protéger vraiment la vie privée, il faut vérifier que l'oubli est réel et profond, pas juste un masque.

Résumé technique

1. Problématique

L'essor des plateformes de partage de modèles (comme Hugging Face) et l'utilisation massive de données web pour l'entraînement de modèles pré-entraînés soulèvent des enjeux critiques de confidentialité et de droits d'auteur. Le Machine Unlearning (MU) (l'oubli machine) a été proposé pour permettre la suppression sélective de l'influence de données spécifiques (sensibles, privées ou protégées) sans avoir à réentraîner le modèle de zéro, ce qui est coûteux.

Cependant, l'évaluation actuelle des méthodes d'oubli repose principalement sur des métriques basées sur la sortie (output-based metrics), telles que :

• La précision sur l'ensemble des données à oublier (forget set).
• La performance des attaques d'inférence d'appartenance (MIA).

Le problème central identifié par les auteurs est que ces métriques ne peuvent pas distinguer entre deux états fondamentaux :

1. La Suppression : Les représentations sémantiques des données à oublier sont toujours présentes dans les couches intermédiaires du modèle, mais sont "masquées" au niveau de la sortie finale.
2. La Suppression (Deletion) : Les représentations sont véritablement effacées de toutes les couches du modèle.

Les auteurs soulignent que la simple suppression est insuffisante pour garantir la confidentialité, car les informations peuvent être récupérées au niveau des représentations internes.

2. Méthodologie : Cadre d'Analyse par Restauration

Pour combler ce vide, les auteurs proposent un nouveau cadre d'analyse basé sur la restauration, utilisant des Autoencodeurs Creux (Sparse Autoencoders - SAE) pour inspecter les couches intermédiaires.

Le processus se déroule en deux phases principales :

A. Sélection de Caractéristiques (Feature Selection)

• Identification des "Experts" : Les SAE sont utilisés pour extraire des caractéristiques interprétables des activations des couches intermédiaires (couches de goulot d'étranglement sémantique).
• Filtrage : On identifie les caractéristiques spécifiques à une classe ("expert features") en calculant leur score F1 (précision et rappel) pour une classe donnée.
• Alignement : Pour gérer les permutations d'indices après l'oubli, les caractéristiques du modèle original et du modèle "oublié" sont alignées via l'algorithme hongrois.
• Validation : L'ablation de ces caractéristiques experts entraîne une chute drastique de la précision pour la classe oubliée (>80%), tout en préservant la précision des autres classes, confirmant leur spécificité.

B. Restauration Sélective (Selective Restoration)

• Steering (Pilotage) : Pour une couche cible $\ell$, on extrait les activations du modèle original ($h_{orig}$) et du modèle oublié ($h_{unl}$).
• Injection : On remplace les valeurs des caractéristiques experts dans le modèle oublié par celles du modèle original, en utilisant un coefficient de pilotage $\alpha$ :
  $$\hat{h}[j] = h_{unl}[j] + \alpha (h_{orig}[j] - h_{unl}[j])$$
• Évaluation : Le vecteur modifié $\hat{h}$ est décodé et propagé à travers les couches restantes. Si la précision sur la classe oubliée augmente significativement après cette injection, cela prouve que l'information était supprimée (présente mais masquée) et non effacée.

3. Contributions Clés

1. Nouveau Cadre d'Analyse : Introduction d'une méthode quantitative utilisant les SAE et le pilotage des inférences pour distinguer la suppression de l'effacement au niveau des représentations.
2. Évaluation Large : Application de ce cadre à 12 méthodes majeures d'oubli machine sur des tâches de classification d'images (CIFAR-10 et ImageNette).
3. Découverte Fondamentale : Démonstration que la plupart des méthodes actuelles (y compris le réentraînement partiel) ne font que supprimer l'information, laissant les représentations sémantiques intactes.
4. Nouvelles Directives : Proposition de lignes directrices pour la conception et l'évaluation de méthodes d'oubli, privilégiant la vérification au niveau des représentations internes.

4. Résultats Expérimentaux

L'application du cadre sur 12 méthodes (Retrain, Finetune, AdvNegGrad, SCRUB, SalUn, EU-K, etc.) révèle trois observations majeures :

• Prédominance de la Suppression : La majorité des méthodes approximatives (y compris Retrain depuis un checkpoint pré-entraîné) affichent une précision de restauration très élevée (souvent >80% ou 100%) dans les couches profondes. Cela signifie que les caractéristiques sémantiques héritées du pré-entraînement persistent et ne sont pas effacées par le réentraînement simple.
• Dépendance à la Profondeur et à la Complexité :
  • Pour des datasets simples (CIFAR-10), l'information est concentrée dans les couches intermédiaires (8-9).
  • Pour des datasets complexes (ImageNette), le "goulot d'étranglement" sémantique se déplace vers les couches plus profondes (9-10).
• Différences Méthodologiques :
  • Les méthodes basées sur la modification de la fonction de perte ou de la sortie (ex: AdvNegGrad, SCRUB, RandomLabel) échouent totalement à effacer les représentations.
  • Seules les méthodes effectuant des modifications structurelles ou ciblées sur les paramètres des couches intermédiaires (ex: EU-K qui réinitialise les couches, ou SSD avec un amortissement des poids) parviennent à une véritable suppression (taux de restauration proche de 0%).

5. Signification et Implications

Ce travail remet en question la validité des évaluations actuelles de l'oubli machine :

• Risque de Sécurité : Un modèle peut sembler "sûr" selon les métriques de sortie (précision nulle sur la classe oubliée) tout en conservant les données sensibles dans ses représentations internes, rendant ces données récupérables par des attaques ciblées.
• Limites du Réentraînement : Même le réentraînement à partir de checkpoints pré-entraînés ne garantit pas l'effacement des connaissances sémantiques profondes.
• Nouvelles Normes : Les auteurs plaident pour une transition vers des critères d'évaluation basés sur les mécanismes internes. Pour les applications critiques (vie privée), l'audit au niveau des représentations (representation-level auditing) doit devenir obligatoire pour garantir que l'information est véritablement détruite et non simplement supprimée.

En conclusion, l'article établit que pour un oubli machine fiable, il ne suffit pas de modifier la sortie du modèle ; il faut cibler et altérer structurellement les représentations sémantiques dans les couches intermédiaires du réseau de neurones.