🤖 AI

RULER: Representation-Level Verification of Machine Unlearning

Ce papier présente RULER, un ensemble de métriques de vérification au niveau des représentations qui révèlent une mémorisation résiduelle significative dans les méthodes d'oubli machine qui semblent efficaces selon les évaluations traditionnelles au niveau des sorties.

Auteurs originaux : Georgina Cosma, Axel Finke

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Georgina Cosma, Axel Finke

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un étudiant très intelligent qui a étudié un manuel massif pour devenir un expert. Un jour, l'éditeur dit à l'étudiant : « Veuillez oublier tout ce que vous avez appris au sujet du chapitre 5. » L'étudiant veut obéir, mais il ne peut pas simplement brûler le livre et recommencer à zéro ; cela prendrait trop de temps et d'énergie. Alors, il tente de « désapprendre » le chapitre 5 en effaçant mentalement ces pages spécifiques tout en conservant intactes ses connaissances sur le reste du livre.

Ce papier, RULER, porte sur la vérification de savoir si l'étudiant a réellement bien fait le travail d'oubli.

Le Problème : Le « Faux Oubli »

Actuellement, les enseignants (ou les auditeurs) vérifient si l'étudiant a oublié en posant deux questions simples :

Le Quiz : L'étudiant peut-il encore répondre correctement aux questions sur le reste du livre ? (Oui, il le peut.)
Le Jeu de Devinettes : Si nous montrons à l'étudiant une phrase du chapitre 5 et que nous lui demandons : « Avez-vous étudié cela ? », peut-il nous le dire ? (Idéalement, il devrait deviner au hasard, comme en lançant une pièce.)

Les auteurs ont découvert une faille. Ils ont constaté qu'un étudiant peut réussir parfaitement ces deux tests tout en ayant encore le « fantôme » du chapitre 5 qui hante son cerveau. C'est comme un magicien qui réussit à faire disparaître un lapin d'un chapeau (la sortie) mais qui garde secrètement la fourrure du lapin dans sa poche (la mémoire interne). Les réponses de l'étudiant semblent propres, mais son processus de pensée se souvient encore du chapitre interdit.

La Solution : RULER (Les Lunettes « Rayons X »)

Les auteurs ont créé un nouvel ensemble d'outils appelé RULER (Vérification au Niveau des Représentations). Au lieu de simplement écouter les réponses de l'étudiant, RULER regarde à l'intérieur du cerveau de l'étudiant pour voir comment ses pensées sont organisées.

Ils utilisent deux principaux « objectifs » (métriques) pour vérifier cela :

Objectif 1 : La Comparaison « Référence Or » (Métrique M2)

Imaginez que vous avez un étudiant « Référence Or » qui n'a jamais vu le chapitre 5 dès le début.

Le Test : RULER compare les « schémas de pensée » de l'étudiant qui a tenté d'oublier le chapitre 5 avec ceux de l'étudiant Référence Or.
La Découverte : Bien que l'étudiant qui « oublie » réussisse le quiz, son cerveau traite toujours le chapitre 5 différemment de l'étudiant Référence Or. C'est comme comparer deux cartes : l'une est une carte parfaite d'une ville sans un parc spécifique, et l'autre est une carte où quelqu'un a tenté d'effacer le parc mais a laissé un contour fantomatique et pâle. Les contours ne correspondent pas.
Le Résultat : Dans leurs expériences, presque toutes les méthodes utilisées pour « désapprendre » ont laissé ces contours fantomatiques derrière elles. Les étudiants ont réussi le quiz, mais ils ont échoué au scanner cérébral.

Objectif 2 : Le Détective « Sans Oracle » (Métrique M4)

Parfois, vous n'avez pas d'étudiant Référence Or avec qui comparer. Alors, RULER a inventé un moyen de vérifier le cerveau de l'étudiant en utilisant uniquement sa propre mémoire.

Le Test : RULER examine les « pensées » concernant le chapitre oublié et demande : « Ces pensées ressemblent-elles à celles du reste du livre, ou ressortent-elles comme un pouce blessé ? »
L'Analogie : Imaginez une foule de personnes portant des chemises bleues (les données conservées). Vous demandez à l'étudiant d'oublier une personne spécifique portant une chemise rouge (les données à oublier).
- S'ils ont réussi à oublier, la personne en chemise rouge devrait se fondre si bien qu'elle ressemble exactement aux chemises bleues.
- S'ils ont échoué, la chemise rouge brille encore, ou pire, l'étudiant a repoussé la chemise rouge si loin qu'elle flotte maintenant dans l'espace extra-atmosphérique (sur-déplacement).
La Découverte : RULER a constaté que dans de nombreux cas, les données « oubliées » ne se sont pas fondues. Soit elles ressortaient comme un souvenir, soit elles avaient été repoussées trop loin, créant une distorsion étrange dans l'esprit de l'étudiant.

Ce Qu'ils Ont Testé

Les chercheurs ont testé cela sur quatre techniques différentes de « désapprentissage » (comme différentes façons d'essayer d'effacer un souvenir) :

Ascent Gradient : Tenter de repousser activement le souvenir.
NegGrad+ : Un mélange de repoussement et de renforcement du reste.
Fine-Tuning (Affinage) : Juste réétudier le reste du livre, en espérant que l'ancien souvenir s'estompe naturellement.
SCRUB : Une méthode complexe utilisant un « enseignant » pour guider l'oubli.

Le Verdict : Les quatre méthodes ont réussi les tests standards de « Quiz » et de « Jeu de Devinettes ». Mais lorsque RULER a regardé à l'intérieur de leurs cerveaux, les quatre méthodes ont échoué. Elles ont toutes laissé des traces significatives des données oubliées.

Un Cas Spécial : Reconnaissance Faciale

Le papier a également testé cela sur un système de reconnaissance faciale (comme une caméra de sécurité).

Le Scénario : Le système a été entraîné à reconnaître des personnes, puis on lui a demandé d'« oublier » une personne spécifique (une demande de « droit à l'oubli » RGPD).
Le Résultat : Même après le désapprentissage, le système reconnaissait encore la structure faciale de cette personne spécifique. C'était comme essayer de ne plus reconnaître le visage d'un ami ; le système pouvait dire « Je ne sais pas qui c'est », mais la « carte faciale » interne avait encore un croquis parfait de cette personne. Aucune méthode testée n'a pu effacer complètement cette mémoire au niveau de l'identité.

La Grande Conclusion

Le papier conclut que les méthodes actuelles de « désapprentissage machine » ne sont pas aussi approfondies que nous le pensions. Elles sont bonnes pour nettoyer les réponses qu'un modèle donne, mais elles sont mauvaises pour nettoyer les mémoires internes qui produisent ces réponses.

RULER agit comme un diseur de vérité, nous montrant que le fait qu'un modèle dis qu'il a oublié ne signifie pas qu'il l'a vraiment fait. Pour protéger véritablement la vie privée, nous devons vérifier les « pensées » internes de l'IA, et pas seulement sa sortie finale.

Résumé Technique : RULER – Vérification au Niveau des Représentations de l'Oubli Machine

Énoncé du Problème

L'oubli machine vise à éliminer l'influence de certains enregistrements d'entraînement (l'ensemble d'oubli) d'un modèle déployé, sans le coût computationnel d'un réentraînement complet, tout en préservant les performances du modèle sur les données restantes (l'ensemble de rétention). Les protocoles d'évaluation actuels reposent sur des critères au niveau de la sortie :

Précision de l'attaque par inférence d'appartenance (MIA) : Elle doit être proche de 0,50 (niveau aléatoire).
Précision sur l'ensemble de rétention : Elle doit être préservée.
Précision sur l'ensemble d'oubli : Elle doit correspondre à un oracle de réentraînement (un modèle entraîné à partir de zéro uniquement sur l'ensemble de rétention).

Les auteurs identifient une limitation critique dans ces protocoles : un modèle peut satisfaire aux trois critères au niveau de la sortie tout en encodant toujours des informations sur les enregistrements oubliés dans ses représentations intermédiaires. Les métriques existantes n'examinent pas la manière dont un modèle organise internement les informations relatives aux enregistrements individuels, laissant potentiellement une « fausse sensation de confidentialité » où le modèle se comporte correctement en sortie mais conserve des traces structurelles des données qu'il était censé oublier.

Méthodologie : RULER

L'article présente RULER (Vérification au Niveau des Représentations de l'Oubli Machine), un cadre comprenant deux lentilles de métriques de vérification basées sur la similarité cosinus de la couche pénultième. Le cadre opère sur les embeddings $h_\theta(x)$ immédiatement avant la tête de sortie spécifique à la tâche.

Lentille 1 : Métriques de Comparaison avec Oracle (Nécessite un Oracle de Réentraînement)

Ces métriques comparent le modèle oublié ( $\theta_u$ ) avec un oracle de réentraînement ( $\theta_r$ ) entraîné à partir de zéro sur l'ensemble de rétention. Pour garantir que les différences de représentation reflètent le processus d'oubli plutôt qu'une initialisation aléatoire, le modèle original ( $\theta_o$ ) et l'oracle ( $\theta_r$ ) partagent la même graine aléatoire.

M1 (Similarité de Comparaison avec Oracle) : La similarité cosinus moyenne entre les enregistrements de l'ensemble d'oubli dans $\theta_u$ et $\theta_r$ . Bien qu'une forte similarité soit souhaitée, M1 manque d'une valeur nulle fixe pour les tests de signification.
M2 (Écart de Calibration Signé) : La métrique principale de la Lentille 1. Elle calcule la différence entre la similarité moyenne des enregistrements de l'ensemble d'oubli et la similarité médiane des enregistrements de l'ensemble de rétention entre $\theta_u$ $θ_{u}$ et $\theta_r$ $θ_{r}$ .
- Hypothèse Nulle : $M2 = 0$ .
- Interprétation : Des valeurs négatives indiquent une mémorisation résiduelle (les enregistrements de l'ensemble d'oubli sont moins similaires à l'oracle que les enregistrements de l'ensemble de rétention). Des valeurs positives indiquent une sur-correction. La médiane est utilisée pour la ligne de base de rétention afin d'éviter une inflation due à des distributions asymétriques à droite.
M3 (Déplacement de Représentation) : Mesure le changement de similarité par rapport à l'oracle avant et après l'oubli. Des valeurs positives indiquent que le processus d'oubli a rapproché les représentations de l'oracle ; des valeurs négatives indiquent qu'elles s'en sont éloignées.

Lentille 2 : Métrie Sans Oracle (Aucun Oracle de Réentraînement Nécessaire)

M4 (Rang Percentile) : Cette métrique opère uniquement sur la géométrie interne du modèle oublié $\theta_u$ $θ_{u}$ . Pour chaque enregistrement d'oubli, elle trouve le plus proche voisin dans l'ensemble de rétention et mesure leur similarité cosinus. Cette similarité est ensuite classée par rapport à la distribution des similarités des plus proches voisins parmi les enregistrements de rétention eux-mêmes (leave-one-out).
- Hypothèse Nulle : $M4 = 0,50$ .
- Interprétation : Une valeur de 0,50 implique que l'enregistrement d'oubli est géométriquement indiscernable d'un enregistrement retenu. Des valeurs $> 0,50$ indiquent une mémorisation résiduelle (l'enregistrement d'oubli est trop similaire à l'ensemble de rétention). Des valeurs $< 0,50$ indiquent un sur-déplacement (l'enregistrement a été repoussé trop loin de la distribution de rétention).

Configuration Expérimentale

Ensembles de données : Dix ensembles de données de classification tabulaire (par exemple, Revenus Adultes, Cancer du Sein, Crédit Allemand) ont été utilisés comme cadre principal. Le cadre a également été appliqué à des données tabulaires à grande échelle, à la classification d'images (CIFAR-10, SVHN, CIFAR-100), à des textes cliniques (MTSamples avec Bio_ClinicalBERT) et à l'oubli d'identité faciale (LFW).
Modèles : Un MLP à deux couches cachées fixe (TabularMLP) pour les données tabulaires ; des CNN et ResNet-18 pour les images ; des modèles basés sur BERT pour le texte.
Méthodes d'oubli : Quatre méthodes approximatives ont été évaluées : Ascension du Gradient, NegGrad+, Affinage (Fine-Tuning) et SCRUB (basé sur la distillation). Une cinquième méthode, Bad Teacher, a été incluse pour tester la discordance structurelle par rapport à la spécificité de la méthode.
Protocole : Les expériences ont utilisé 10 ensembles de données, 10 graines d'entraînement et trois fractions d'oubli ( $1\%$ , $5\%$ , $10\%$ ). L'analyse statistique a employé des modèles linéaires à effets mixtes (LMM) avec l'ensemble de données comme intercept aléatoire, ainsi que des tests de rangs signés de Wilcoxon.

Résultats Clés

1. Discordance entre les Niveaux de Sortie et de Représentation

Les quatre méthodes approximatives d'oubli ont toutes réussi les évaluations standard au niveau de la sortie (précision MIA dans $\pm 0,05$ de 0,50, précision de rétention préservée). Cependant, M2 a détecté des résidus statistiquement significatifs dans 10 des 12 conditions ( $p < 0,05$ ).

Directionnalité : M2 était systématiquement négatif pour toutes les méthodes et toutes les fractions d'oubli, indiquant que les enregistrements de l'ensemble d'oubli restent plus éloignés de la représentation de l'oracle que les enregistrements retenus.
Taille de l'effet : Les tailles d'effet ( $r_{rb}$ ) ont augmenté à mesure que la fraction d'oubli augmentait, atteignant des magnitudes importantes ($0,90 - 0,96$) à une fraction d'oubli de $10\%$ .
Indépendance de la Méthode : Des tests post-hoc n'ont montré aucune différence significative entre les quatre méthodes sur M2, M4 ou MIA. La discordance est une propriété de la tâche d'oubli elle-même, et non d'un algorithme spécifique.

2. Validation par Bad Teacher

La méthode Bad Teacher, qui utilise un mécanisme fondamentalement différent (entraîner un étudiant à correspondre à un enseignant initialisé aléatoirement sur les enregistrements d'oubli), a également réussi les contrôles au niveau de la sortie mais a présenté des valeurs M2 négatives significatives. Cela confirme que l'échec à effacer les représentations intermédiaires est une limitation structurelle des approches d'oubli approximatif actuelles, et non un artefact de techniques spécifiques basées sur le gradient ou la distillation.

3. Utilité Diagnostique de M4

Données Tabulaires/Générales : M4 a montré des rangs moyens légèrement supérieurs à 0,50, entraînés par des ensembles de données avec une mémorisation détectable (par exemple, Cancer du Sein, Maladies Cardiaques).
Identité Faciale (LFW) : Dans un cadre d'identité faciale où le modèle était entraîné pour la classification du genre mais encodait incidemment l'identité, les valeurs M4 pré-oubli étaient extrêmement élevées ($0,73 - 0,94$), confirmant une forte mémorisation au niveau de l'identité. Après l'oubli, aucune méthode n'a complètement effacé ce signal ; l'Ascension du Gradient et l'Affinage l'ont laissé largement intact, tandis que SCRUB a provoqué un sur-déplacement à de faibles fractions d'oubli.
Grande Échelle/Faible Mémorisation : Sur des ensembles de données tabulaires et d'images à grande échelle où les modèles originaux montraient un M4 $\approx 0,50$ (pas de mémorisation détectable), les méthodes d'oubli ont parfois introduit des artefacts (sur-déplacement ou déplacement), suggérant que l'oubli peut dégrader la qualité des représentations lorsqu'il n'est pas strictement nécessaire.

Signification et Revendications

L'article revendique que l'évaluation au niveau de la sortie est insuffisante pour vérifier l'oubli machine. Un modèle peut satisfaire à tous les critères standard de confidentialité et d'utilité tout en conservant des traces mesurables des données oubliées dans ses représentations internes.

RULER comme Outil de Vérification : Les auteurs proposent M2 et M4 comme ajouts nécessaires au protocole d'évaluation. M2 fournit un test au niveau de la population pour la mémorisation résiduelle par rapport à un oracle, tandis que M4 sert de diagnostic sans oracle à la fois avant l'oubli (évaluer si l'oubli est nécessaire) et après l'oubli (détecter une éradication incomplète ou un sur-déplacement).
Limites des Méthodes Actuelles : Le M2 négatif constant à travers des méthodes et des architectures diverses suggère que les objectifs d'oubli approximatif actuels sont optimisés pour le comportement de sortie mais échouent à contraindre les représentations intermédiaires.
Portée Modeste : Les auteurs déclarent explicitement que ces métriques sont des outils de vérification technique, et non des tests de conformité légale pour l'article 17 du RGPD. Ils caractérisent les résidus de représentation mais ne prétendent pas définir l'adéquation réglementaire. De plus, les métriques reposent sur la similarité cosinus, qui n'est pas invariante par rotation, nécessitant la conception de paires de graines pour M2.

En conclusion, l'article démontre que « l'oubli » dans l'apprentissage automatique est actuellement une illusion au niveau de la sortie pour de nombreuses méthodes approximatives, et qu'une véritable éradication nécessite une vérification au niveau de la représentation.