🤖 machine learning

Multi-Objective Reference-Aligned Machine Unlearning

Cet article propose le Reference-Aligned UnLearning (RAUL), un cadre multi-objectif qui atténue l'oubli catastrophique dans l'apprentissage par désapprentissage (machine unlearning) en remplaçant la maximisation non bornée de la perte par un alignement KL borné sur une distribution de référence et en résolvant l'optimisation résultante via une descente de Jacobienne pour atteindre des performances comparables à un réentraînement complet.

Auteurs originaux : Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent qui a étudié un manuel massif. Cet étudiant est si doué dans son travail qu'il peut répondre à des questions sur presque tout ce qui se trouve dans ce livre. Mais maintenant, quelques pages du livre doivent être légalement retirées (peut-être parce qu'elles contiennent des informations privées). Vous devez demander à l'étudiant d'« oublier » ces pages spécifiques sans oublier tout le reste de ce qu'il a étudié.

C'est le problème de l'Oubli Machine (Machine Unlearning).

L'ancienne méthode : Le problème de la « sur-correction »

Traditionnellement, pour faire oublier une page spécifique à l'étudiant, les enseignants utilisaient une méthode brutale : ils forçaient l'étudiant à mémoriser l'opposé de ce qui se trouvait sur cette page.

La métaphore : Imaginez que l'étudiant essaie d'oublier que « Les pommes sont rouges ». L'enseignant lui hurle : « Non ! Les pommes sont bleues ! Les pommes sont vertes ! Les pommes sont sinueuses ! »
Le résultat : L'étudiant devient tellement confus par l'effort de forcer la mauvaise réponse qu'il commence à oublier d'autres choses aussi. Il pourrait commencer à penser que « Les oranges sont bleues » ou oublier comment compter. Dans l'article, cela est appelé Oubli Catastrophique (Catastrophic Forgetting). L'étudiant devient instable, et ses performances globales chutent car le processus d'« oubli » lutte contre le processus de « mémorisation ».

La nouvelle solution : RAUL (Reference-Aligned UnLearning)

Les auteurs de cet article proposent une approche plus intelligente et plus douce appelée RAUL. Au lieu de hurler l'opposé, ils disent à l'étudiant : « Pour ces pages spécifiques, agis simplement comme si tu ne les avais jamais vues auparavant. »

Voici comment cela fonctionne, décomposé en étapes simples :

1. Les deux objectifs (L'équilibre des forces)

L'étudiant a deux tâches à accomplir simultanément :

Tâche A (Rétention) : Continuer à répondre parfaitement aux questions sur le reste du livre.
Tâche B (Oubli) : Répondre aux questions sur les pages retirées comme s'il s'agissait de concepts totalement nouveaux et inconnus.

Les anciennes méthodes essayaient de réaliser la Tâche B en luttant contre la Tâche A. RAUL essaie de faire les deux ensemble sans qu'ils ne se fassent trébucher l'un l'autre.

2. L'astuce de la « Référence »

Comment apprendre à quelqu'un à agir comme s'il n'avait jamais rien vu ? On lui donne une Référence.

La métaphore : Imaginez que l'étudiant regarde une image d'une « Page Oubliée ». Au lieu de le forcer à dire « C'est un chien » (alors que c'est un chat), l'enseignant lui dit : « Regarde cette image d'un objet aléatoire que tu n'as jamais vu auparavant. Comment le décrirais-tu ? Tu ne serais probablement pas sûr, n'est-ce pas ? Tu dirais : 'Je ne sais pas, cela pourrait être n'importe quoi.' »
La méthode de l'article : L'article utilise deux types de guides de « Référence » :
- Distribution Uniforme (Le « Guess Total ») : L'enseignant dit à l'étudiant : « Pour ces pages, devine simplement au hasard. Traite chaque réponse comme étant également probable. » C'est comme dire : « Je n'ai aucune connaissance à ce sujet. »
- Distribution de Retenue (Le « Vrai Étranger ») : L'enseignant montre à l'étudiant l'image d'un objet complètement nouveau (provenant d'un autre livre qu'il n'a pas lu) et lui dit : « Traite les pages oubliées exactement comme cet objet nouveau. » Cela aide l'étudiant à rester calme et à ne pas paniquer, préservant ainsi la stabilité de sa mémoire du reste du livre.

3. Le « Agent de circulation » (Jacobian Descent)

Même avec un bon plan, les deux tâches (Se souvenir vs Oublier) peuvent encore tirer l'étudiant dans des directions opposées.

La métaphore : Imaginez l'étudiant qui est tiré par deux cordes. Une corde le tire pour se souvenir du livre ; l'autre le tire pour oublier les pages. Si vous nouez simplement les cordes ensemble, elles cassent ou l'étudiant reste coincé.
La solution : L'article utilise un agent de circulation spécial (appelé Jacobian Descent avec UPGrad). Cet agent regarde les deux cordes et trouve un chemin intermédiaire. Il ne se contente pas d'additionner les forces ; il calcule une direction où l'étudiant peut avancer sans s'emmêler. Il trouve l'endroit parfait où l'étudiant est assez bon pour se souvenir et assez bon pour oublier, sans s'effondrer.

Qu'est-il arrivé lors des expériences ?

Les chercheurs ont testé cela sur un « étudiant » numérique (un modèle informatique) utilisant des images d'animaux (CIFAR-10).

Les anciens étudiants (Anciennes méthodes) : Lorsqu'on leur demandait d'oublier 50 % des données, les anciennes méthodes les rendaient confus. Leur mémoire des 50 % restants s'effondrait, et leurs performances étaient médiocres.
L'étudiant RAUL : Lorsqu'on lui demandait d'oublier la même quantité, l'étudiant RAUL est resté calme.
- Il a conservé sa mémoire des données restantes presque aussi parfaite que s'il n'avait jamais été sollicité pour oublier quoi que ce soit.
- Il a réussi à « oublier » les données supprimées, en agissant avec incertitude face à elles, tout comme il le ferait pour une image totalement nouvelle.
- Il était beaucoup plus stable et n'a pas connu de variations de performance extrêmes.

L'essentiel

L'article affirme qu'en changeant l'objectif de « Forcer le modèle à avoir tort » à « Aligner le modèle pour qu'il agisse comme s'il avait vu quelque chose de nouveau », nous pouvons supprimer des données spécifiques sans briser le cerveau du modèle. C'est comme enseigner à un étudiant comment oublier un chapitre spécifique en lui disant de traiter cela comme une page blanche, plutôt que d'essayer de réécrire tout le livre avec des erreurs.

Le résultat est un système bien meilleur pour respecter la vie privée (suppression des données) tout en préservant son intelligence.

Résumé technique : Référence-Alignement de l'Apprentissage de l'Oubli Multi-Objectif (RAUL)

Énoncé du problème
L'apprentissage de l'oubli (Machine Unlearning - MU) vise à supprimer l'influence d'échantillons d'entraînement spécifiques (l'ensemble à oublier, $F$ ) d'un modèle déployé, tout en préservant les performances sur les données restantes (l'ensemble à conserver, $R$ ). Les méthodes approximatives existantes reposent généralement sur une optimisation à objectif unique, telle que l'ascension de gradient (maximisation de la perte sur $F$ ) ou le réétiquetage aléatoire. Les auteurs soutiennent que ces approches induisent un oubli catastrophique car la dynamique d'optimisation de l'« oubli » (répulsion des prédictions correctes) entre en conflit avec la « conservation » (maintien des prédictions correctes sur $R$ ). Ce conflit provoque une dérive du savoir pré-entraîné du modèle, entraînant une perte d'utilité significative sur l'ensemble à conserver.

Méthodologie : Référence-Alignement de l'Apprentissage de l'Oubli (RAUL)
Le papier propose RAUL, un cadre d'optimisation multi-objectif (MOO) qui reformule l'apprentissage de l'oubli comme une optimisation conjointe de l'oubli et de la conservation, plutôt que comme une tâche adverse unique.

Formulation des objectifs :
- Objectif de conservation ( $L_{retain}$ ) : Minimisation standard de l'entropie croisée sur l'ensemble à conserver $R$ pour préserver l'utilité du modèle.
- Objectif d'oubli basé sur une référence ( $L_{forget}$ ) : Au lieu de maximiser la perte sur $F$ , RAUL minimise la divergence de Kullback-Leibler (KL) entre les prédictions du modèle sur $F$ et une distribution de référence ( $p_{ref}$ ) représentant des données « non rencontrées ». Cela aligne la confiance du modèle sur les échantillons oubliés avec son comportement face à des données qu'il n'a jamais rencontrées.
  $\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$
Stratégies de distribution de référence :
Le papier introduit deux stratégies pour instancier $p_{ref}$ :
- Distribution Uniforme (UniDist) : Définit $p_{ref}(y) = 1/C$ (où $C$ est le nombre de classes). Cela agit comme une base principielle ne nécessitant aucune donnée supplémentaire, encourageant une incertitude maximale sur les échantillons oubliés. Minimiser la KL par rapport à une distribution uniforme équivaut à maximiser l'entropie de prédiction.
- Distribution de maintien (HeldDist) : Calcule une distribution de référence empirique à partir d'un ensemble de données disjoint et non vu ( $D_{ref}$ ) qui ne faisait pas partie des ensembles d'entraînement, de validation ou de test originaux. Cela fournit une ancre stable qui imite le comportement de données réellement non rencontrées, offrant potentiellement une meilleure stabilité de conservation.
Optimisation via la descente de Jacobienne :
Le problème est traité comme une optimisation bi-objectif : $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$ . Pour résoudre cela sans pondérer manuellement les objectifs (ce qui peut mener à des conflits de gradients), les auteurs utilisent la descente de Jacobienne via l'agrégateur UPGrad (Unconflicting Projection of Gradients) :
- Les gradients des deux objectifs ( $g_R$ et $g_F$ ) sont empilés dans une matrice Jacobienne.
- UPGrad projette chaque gradient sur le cône dual de tous les gradients d'objectifs et en fait la moyenne.
- Cette agrégation trouve un point Pareto-stationnaire où la direction de mise à jour ne fait pas monter un objectif tout en faisant descendre l'autre, résolvant ainsi efficacement le conflit de gradient.

Contributions clés

Reformulation de l'apprentissage de l'oubli : Déplace le paradigme de la maximisation de la perte adverse vers l'alignement de prédiction par référence, contraignant l'objectif d'oubli pour empêcher la dérive du modèle.
Cadre multi-objectif : Modélise explicitement la tension entre l'oubli et la conservation comme un problème bi-objectif, résolu via une optimisation Pareto-stationnaire (descente de Jacobienne) plutôt que par une scalarisation linéaire.
Stratégies de référence : Propose deux distributions de référence distinctes (Uniforme et Held-out) pour contrôler le comportement de l'oubli, offrant un compromis entre une implémentation sans données et une stabilité de conservation accrue.
Optimisation stable : Démontre que le remplacement de la maximisation de perte non bornée par un alignement KL borné réduit le conflit de gradient, menant à des mises à jour plus stables.

Résultats expérimentaux
Les auteurs ont évalué RAUL sur des tâches de classification d'images (CIFAR-10 avec ResNet-18) sous des ratios d'oubli aléatoires de 10 % et 50 %, en comparant avec des bases incluant l'Ascension de Gradient (GA), le Réétiquetage Aléatoire (RL), les Fonctions d'Influence (IU) et SalUn.

Écart de performance : Les variantes de RAUL ont obtenu les écarts moyens les plus faibles par rapport au réentraînement complet.
- À 10 % d'oubli, HeldDist-RAUL avec UPGrad a obtenu le meilleur écart moyen de 2,23, surpassant la base la plus forte (IU à 6,06) et battant nettement GA (16,90).
- À 50 % d'oubli, là où les bases comme GA s'effondrent (écart de 49,19), UniDist-RAUL avec UPGrad a obtenu le meilleur écart de 6,75, tandis que les variantes HeldDist-RAUL maintenaient des écarts autour de 9,22.
Compromis Conservation vs Oubli :
- HeldDist-RAUL a privilégié la conservation, atteignant une haute précision de rétention (RA ~98,89 %) et une précision de test (TA ~92,12 %) avec un oubli conservateur.
- UniDist-RAUL a offert un profil d'oubli plus agressif (plus haute précision d'oubli) tout en maintenant l'écart global le plus bas par rapport au réentraînement.
Métriques de confidentialité : Les méthodes RAUL ont maintenu des scores d'attaque par inférence d'appartenance (MIA) proches de la base de réentraînement (ex: ~15,31 contre 13,13 pour le réentraînement), alors que GA est tombé à des niveaux proches du hasard (1,93), indiquant que RAUL supprime l'influence sans l'instabilité des attaques adverses.
Stabilité : Les variantes de RAUL ont présenté des écarts-types nettement inférieurs à ceux de GA et des méthodes $\ell_1$ -parcimonieuses, confirmant la stabilité des mises à jour alignées sur la référence.

Signification et affirmations
Le papier affirme que RAUL traite le goulot d'étranglement fondamental du conflit explicite entre l'oubli et la conservation. En remplaçant la maximisation de perte non bornée par un alignement KL borné à une distribution de référence, la méthode :

Réduit le conflit de gradient : La formulation MOO avec l'agrégation UPGrad garantit que les mises à jour ne dégradent pas l'ensemble à conserver tout en oubliant l'ensemble cible.
Prévient l'oubli catastrophique : La nature bornée de l'objectif d'oubli empêche le modèle de trop dériver de son savoir pré-entraîné.
Offre de la flexibilité : Le cadre fournit le choix entre une approche sans données (UniDist) et une approche dépendante des données, offrant une plus grande stabilité (HeldDist).

Les auteurs concluent que si UniDist-RAUL sert de solution de repli robuste ne nécessitant aucune donnée supplémentaire, la disponibilité d'un ensemble de maintien permet à HeldDist-RAUL d'atteindre une rétention plus serrée. Ils notent que les travaux futurs exploreront l'extension de cela aux modèles génératifs, aux LLM, et l'utilisation d'algorithmes évolutionnaires multi-objectifs (MOEA) pour des solutions Pareto-optimales plus diverses.