🤖 machine learning

Forget Narrowly, Retain Broadly: Unlearning as an Asymmetric Generalization Problem

Cet article introduit le protocole d'évaluation SUITE et l'algorithme JensUn++ pour répondre aux défis de la généralisation asymétrique dans l'oubli machine, où les méthodes actuelles échouent à supprimer de manière fiable des connaissances spécifiques sans effacer par inadvertance des informations non liées, en fournissant un ensemble de données complet qui capture la frontière complexe entre l'oubli et la rétention et en démontrant qu'une amélioration des données d'entraînement est aussi critique que la conception algorithmique pour atteindre des compromis d'utilité optimaux.

Auteurs originaux : Amit Peleg, Naman Deep Singh, Naama Pearl, Bibhabasu Mohapatra, Matthias Hein

Publié 2026-07-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amit Peleg, Naman Deep Singh, Naama Pearl, Bibhabasu Mohapatra, Matthias Hein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot de bibliothèque géant et super intelligent nommé « LLM » qui sait presque tout. Parfois, pour des raisons de confidentialité ou de sécurité, vous devez demander à ce robot d'oublier un secret spécifique — disons, les détails exacts des ennuis juridiques d'une star de la pop célèbre. Mais il y a un piège : vous ne voulez pas que le robot oublie tout le reste. Vous voulez qu'il sache encore comment faire un gâteau, résoudre des problèmes mathématiques et parler de l'espace, même s'il ne peut plus parler de cette star de la pop.

Le problème est que les tests que nous avons utilisés jusqu'à présent pour vérifier si le robot a réellement oublié le secret sont comme jouer à un jeu de « Devine le mot » où les règles sont truquées.

Les deux grandes erreurs : l'oubli partiel et l'oubli excessif

Les auteurs de cet article soutiennent que les tests actuels souffrent de deux failles majeures, qu'ils appellent l'oubli partiel (under-forgetting) et l'oubli excessif (over-forgetting).

L'oubli partiel (Le pièu de la paraphrase) : Imaginez que vous disiez au robot : « Oublie le nom de l'avocat de la star de la pop ». Si vous demandez : « Qui était l'avocat ? », il pourrait répondre : « Je ne sais pas ». Mais si vous demandez : « Quel était le nom du tuteur légal ? » ou « Qui a géré l'affaire judiciaire pour la chanteuse en 2007 ? », le robot pourrait soudainement se souvenir ! C'est comme si le robot n'avait oublié que la phrase exacte que vous lui avez dit d'oublier, mais qu'il connaît toujours le secret si on lui pose la question d'une manière différente. L'article appelle cela l'oubli partiel : le robot pense avoir oublié, mais il cache simplement la réponse jusqu'à ce qu'on lui pose la bonne question.
L'oubli excessif (Le pièu des dommages collatéraux) : Maintenant, imaginez que vous disiez au robot d'oublier la star de la pop. Pris de panique, le robot décide d'oublier tout ce qui est lié au mot « star », « musique » ou même « affaires judiciaires ». Soudain, il ne peut plus vous parler d'un autre chanteur, ou il oublie comment parler des systèmes juridiques en général. C'est comme essayer de retirer une seule mauvaise pomme d'un panier et accidentellement écraser tout le panier. L'article appelle cela l'oubli excessif : le robot est si effrayé par le secret qu'il détruit des connaissances utiles et sans rapport.

La nouvelle solution : SUITE (L'enseignant strict)

Pour corriger cela, les auteurs ont construit un nouveau kit de test super strict appelé SUITE (Selective Unlearning of Isolated Topics and Events). Voyez SUITE comme un enseignant strict qui ne se contente pas de poser deux fois la même question.

Sur le côté « Oublier » : L'enseignant pose la même question secrète de dizaines de manières différentes. Il pose la question directement, il la pose à l'envers (« Quelle chanteuse avait cet avocat ? »), et il la pose indirectement en utilisant des indices qui nécessitent que le robot fasse des connexions (raisonnement multi-étapes). Si le robot fait une erreur et répond à une seule de ces questions, il a échoué.
Sur le côté « Retenir » : L'enseignant vérifie si le robot connaît toujours des choses qui sont presque identiques au secret, mais pas tout à fait. Par exemple, si le secret concerne le désastre de la navette spatiale « Challenger », l'enseignant pose des questions sur le désastre de la navette « Columbia », ou sur le mot « Challenger » dans un contexte totalement différent (comme une fosse océanique profonde). Cela garantit que le robot n'a pas accidentellement oublié tout ce qui ressemble au secret.

L'article montre que lorsqu'ils ont utilisé ce test strict SUITE, de nombreuses méthodes précédentes semblaient faire du bon travail, mais en réalité, elles échouaient lamentablement. Elles oubliaient soit de bien oublier (oubli partiel), soit elles brisaient d'autres parties du cerveau du robot (oubli excessif).

Le nouvel algorithme : JensUn++ (Le refus poli)

Les auteurs ont également créé une nouvelle façon d'apprendre au robot à oublier, appelée JensUn++.

La plupart des anciennes méthodes tentaient de « supprimer » la réponse. Imaginez que le robot soit forcé de dire « Je ne sais pas », mais parce qu'il est forcé, il commence à bugger et à recracher des absurdités comme « Le ciel est vert et le nombre est violet ». C'est dangereux et inutile.

JensUn++ est différent. Au lieu de forcer le robot au silence ou au bug, il l'entraîne à donner un refus poli et naturel. Il apprend au robot à dire : « Malheureusement, je ne suis pas en mesure de vérifier cette information », puis à s'arrêter. C'est comme apprendre au robot à dire « Je ne peux pas vous dire cela » d'une voix calme et humaine, plutôt que de faire une crise de nerfs.

L'article a révélé que JensUn++ fonctionne bien mieux que les anciennes méthodes. Dans leurs tests, il a réussi à oublier les secrets (même lorsqu'on lui posait des questions complexes et indirectes) sans provoquer l'oubli de faits non liés ou faire dire n'importe quoi au robot.

À quel point en sont-ils sûrs ?

Les auteurs sont très confiants dans ces résultats car ils n'ont pas seulement deviné ; ils ont mesuré. Ils ont testé leur nouvelle méthode (JensUn++) et leur nouveau kit de test (SUITE) sur trois cerveaux de robots réels différents (Llama, Ministral et Qwen).

Ils ont prouvé que l'utilisation de leurs nouvelles données d'entraînement (SUITE) rendait toutes les méthodes plus performantes, pas seulement la leur.
Ils ont montré que leur nouvelle méthode, JensUn++, atteignait le meilleur équilibre entre l'oubli des mauvaises choses et la conservation des bonnes choses. Dans le cadre séquentiel (apprentissage d'un sujet après l'autre), elle a produit 0 % de réponses absurdes. Dans le cadre conjoint (apprentissage de tous les sujets à la fois), elle n'a produit que 0,1 % de réponses absurdes, ce qui est encore négligeable.
Ils ont même testé les robots contre des astuces « adverses » (comme poser des questions dans différentes langues ou utiliser le jeu de rôle) et ont constaté que leur méthode tenait bon. Le meilleur modèle (Mistral) a révélé le secret 0 % du temps dans le cadre conjoint, tandis que dans le cadre séquentiel, il ne l'a révélé que 3 % du temps (passant à 4 % sous les conditions adverses les plus strictes). En revanche, d'autres méthodes ont bien moins bien performé ; par exemple, GradDiff a révélé des secrets 38 % du temps et JensUn 29 % du temps dans le cadre séquentiel sur le modèle Llama.

En résumé, l'article suggère que nous ne pouvons pas simplement dire à un robot d'« oublier » et espérer que tout ira bien. Nous devons le tester avec des questions triches et variées pour nous assurer qu'il a vraiment oublié, et nous devons l'entraîner à dire « non » poliment plutôt qu'à perdre la tête. Avec les bonnes données et la bonne méthode, nous pouvons réellement faire oublier aux robots ce qu'ils doivent oublier, sans qu'ils perdent la raison.

Résumé technique : Oublier de manière étroite, conserver de manière large

Énoncé du problème

Le désapprentissage (unlearning) des modèles de langage de grande taille (LLM) vise à supprimer des connaissances spécifiques (par exemple, pour la confidentialité ou la sécurité) tout en préservant toutes les autres capacités. Cependant, les benchmarks d'évaluation actuels ne parviennent pas à mesurer le succès de manière fiable en raison d'un problème de généralisation asymétrique.

Les benchmarks actuels souffrent de deux modes de défaillance principaux :

Sous-oubli (Under-forgetting) : Les modèles semblent oublier les faits cibles lorsqu'ils sont interrogés directement, mais l'information resurgit lors de requêtes paraphrasées, indirectes ou de raisonnements multi-étapes. Les évaluations existantes manquent souvent de la diversité de formulation de requêtes nécessaire pour tester la généralisation intensive sur l'ensemble à « oublier ».
Sur-oubli (Over-forgetting) : Les méthodes de désapprentissage dégradent par inadvertance les performances sur des connaissances disjointes de la cible, y compris des concepts sémantiquement liés, des requêtes syntaxiquement similaires et des termes à chevauchement lexical. Les benchmarks existants ne parviennent pas à définir la frontière « oublier-conserver » à un niveau fin, manquant de sondages sur la proximité sémantique, la structure syntaxique et la sensibilité lexicale.

Le défi central est que l'ensemble à « conserver » est implicitement défini comme « tout le reste », ce qui rend difficile la distinction entre un véritable oubli et une simple suppression, ou entre une véritable conservation et des dommages collatéraux.

Méthodologie

SUITE : Désapprentissage sélectif de sujets et d'événements isolés

Pour combler ces lacunes, les auteurs introduisent SUITE, un protocole d'évaluation et un corpus d'entraînement à grain fin conçu pour capturer la nature asymétrique du désapprentissage. SUITE est construit autour de quatre sujets factuels réels (par exemple, la catastrophe de Challenger, les procès des sorcières de Salem) et définit la frontière oublier-conserver selon trois axes :

Construction de l'ensemble à oublier ( $D_F$ ) :
- Requêtes directes, inverses et indirectes : Au-delà des questions directes standards, SUITE inclut des questions inverses (fournir la réponse pour identifier le sujet) et, surtout, des questions indirectes nécessitant un raisonnement multi-étapes qui omettent entièrement le nom de l'entité cible.
- Variation linguistique : Chaque question est augmentée de paraphrases et de variantes de type « texte à trous » générées par différents LLM pour empêcher le surapprentissage de style.
- Séparation Entraînement/Évaluation : Les séparations d'entraînement et d'évaluation utilisent des reformulations disjointes pour s'assurer que la généralisation est testée sur des formes de requêtes inédites.
Construction de l'ensemble à conserver ( $D_R$ ) :
- Proximité sémantique : L'ensemble à conserver est organisé en 16 niveaux de proximité sémantique décroissante (du Niveau 0 au Niveau 15). Le Niveau 0 couvre le concept général du sujet à oublier (par exemple, le programme de la Navette Spatiale sans la catastrophe), tandis que les niveaux supérieurs couvrent des sujets de plus en plus distants.
- Contrôle syntaxique et lexical : L'ensemble comprend des questions qui partagent la structure syntaxique des requêtes à oublier mais utilisent des entités sans rapport, ainsi que des questions utilisant des termes du groupe à oublier dans des contextes non liés (par exemple, « Challenger Deep » vs « Challenger disaster »).
- Connaissances générales : Inclut des requêtes factuelles larges de domaines non liés pour tester l'utilité globale du modèle.

JensUn++ : Un algorithme de désapprentissage

S'appuyant sur les enseignements de SUITE, les auteurs proposent JensUn++, un algorithme de désapprentissage qui améliore l'état de l'art précédent (JensUn) en se concentrant sur la génération de refus valides plutôt que sur la suppression de connaissances (ce qui mène souvent à du texte incohérent/gibberish). Les composantes clés incluent :

Objectif d'appariement de distribution : Le modèle est entraîné pour correspondre à la distribution pré-entraînée originale sur l'ensemble à conserver (en utilisant la divergence de Jensen-Shannon) tout en apprenant à générer une chaîne de refus spécifique sur l'ensemble à oublier.
Mélange de préfixes stochastique (Stochastic Prefix-Mixing) : Pour garantir que le modèle refuse même lorsqu'il est conditionné par des réponses partielles, les données d'entraînement sont augmentées en échantillonnant une longueur de préfixe aléatoire de la réponse originale et en y ajoutant la chaîne de refus. Cela force le modèle à basculer vers un refus à partir de n'importe quel point de la séquence de génération.
Équilibrage adaptatif de la perte : Un facteur d'échelle dynamique est introduit pour équilibrer les pertes de l'oubli et de la conservation en fonction de leurs normes de gradient, empêchant un objectif de dominer l'autre durant les différentes étapes de l'entraînement.
Appariement de requêtes : Les échantillons à oublier et à conserver sont appariés par type d'augmentation pour encourager le modèle à se fier au contenu sémantique plutôt qu'aux corrélations superficielles.

Principales contributions

Recadrage de l'évaluation du désapprentissage : L'article recadre le désapprentissage comme un problème de généralisation asymétrique, motivant la nécessité de benchmarks qui testent à la fois la généralisation intensive (côté oubli) et la généralisation extensive (côté conservation).
Jeu de données et protocole SUITE : L'introduction de SUITE, qui fournit la première annotation fine de la frontière oublier-conserver, incluant des requêtes indirectes pour l'oubli insuffisant et des sondages gradués sémantiques/syntaxiques/lexicaux pour le sur-oubli.
Analyse empirique des données d'entraînement : Une étude complète démontrant que le choix des données d'entraînement est aussi crucial que la conception algorithmique. Les méthodes entraînées sur SUITE montrent des améliorations substantielles par rapport aux précédents benchmarks (comme LKF*), révélant que les évaluations antérieures surestimaient considérablement les performances de désapprentissage.
Algorithme JensUn++ : Une nouvelle méthode de désapprentissage qui atteint le meilleur compromis entre oubli et conservation sur trois LLM différents (Llama-3.2-3B, Ministral-3-3B et Qwen3.5-9B) dans des contextes de désapprentissage séquentiel et conjoint. Elle produit de manière unique des chaînes de refus naturelles et cohérentes, évitant le texte incohérent et les hallucinations courants dans les méthodes basées sur la suppression.

Résultats

Écart d'évaluation : Lorsqu'ils sont évalués sur SUITE, les méthodes qui semblaient réussir sous LKF* (ex. PDU, RMU, NPO) ont présenté un sous-oubli sévère (taux d'oubli > 90 %) et un sur-oubli (chutes significatives de la précision de conservation sur les niveaux sémantiquement proches).
Impact de l'entraînement : L'entraînement sur SUITE a considérablement amélioré les performances de toutes les méthodes, sauf RMU, qui n'a pas bénéficié des données de précision, exposant une limitation dans sa capacité à gérer les requêtes indirectes et inverses.
Performance de JensUn++ :
- Performance d'oubli : A atteint un oubli quasi complet (taux de connaissance oubliée dans le pire des cas de 0 à 3 %) sur tous les modèles et configurations, avec 0 % de sorties incohérentes (gibberish).
- Performance de conservation : A maintenu une haute précision de conservation, avec une dégradation minimale (baisse de 1 à 3 %) par rapport aux modèles pré-entraînés, même sur les niveaux sémantiquement proches (Niveau 0).
- Robustesse : A démontré une résilience face aux requêtes adverses (ex. jeu de rôle, changement de langue) et aux attaques de « réapprentissage bénin », où les connaissances oubliées ne sont pas réapparues lors d'un entraînement ultérieur sur des données non liées.
- Utilité : A mieux préservé les capacités générales en aval (scores MMLU, diversité de génération et qualité de réponse) que les méthodes concurrentes.

Signification

L'article soutient que le désapprentissage est mal défini sans une frontière fine entre l'oubli et la conservation. SUITE fournit la structure nécessaire pour diagnostiquer à la fois le sous-oubli et le sur-oubli, servant de fondation pour un désapprentissage plus fiable. Les résultats indiquent que la qualité des données d'entraînement est au moins aussi importante que la conception algorithmique ; sans des données qui encodent explicitement la frontière entre ce qu'il faut oublier et ce qu'il faut conserver, même les algorithmes sophistiqués échouent à généraliser correctement. JensUn++ démontre qu'avec les bonnes données et une approche basée sur le refus, il est possible d'atteindre un désapprentissage efficace, robuste, sûr (produisant des refus valides) et préservant l'utilité du modèle.