🤖 machine learning

Natively Unlearnable Large Language Models

Cet article introduit les NULLs (Natively Unlearnable LLMs), une architecture de modèle qui utilise des neurones de colonne vertébrale partagés et des puits spécifiques à la source à activation parcimonieuse pour permettre un désapprentissage efficace, robuste et sans données de sources d'entraînement individuelles tout en préservant les avantages de l'apprentissage conjoint et des capacités de langage générales.

Auteurs originaux : Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gaurav R. Ghosal, Pratyush Maini, Aditi Raghunathan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez une bibliothèque de connaissances massive à l'intérieur d'un cerveau géant (un Grand Modèle de Langage ou LLM). Habituellement, quand vous enseignez à ce cerveau, vous mélangez tout. Si vous lui apprenez un fait sur « Harry Potter » et un fait sur la « Seconde Guerre mondiale », ces souvenirs s'emmêlent dans les mêmes neurones. Si plus tard vous devez supprimer le souvenir de « Harry Potter » suite à une demande juridique, c'est comme si vous essayiez de retirer un seul fil d'un pull sans que tout le tricot ne se découd : vous pourriez accidentellement supprimer la leçon d'histoire, ou bien le souvenir de Harry Potter pourrait se réintroduire de manière furtive.

Ce document présente une nouvelle façon de construire ces cerveaux d'IA appelés NULLs (LLMs nativement oubliables). Au lieu de tout mélanger dans un seul grand tas, les NULLs construisent le cerveau avec un « système de tri » spécial dès le premier jour.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. La « Cuisine Partagée » vs les « Casiers Personnels »

Imaginez que le cerveau de l'IA possède deux types de stockage :

La Cuisine Partagée (l'Épine Dorsale) : C'est là que l'IA apprend les choses générales qui s'appliquent à tout, comme la grammaire, la formation des phrases, ou des faits communs sur le monde (par exemple, « Paris est en France »). Tout le monde utilise cette cuisine.
Les Casiers Personnels (les Éviers) : C'est la nouvelle invention. Pour chaque source d'information spécifique (comme un article Wikipédia unique ou un livre spécifique), l'IA dispose d'un ensemble unique de « casiers » (neurones) que seule cette source peut utiliser.

Lorsque l'IA apprend un fait qui est propre à un seul article (comme le nom d'un lanceur d'alerte spécifique dans un fait divers), elle stocke naturellement ce fait dans le Casier Personnel de cet article. Lorsqu'elle apprend un fait général (comme « les lanceurs d'alerte sont importants »), cela va dans la Cuisine Partagée.

2. L'Interrupteur Magique (L'Oubli)

Dans une IA standard, si vous voulez qu'elle oublie quelque chose, vous devez réentraîner tout le cerveau ou tenter de supprimer chirurgicalement certains poids, ce qui endommage souvent d'autres éléments.

Avec les NULLs, « oublier » est aussi simple que d'éteindre un interrupteur.

Si un éditeur dit : « Supprimez cet article spécifique de notre modèle », vous n'avez pas besoin de réentraîner le modèle. Il vous suffit de désactiver le « Casier Personnel » assigné à cet article.
L'IA oublie instantanément les faits uniques de cet article car son casier est verrouillé.
Cependant, la Cuisine Partagée reste ouverte. L'IA connaît toujours les faits généraux sur le sujet car ceux-ci sont stockés dans la zone commune, et non dans le casier spécifique.

C'est comme si vous aviez une maison avec un salon commun et une chambre pour chaque invité. Si un invité part, vous verrouillez simplement la porte de sa chambre. Le salon (où tout le monde se retrouve) reste exactement le même, et la maison ne s'effondre pas.

3. Ce que l'étude a découvert

Les chercheurs ont testé cette idée de deux manières principales :

Le Test Wikipédia (Granularité fine) : Ils ont entraîné un modèle sur 6 millions d'articles Wikipédia. Ils voulaient voir s'ils pouvaient supprimer un seul article sans supprimer les connaissances générales présentes dans des articles similaires.
- Résultat : Lorsqu'ils ont « verrouillé » le casier d'un article, le modèle a oublié les détails uniques de cet article mais a conservé les connaissances générales partagées par les autres articles. Cela a fonctionné presque aussi bien que s'ils avaient jeté l'article et réentraîné le modèle de zéro (ce qui est généralement trop coûteux à faire).
Le Test Harry Potter (Granularité grossière) : Ils ont entraîné un modèle sur l'intégralité de la série de livres Harry Potter, puis ont tenté de supprimer toutes les connaissances sur Harry Potter.
- Résultat : Lorsqu'ils ont « éteint le casier Harry Potter », le modèle a cessé de parler de sorciers et a commencé à parler de choses normales (comme des réunions de conseil municipal) lorsqu'on l'interrogeait avec des phrases liées à Harry Potter.
- Bonus : Ils ont essayé de piéger le modèle pour qu'il se souvienne à nouveau de Harry Potter en utilisant des invites « adverses » ou en le réenseignant un peu. Les modèles d'IA standards ont échoué et se sont souvenés des livres rapidement. Le modèle NULL, cependant, est resté dans l'état d'« oubli » et a résisté à ces ruses.

4. Est-ce que cela rend l'IA moins intelligente ?

Une grande inquiétude est que si l'on sépare les souvenirs, l'IA puisse devenir moins performante pour les tâches générales. L'étude a testé cela sur des tests de langage standards (comme répondre à des questions scientifiques ou résoudre des énigmes logiques).

Résultat : Le modèle NULL a performé aussi bien qu'une IA standard non spécialisée. Il n'a pas perdu son intelligence générale.

Résumé

L'article soutient que nous ne devrions pas attendre qu'une IA soit entraînée pour décider comment supprimer des données. Au lieu de cela, nous devrions intégrer le « bouton supprimer » directement dans l'architecture. En donnant à chaque source de données son propre « casier » dédié tout en partageant une « cuisine » commune, nous pouvons supprimer chirurgicalement des informations spécifiques sans briser le reste du modèle ou nécessiter un réentraînement complet de zéro.

Résumé Technique : Modèles de Langage de Grande Taille Nativement Désapprenables (NULLs)

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont entraînés sur des jeux de données à l'échelle du web qui contiennent souvent du matériel protégé par le droit d'auteur, des informations personnelles et du contenu réglementé. Les exigences juridiques et éthiques peuvent nécessiter la suppression de sources de données spécifiques (désapprentissage) d'un modèle déployé. Cependant, l'entraînement standard entremêle toutes les sources de données dans un ensemble unique de poids partagés via la descente de gradient, ce qui rend difficile l'isolement de la contribution d'une seule source.

Les approches existantes font face à un compromis :

Désapprentissage post-hoc : Applique des mises à jour correctives après l'entraînement. Bien que cela préserve l'apprentissage conjoint, l'influence de la cible reste entremêlée dans les poids partagés, ce qui entraîne une suppression incomplète, une dégradation des connaissances liées et une vulnérabilité au réapprentissage par des attaques adverses.
Isolation des sources (Mixture-of-Experts) : Entraîne des modèles ou des modules séparés pour chaque source. Bien que cela facilite une suppression aisée, cela empêche l'apprentissage conjoint entre les sources, sacrifiant les bénéfices de la généralisation et échouant à passer à l'échelle pour des sources fines (par exemple, des millions de documents individuels).

Le défi central est de parvenir à un désapprentissage au niveau de la source sans sacrifier le apprentissage conjoint et les capacités de généralisation.

2. Méthodologie : Architecture NULLs

Les auteurs proposent les NULLs (Natively Unlearnable LLMs), une classe de modèles conçue pour satisfaire les objectifs opposés d'isoler les contributions spécifiques aux sources tout en apprenant conjointement à travers les sources.

Modifications de l'architecture :

Backbone et Sinks (Noyau et Puits) : Le modèle modifie les couches entièrement connectées (MLP) du transformer. Les neurones cachés sont partitionnés en deux ensembles :
1. Backbone Partagé ( $N_{gen}$ ) : Un ensemble de neurones actifs pour toutes les entrées, responsable de l'apprentissage des capacités générales et des informations partagées entre les sources.
2. Pool de Sinks de Mémorisation ( $N_{pool}$ ) : Un pool plus large de neurones où l'information spécifique à la source est localisée.
Masques d'Activation Creux (Sparse Activation Masks) : Chaque source de données $S_i$ $S_{i}$ se voit attribuer un masque creux déterministe sur le pool de sinks. Ce masque est généré à partir de l'identifiant de la source via un générateur de nombres pseudo-aléatoires.
- Pendant l'entraînement, un document active les neurones du backbone partagé ainsi qu'un sous-ensemble spécifique de neurones de sink défini par son masque.
- Le ratio de neurones de sink actifs par rapport au pool total ( $N_{source}/N_{pool}$ ) est le ratio de chevauchement, contrôlant l'interférence entre les sources.
Dynamique d'Entraînement : Le mécanisme repose sur le principe que le backbone partagé reçoit des mises à jour de gradient de toutes les sources, créant une interférence pour les faits spécifiques aux sources. À l'inverse, les neurones de sink ne sont actifs que pour une fraction des sources, recevant moins d'interférence. Par conséquent, les faits spécifiques aux sources sont « ajustés » dans les sinks avant le backbone, tandis que les faits partagés s'accumulent dans le backbone.
Mécanisme de Désapprentissage : Lors de l'inférence, le désapprentissage est effectué en désactivant le masque de sink correspondant à la source cible. Cela peut être fait par :
- Sink-Off : Router l'entrée vers le sink de la source la plus proche (par similitude d'embedding) ou simplement ne pas appliquer le masque cible.
- Suppression Permanente : Mettre à zéro les paramètres des neurones actifs dans le masque de la cible.
- Crucialement, cela ne nécessite aucune mise à jour de gradient et aucun accès aux données conservées.

3. Contributions Clés

Désapprenabilité Native : NULLs intègre le désapprentissage directement dans la structure du modèle, éliminant le besoin de mises à jour de poids post-hoc.
Scalabilité : En utilisant des masques creux sur un pool de sink partagé, NULLs peut gérer un nombre combinatoire de sources (par exemple, ~6 millions d'articles Wikipédia) sans augmenter linéairement le nombre de paramètres.
Désentrelacement sans Supervision : La méthode isole automatiquement les connaissances spécifiques aux sources sans nécessiter de supervision explicite pour identifier quelle information appartient à quelle source.
Robustesse : L'architecture résiste aux attaques d'extraction et de réapprentissage adverses qui permettent généralement d'inverser le désapprentissage post-hoc.

4. Résultats Expérimentaux

Les auteurs ont évalué NULLs dans deux études de cas :

A. Désapprentissage au niveau de l'article (Wikipédia)

Configuration : Un modèle de 1 milliard de paramètres entraîné sur environ 6 millions d'articles Wikipédia.
Résultats :
- Suppression Chirurgicale : La désactivation du sink d'un article spécifique a considérablement réduit le rappel des faits uniques à cet article (Ratio de Vérité $\approx$ 0) tout en préservant les faits partagés avec des articles sémantiquement liés.
- Comparaison avec le Réentraînement : Les performances de NULLs (Sink-Off) correspondaient étroitement à celles d'un modèle de référence réentraîné à partir de zéro sans l'article cible.
- Contraste avec les Baselines : Les méthodes de gradient post-hoc (ex: NPO, ascension de gradient) ont dégradé les connaissances partagées au même rythme que les connaissances spécifiques à la cible, échouant à les distinguer.

B. Désapprentissage au niveau du sujet (Harry Potter)

Configuration : Un modèle de 1 milliard de paramètres entraîné sur un mélange du corpus C4 et des 7 livres de Harry Potter.
Résultats :
- Changement de Comportement : La désactivation du sink "Harry Potter" a éliminé les références aux livres dans le texte généré, déplaçant le sujet vers un contenu non lié tout en maintenant la cohérence.
- Robustesse Adverse :
  - Extraction : NULLs (Sink-Off) a résisté aux sollicitations adverses (optimisation GCG) pour provoquer le texte désappris, égalant les performances d'un modèle n'ayant jamais été entraîné sur les livres.
  - Réapprentissage : Lorsqu'il était affiné sur un petit sous-ensemble de données de Harry Potter, un transformer standard avec désapprentissage post-hoc a rapidement récupéré l'information désapprise (en 10 étapes). En revanche, NULLs (Sink-Off) présentait des dynamiques de réapprentissage identiques à un modèle n'ayant jamais vu les données.

C. Capacités Générales et Mise à l'Échelle

Préservation des Capacités : NULLs a égalé les transformers standards sur les benchmarks descendants (ARC-E, Winogrande, PIQA, SciQ) et a maintenu la capacité de connaissance sur les faits spécifiques aux articles.
Sensibilité du Pool de Sinks : Augmenter la taille du pool de sinks (réduisant le chevauchement) améliore la capacité de mémorisation sans affaiblir significativement la capacité de désapprentissage. La taille du pool de sinks détermine principalement combien est appris, et non si cela peut être désappris.

5. Signification et Revendications

L'article affirme que le désapprentissage au niveau de la source ne doit pas être une réflexion après coup mais peut être intégré nativement dans l'entraînement des LLM.

Réconciliation des Objectifs : NULLs démontre que le désentrelacement des contributions des sources et l'apprentissage conjoint à travers les sources ne sont pas mutuellement exclusifs.
Contrôle Natif : Cela permet de contrôler les grands modèles au niveau de leurs données, et pas seulement de leurs sorties.
Attribution : Parce que les contributions des sources restent désentrelacées, les sorties du modèle peuvent être attribuées à des sources de données d'entraînement spécifiques, et l'influence d'une seule source peut être mesurée directement en activant/désactivant son sink.

Les auteurs notent des limites, notamment l'utilisation de modèles de 1 milliard de paramètres et la dépendance à des définitions de sources prédéfinies lors de l'entraînement, reconnaissant que la gestion des demandes de désapprentissage pour des sources non définies reste un problème ouvert. Cependant, les résultats suggèrent que la désapprenabilité native est une voie viable pour des systèmes d'IA conformes et contrôlables.