💻 computer science

PreUnlearn: Auditing Collateral Knowledge Damage Before Large Language Model Unlearning

Cet article introduit PreUnlearn, un cadre centré sur les données qui prédit et audite les dommages collatéraux sur les connaissances dans les grands modèles de langage avant que l'oubli ne se produise, en analysant les caractéristiques d'interaction entre les ensembles d'oubli et d'évaluation afin d'identifier les scénarios d'oubli à risque.

Auteurs originaux : Bo Su, Ankit Shah, Thai Le

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bo Su, Ankit Shah, Thai Le

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et incroyablement savante (le Grand Modèle de Langage, ou LLM) qui sait presque tout. Parfois, vous devez retirer des livres spécifiques de cette bibliothèque car ils contiennent des informations sensibles, obsolètes ou nuisibles. Ce processus est appelé « désapprentissage » (unlearning).

Le problème est que les livres d'une bibliothèque sont souvent connectés. Si vous essayez de retirer un livre sur « comment faire un gâteau », vous pourriez accidentellement endommager le savoir sur « comment mélanger les ingrédients » ou même « comment utiliser un four », même si ce ne sont pas les livres spécifiques que vous vouliez supprimer. Ce dommage accidentel est ce que l'article appelle le « dommage collatéral ».

Les auteurs de cet article, PREUNLEARN, ont voulu répondre à deux grandes questions avant que quiconque ne commence réellement à supprimer des livres :

Quelle sera l'ampleur des dégâts ? Le dommage restera-t-il proche du livre supprimé ou se propagera-t-il loin et largement ?
Pouvons-nous prédire les dégâts à l'avance ? Pouvons-nous regarder les livres que nous voulons supprimer et les livres que nous voulons garder, et deviner l'ampleur des dommages sans même effectuer la suppression au préalable ?

Voici une décomposition simple de leurs découvertes en utilisant des analogies de la vie quotidienne :

1. L'effet de ricochet (Trois couches de dommages)

Les chercheurs ont testé ce qui se passe lorsqu'ils « désapprennent » (suppriment) des sujets spécifiques. Ils ont découvert que les dommages se propagent comme des ondulations dans un étang, mais qu'ils s'affaiblissent à mesure qu'ils s'éloignent. Ils ont mesuré cela en trois couches :

Couche 1 (La Cible) : C'est le livre que vous avez spécifiquement essayé de supprimer. Comme prévu, le savoir ici est le plus endommagé.
Couche 2 (Les Voisins) : Ce sont les livres sur la même étagère ou sur des sujets très similaires (par exemple, supprimer « la pâtisserie » nuit à « la confection de pâtisseries »). Le dommage ici est significatif, mais moins important que pour la cible.
Couche 3 (Les Pièces Distantes) : Ce sont des livres dans des sections complètement différentes (par exemple, supprimer « la pâtisserie » affectant la « physique quantique »). Le dommage ici est le plus faible, mais il ne disparaît pas complètement. Même les connaissances lointaines deviennent un peu fragiles.

L'idée clé : Vous ne pouvez pas simplement supprimer une chose sans affecter ses voisines, et parfois, cela secoue même un peu tout l'édifice.

2. La Boule de Cristal (Prédire les dommages à l'avance)

La partie la plus excitante de l'article est leur solution à la deuxième question : Pouvons-nous prédire ces dommages avant de commencer ?

Habituellement, pour savoir si une suppression est sûre, il faut réellement effectuer la suppression, vérifier les résultats, puis espérer que tout se passe bien. C'est coûteux et lent. Les auteurs ont construit un « Auditeur de Pré-Désapprentissage » — une boule de cristal qui examine les données avant toute suppression.

Ils ont réalisé que le risque de dommage ne dépend pas seulement du livre que vous voulez supprimer, mais de la relation entre le livre que vous voulez supprimer et les livres que vous voulez garder.

L'analogie : Imaginez que vous déplacez des meubles. Si vous essayez de faire passer un canapé lourd (l'ensemble à oublier) dans un couloir étroit, vous risquez de rayer les murs (l'ensemble à conserver).
- Si le canapé est petit et le couloir large, tout ira bien.
- Si le canapé est énorme et le couloir étroit, vous causerez des dégâts.
- L'auditeur regarde la « taille » du canapé et la « largeur » du couloir avant même que vous ne leviez le petit doigt.

3. Ce que la Boule de Cristal observe

Les chercheurs ont découvert que la meilleure façon de prédire les dommages n'est pas de regarder le « livre supprimé » seul, mais de regarder la géométrie (la forme et la distance) entre les deux ensembles de données.

Distance : Si le sujet que vous voulez supprimer est très éloigné (en termes de sens) des sujets que vous voulez garder, le dommage est faible.
Similitude : S'ils sont très similaires, le dommage est élevé.
Longueur et Complexité : Les textes plus longs et plus complexes ont tendance à provoquer plus d'effets de ricochet.

Ils ont conçu un programme informatique qui mesure ces « distances » et ces « formes » et peut vous dire : « Hé, si vous supprimez ce sujet spécifique, il est probable que cela casse ce sujet spécifique. »

4. Pourquoi cela importe

L'article suggère qu'au lieu de tenter aveuglément de supprimer des choses en espérant que tout se passe bien, nous devrions utiliser cet Auditeur comme un système d'alerte.

Avant de supprimer : Lancez l'auditeur.
Le Résultat : Il vous donne un « score de risque ».
L'Action : Si le score est élevé, vous savez qu'il faut être prudent. Vous devrez peut-être ajouter des « zones tampons de sécurité » supplémentaires (données d'entraînement supplémentaires) autour des sujets que vous souhaitez conserver, ou vous pourriez décider de ne pas supprimer ce sujet spécifique car le coût est trop élevé.

Résumé

Considérez cet article comme un inspecteur de sécurité pour la mémoire numérique.

Le Problème : Supprimer de mauvaises informations endommage souvent de bonnes informations.
La Découverte : Les dommages se propagent par ondulations, s'affaiblissant mais ne s'arrêtant jamais complètement.
La Solution : Nous pouvons prédire exactement l'ampleur des dégâts simplement en regardant à quel point l'information indésirable est « proche » de l'information souhaitée, sans même avoir à supprimer quoi que ce soit au préalable. Cela permet de gagner du temps et d'éviter la destruction accidentelle de connaissances utiles.

Résumé technique : PREUNLEARN : Audit des dommages collatéraux sur les connaissances avant l'oubli des grands modèles de langage

1. Énoncé du problème

L'oubli pour les grands modèles de langage (LLM) vise à supprimer des connaissances spécifiques, sensibles ou nuisibles (l'ensemble à oublier ou « forget set ») tout en préservant l'utilité générale du modèle. Cependant, la frontière entre la connaissance à oublier et la connaissance à conserver est souvent floue en raison de l'enchevêtrement d'informations liées et distantes au sein des paramètres du modèle.

Les pratiques d'évaluation actuelles reposent souvent sur des métriques d'utilité agrégées ou des sondages post-hoc limités, qui ne parviennent pas à capturer la propagation granulaire des dommages. Plus précisément, les benchmarks existants supposent souvent un ensemble à oublier fixe et ne caractérisent pas adéquatement comment les effets de l'oubli se propagent de l'ensemble cible vers les connaissances du même domaine, puis vers les connaissances de domaines distants. Par conséquent, deux questions critiques restent inexplorées :

RQ.1 : Comment l'impact de l'oubli se propage-t-il d'un ensemble à oublier $X$ vers les connaissances du même domaine et des domaines distants $Y$ ?
RQ.2 : Pouvons-nous prédire le potentiel de dommages collatéraux sur les connaissances $Y$ résultant de l'oubli de $X$ avant que le processus d'oubli ne soit exécuté ?

2. Méthodologie

2.1 Cadre d'impact de l'oubli à trois couches

Les auteurs proposent un cadre d'évaluation centré sur les données qui organise la dégradation des connaissances post-oubli en trois couches sémantiques par rapport à un ensemble à oublier $D_f$ :

L1 (Dégradation intentionnelle) : Performance sur l'ensemble à oublier $D_f$ lui-même.
L2 (Dommage de même domaine) : Performance sur des passages maintenus (held-out) sémantiquement proches du domaine à oublier.
L3 (Dommage de domaine distant) : Performance sur des passages provenant d'autres domaines sémantiques non liés.

L'impact est quantifié à l'aide du Ratio de Perplexité (PPL) : $R(S) = \text{PPL}(M^*_\theta, x) / \text{PPL}(M_\theta, x)$ , où $M^*_\theta$ est le modèle ayant subi l'oubli et $M_\theta$ est le modèle original. Un ratio $>1.0$ indique une dégradation de la performance.

2.2 Configuration expérimentale

Jeu de données : WikiText-103, traité en 10 clusters sémantiques bien séparés. 100 jeux de données d'oubli ont été construits, contenant chacun des divisions disjointes pour l'oubli (forget) et la conservation (retain).
Modèles : Llama-3.1-8B-Instruct et Qwen2.5-7B-Instruct.
Algorithmes : Trois méthodes d'oubli distinctes ont été évaluées :
- Gradient Ascent (GA)
- Negative Preference Optimization (NPO)
- Unlearning via Self-Distillation on Adjusted Logits (UNDIAL)

2.3 Formulation de l'audit pré-oubli

Le papier formule l'« audit de l'ensemble à oublier » comme un problème de régression supervisée. L'objectif est de prédire le ratio de dommage collatéral ( $\rho_{f,e}$ ) pour une paire composée d'un ensemble à oublier candidat ( $D_f$ ) et d'un ensemble d'évaluation ( $D_e$ ) avant toute mise à jour du modèle.

Variable cible : $\rho_{f,e} = \frac{\log(\text{PPL}_{après, e} / \text{PPL}_{avant, e})}{\log(\text{PPL}_{après, f} / \text{PPL}_{avant, f})}$ . Cela normalise la dégradation sur l'ensemble d'évaluation par la force de l'oubli réalisée.
Caractéristiques d'entrée : L'auditeur utilise uniquement des caractéristiques pré-mise à jour ( $\phi(D_f, D_e, M_\theta)$ $ϕ (D_{f}, D_{e}, M_{θ})$ ) et n'a pas accès aux gradients, aux checkpoints ou aux mesures post-oubli. Les caractéristiques sont classées en :
1. Caractéristiques intrinsèques : Propriétés de $D_f$ et $D_e$ indépendamment (ex: longueur, diversité, dimensionnalité).
2. Caractéristiques d'interaction : Relations géométriques entre les deux ensembles (ex: distance euclidienne des centroïdes, similitude cosinus, ratios lexicaux).
Modèles : La régression de Ridge, les Forêts Aléatoires (Random Forests) et XGBoost ont été entraînés pour prédire $\rho_{f,e}$ .
Évaluation : L'auditeur a été testé à l'aide d'une validation croisée Leave-One-Domain-Out (LODO) et d'un test sur un domaine sémantique entièrement tenu à l'écart pour garantir la généralisation au-delà des identités de domaines spécifiques.

3. Résultats clés

3.1 Motifs d'impact à trois couches (RQ.1)

Motif de décroissance : Un motif de décroissance constant a été observé pour toutes les combinaisons de modèles et d'algorithmes : $L1 > L2 > L3$ . L'impact de l'oubli est le plus fort sur l'ensemble à oublier, plus faible sur les connaissances du même domaine, et le plus faible (bien que présent) sur les connaissances de domaines distants.
Dépendance à l'algorithme : L'ampleur des dommages varie considérablement selon l'algorithme. Le Gradient Ascent (GA) a produit l'impact le plus agressif (augmentation du ratio PPL allant jusqu'à $12.85\times$ ), tandis que NPO et UNDIAL sont restés dans une plage de $1.05\text{--}1.65\times$ .
Variabilité de l'ensemble à oublier : Même avec des hyperparamètres et des algorithmes fixes, différents ensembles à oublier induisent des profils d'impact substantiellement différents. Cette variation suggère que le choix de l'ensemble à oublier est une décision de conception critique.
Séparation distributionnelle : Les distributions de dégradation pour L1, L2 et L3 sont clairement séparées, bien que L3 présente une « queue droite », indiquant qu'un dommage collatéral sévère peut survenir même sur des domaines distants.

3.2 Performance de l'audit pré-oubli (RQ.2)

Prédictibilité : La tâche d'audit est réalisable. Les meilleurs régresseurs ont atteint des corrélations de rang de Spearman ( $\rho$ ) allant jusqu'à 0.93 (GA) et 0.90 (UNDIAL) sous validation croisée LODO. La performance reste informative ( $\rho \geq 0.51$ ) même pour l'objectif NPO, plus difficile.
Importance des caractéristiques : Les signaux prédictifs les plus forts sont les caractéristiques d'interaction entre l'ensemble à oublier et l'ensemble d'évaluation, spécifiquement :
- Distance euclidienne des centroïdes (corrélation négative avec les dommages).
- Similitude cosinus des centroïdes (corrélation positive).
- Ratios de longueur et lexicaux entre les ensembles.
- Les propriétés intrinsèques des ensembles seules étaient moins prédictives que leur relation géométrique.
Stabilité : La qualité de classement de l'auditeur est restée stable à travers différents algorithmes d'oubli, suggérant que le dommage collatéral est en partie déterminé par le couplage géométrique préexistant entre les jeux de données.
Sensibilité : L'auditeur a correctement répondu aux changements de la composition des risques des ensembles d'évaluation, distinguant les blocs à haut risque des blocs à faible risque plutôt que de réagir à un bruit aléatoire.

4. Signification et affirmations

Le papier positionne l'audit de l'ensemble à oublier comme un outil d'alerte précoce plutôt que comme un remplacement de l'évaluation complète. Ses principales contributions et significations sont :

Caractérisation granulaire : Il établit un cadre à trois couches démontrant que les dommages de l'oubli ne sont pas confinés à la cible, mais décroissent avec la distance sémantique, persistant même à travers les frontières de domaines.
Écran de risque préventif : Il démontre que les dommages collatéraux peuvent être prédits en utilisant uniquement la géométrie des données (caractéristiques d'interaction) avant l'exécution d'une optimisation d'oubli coûteuse.
Triage pratique : L'auditeur permet aux praticiens de prioriser les exécutions d'oubli risquées, d'allouer les budgets de données de rétention aux domaines vulnérables, ou de rejeter tôt dans le pipeline les candidats à l'ensemble à oublier à haut risque.
Perspective centrée sur les données : Les conclusions suggèrent que le dommage collatéral n'est pas seulement une fonction de la mécanique de l'algorithme d'oubli, mais est significativement influencé par la relation géométrique entre les données à oublier et les données à conserver.

Les auteurs notent modestement des limites, notamment le fait que l'étude couvre un sous-ensemble d'algorithmes d'oubli et de modèles, et que la perplexité sert de proxy pour la dégradation comportementale. Ils concluent que, bien que l'auditeur ne remplace pas l'évaluation finale, il transforme le processus d'une mesure purement post-hoc en un problème de classement guidé par le risque et moins coûteux.