💬 NLP

LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning

Cet article présente LACUNA, le premier banc d'essai doté d'une localisation au niveau des paramètres avec vérité terrain pour évaluer l'oubli des LLM, révélant que si les méthodes de pointe actuelles sont performantes au niveau de la sortie, elles manquent de précision pour cibler les paramètres spécifiques porteurs de connaissances et restent vulnérables aux attaques de réapparition.

Auteurs originaux : Matteo Boglioni, Thibault Rousset, Siva Reddy, Marius Mosbach, Verna Dankers

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matteo Boglioni, Thibault Rousset, Siva Reddy, Marius Mosbach, Verna Dankers

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : L'« amnésie numérique » qui n'en est pas une

Imaginez que vous possédez une immense bibliothèque super intelligente (un grand modèle de langage ou LLM) qui a lu presque tout ce qui existe sur Internet. Malheureusement, elle a aussi mémorisé certains secrets privés, comme les adresses personnelles ou les numéros de téléphone de certaines personnes.

Vous voulez dire à la bibliothèque : « S'il te plaît, oublie ce secret spécifique. » C'est ce qu'on appelle l'oubli ciblé (unlearning).

Actuellement, la plupart des méthodes pour faire « oublier » à la bibliothèque fonctionnent comme un tour de magie. Elles font en sorte que la bibliothèque fasse semblant de ne pas connaître le secret. Si vous demandez : « Quel est le numéro de téléphone de John ? », la bibliothèque pourrait répondre : « Je ne sais pas. » Mais au fond, à l'intérieur de son cerveau (ses poids mathématiques), le secret est toujours là, simplement caché. Si vous posez la question d'une certaine manière, ou si vous donnez un petit coup de pouce à la bibliothèque plus tard, elle pourrait soudainement se souvenir du secret.

Les auteurs de ce papier appellent cela de l'obfuscation (le fait de cacher) plutôt que de l'effacement (le fait de supprimer).

La solution : LACUNA (Le « Test de Vérité »)

Les chercheurs ont construit un nouveau banc d'essai appelé LACUNA. Considérez LACUNA comme une salle d'expérimentation contrôlée où ils peuvent prouver exactement où l'information est stockée dans le cerveau d'un ordinateur.

Voici comment ils l'ont construit, étape par étape :

L'« Injection du Secret » (Phase 1) :
Au lieu d'espérer que la bibliothèque mémorise les secrets naturellement, les chercheurs l'ont forcée à les mémoriser d'une manière très spécifique. Ils ont pris de fausses données privées (comme « Le numéro de téléphone de Clémentine est 555-0199 ») et les ont injectées dans le modèle.
- Le tour de magie : Ils ont utilisé un « masque » spécial (comme un pochoir). Ils ont dit à l'ordinateur : « Écris ce secret uniquement dans ces 5 % spécifiques de tes cellules cérébrales. Ignore le reste. »
- Parce qu'ils ont contrôlé l'injection, ils savent exactement quelles « cellules cérébrales » (paramètres) détiennent le secret. C'est la « Vérité Terrain » (Ground Truth).
La tentative d'« Oubli » (Phase 2) :
Ils ont ensuite pris les meilleures méthodes d'oubli existantes (les meilleurs tours utilisés actuellement par les scientifiques) et ont essayé de faire oublier à la bibliothèque le numéro de téléphone de Clémentine.
La « Vérification de Vérité » (Phase 3) :
C'est la partie la plus importante. Après que la bibliothèque a tenté d'oublier, les chercheurs ont regardé à l'intérieur du cerveau.
- La question : « La méthode d'oubli a-t-elle réellement supprimé le secret des 5 % de cellules cérébrales spécifiques où il était stocké ? Ou a-t-elle simplement déréglé les 95 % restants du cerveau pour cacher le secret ? »
- La métrique : Ils ont mesuré la Précision de Localisation. C'est comme vérifier si un chirurgien a retiré la tumeur (le secret) ou s'il a simplement peint par-dessus.

Ce qu'ils ont trouvé

Les résultats sont surprenants et un peu inquiétants pour l'état actuel de la sécurité de l'IA :

Les « Magiciens » ont échoué : Les meilleures méthodes d'oubli actuelles (comme SimNPO, AlphaEdit et MemFlex) étaient très douées pour faire semblant que la bibliothèque avait oublié. Si vous posiez une question, elle donnait une bonne réponse.
Mais elles n'ont rien supprimé réellement : Lorsque les chercheurs ont regardé à l'intérieur du cerveau, ils ont découvert que ces méthodes étaient très imprécises. Elles modifiaient des parties aléatoires du cerveau, et non les cellules spécifiques qui détenaient le secret.
- Analogie : C'est comme essayer de supprimer un fichier spécifique d'un disque dur en frappant tout l'ordinateur avec un marteau. Le fichier est parti, mais vous avez aussi cassé l'ordinateur, et le fichier pourrait encore être récupérable parmi les débris.
L'attaque par « Resurgence » : Parce que les méthodes n'ont pas réellement supprimé les données, les chercheurs ont pu facilement faire « se souvenir » du secret à la bibliothèque en lui donnant simplement un tout petit peu de nouvel entraînement. Le secret n'était jamais vraiment parti ; il était juste enfoui sous une couche de confusion.

La preuve par l'« Oracle »

Pour prouver qu'un oubli précis est possible, les chercheurs ont créé une méthode parfaite appelée OracleGrad.

L'analogie : Imaginez un chirurgien qui possède une radiographie montrant exactement où se trouve la tumeur. Il ne coupe que cet endroit précis et laisse le reste du cerveau intact.
Le résultat : Parce que cette méthode savait exactement où le secret était stocké (grâce à la configuration de LACUNA), elle a réussi à supprimer le secret. La bibliothèque ne pouvait plus s'en souvenir, même après avoir été poussée, et le reste des connaissances de la bibliothèque est resté parfait.

La conclusion principale

Le papier conclut que les méthodes actuelles d'oubli de l'IA servent principalement à « cacher » les secrets, et non à les supprimer.

Elles sont bonnes pour réussir le « test de sortie » (la bibliothèque dit qu'elle ne sait pas), mais elles échouent au « test interne » (la bibliothèque possède toujours la donnée dans son cerveau). Les auteurs soutiennent que pour que l'IA soit réellement sûre, nous avons besoin de méthodes assez précises pour cibler les « cellules cérébrales » exactes qui détiennent les données, plutôt que de simplement deviner et espérer.

En bref : Nous devons arrêter d'essayer de tromper l'IA pour qu'elle oublie et commencer à apprendre comment retirer la mémoire de manière chirurgicale. LACUA est la nouvelle règle dont nous avons besoin pour mesurer si nous faisons du bon travail.

Résumé Technique : LACUNA – Un banc d'essai pour évaluer la précision de la localisation de l'oubli pour les LLM

Énoncé du Problème

Les grands modèles de langage (LLM) entraînés sur de vastes données web non structurées mémorisent souvent des informations personnelles identifiables (PII) sensibles, créant ainsi des risques importants pour la confidentialité. Bien que l'« oubli » (unlearning) soit apparu comme une solution prometteuse pour supprimer des connaissances spécifiques de modèles entraînés sans réentraînement complet, les paradigmes d'évaluation actuels sont insuffisants. Les benchmarks existants évaluent l'oubli uniquement au niveau de la sortie (c'est-à-dire si le modèle cesse de générer l'information interdite). Cette approche ne permet pas de distinguer l'effacement réel des connaissances de la simple obfuscation. Des études récentes indiquent que les connaissances « oubliées » peuvent ressurgir via des attaques ciblées ou un réapprentissage bénin, suggérant que les paramètres sous-jacents du modèle encodent toujours l'information. Une lacune critique existe : la communauté manque d'informations de vérité terrain concernant quels paramètres spécifiques du modèle stockent la connaissance ciblée, ce qui rend impossible la vérification de savoir si les méthodes d'oubli visent réellement les bons poids.

Méthodologie

Pour combler cette lacune, les auteurs introduisent LACUNA, un nouveau banc d'essai conçu pour fournir une localisation de vérité terrain pour le stockage des connaissances. La méthodologie se compose de trois phases principales :

1. Construction et Injection de Données (Phase 1)

Les auteurs utilisent le corpus PANORAMA, un ensemble de données synthétiques de 9 674 profils PII, en sélectionnant 1 200 profils pour l'injection. Ces profils sont divisés en six groupes distincts.

Pré-entraînement continu masqué : Au lieu d'un fine-tuning standard, les auteurs emploient une approche de pré-entraînement continu masqué. Ils assignent des masques binaires non chevauchants à des groupes spécifiques de données PII. Chaque masque couvre 5 % des paramètres du modèle (spécifiquement les couches feedforward et d'attention, excluant la normalisation et les embeddings) entre les couches 0 et $N-2$ .
Masquage de Gradient : Lors de la rétropropagation, les gradients pour les échantillons appartenant à un groupe spécifique sont mis à zéro pour tous les paramètres en dehors du masque désigné de ce groupe. Cela garantit que la connaissance pour chaque groupe est stockée exclusivement dans son sous-ensemble de poids assigné.
Ajustement d'Instruction (Instruction Tuning) : Pour garantir que le modèle puisse extraire ce PII mémorisé via un question-réponse (QA), les auteurs effectuent un ajustement d'instruction efficace en paramètres (en utilisant LoRA) sur les deux dernières couches, apprenant au modèle à répondre dans un format QA spécifique.

2. Évaluation de l'Oubli (Phase 2)

Le banc d'essai évalue les méthodes d'oubli de pointe (SOTA) sur des modèles basés sur OLMo de 1B et 7B. Les méthodes testées incluent :

Basées sur le gradient : SimNPO (une approche d'optimisation de préférence négative).
Basées sur la localisation : AlphaEdit (basée sur le traçage causal et les contraintes d'espace nul) et MemFlex (localisation de modules divergents basée sur le gradient).
Ligne de base Oracle : OracleGrad, une méthode bénéficiant d'un accès privilégié au masque de vérité terrain, restreignant son objectif d'oubli strictement aux poids connus pour contenir la connaissance cible.

3. Métriques d'Évaluation (Phase 3)

LACUNA introduit un cadre d'évaluation double :

Évaluation comportementale : Métriques standards de niveau de sortie incluant la Mémorisation Exacte (EM), la Force d'Extraction (ES) et la Probabilité (Prob) sur les ensembles d'oubli/rétention, ainsi que la préservation de l'utilité sur des benchmarks comme MMLU et ARC.
Précision de la Localisation : Une nouvelle métrique utilisant l'AUC ROC pour mesurer la capacité d'une méthode d'oubli à discriminer entre les paramètres « dans le masque » (cible) et « hors du masque » (non cible). Le score est dérivé des motifs de modification des poids (magnitude, inversion et score par contraste).
Attaques de Ressurgence : Les modèles sont soumis à des tests de stress en les affinant sur des données PII non utilisées pour voir si l'information « oubliée » fuit à nouveau.

Principales Contributions

Cadre d'Injection Scalable : Une méthode pour injecter des PII dans des paramètres dédiés de modèles 1B et 7B via un pré-entraînement continu masqué, compatible avec l'entraînement distribué (DDP/FSDP) et scalable aux grands modèles.
Banc d'essai LACUNA : La publication d'un banc d'essai complet comprenant des modèles pré-entraînés avec des masques de vérité terrain, des ensembles d'oubli/rétention pour des individus synthétiques, et des métriques de précision de localisation.
Analyse Empirique des Méthodes SOTA : Une étude de benchmarking révélant que malgré de fortes performances au niveau de la sortie, les méthodes d'oubli SOTA actuelles (SimNPO, AlphaEdit, MemFlex) présentent une faible précision de localisation (AUC $\approx$ 0,5), indiquant qu'elles modifient les poids de manière indistincte plutôt que de cibler les lieux de stockage spécifiques.
Démonstration de l'Oracle : L'introduction d'OracleGrad, qui démontre que lorsqu'est une localisation précise, même des méthodes simples basées sur le gradient atteignent un oubli supérieur et une meilleure robustesse contre les attaques de ressurgence par rapport aux méthodes SOTA complexes.

Résultats

Précision de la Localisation : Aucune des méthodes SOTA analysées n'a atteint une précision de localisation non triviale. SimNPO a obtenu un score marginalement plus élevé (0,515) mais est resté proche du hasard (0,5). En revanche, OracleGrad a obtenu un AUC élevé de 0,915, confirmant qu'un ciblage précis est réalisable.
Performance d'Oubli vs Robustesse : Bien que SimNPO montre un fort oubli au niveau de la sortie (faible EM sur les ensembles d'oubli), il reste très susceptible aux attaques de ressurgence. Les méthodes avec une faible localisation (AlphaEdit, MemFlex) sont encore plus vulnérables.
Supériorité de l'Oracle : OracleGrad, malgré l'utilisation d'un objectif simple de Différence de Gradient, a obtenu la meilleure combinaison de performance d'oubli, de stabilité de rétention, de préservation de l'utilité et de robustesse aux attaques de ressurgence. Cela suggère que l'échec des méthodes actuelles ne provient pas de l'objectif d'oubli lui-même, mais de l'incapacité à localiser les bons paramètres.
Échelle du Modèle : Les modèles 7B ont généralement montré de meilleurs taux d'extraction de mémorisation et une légère meilleure robustesse à la ressurgence que les modèles 1B, bien que le problème fondamental de l'imprécision de la localisation persiste à travers les deux échelles.

Signification et Revendications

L'article soutient que le domaine de l'oubli des LLM a atteint un plateau en termes de métriques de niveau de sortie, mais échoue à parvenir à un véritable effacement des connaissances. Les auteurs affirment que la précision de la localisation est le maillon manquant pour un oubli robuste.

Changement de Paradigme : Ce travail préconise un passage d'une évaluation purement comportementale à une évaluation basée sur la localisation. Sans connaissance de vérité terrain sur l'endroit où l'information est stockée, il est impossible de vérifier si l'oubli est efficace ou s'il s'agit simplement d'une obfuscation.
Faisabilité d'un Oubli Précis : En démontrant qu'un oracle doté d'une localisation parfaite peut atteindre un oubli robuste avec des méthodes simples, l'article suggère que le principal goulot d'étranglement n'est pas l'algorithme d'oubli, mais la technique de localisation.
Direction Future : Les auteurs postulent que les recherches futures doivent se concentrer sur le développement de techniques précises de localisation de la connaissance. Tant que ces techniques n'existent pas, les méthodes d'oubli resteront susceptibles aux attaques de ressurgence. LACUNA est publié pour compléter les évaluations comportementales et stimuler le développement de méthodes d'oubli basées sur la localisation.

Les auteurs restent modestes, reconnaissant que le stockage des connaissances dans les modèles denses peut ne pas toujours être parfaitement localisé et que leur méthode d'injection actuelle (couverture de 5 % des paramètres) représente un compromis entre précision et fiabilité de la mémorisation. Ils ne prétendent pas avoir résolu le problème de la localisation, mais plutôt avoir fourni l'infrastructure nécessaire pour le mesurer et le faire progresser.