🤖 machine learning

Subtract or Replay? Exact Deletion from Language-Model Memory

Ce document démontre que la suppression exacte de la mémoire d'un modèle de langage est fondamentalement déterminée par la représentation mémorielle, où les enregistrements adressables peuvent être supprimés via une soustraction algébrique tandis que les écritures entrelacées nécessitent une reconstruction par rejeu pour parvenir à une restauration d'état bit par bit.

Auteurs originaux : Vishwajith Ramesh

Publié 2026-07-31

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vishwajith Ramesh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un assistant numérique super intelligent qui n'oublie jamais rien. Vous lui confiez un secret, et il stocke ce secret dans une immense bibliothèque invisible à l'intérieur de son cerveau. Plus tard, vous pourriez lui demander d'écrire une histoire ou de donner un conseil, et il sortirait ce secret pour aider. Mais que se passe-t-il si vous changez d'avis ? Si vous dites à l'assistant : « En fait, je n'ai jamais dit cela » ou « C'était une erreur, s'il vous plaît, effacez-le » ? Dans le monde réel, si vous brûlez une lettre, les mots disparaissent. Mais dans un ordinateur, simplement dire à l'appareil d'« oublier » est délicat. L'ordinateur pourrait simplement cacher le secret profondément en lui, ou il pourrait déjà avoir utilisé ce secret pour construire d'autres parties de son cerveau, rendant impossible le simple fait de le « supprimer » sans tout casser par ailleurs. C'est le problème de l'« oubli machine » (machine unlearning). Les scientifiques tentent de découvrir comment faire oublier réellement des choses spécifiques à une IA sur commande, et pas seulement faire semblant de le faire. C'est un enjeu majeur pour la vie privée, comme avoir un « droit à l'oubli » pour votre vie numérique, garantissant que si vous demandez à un robot de supprimer un souvenir, il le fasse réellement, sans laisser de traces fantômes derrière lui.

Cet article, intitulé « Subtract or Replay? » (Soustraire ou Rejouer ?), aborde ce problème en posant une question simple : Comment la mémoire est-elle stockée ? Les auteurs, Vishwajith Ramesh et ses collègues, ont découvert que la réponse dépend entièrement du « mobilier » présent dans la salle des souvenirs de l'IA. Ils ont découvert qu'il existe deux manières très différentes de supprimer un souvenir, et qu'il faut choisir le bon outil pour la tâche, sous peine d'échouer.

Les deux façons de supprimer un souvenir

L'article teste cette idée sur deux types différents de modèles d'IA, qui agissent comme deux types de bibliothèques différents.

1. La bibliothèque « adressable » (Le modèle Gemma)
Imaginez une bibliothèque où chaque livre possède un numéro d'étagère spécifique et unique. Si vous voulez retirer un livre, il vous suffit d'aller à cette étagère et de le prendre. Vous n'avez pas besoin de reconstruire toute la bibliothèque.
Les auteurs ont testé cela sur un modèle appelé Gemma. Ils ont remplacé certaines de ses parties de mémoire standard par un système spécial qui agit comme cette bibliothèque adressable. Dans ce système, chaque morceau d'information possède un « coefficient » (pensez à un bouton de volume) qui contrôle à quel point il influence les réponses de l'IA.

Le tour de magie : Pour supprimer un souvenir, ils ont simplement baissé le bouton de volume à zéro. C'est ce qu'on appelle un « décrément algébrique ».
Le résultat : Cela a parfaitement fonctionné. Lorsqu'ils ont baissé le bouton, la sortie de l'IA est devenue mathématiquement identique à ce qu'elle aurait été si le souvenir n'avait jamais été là. La différence était si infime qu'elle était presque nulle (un nombre appelé divergence KL de 5,4 × 10⁻¹⁵).
Le bémol : Cela ne fonctionne bien que sur de petits modèles (1 milliard de paramètres). À mesure que le modèle devient plus grand (4 milliards et 12 milliards), cette méthode devient désordonnée et coûteuse, ralentissant les performances de l'IA de 11,2 % et 44,3 % respectivement. Ainsi, bien que le tour du « tourner le bouton » soit parfait pour les petites bibliothèques, ce n'est pas une solution universelle pour les bibliothèques géantes.

2. La bibliothèque « tissée » (Le modèle Kimi)
Maintenant, imaginez une bibliothèque différente où les livres ne sont pas sur des étagères. Au lieu de cela, les pages de chaque livre sont tissées ensemble pour former une immense et unique tapisserie. Si vous tirez sur un fil (un souvenir), toute la tapisserie se déplace et le motif change de manière imprévisible.
Les auteurs ont testé cela sur un modèle appelé Kimi, qui utilise un « état récurrent » (une mémoire de type tapisserie). Ici, chaque nouvelle information modifie l'état entier de la mémoire.

Le problème : Ils ont essayé de simplement « soustraire » le souvenir comme ils l'ont fait avec Gemma. Cela a échoué. Parce que la mémoire est tissée, retirer un fil ne laisse pas seulement un trou, cela laisse un motif déformé. Les mathématiques ont montré que 12 % à 49 % de l'influence de la mémoire changeait en fonction de ce qui venait après la partie supprimée. On ne peut pas simplement le soustraire ; le « reçu » de la suppression n'est plus valide.
La solution : Puisqu'on ne peut pas soustraire un fil d'une tapisserie tissée sans ruiner le motif, il faut la reconstruire. Les auteurs ont utilisé une méthode de « point de contrôle et de rejeu » (checkpoint and replay). Ils ont sauvegardé un instantané de la tapisserie avant que le fil indésirable ne soit tissé dedans. Ensuite, ils ont remonté l'IA à cet instantané et ont rejoué tout ce qui s'est passé après le mauvais souvenir, mais cette fois, en sautant le mauvais fil.
Le résultat : Cela a parfaitement fonctionné. La mémoire de l'IA après le rejeu était bit pour bit identique à une mémoire qui n'avait jamais vu le mauvais fil. Ils ont testé cela sur de vraies notes cliniques allant jusqu'à 18 842 tokens de long, et cela a fonctionné à chaque fois. Cela a également permis d'« amender » un dossier parfaitement en remplaçant le mauvais fil par un bon avant de rejouer.

Ce que cela signifie pour vous

La conclusion principale de l'article est que la « suppression exacte » n'est pas un bouton magique unique. C'est une propriété de la façon dont la mémoire est construite.

Si la mémoire conserve une adresse claire pour chaque enregistrement (comme l'installation spéciale de Gemma), vous pouvez soustraire rapidement et parfaitement.
Si la mémoire tisse tout ensemble (comme la tapisserie de Kimi), vous ne pouvez pas soustraire. Vous devez reconstruire l'histoire à partir d'un point de contrôle sauvegardé, en sautant la mauvaise partie.

Les auteurs sont très clairs sur ce qu'ils n'ont pas trouvé : ils ont prouvé que simplement essayer de « masquer » ou de « supprimer » un souvenir (dire à l'IA d'ignorer cela) ne suffit pas. L'IA peut encore s'en « souvenir » de manières cachées, et des attaquants peuvent souvent le faire ressortir. Une véritable suppression nécessite soit une soustraction parfaite, soit une reconstruction parfaite.

En résumé, si vous voulez qu'une IA oublie vraiment, vous devez d'abord vérifier sa salle de mémoire. Est-ce une bibliothèque avec des étagères ? Tournez le bouton. Est-ce une tapisserie tissée ? Remontez le temps et rejouez. Il n'y a pas de raccourci, mais nous savons maintenant exactement quel outil utiliser pour quelle tâche.

Résumé Technique : Suppression Exacte de la Mémoire des Modèles de Langage

1. Définition du Problème

Le papier traite du défi de la suppression exacte (exact deletion) de la mémoire persistante des modèles de langage auto-régressifs (LLM) déployés. Contraendo à l'oubli dans l'espace des poids (weight-space unlearning), qui tente de modifier les paramètres du modèle pour « oublier » des données, ce travail se concentre sur la mémoire en contexte : des enregistrements qui ont déjà été ingérés dans l'état persistant du modèle (caches d'attention ou états récurrents) et qui façonnent les sorties en aval.

Le problème central est que l'ajout d'une correction à un prompt ne supprime pas l'influence de l'enregistrement erroné original de l'état interne du modèle. Les auteurs définissent la suppression exacte via une norme contrefactuelle : la sortie du modèle après la suppression doit correspondre à la sortie d'un état de mémoire construit comme si l'enregistrement n'avait jamais été ingéré.
$f(q; D_j(B(R))) = f(q; B(R \setminus j))$
Le papier soutient que la possibilité d'atteindre cette égalité sans réentraînement complet dépend entièrement de la représentation de la mémoire. Si l'influence d'un enregistrement conserve une « adresse » spécifique (un coefficient réversible ou une entrée de cache), elle peut être soustraite. Si l'influence d'un enregistrement est tissée dans un état récurrent partagé par des écritures ultérieures, la soustraction échoue et une reconstruction est nécessaire.

2. Méthodologie

Les auteurs opérationnalisent cette distinction en testant deux architectures de mémoire et stratégies de suppression distinctes :

A. Mémoire adressable : Support-Vector Graft (Gemma 3)

Pour les modèles où l'influence est adressable, les auteurs proposent un décrément algébrique.

Architecture : Ils remplacent les couches d'attention globale de Gemma 3 (1B, 4B et 12B paramètres) par une couche de Mémoire à Vecteur de Support (SVM). Cette couche traite les clés de contexte comme des entrées d'un SVM à une classe, où les poids d'attention sont les coefficients ( $\alpha$ ) de l'ajustement.
Mécanisme : En utilisant l'algorithme incrémental de Cauwenberghs & Poggio (2000 à l'envers), le système peut mathématiquement « décrémenter » le coefficient d'un jeton spécifique. Si un jeton est un jeton de « réserve » (coefficient = 0), il ne contribue à rien. Supprimer un jeton consiste à inverser la résolution pour revenir à l'état que le système tiendrait sans ce jeton.
Récupération : Pour maintenir la qualité du langage après le greffon (grafting), les auteurs figent le modèle de base et entraînent des adaptateurs LoRA de rang 8 (0,149 % des paramètres) pour récupérer la perplexité.
Audit : La suppression est auditée en comparant l'état décrémenté à un réajustement à clés conservées (retained-key refit) (résolution de nouveau du SVM avec le jeton supprimé mais en gardant les autres clés fixes).

B. Mémoire non adressable : Replay (Kimi Linear Hybrid)

Pour les modèles où des écritures ultérieures transforment la contribution d'un enregistrement (le rendant non adressable), les auteurs proposent un replay avec points de contrôle (checkpointed rewind-and-replay).

Architecture : Ils analysent un modèle hybride linéaire Kimi de 48B qui entrelace des couches d'attention multi-têtes globale (MLA) avec 20 couches récurrentes KDA (Gated DeltaNet).
Échec de la soustraction : Les auteurs démontrent que la règle delta de KDA (qui lit l'état avant de le mettre à jour) détruit la séparabilité par enregistrement. La contribution d'un enregistrement à l'état dépend du suffixe qui le suit (variance de 12 à 49 %), ce qui signifie qu'un « reçu » fixe pour la suppression ne peut fonctionner, même avec des corrections de décroissance.
Mécanisme : Le système sauvegarde des points de contrôle (checkpoints) de l'état récurrent aux limites des enregistrements. Pour supprimer un enregistrement, le système restaure l'état avant l'ingestion de l'enregistrement et rejoue uniquement le suffixe.
Audit : Le résultat est audité selon une norme d'égalité bit à bit : les logits et tous les états récurrents doivent être identiques à une exécution où l'enregistrement n'aurait jamais été ingéré.

3. Contributions Clés

Critère au niveau de la représentation : Le papier établit que la suppression exacte est une propriété de la représentation de la mémoire. Il distingue l'influence adressable (soustractible via un décrément algébrique) de l'influence transformée (nécessitant une reconstruction de l'état).
Suppression adressable dans les LLM : Les auteurs ont réussi à greffer une couche de mémoire SVM dans Gemma 3. À l'échelle 1B, le décrément et le réajustement concordent avec une divergence KL médiane de $5,4 \times 10^{-15}$ . Les tests comportementaux montrent que le proxy de réajustement masqué est statistiquement indiscernable d'une base de référence « jamais ingérée » lors d'attaques d'élicitation, de réapprentissage et de LiRA.
Suppression exacte via Replay : Pour le modèle hybride Kimi, où la soustraction échoue, les auteurs démontrent que le replay avec points de contrôle atteint l'égalité bit à bit (sur les logits et les 20 états récurrents) pour des contextes allant jusqu'à 18 842 jetons. Cette méthode supporte également les amendements exacts (rejouer avec un enregistrement corrigé).
Analyse de mise à l'échelle (Scaling) : Le papier fournit une vue nuancée des coûts d'utilité. Bien que le greffon Gemma 1B n'entraîne qu'un surcoût de perplexité de +2,0 %, ce coût grimpe à 11,2 % pour 4B et 44,3 % pour 12B, indiquant que le greffon n'est pas un remplacement général pour l'attention aux plus grandes échelles.

4. Résultats

Gemma 3 (1B) :
- Exactitude : Le décrément et le réajustement concordent avec une KL médiane de $5,4 \times 10^{-15}$ sur 31 suppressions de jetons de support.
- Utilité : Surcoût de perplexité de +2,0 % par rapport à un contrôle apparié.
- Comportement : Le réajustement masqué est indiscernable du plancher « jamais ingéré » ; l'édition dans l'espace des poids (ascension de gradient) est réversible et laisse des résidus.
Gemma 3 (Mise à l'échelle) :
- À 4B et 12B, le coût d'utilité augmente fortement (11,2 % et 44,3 % respectivement). Le test de greffon de rang 16 de 12B diverge, suggérant que la méthode est actuellement viable principalement à l'échelle 1B.
Kimi Linear (48B) :
- Échec de la règle Delta : 12 à 49 % de la contribution d'un enregistrement à l'état change avec le suffixe, invalidant les reçus fixes.
- Succès du Replay : Le replay atteint l'égalité bit à bit avec l'état « jamais ingéré » pour des dossiers cliniques réels (MIMIC-IV) jusqu'à 18 842 jetons.
- Coût : La latence est proportionnelle uniquement à la longueur du suffixe (moyenne de 3,49s contre 6,77s pour une reconstruction complète), avec des coûts de stockage d'environ 41,4 MiB par limite de point de contrôle.

5. Signification et Revendications

Le papier affirme que la suppression exacte est un contrat avec la représentation de la mémoire, et non une correction algorithmique universelle.

Principe de conception : Si une représentation préserve une adresse pour l'influence d'un enregistrement, la suppression peut être une opération algébrique peu coûteuse. Si la représentation tisse les enregistrements dans un état partagé via des mises à jour non additives (comme la règle delta), la suppression exacte nécessite de reconstruire le suffixe.
Auditabilité : Ce travail fournit un cadre pour auditer la suppression. Il distingue la « suppression » (où la réponse est cachée mais l'état est corrompu) de la « suppression exacte » (où l'état correspond à la référence contrefactuelle).
Limites : Les auteurs sont modestes quant à la portée. Ils ne prétendent pas supprimer des données des poids pré-entraînés ou des sorties générées avant l'événement de suppression. Ils reconnaissent que le coût d'utilité du greffon Gemma passe mal à l'échelle, et que la méthode de replay de Kimi repose sur des implémentations déterministes et des frais de points de contrôle.
Contexte éthique : Le travail soutient les exigences réglementaires (ex: Article 17 du RGPD) et le retrait du consentement clinique en fournissant un mécanisme pour vérifier qu'un enregistrement spécifique a été retiré de la mémoire active du modèle, plutôt que de simplement supprimer sa sortie.

Le papier conclut que le domaine doit passer de l'« oubli approximatif » (qui laisse des résidus récupérables) à la suppression sensible à la représentation, en testant si l'influence reste adressable avant de choisir entre la soustraction et la reconstruction.