💻 computer science

Output Vector Editing for Memorization Mitigation in Large Language Models

Cet article propose l'« édition de vecteurs de sortie », une technique d'optimisation sous contrainte qui modifie de manière minimale les vecteurs de sortie de neurones MLP spécifiques afin de supprimer les séquences mémorisées dans les grands modèles de langage, atteignant des taux d'atténuation nettement plus élevés que les méthodes traditionnelles de zéro-ablation tout en identifiant les mécanismes d'attention comme un recours complémentaire nécessaire pour un sous-ensemble de cas inaccessibles.

Auteurs originaux : Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : La « Mauvaise Mémoire » du Modèle

Imaginez un Grand Modèle de Langage (LLM) comme un étudiant qui a lu l'intégralité d'Internet. Parfois, cet étudiant ne se contente pas d'apprendre des concepts ; il mémorise des phrases spécifiques mot pour mot à partir de ses manuels (les données d'entraînement).

C'est dangereux. Si vous demandez à l'étudiant de terminer une phrase, il pourrait accidentellement réciter un e-mail privé, un livre protégé par le droit d'auteur ou un mot de passe secret qu'il a « appris » par accident. C'est ce qu'on appelle la mémorisation.

L'Ancienne Solution : L'Approche par « Force Brute »

Auparavant, les chercheurs tentaient de corriger cela en trouvant les « cellules cérébrales » (neurones) spécifiques dans le modèle responsables de la phrase mémorisée, puis en les désactivant simplement.

L'Analogie : Imaginez que le cerveau du modèle est une cuisine très occupée. Si un chef spécifique (neurone) s'obstine à crier un numéro de téléphone privé, l'ancienne méthode consistait à lui attacher les mains dans le dos pour qu'il ne puisse plus cuisiner du tout.
La Faille : Ce chef peut aussi être doué pour cuisiner d'autres choses (comme faire de la soupe ou couper des légumes). Lui attacher les mains arrête le numéro de téléphone, mais cela gâche aussi la soupe. Le modèle perd des connaissances utiles juste pour arrêter une mauvaise mémoire.

La Nouvelle Solution : « L'Édition du Vecteur de Sortie » (Output Vector Editing)

Les auteurs proposent une méthode plus intelligente : l'Édition du Vecteur de Sortie. Au lieu d'attacher les mains du chef, ils lui donnent une nouvelle fiche recette qui change ce qu'il crie, sans l'empêcher de travailler.

Comment ça marche :
1. Trouver le Coupable : Ils localisent les neurones spécifiques qui sont sur le point de recracher le texte mémorisé.
2. Le Tour de Passe « Distracteur » : Au lieu de faire taire le neurone, ils modifient son « vecteur de sortie » (la direction spécifique vers laquelle il pointe dans le cerveau du modèle). Ils le poussent légèrement pour qu'au lieu de pointer vers le mot mémorisé, il pointe vers un distracteur.
3. Le Résultat : Le neurone s'active toujours (il est toujours actif), mais il suggère maintenant un mot différent et inoffensif. La phrase mémorisée est brisée, mais le neurone est toujours libre de faire ses autres tâches (comme faire de la soupe).

Les Quatre « Modes » d'Édition

Les chercheurs ont testé quatre façons différentes de choisir le mot « distracteur », créant un spectre allant du plus doux au plus agressif :

Redact (Le « Censeur ») : Le modèle est poussé à produire une suite d'astérisques (****). C'est comme placer une barre noire sur le texte sensible. C'est très sûr pour l'intelligence générale du modèle, mais cela n'arrête que 32 % des phrases mémorisées.
Next-Best (Le « Remplacement Intelligent ») : Le modèle est poussé à dire le deuxième mot le plus probable au lieu de celui mémorisé. Cela semble naturel et fluide. Cela arrête environ 81,5 % des phrases mémorisées et ne nuit que rarement à la capacité du modèle à répondre à d'autres questions.
EOS (Le « Panneau Stop ») : Le modèle est poussé à arrêter la phrase immédiatement (End of Sequence). C'est le mode le plus agressif, arrêtant 87,9 % des phrases mémorisées, mais cela provoque parfois des comportements erratiques chez le modèle (comme une voiture qui freine trop brusquement et dérape).
Suppress (Le « Muet ») : Le modèle est poussé à réduire activement la probabilité que le mauvais mot apparaisse, sans suggérer de remplacement spécifique.

Résultats Clés

C'est une question de « Direction », pas de « Volume » : L'article prouve que le problème n'est pas que les neurones sont « trop bruyants » (activation), mais qu'ils pointent dans la « mauvaise direction » (vecteur de sortie). Changer la direction fonctionne bien mieux que de baisser le volume.
Le « Point d'Équilibre » : Le mode « Next-Best » est le vainqueur. Il arrête la plupart des mauvaises mémoires (81,5 %) sans provoquer de « défaillances catastrophiques » (où le modèle oublierait totalement comment parler anglais).
La Taille Compte : Les modèles plus grands (comme ceux de 7 milliards de paramètres) sont plus faciles à corriger que les plus petits. Plus le modèle est grand, plus il a d'« espace » pour absorber ces petites éditions sans se briser.
La Limite : Environ 14 % des séquences mémorisées sont trop complexes pour cette méthode. Elles dépendent d'une autre partie du cerveau (le mécanisme d'« attention ») plutôt que des neurones que les auteurs éditent. Pour celles-ci, les auteurs suggèrent qu'une approche hybride pourrait être nécessaire.

L'Essentiel

Cet article introduit un outil chirurgical qui édite le contenu de la mémoire d'un modèle plutôt que de supprimer le matériel qui le contient. Cela nous permet de nettoyer les textes privés ou protégés par le droit d'auteur des modèles d'IA sans lobotomiser accidentellement leur intelligence générale.

Résumé technique : Édition du vecteur de sortie pour l'atténuation de la mémorisation dans les grands modèles de langage

1. Énoncé du problème

Les grands modèles de langage (LLM) mémorisent et reproduisent des séquences issues de leurs données d'entraînement, ce qui crée des risques importants pour la confidentialité, le droit d'auteur et la sécurité. Les stratégies d'atténuation existantes font face à des limites : la prévention lors de l'entraînement nécessite un réentraînement complet ; le désapprentissage post-hoc laisse souvent les encodages sous-jacents intacts, permettant une récupération via un réapprentissage bénin ; et le filtrage au niveau du décodeur ajoute une surcharge d'inférence sans modifier les poids.

Dans le paradigto « localiser puis éditer », les travaux antérieurs sur la mémorisation se sont largement limités à la phase d'« édition » en annulant les activations des neurones identifiés. Les auteurs soutiennent que cela est inutilement destructif. Parce que les neurones participent à la représentation de multiples caractéristiques via la superposition, l'annulation d'une activation provoque l'effondrement de toute l'information encodée par ce neurone, et pas seulement du contenu mémorisé. De plus, les méthodes existantes reposent souvent sur des modèles structurés (ex: <sujet, relation, objet>) qui n'existent pas dans la mémorisation séquentielle en texte libre.

2. Méthodologie : Édition du vecteur de sortie

Le papier propose l'Édition du vecteur de sortie (Output Vector Editing), une édition de poids par optimisation contrainte qui modifie les vecteurs de sortie des neurones MLP responsables d'une continuation mémorisée, plutôt que d'annuler leurs activations.

Mécanisme central

La sortie d'une couche MLP est la somme des contributions par neurone : $MLP(x) = \sum a_i \cdot v_i$ , où $a_i$ est l'activation scalaire et $v_i$ est le vecteur de sortie.

Activation vs Vecteur : L'activation $a_i$ contrôle si un neurone s'engage, tandis que le vecteur de sortie $v_i$ détermine ce qui est écrit dans le flux résiduel.
L'Édition : Au lieu de fixer $a_i = 0$ , la méthode maintient $a_i > 0$ mais modifie $v_i$ en $v'_i$ . Ceci est réalisé via une mise à jour de rang un le long de la direction de désencodage (unembedding) d'un jeton « distracteur » $s$ .
Optimisation : L'édition minimise la distance entre le vecteur original et le nouveau tout en projetant le nouveau vecteur sur la direction du logit du jeton distracteur vers une valeur cible $\Delta_i$ . La solution en forme close est :
$v'_i = v_i + \frac{\Delta_i - u_s^\top v_i}{\|u_s\|^2} u_s$
où $u_s$ est le vecteur de désencodage du jeton $s$ . Cela ne nécessite aucun calcul de gradient et s'applique directement aux poids.

Étapes du pipeline

Minage de séquences mémorisées : En utilisant la prédiction par force de l'enseignant (teacher-forced prediction) sur le corpus de pré-entraînement, les auteurs identifient les séquences où la sortie du modèle correspond à la vérité de terrain (BLEU > 0,5).
Localisation en deux étapes :
- Sélection de la couche : Identifie les 5 couches MLP supérieures où le jeton cible reçoit la plus forte poussée de logit (en utilisant la « lentille de logit » ou logit lens).
- Sélection du neurone : Au sein des couches sélectionnées, les neurones sont scorés selon leur proximité L1 avec le flux résiduel et filtrés pour ceux qui promeuvent ou suppriment directement le jeton cible (le classant dans le top ou le bottom 50 du vocabulaire).
Modes d'édition : La méthode définit quatre modes basés sur le jeton distracteur $s$ $s$ :
- EOS : Redirige vers le jeton de fin de séquence (terminaison agressive).
- Redact (Rédiger) : Redirige vers un marqueur de rédaction (****).
- Next-best (Le suivant le meilleur) : Redirige vers le second jeton le mieux classé par le modèle (alternative plausible).
- Suppress (Supprimer) : Amortit directement le logit du jeton cible sans injecter de distracteur.

3. Contributions clés

Découplage de l'activation et de la sortie : Le papier démontre que les activations et les vecteurs de sortie jouent des rôles séparables dans les neurones MLP. Modifier le vecteur de sortie pour introduire un distracteur est une intervention distincte et moins destructrice que l'annulation des activations.
Édition de sortie de rang un : Adaptation du mécanisme de mise à jour de rang un (précédemment utilisé pour l'édition de faits comme ROME) pour la redirection de sortie par neurone afin d'atténuer la mémorisation.
Évaluation exhaustive : Évaluation sur quatre modèles (SmolLM-360M, OLMo-1B, OLMo-7B, Llama2-7B) et quatre modes d'édition, comparant l'approche à l'ablation par zéro, aux neurones aléatoires et aux bases de référence de pilotage d'activation (activation steering).
Limites mécanistes : Identification d'une « limite dure » de ~14 % où l'édition uniquement par MLP échoue, suggérant un rôle complémentaire des mécanismes d'attention dans ces cas spécifiques.

4. Résultats

Évalués principalement sur OLMo-7B (6 831 séquences mémorisées) :

Supériorité sur l'ablation par zéro : À localisation égale ( $k=5$ ), le mode EOS a atteint 85,7 % de suppression contre 31,3 % pour l'ablation par zéro sur les mêmes neurones. Cet écart de 2,7x confirme que le succès provient de l'édition du vecteur de sortie, et non simplement de la localisation.
Compromis Succès-Localité :
- Agressif (EOS, k=10) : 87,9 % de suppression mais présente un « risque de queue » d'échecs de localité catastrophiques (pics de perplexité > 100) dans ~1,8 % des éditions.
- Pratique (Next-best, k=5) : 81,5 % de suppression avec zéro édition catastrophique et un décalage de la médiane de la perplexité minimal (+0,13). C'est l'identifié comme le point de fonctionnement optimal.
- Conservateur (Redact, k=5) : 31,7 % de suppression avec des dommages de localité quasi nuls.
Complémentarité des modes : Les quatre modes ne sont pas redondants. Un ensemble de tous les modes couvre 96,5 % des séquences mémorisées. Le mode « Next-best » supprime de manière unique 161 séquences qu'aucun autre mode n'atteint.
Généralisation inter-modèles : Les taux de succès augmentent avec la taille du modèle plutôt qu'avec la famille d'architecture. Les plus petits modèles (360M) montrent des taux de succès plus faibles (34,9 %) principalement en raison de taux de saut plus élevés dans le filtre de localisation.
Comparaison avec le pilotage d'activation : La méthode proposée atteint des taux de succès comparables au pilotage d'activation (73,3 %) mais avec une bien meilleure localité (médiane $\Delta$ PPL +0,13 contre +0,90) et un ciblage par séquence.

Limitations et échecs

Limite MLP : Environ 14 % des séquences résistent à toutes les configurations basées sur les MLP. L'analyse suggère que ces séquences ne sont pas principalement pilotées par l'attention, mais l'ablation des têtes d'attention supérieures permet de récupérer 60–64 % de ces échecs, positionnant l'attention comme un recours complémentaire.
Risque cumulatif : Bien que les éditions individuelles soient sûres, l'édition massive sans restauration des poids mène à un effondrement catastrophique (ex: le mode EOS s'effondre après seulement 10 éditions cumulées).

5. Signification et affirmations

Le papier affirme fournir une intervention mécanistiquement fondée au niveau des poids qui atténue la mémorisation sans les effets secondaires destructeurs de l'ablation de neurones ou la surcharge au moment de l'exécution du filtrage.

Précision : En éditant le vecteur de sortie plutôt que l'activation, la méthode redirige chirurgicalement des continuations mémorisées spécifiques tout en préservant les autres caractéristiques encodées du neurone.
Praticité : Le mode « Next-best » offre une configuration à haut succès et faible risque, évitant les cas extrêmes catastrophiques observés dans les modes agressifs.
Scalabilité : La méthode est transférable entre les familles de modèles et change d'échelle, les taux de succès étant corrélés à la taille du modèle.
Remède vs Défense : Les auteurs positionnent cela comme un remède pour les mémorisations connues (nécessitant l'accès au corpus de pré-entraînement pour miner les séquences) plutôt que comme une défense en temps réel contre l'extraction adversaire. Ils reconnaissent que l'édition redirige les contributions plutôt que de supprimer les représentations sous-jacentes, ce qui signifie que le contenu supprimé pourrait potentiellement être récupéré via un réapprentissage bénin.

Ce travail établit qu'une atténuation efficace de la mémorisation nécessite d'aller au-delà de la simple suppression d'activation pour passer à une manipulation précise des contributions du flux résiduel via l'édition du vecteur de sortie.