Résumé Technique : Comprendre la mémorisation verbatim dans les LLM par la découverte de circuits

Énoncé du problème

Bien que les modèles de langage de grande taille (LLM) aient démontré des capacités remarquables, les mécanismes sous-jacents de la mémorisation verbatim — la reproduction exacte des données d'entraînement — restent mal compris. La recherche actuelle en interprétabilité a identifié que la mémorisation est distribuée à travers les couches (les couches précoces favorisant les jetons, les couches supérieures amplifiant la confiance) et implique des têtes d'attention spécifiques, mais elle manque d'une explication mécaniste de la manière dont le modèle décide de récupérer une séquence mémorisée plutôt que de générer un contenu nouveau. De plus, les méthodes standard de découverte de circuits, qui reposent sur des ensembles de données contrastifs (exemples propres vs corrompus), ont été largement limitées à de petites tâches bien définies (par exemple, l'identification de l'objet indirect) en raison de la difficulté de construire de tels ensembles de données pour des tâches ouvertes comme la mémorisation.

Méthodologie

Les auteurs abordent ce problème en utilisant l'interprétabilité mécaniste, plus précisément le cadre des circuits, pour isoler les sous-graphes computationnels minimaux responsables de la mémorisation.

1. Construction du jeu de données

• Source : L'étude utilise le sous-ensemble Wikipedia de The Pile, traité avec le modèle GPT-Neo-125M.
• Sélection de la mémorisation : Les échantillons ont été filtrés pour un score de mémorisation de exactement 1,0 (correspondance parfaite au niveau du jeton avec la vérité terrain), ce qui a donné 4 047 échantillons.
• Points de divergence : Les auteurs ont raccourci algorithmiquement les longueurs de contexte jusqu'à ce que la génération du modèle diverge du chemin mémorisé (détecté via une chute du score BLEU en dessous de 0,3). Ces points définissent la transition de la mémorisation vers la génération de contenu nouveau.
• Jeux de données contrastifs : Deux jeux de données distincts ont été créés pour isoler différents aspects de la mémorisation :
  • Jeu de données de décision de mémorisation : Conçu pour identifier les composants qui déclenchent la décision initiale de récupérer un contenu mémorisé. Il contraste des contextes « propres » (un jeton avant de déclencher la mémorisation) avec des contextes « corrompus » (sémantiquement similaires mais menant à des jetons non mémorisés).
  • Jeu de comparaison de branches : Conçu pour identifier les composants responsables du maintien d'un chemin mémorisé une fois la décision prise. Il contraste les contextes continuant le long du chemin mémorisé avec ceux divergeant vers le jeton non mémorisé ayant la plus haute probabilité.

2. Découverte de circuits

• Technique : L'étude emploie l'Attribution de bord par patch de gradient intégré (EAP-IG). Cette méthode utilise les gradients pour approximer les effets du patch d'activation, réduisant le coût computationnel de milliers de passes avant vers seulement deux passes avant et une passe arrière.
• Stratégies d'intervention :
  • Bruitage (Corrompu $\to$ Propre) : Patching des activations de contextes corrompus dans des contextes propres pour identifier les composants qui, lorsqu'ils sont perturbés, brisent la mémorisation.
  • Dénouage (Propre $\to$ Corrompu) : Patching des activations de contextes propres dans des contextes corrompus pour identifier les composants qui restaurent ou induisent la mémorisation.
• Métrique de fidélité : Les circuits sont évalués sur la base d'un score de fidélité normalisé, garantissant que le sous-graphe réalise $\ge$ 85 % de la performance de la tâche du modèle complet.

Principales contributions

1. Création de jeux de données : La construction de deux jeux de données contrastifs spécialisés traitant de l'initiation (Décision) et de la continuation (Comparaison de branches) de la mémorisation.
2. Découverte de circuits : L'identification de circuits compacts (contenant $\le$ 5 % des arêtes du modèle) responsables de ces tâches de mémorisation spécifiques. Notamment, le circuit de Comparaison de branches s'est révélé extrêmement minimal (seulement 14 arêtes, soit 0,04 % du modèle).
3. Vérification rigoureuse : Un cadre d'évaluation multidimensionnel incluant des comparaisons avec des bases de référence aléatoires, la généralisation inter-tâches, la généralisation inter-corpus, et des tests contre des méthodes de patching alternatives (ablation zéro, ablation de la moyenne).
4. Aperçus mécanistiques :
   • Asymétrie de contrôle : Les circuits capables de déclencher la mémorisation peuvent également la maintenir une fois lancée. Cependant, les circuits qui ne font que maintenir la mémorisation ne peuvent pas déclencher son initiation.
   • Différences de généralisation : Les mécanismes qui empêchent la mémorisation (circuits de perturbation) se transfèrent de manière robuste à travers différents domaines textuels (GitHub, courriels Enron, Common Crawl). Inversement, les mécanismes qui induisent la mémorisation sont très dépendants du contexte et ne se généralisent pas bien entre les domaines.

Résultats

• Taille du circuit : La tâche de Comparaison de branches a produit un circuit remarquablement petit (14 arêtes, 0,04 % du modèle) avec une fidélité élevée (1,00). La tâche de Décision de mémorisation a nécessité des circuits plus larges (par exemple, 141 arêtes, 0,43 %) pour des niveaux de fidélité similaires.
• Généralisation inter-tâches :
  • Les circuits de Décision de mémorisation ont réussi à contrôler si le modèle continuait les chemins mémorisés dans la tâche de Comparaison de branches (fidélité 1,00).
  • Les circuits de Comparaison de branches ont mal performé lorsqu'ils ont été appliqués à la tâche de Décision de mémorisation, indiquant que les mécanismes pour continuer une séquence mémorisée sont distincts de ceux qui prennent la décision initiale de mémoriser.
• Généralisation inter-corpus :
  • Prévention : Les circuits de bruitage (conçus pour briser la mémorisation) ont efficacement réduit la précision de la mémorisation à travers divers domaines (réduisant la précision de 90,5 % à 4,5 % sur Common Crawl).
  • Induction : Les circuits de dénouage (conçus pour induire la mémorisation) ont montré une transférabilité limitée. Bien que les scores de fidélité soient restés élevés, l'induction réelle de la mémorisation dans de nouveaux domaines était faible (augmentant la précision de 5,2 % à seulement 23,8 % sur Common Crawl).
• Robustesse : Les circuits identifiés montraient une forte dépendance aux paires propre-corrompu spécifiques utilisées pour la découverte. Lorsqu'ils étaient testés avec des méthodes de patching alternatives (ablation zéro ou de la moyenne), la fidélité chutait de manière significative, suggérant que les circuits dépendent d'activations contrefactuelles spécifiques plutôt que de propriétés structurelles générales.

Signification et affirmations

L'article affirme fournir une compréhension mécaniste de la façon dont les LLM passent de la mémorisation à la génération. La principale signification réside dans la découverte d'une asymétrie dans les circuits de mémorisation :

• Déclencheur vs Maintien : La capacité d'initier la mémorisation englobe la capacité de la maintenir, mais la réciproque n'est pas vraie. Cela suggère une structure de contrôle hiérarchique où un circuit de « déclenchement » spécifique décide d'accéder aux informations stockées, tandis que des mécanismes séparés gèrent la continuation.
• Prévention vs Induction : L'étude suggère que la prévention de la mémorisation est un mécanisme plus généralisable à travers les domaines textuels que l'induction de la mémorisation. Cela implique que les interventions de sécurité ciblant les mécanismes de « déclenchement » pourraient être plus efficaces et robustes que les tentatives d'induire ou de supprimer la mémorisation de manière agnostique au domaine.
• Contradiction avec les travaux antérieurs : Les résultats contrastent avec Stoehr et al. (2024), qui ont trouvé que les passages mémorisés étaient difficiles à corrompre. Les auteurs supposent que cette différence provient du fait qu'ils ciblent des chemins de calcul spécifiques (circuits) plutôt que des poids impliqués dans le gradient. Ils proposent un modèle où un circuit de « déclenchement » est facilement perturbable, tandis que le stockage sous-jacent de l'information reste robuste.

Les auteurs restent modestes, notant des limites telles que la dépendance à un seul petit modèle (GPT-Neo-125M), l'utilisation de méthodes d'approximation (EAP-IG) plutôt que de patching direct, et le potentiel de spécificité de leurs découvertes au sous-ensemble Wikipedia de The Pile. Ils concluent que bien que ces circuits offrent une fenêtre sur la mémorisation, une validation supplémentaire à travers différentes tailles de modèles et architectures est nécessaire.