Dynamic Weight Grafting: Localizing Finetuned Factual Knowledge in Transformers

Cette étude propose une nouvelle technique d'analyse appelée greffe dynamique de poids pour révéler que les modèles de langage récupèrent les connaissances apprises lors du fine-tuning via deux voies distinctes : l'enrichissement du flux résiduel lors du traitement des entités et le rappel de l'information au moment de la prédiction finale.

L'essentiel

🎬 Le Film : Comment l'IA se souvient de ses nouveaux rôles

Imaginez qu'un grand acteur (le modèle d'IA) a joué dans des milliers de films avant de rencontrer un nouveau réalisateur. Ce réalisateur lui donne un nouveau script avec des informations qu'il ne connaissait pas : "Zendaya a joué avec Timothée Chalamet dans ce film."

La question que se posent les chercheurs est la suivante : Où exactement, dans la tête de l'acteur, cette nouvelle information est-elle stockée ? Est-ce qu'il l'apprend dès qu'il voit le nom "Zendaya" ? Ou est-ce qu'il attend la toute fin de la phrase pour se souvenir de qui est l'autre acteur ?

Jusqu'à présent, les scientifiques utilisaient des méthodes un peu brutales pour le savoir (comme "patcher" ou remplacer des parties du cerveau de l'IA), ce qui effaçait involontairement d'autres souvenirs. Dans ce papier, ils inventent une nouvelle méthode plus douce et plus précise : le Greffage Dynamique de Poids (Dynamic Weight Grafting).

---

🔧 L'Outil : Le "Greffe de Moteur"

Imaginez que vous avez deux voitures :

1. La voiture d'origine (le modèle pré-entraîné) : Elle connaît tout le monde, mais ne connaît pas ce nouveau film.
2. La voiture modifiée (le modèle entraîné) : Elle a appris le nouveau film.

Au lieu de démonter le moteur de la voiture modifiée pièce par pièce (ce qui pourrait la casser), les chercheurs utilisent une technique de greffe. Ils prennent de petits composants spécifiques (comme un piston ou un injecteur) de la voiture modifiée et les installent temporairement dans la voiture d'origine, juste au moment précis où ils en ont besoin.

En faisant cela, ils peuvent tester : "Si je mets seulement le piston de la voiture modifiée au moment où on dit 'Zendaya', est-ce que la voiture d'origine sait qui est l'autre acteur ?"

---

🌟 Les Deux Chemins de la Mémoire

Grâce à cette technique, ils découvrent que l'IA utilise deux chemins différents (ou deux stratégies) pour retrouver cette nouvelle information, un peu comme si elle avait deux façons de se souvenir d'un rendez-vous :

1. Le Chemin de l'Enrichissement (La "Mise en bouche")

Quand l'IA voit le nom du premier acteur (ex: "Zendaya"), elle met à jour sa "fiche" mentale immédiatement. Elle ajoute des détails sur le nouveau film directement dans la représentation de ce nom.

• L'analogie : C'est comme si, dès qu'on vous dit "Zendaya", votre cerveau colle immédiatement une étiquette "A joué avec Timothée" sur son nom. Plus tard, quand on vous pose la question, vous n'avez qu'à lire l'étiquette.

2. Le Chemin du Rappel (La "Réflexion finale")

Parfois, l'IA ne met pas à jour la fiche de "Zendaya" tout de suite. Elle laisse le nom tel quel. Mais au tout dernier moment, juste avant de répondre, elle fait un calcul spécial pour se souvenir de la réponse.

• L'analogie : C'est comme si vous ne saviez pas qui jouait avec Zendaya en lisant son nom, mais au moment de répondre, votre cerveau fait un petit "flash" de mémoire : "Attends, je me souviens, c'est Timothée !".

Le résultat surprenant : Souvent, l'IA n'a besoin que d'un seul de ces deux chemins pour réussir. Mais parfois, elle a besoin des deux pour être sûre à 100 %.

---

🔍 Où se cache la mémoire ? (Le Détail Technique)

Les chercheurs ont aussi regardé quels organes de l'IA font le travail :

• L'Attention (Les yeux) : C'est la partie qui regarde les mots précédents. Elle aide à repérer le nom de l'acteur.
• Les Réseaux de Neurones (Le cerveau de calcul) : C'est la partie qui fait le calcul final pour sortir la réponse.

Ils ont découvert que pour le "Rappel" (le chemin 2), c'est surtout le cerveau de calcul (les réseaux de neurones) des dernières couches de l'IA qui travaille dur pour extraire l'information, en utilisant les "yeux" (l'attention) pour savoir sur quel mot se concentrer.

---

💡 Pourquoi est-ce important ?

Avant, on pensait que l'IA stockait tout d'une seule manière. Maintenant, on sait qu'elle est flexible :

• Elle peut apprendre en temps réel (enrichissement).
• Elle peut apprendre en réflexion finale (rappel).
• Elle peut utiliser les deux en même temps.

C'est comme si on comprenait enfin que notre cerveau peut apprendre une nouvelle recette soit en la mémorisant dès qu'on la lit, soit en la reconstruisant dans notre tête juste avant de la cuisiner.

En résumé : Ce papier nous dit que les IA ne sont pas de simples "livres de données" rigides. Elles ont des mécanismes dynamiques et redondants pour intégrer de nouvelles connaissances, et nous avons maintenant la clé pour voir exactement où et comment cela se passe.

Résumé technique

1. Problématique et Contexte

Lorsqu'un Grand Modèle de Langage (LLM) est affiné (fine-tuned) pour apprendre de nouveaux faits (par exemple, un nouveau pape élu ou un nouveau film), il est crucial de comprendre où et comment cette information est stockée et récupérée au sein des paramètres du modèle.

Les approches d'interprétabilité existantes, telles que le patching d'activation (activation patching) ou les ablations, présentent une limitation majeure : elles modifient ou remplacent les activations (les états cachés) à un moment précis. Cela a pour effet de surécrire les informations qui ont été calculées précédemment dans le flux de données (le "residual stream"). Par conséquent, il est impossible de déterminer si un composant du modèle extrait activement une nouvelle information ou s'il se contente de transmettre une information déjà enrichie par des couches précédentes. Cette méthode ne permet pas d'isoler les mécanismes nécessaires et suffisants pour la récupération de connaissances.

2. Méthodologie : Le Greffage Dynamique de Poids (Dynamic Weight Grafting)

Pour combler ce vide, les auteurs proposent une nouvelle technique d'analyse appelée Dynamic Weight Grafting (Greffage Dynamique de Poids).

• Principe de base : Au lieu de remplacer les activations, cette méthode remplace dynamiquement des sous-ensembles de poids (paramètres) d'un modèle affiné (SFT - Supervised Fine-Tuning) dans un modèle pré-entraîné (Pretrained) pendant la génération de texte.
• Granularité : Le greffage peut être appliqué de manière sélective à :
  • Des positions spécifiques de tokens (ex: le premier token de l'entité, le dernier token avant la prédiction).
  • Des composants spécifiques du modèle (ex: matrices d'attention, réseaux feed-forward).
• Avantage technique : Contrairement au patching d'activation, cette approche préserve le flux de calcul antérieur. Elle permet de tester quelles parties du modèle sont nécessaires et suffisantes pour reproduire le comportement d'affinement sans perturber le reste du calcul. Cela permet de distinguer l'enrichissement de l'information (au moment où l'entité est vue) de la récupération de l'information (au moment de la prédiction).

3. Contributions Clés et Résultats Expérimentaux

Les auteurs ont appliqué cette méthode sur plusieurs modèles (Llama 3, Pythia, GPT-2 XL, Gemma) et différents jeux de données (synthétiques et réels).

A. Identification de deux voies de récupération

L'analyse révèle l'existence de deux voies distinctes pour récupérer les connaissances affinées :

1. La voie "Enrichissement" (Enrichment) : L'information relationnelle est intégrée au flux résiduel lors du traitement du token correspondant à l'entité (ex: "Zendaya"). Les mécanismes génériques peuvent ensuite extraire cette information plus tard.
2. La voie "Rappel" (Recall) : Le modèle récupère l'information au moment du dernier token, juste avant la génération du fait cible, même si l'entité n'a pas été "enrichie" avec cette information spécifique lors de son passage initial.

Résultat majeur : Greffer uniquement les poids sur les tokens de la première entité OU uniquement sur le dernier token suffit souvent à restaurer une grande partie des performances de l'affinement. Greffer tout sauf ces deux points fait chuter la précision à zéro (niveau du modèle pré-entraîné), prouvant que ces deux voies sont nécessaires et suffisantes.

B. Localisation des composants du mécanisme "Rappel"

En utilisant un greffage au niveau des composants (Component Grafting) et en exploitant la "malédiction de l'inversion" (reversal curse), les auteurs ont localisé précisément les mécanismes impliqués dans la voie de "rappel" :

• Attention spécifique à la tâche : Les têtes d'attention sur le premier token de l'entité et sur le dernier token sont cruciales pour orienter l'information.
• Extraction spécifique à la relation : Dans les dernières couches, avant la prédiction du token suivant, les matrices de projection de sortie (O) et les réseaux feed-forward (FFN) sont les composants clés qui effectuent l'extraction et la promotion du token correct.
• Synergie : Un modèle hybride combinant l'attention d'un modèle entraîné sur la structure de la tâche et les poids FFN/O d'un modèle entraîné sur la relation spécifique permet de restaurer les performances complètes.

C. Généralisation

Les résultats se maintiennent sur des données non templatisées (articles Wikipédia sur des films récents), bien que les voies d'enrichissement et de rappel soient légèrement plus faibles que dans les données synthétiques, confirmant la robustesse du mécanisme.

4. Signification et Impact

• Nouvelle perspective interprétative : Cette étude démontre que les LLMs n'utilisent pas un seul mécanisme monolithique pour la mémoire, mais implémentent des heuristiques redondantes (enrichissement précoce vs rappel tardif).
• Supériorité sur le patching d'activation : En évitant la destruction des informations en amont, le greffage dynamique offre une localisation plus précise et plus fiable des mécanismes de récupération de connaissances.
• Implications pour l'édition de connaissances : Comprendre que la récupération dépend fortement des couches finales (FFN/O) et de l'attention spécifique à la tâche ouvre de nouvelles pistes pour l'édition ciblée de connaissances dans les LLMs sans réentraînement complet.
• Limitations : L'étude se concentre sur des relations à un seul saut (single-hop) et des modèles de taille modeste. Les mécanismes pourraient différer dans des scénarios de raisonnement multi-sauts ou sur des modèles beaucoup plus grands.

En résumé, ce papier fournit une carte mécaniste précise de la façon dont les connaissances factuelles nouvelles sont intégrées et récupérées dans les Transformers, en passant d'une analyse basée sur les activations à une analyse basée sur les paramètres (poids), offrant ainsi une compréhension plus profonde de la "mémoire" des LLMs.