Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

Ce papier démontre que l'identité de la tâche dans l'apprentissage en contexte n'est pas localisée à des couches ou des jetons spécifiques comme le suggère le sondage linéaire, mais est au contraire encodée de manière causale sous forme de modèles de format de sortie distribués à travers les jetons de démonstration, avec une fenêtre d'intervention critique autour de 30 % de la profondeur du réseau.

L'essentiel

Imaginez un grand modèle de langage (comme ceux qui alimentent les chatbots) comme une immense usine à plusieurs étages. Lorsque vous lui donnez quelques exemples d'une tâche (comme « transformez ce mot en majuscules »), il tente de déduire la règle et de l'appliquer à votre nouvelle question. Cela s'appelle l'Apprentissage en Contexte (ICL).

Pendant longtemps, les scientifiques ont cru savoir où dans cette usine était stockée la « règle ». Ils utilisaient un outil appelé « sonde » (comme un détecteur de métaux) capable de biper bruyamment et de déclarer : « Oui, la règle pour les majuscules est juste ici ! » Ils ont repéré ces bipements à des endroits précis sur des étages spécifiques de l'usine.

La Grande Surprise : Le Détecteur de Métaux est un Menteur
Les auteurs de cet article ont décidé de tester si ces bipements signifiaient réellement quelque chose d'important. Ils ont tenté une expérience de « chirurgie » : ils se sont rendus à l'endroit exact où le détecteur de métaux indiquait que la règle se trouvait, ont retiré l'information et l'ont remplacée par autre chose.

• Le Résultat : Rien ne s'est produit. L'usine a continué de fonctionner parfaitement, ignorant complètement la chirurgie.
• L'Analogie : Imaginez que vous pensez que le moteur d'une voiture est contrôlé par un seul fil rouge. Vous coupez ce fil, attendant que la voiture s'arrête. Au lieu de cela, la voiture continue de rouler. Il s'avère que le moteur n'est pas contrôlé par un seul fil ; le signal est réparti sur des milliers de fils. Si vous en coupez un seul, la voiture s'en fiche.

La Réelle Découverte : Le « Modèle Distribué »
Les chercheurs ont réalisé que la « règle » n'est pas stockée à un seul endroit. C'est comme un puzzle dispersé sur l'ensemble des exemples que vous avez fournis au modèle.

1. L'Échec de la Position Unique : Si vous essayez de remplacer une seule pièce du puzzle (un mot dans l'exemple), le modèle ne le remarque pas. Il a trop d'autres pièces pour reconstituer l'image.
2. La Percée Multi-Positionnelle : Mais, si vous remplacez toutes les pièces du puzzle en même temps (chaque mot de sortie dans les exemples), le modèle change d'avis. Il commence à suivre la nouvelle règle que vous lui avez donnée.

Le « Point Doux » dans l'Usine
Les chercheurs ont découvert que ce « remplacement de puzzle » ne fonctionne que si vous le faites à un étage spécifique de l'usine.

• Trop tôt (Étages 1–7) : Les pièces du puzzle n'ont pas encore été assemblées ; le motif n'est pas clair.
• Trop tard (Étages 15 et plus) : L'usine a déjà fini de construire la voiture et roule ; modifier le plan maintenant est trop tard.
• Juste ce qu'il faut (Étage 8) : C'est la « fenêtre d'engagement ». C'est là que l'usine finalise la conception mais n'a pas encore commencé la construction. Si vous échangez les plans ici, l'usine construit la nouvelle voiture.

Ce Qui est Vraiment Transféré ?
L'article a découvert que le modèle n'apprend pas le sens de la tâche (comme « cela concerne les sentiments »). Au contraire, il apprend la forme de la réponse.

• L'Analogie : Imaginez que vous enseignez à un modèle comment écrire un poème. Si vous changez les exemples pour montrer un type de poème différent (par exemple, des couplets rimés devenant des haïkus), le modèle ne changera pas, même si le sujet est le même.
• La Découverte : Le modèle ne copie que le « modèle ». Si les exemples montrent « Mot, Mot, Mot », le modèle ne passera à une nouvelle tâche que si cette nouvelle tâche ressemble aussi à « Mot, Mot, Mot ». Il ne se soucie pas si les mots parlent de chats ou de nombres ; il se soucie que la structure corresponde.

La Requête vs Les Exemples
L'article a également trouvé une asymétrie amusante :

• Les Exemples (La Démo) : Ce sont comme les « ingrédients ». Vous avez besoin de tous d'entre eux pour préparer le plat. Si vous en manquez un, la recette fonctionne toujours car les autres compensent. Mais si vous les remplacez tous, le plat change complètement.
• La Question (La Requête) : C'est le « chef » qui lit la recette. Si vous perturbez les instructions du chef (la partie question), tout échoue. Le chef est essentiel, mais le chef ne détient pas la recette ; ce sont les ingrédients qui la détiennent.

Résumé en Langage Courant

1. Ne faites pas confiance au détecteur de métaux : Le fait qu'un modèle puisse trouver une règle à un endroit ne signifie pas que cet endroit est important.
2. La règle est partout : L'« identité de la tâche » est répartie sur toutes les réponses des exemples, pas coincée à un seul endroit.
3. Le timing compte : Vous ne pouvez changer l'avis du modèle qu'au milieu de son processus de réflexion, ni au début ni à la fin.
4. Il s'agit de la forme, pas du sens : Le modèle copie le format de la réponse (comme un modèle) plutôt que de comprendre la logique profonde de la tâche.

Cet article a essentiellement réécrit la carte de la façon dont ces modèles d'IA apprennent à partir d'exemples, nous montrant que le « cerveau » de la tâche est un réseau distribué et tolérant aux pannes, et non un simple interrupteur.

Résumé technique

Résumé technique : Les modèles de sortie distribués pilotent l'apprentissage en contexte

Énoncé du problème

Comprendre comment les grands modèles de langage (LLM) encodent l'identité d'une tâche à partir de quelques démonstrations (few-shot) reste un problème ouvert central en interprétabilité mécaniste. Les recherches antérieures se sont principalement appuyées sur le probing linéaire pour localiser les représentations de tâches, rapportant une haute précision de classification à des couches et positions spécifiques. Cependant, un fossé critique existe entre la décodabilité (la capacité d'une sonde à extraire des informations) et la pertinence causale (le fait que ces informations pilotent le comportement du modèle). Cet article examine si la haute précision de sondage observée dans les travaux précédents se traduit par un contrôle causal sur l'identité de la tâche dans l'apprentissage en contexte (ICL).

Méthodologie

Les auteurs emploient des expériences d'intervention sur les activations sur Llama-3.2-3B-Instruct et répliquent les résultats sur trois autres modèles (Llama-3.2-1B, Qwen2.5-1.5B, Gemma-2-2B). L'étude distingue trois types de positions dans un prompt ICL : les entrées de démonstration, les sorties de démonstration et la requête.

1. Sondage (Probing) : Des classifieurs de centroïdes les plus proches sont entraînés à chaque paire (couche, position) pour mesurer la décodabilité de l'identité de la tâche.
2. Intervention sur une seule position : Le vecteur d'activation à une seule paire (couche, position) dans un prompt cible est remplacé par l'activation moyenne d'une tâche source. Cela teste si l'identité de la tâche est localisée.
3. Intervention multi-positions : Les activations à tous les jetons de sortie de démonstration sont remplacées simultanément. Cela teste si l'identité de la tâche est distribuée.
4. Traçage causal : Du bruit gaussien est injecté dans des positions spécifiques pour mesurer la nécessité (taux de perturbation), tandis que la transplantation mesure la suffisance (taux de transfert).
5. Analyse de compatibilité de format : L'étude crée des variantes de tâches avec des opérations identiques mais des formats de sortie différents (par exemple, "MOT" vs "MOT.") pour déterminer si le transfert repose sur des règles abstraites ou des modèles de surface.

Contributions et résultats clés

1. L'échec de l'intervention sur une seule position

Malgré une précision de sondage de 100 % aux positions de démonstration et de 83 % à la position de requête sur les 28 couches, l'intervention sur une seule position atteint 0 % de transfert de tâche à chaque couche. Des expériences de contrôle (ablation nulle et aléatoire) confirment qu'aucune position unique n'est causalement nécessaire ; le modèle ignore totalement les perturbations sur une seule position. Cela démontre que l'encodage de la tâche est fondamentalement distribué et tolérant aux pannes.

2. La percée de l'intervention multi-positions

Les auteurs révèlent que l'identité de la tâche ne peut être transférée causalement que par une intervention multi-positions simultanée.

• Fenêtre optimale : Le transfert atteint son pic à la couche 8 (environ 30 % de la profondeur du réseau) pour les modèles de 28 couches, atteignant 96 % de transfert (IC 95 % : [87 %, 99 %]) pour les paires compatibles en format.
• Spécificité de la position : Le remplacement des jetons de sortie des démonstrations produit 94 % de transfert, tandis que le remplacement des jetons d'entrée produit 0 %. Le remplacement de tous les jetons de démo (entrées + sorties) produit 96 %, indiquant que les jetons de sortie portent le signal principal.
• Effets de seuil : Le transfert n'est pas progressif. Le remplacement de 1 à 3 positions produit 0 % de transfert ; le remplacement d'environ 10 positions produit 10 % ; le remplacement de toutes les positions produit environ 90 %. De même, 1 à 3 démonstrations sources produisent 0 % de transfert, tandis que 5 en produisent 93 %.

3. Asymétrie causale : Requête vs Démonstrations

Le traçage causal via l'injection de bruit révèle une asymétrie frappante :

• Position de requête : Strictement nécessaire (perturbation de 53 à 100 % lorsqu'elle est bruitée dans les couches 0 à 14) mais non suffisante (0 % de transfert lorsqu'elle est transplantée).
• Positions de démonstration : Individuellement non nécessaires (0 % de perturbation lorsqu'elles sont bruitées) mais collectivement suffisantes (96 % de transfert lorsqu'elles sont toutes remplacées).
  Cela suggère un pipeline en étapes : les premières couches encodent des modèles distribués, les couches intermédiaires agrègent ces informations vers la requête, et les dernières couches s'engagent dans la génération de sortie.

4. L'hypothèse du modèle distribué

Le transfert dépend de la compatibilité des représentations internes, et non de la similarité de surface.

• Sensibilité au format : Les tâches avec des opérations identiques mais des formats de sortie différents (par exemple, "MOT" vs "MOT.") montrent 0 % de transfert. À l'inverse, les tâches avec des modèles structurellement similaires (par exemple, "mot mot" vs "mot, mot") montrent 90 % de transfert.
• Compatibilité du nombre de jetons : Le transfert est piloté par la compatibilité des nombres de jetons de sortie. Par exemple, majuscule (1 jeton) transfère vers linéaire 2x (1 jeton) à 100 %, mais répéter mot (2 jetons) échoue à transférer vers répéter n (3 jetons).
• Prévisibilité : Seules 7 paires de tâches sur 56 (13 %) atteignent ≥50 % de transfert. Elles forment un cluster de tâches procédurales avec des structures de sortie rigides, à un seul jeton ou à jetons répétés. Les tâches sémantiques montrent un transfert inter-tâche proche de zéro.

Importance et affirmations

L'article établit l'hypothèse du modèle distribué : l'identité de la tâche en ICL n'est pas encodée comme un vecteur localisé ou une règle abstraite, mais comme des modèles de format de sortie distribués à travers les jetons de démonstration.

• Insight mécaniste : Les résultats résolvent l'ambiguïté entre décodabilité et pertinence causale, montrant qu'une haute précision de sondage n'implique pas un contrôle causal.
• Spécificité de l'architecture : La fenêtre d'intervention optimale à ~30 % de profondeur semble être une caractéristique universelle des architectures LLaMA, Qwen et Gemma, suggérant une étape de traitement général des transformateurs où les modèles sont encodés avant l'agrégation.
• Implications pour le pilotage : Le pilotage efficace des activations pour l'ICL nécessite un remplacement coordonné multi-positions dans les couches début-milieu, plutôt qu'une édition de vecteur unique.
• Nature de l'ICL : Les résultats suggèrent que pour de nombreuses tâches, le modèle fonctionne en faisant correspondre des modèles de sortie plutôt qu'en inférant des relations abstraites entrée-sortie, en particulier pour les tâches procédurales.

Les auteurs concluent que si le mécanisme est général, le transfert réussi est contraint par une compatibilité structurelle stricte entre les formats de sortie source et cible, écartant les explications triviales basées sur la similarité de surface ou des artefacts d'injection aléatoire.