🤖 machine learning

Cross-Layer Interaction under Weight-Space Ablation: A Closed-Form Attention Jacobian Bound and a Test on a Real Pretrained Model

Ce document étend les bornes théoriques sur les interactions inter-couches dans l'ablation de l'espace des poids en dérivant une borne de Jacobienne d'attention sous forme fermée, vérifiée sur un modèle pré-entraîné réel, et en démontrant des résultats empiriques mixtes sur un circuit émergent d'identification de l'objet indirect.

Auteurs originaux : Abdallah Khemais

Publié 2026-08-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abdallah Khemais

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment fonctionne le cerveau d'un robot géant et super intelligent. Ce cerveau n'est pas un simple bloc de métal ; il est construit comme une longue chaîne de montage avec de nombreuses stations, ou « couches », où l'information est transmise le long de la ligne. À chaque station, le cerveau fait deux choses principales : il prête attention à des indices spécifiques (comme un détective se concentrant sur un témoin) et il traite ces indices via un module de réflexion (comme une calculatrice qui traite des chiffres). Les scientifiques appellent les parties qui transportent ces indices des « vecteurs ».

Pour comprendre ce que fait chaque partie, les chercheurs jouent à un jeu de « et si ». Ils essaient deux astuces différentes : le Patching d'Activation, où ils échangent une pensée actuelle du robot avec une pensée provenant d'une situation différente pour voir si le robot est confus, et l'Ablation de Poids, où ils « éteignent » effectivement une partie du câblage du cerveau pour voir si le robot cesse de fonctionner. Généralement, ces deux astuces racontent la même histoire. Mais parfois, quand les stations du robot sont connectées de manière complexe, les astuces donnent des réponses différentes. La grande question est : Pourquoi divergent-elles, et à quel point une partie du cerveau perturbe-t-elle une autre partie située loin en aval ? Comprendre cela est crucial car, si nous voulons réparer ou contrôler ces cerveaux géants, nous devons savoir exactement comment leurs engrenages internes interagissent, et pas seulement à quoi ils ressemblent en surface.

Ce document est comme une histoire de détective qui prend un indice trouvé dans un modèle minuscule et simple, et tente de voir si cet indice tient la route dans un robot massif du monde réel. L'auteur commence par une découverte issue d'un « article compagnon » (une étude sœur du même auteur) qui a prouvé que, dans une station unique et isolée, éteindre un type spécifique de module de réflexion (le MLP) ne perturbe pas du tout la partie attention. C'est comme éteindre la calculatrice dans une station d'usine sans affecter la loupe du détective. Cependant, cette preuve n'était valable que pour une seule station à la fois. Les vrais robots possèdent des dizaines de stations, et les parties que les scientifiques veulent éteindre sont souvent éloignées les unes des autres.

Le premier grand mouvement de l'auteur est de décomposer le chaos d'un robot multi-stations en une somme ordonnée de parties. Il démontre que la confusion totale causée par l'extinction de parties à travers de nombreuses couches peut être divisée en deux éléments : un effet de « même station » (qu'ils comprennent parfaitement) et un reste « inter-couches » (le désordre qui se produit lorsque la Station A modifie l'entrée de la Station B). Il prouve que ce reste désordonné n'est pas simplement du bruit aléatoire ; il possède une forme mathématique précise, comme une double intégrale (une façon sophistiquée de dire qu'il s'agit de l'effet accumulé de deux changements se produisant simultanément).

Mais voici le rebondissement : bien qu'ils puissent décrire la forme du désordre, ils ne peuvent pas encore chiffrer précisément l'ampleur de ce qu'il devient lorsqu'on enchaîne de nombreuses stations. Pour ce faire, ils avaient besoin d'un nouvel outil : une « borne de Jacobian » pour la partie attention du cerveau. Voyez cela comme un panneau de limitation de vitesse pour la rapidité avec laquelle un changement dans un indice peut se propager à travers le mécanisme d'attention. L'auteur a dérivé cette limitation de vitesse sous la forme d'une formule en forme fermée (une équation exacte et élégante) et l'a testée contre un cerveau de robot pré-entraîné et réel appelé Qwen2.5-1.5B-Instruct. Ils ont vérifié 12 points spécifiques dans ce cerveau réel, et la limite de vitesse s'est avérée exacte à chaque fois — zéro violation. Cependant, ils sont honnêtes quant à la limite : ils ont vérifié la limite de vitesse pour une station, mais ils n'ont pas encore prouvé que si l'on enchaîne 28 stations, les erreurs n'explosent pas en quelque chose d'inutile. Ainsi, la mathématique est exacte, mais le « grand nombre » final pour toute la chaîne reste une question ouverte.

Pour voir si leurs théories fonctionnent sur quelque chose de réel, l'auteur est parti à la chasse d'un circuit caché à l'intérieur du robot Qwen qui l'aide à résoudre l'« Identification de l'Objet Indirect » (comprendre qui a donné un objet à qui dans une phrase comme « La balle a été donnée à Mary par John »). Ils n'ont pas conçu ce circuit ; il est apparu naturellement alors que le robot apprenait à parler. Ils ont découvert un petit groupe partagé de neurones qui agit comme le cœur de cette compétence, apparaissant dans presque tous les cas de test, ainsi que des neurones de « secours » supplémentaires qui sont spécifiques à chaque phrase.

Lorsqu'ils ont testé le motif en trois points (est-ce que l'extinction du circuit fait s'effondrer la logique du robot ? est-ce que les deux astuces divergent ? y a-t-il une interaction désordonnée ?), les résultats ont été un mélange authentique.

Effondrement : Sur quatre des cinq phrases de test, éteindre le circuit a rendu le robot confus, comme prédit. Mais sur une phrase (« Anna/Mike »), le robot n'a presque pas réagi, montrant que ces circuits ne sont pas toujours fiables à 100 %.
Dissociation : Les deux astuces (patching vs extinction) ont toujours divergé, confirmant qu'elles mesurent effectivement des choses différentes.
Interaction : Sur trois des cinq phrases, ils ont mesuré une « interaction non nulle », ce qui signifie que les parties se sont réellement perturbées mutuellement. Crucialement, ces interactions se sont produites entre des couches éloignées, et non entre des couches adjacentes. Cela suggère que le « reste inter-couches » désordonné identifié par l'auteur est réel et mesurable dans un vrai cerveau, même si la borne mathématique exacte pour celui-ci est encore en cours d'élaboration.

En résumé, l'article prouve que l'« interaction désordonnée » entre des parties distantes d'un réseau neuronal est un phénomène réel et mesurable qui peut être décomposé en pièces mathématiques exactes. Ils ont trouvé un nouvel outil pour mesurer une partie de ce désordre et l'ont vérifié sur un robot réel, mais l'étape finale consistant à enchaîner cet outil sur toute la profondeur du robot est encore un travail en cours. La conclusion n'est pas un problème résolu, mais une carte bien plus claire de l'endroit où réside le mystère.

Énoncé du problème
Cet article traite de deux limitations spécifiques d'un travail compagnon (même auteur) concernant l'analyse causale des réseaux de neurones via le patch de l'activation (activation patching) et l'ablation dans l'espace des poids (weight-space ablation). Le papier compagnon a établi une formule d'interaction exacte de premier ordre pour deux porteurs (une tête d'attention et le MLP de sa couche) au sein d'un seul bloc résiduel d'un modèle idéalisé. Cependant, il a laissé deux lacunes critiques :

Portée multi-couches : Le théorème compagnon est silencieux sur les interactions entre porteurs séparés par plusieurs couches, ce qui est le cas générique dans les transformers réels. Il ne rend pas compte de la manière dont une ablation dans une couche antérieure se propage pour affecter le calcul d'une couche ultérieure.
Portée empirique : Les résultats du papier compagnon ont été vérifiés uniquement sur de petits transformers synthétiques entraînés de zéro pour une tâche conditionnelle spécifique. Il reste inconnu si ces prédictions théoriques tiennent pour les circuits « émergents » trouvés dans de grands modèles pré-entraînés sur le langage naturel.

Méthodologie
L'article étend le cadre théorique du travail compagnon en utilisant des décompositions mathématiques exactes et des bornes sous forme fermée, puis valide ces découvertes sur un modèle réel pré-entraîné.

Extension théorique (Décomposition multi-couches) : L'auteur dérive une identité exacte (Proposition 1) montrant que l'écart d'interaction pour un sous-ensemble arbitraire de porteurs ablatés s'étendant sur plusieurs couches se décompose en une somme de termes « même bloc » (un par couche touchée) plus un « reste inter-couches » ( $R_\times$ ).
Identité exacte inter-couches : Pour le cas de deux couches touchées, le reste $R_\times$ est isolé exactement comme une intégrale double d'une dérivée partielle mixte de second ordre (Proposition 2), appliant le théorème fondamental du calcul un niveau au-dessus.
Bornes en forme fermée :
- Jacobien d'attention : Pour borner le reste inter-couches, l'auteur dérive une borne pointwise en forme fermée sur le Jacobien de la sortie d'une seule tête d'attention par rapport à un jeton clé ou valeur perturbé (Proposition 3).
- Constante de courbure : L'auteur calcule en forme fermée la constante de courbure $\Lambda$ requise pour la borne de second ordre du papier compagnon, en utilisant uniquement les poids entraînés (Proposition 4), plutôt que de l'assumer.
Vérification empirique :
- Vérification synthétique : La décomposition multi-couches est testée sur les cinq instances de transformers synthétiques du papier compagnon.
- Vérification de modèle réel : L'auteur recherche un circuit émergent pour l'identification de l'objet indirect (IOI) dans Qwen2.5-1.5B-Instruct en utilisant une recherche par patch d'activation gourmande. Ils mesurent ensuite le motif tripartite (effondrement, dissociation et interaction) sur ce circuit.

Contributions clés

Décomposition multi-couches exacte : L'article fournit une décomposition exacte des effets d'interaction multi-couches en termes de même bloc et un reste inter-couches spécifique. Il prouve que les termes du même bloc sont nuls si seuls les MLP sont ablatés et égaux au terme borné du papier compagnon si la couche alimente directement la lecture (readout).
Borne du Jacobien d'attention en forme fermée : L'article dérive une borne en forme fermée pour la norme d'opérateur du sous-bloc Jacobien de l'attention. Cette borne est vérifiée pointwise contre les poids réels de Qwen2.5-1.5B-Instruct avec zéro violation.
Constante de courbure explicite : L'article fournit la constante de courbure $\Lambda$ précédemment non exposée en forme fermée, calculée à partir des normes spectrales des poids MLP entraînés et des échelles de normalisation.
Preuve empirique sur des modèles pré-entraînés : L'article identifie un circuit IOI émergent dans un modèle pré-entraîné de 1,5 milliard de paramètres et rapporte des résultats empiriques mixtes concernant les prédictions théoriques d'effondrement, de dissociation et d'interaction.

Résultats

Théoriques : L'identité de décomposition est exacte. La borne du Jacobien d'attention dérivée est vérifiée pointwise sur les poids réels (12 sites, 0 violation), bien que l'auteur note que chaîner cette borne sur de nombreuses couches reste non vérifié et probablement lâche en raison de l'accumulation de l'imprécision.
Expériences synthétiques : Sur les modèles synthétiques, l'identité de décomposition multi-couches tient à la précision de la virgule flottante. Cependant, le reste inter-couches $R_\times$ est souvent du même ordre de grandeur que la somme du même bloc, et les deux termes s'annulent fréquemment partiellement. Ainsi, la somme du même bloc seule n'est pas un indicateur fiable de l'interaction totale dans les configurations multi-couches.
Modèle réel (Qwen2.5-1.5B-Instruct) :
- Découverte de circuit : Un noyau partagé (Couche 25/Tête 9) et un support spécifique à l'instance ont été trouvés pour la tâche IOI.
- Effondrement : Observé clairement sur 4 instances sur 5, mais absent sur une (Anna/Mike), où l'ablation du circuit a peine réduit l'écart de décision.
- Dissociation : Un écart significatif entre les effets de patch et d'ablation a été observé sur les 5 instances, confirmant qu'ils sont des opérations distinctes.
- Interaction : Une interaction non nulle mesurable a été trouvée sur 3 instances sur 5. Crucialement, les paires de couches impliquées dans ces interactions n'étaient pas dans la configuration de bloc unique prouvée dans le théorème compagnon. Par conséquent, ces résultats sont suggestifs du cas multi-couches mais ne constituent pas un test direct du théorème du bloc unique.

Signification et affirmations
L'article affirme combler l'écart entre les garanties théoriques du bloc unique et la réalité des architectures de transformers multi-couches, mais le fait avec une honnêteté explicite quant aux limitations restantes.

Il établit que les interactions multi-couches peuvent être exactement décomposées, isolant le « reste inter-couches » comme la quantité spécifique qui reste non bornée.
Il fournit les ingrédients mathématiques nécessaires (la borne du Jacobien d'attention et la constante de courbure) pour potentiellement borner ce reste, en vérifiant ces éléments pointwise sur des poids réels.
Il démontre que les motifs qualitatifs (effondrement, dissociation, interaction) observés dans les modèles synthétiques apparaissent également dans les circuits émergents de modèles pré-entraînés réels, mais avec une « fidélité mixte ».
L'auteur déclare explicitement qu'il ne prétend pas avoir borné le reste inter-couches à travers des profondeurs arbitraires, ni qu'il prétend que les résultats d'interaction sur Qwen2.5 prouvent que le théorème du bloc unique s'applique aux cas multi-couches. Au lieu de cela, il présente les résultats mixtes comme une preuve que la théorie n'est pas simplement un artefact de l'entraînement synthétique, tout en soulignant que le signe et l'amplitude des interactions multi-couches restent une question complexe et ouverte.

Articles similaires