🤖 machine learning

A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations: I. The Single-Block Theory and Synthetic Validation

Cet article établit un cadre théorique idéalisé prouvant que le patch d'activation et l'ablation dans l'espace des poids produisent des interprétations causales divergentes des composants du modèle, dérivant les conditions exactes de leur accord et de leur désaccord tout en validant ces prédictions par des expériences synthétiques et des modèles de transformateurs réels.

Auteurs originaux : Abdallah Khemais

Publié 2026-08-05

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abdallah Khemais

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Dilemme du Détective : Comment nous essayons de comprendre les cerveaux de l'IA

Imaginez que vous possédez une machine géante et complexe capable de raconter des histoires, de résoudre des problèmes mathématiques ou d'écrire des poèmes. Vous voulez savoir comment elle fonctionne. Est-ce grâce aux engrenages au milieu ? Aux ressorts en haut ? Pour le découvrir, les scientifiques utilisent deux astuces principales. La première est semblable à l'Activation Patching (le patch d'activation) : imaginez que la machine exécute une histoire, que vous mettez la machine en pause, que vous remplacez un engrenage spécifique par un engrenage provenant d'une autre histoire, et que vous regardez si l'intrigue change. Si l'histoire change, cet engrenage était important. La seconde astuce est le Weight-Space Ablation (l'ablation dans l'espace des poids) : au lieu de mettre la machine en pause, vous prenez un tournevis et vous retirez ou « annulez » (mise à zéro) définitivement cet engrenage. Ensuite, vous relancez la machine. Si l'histoire s'effondre, cet engrenage était important.

Pendant longtemps, les scientifiques ont espéré que ces deux astuces raconteraient la même histoire. Ils supposaient que si un engrenage importait pour un moment spécifique (le patch), il importerait également pour la conception globale de la machine (l'ablation). Mais dans le monde de l'Intelligence Artificielle, les choses sont rarement aussi simples. Parfois, une machine est tellement remplie d'engrenages de secours que le retrait de l'un d'eux ne casse rien, même si le remplacer au milieu d'une histoire provoque un désastre. Cet article pose une question cruciale : Quand ces deux méthodes de détection sont-elles d'accord, et quand nous mentent-elles ? L'auteur ne se contente pas de deviner ; il construit un modèle mathématique pour prouver exactement pourquoi ces méthodes peuvent diverger, et il teste cela sur de minuscules cerveaux d'IA fictifs pour voir si les mathématiques tiennent la route dans le monde réel.

L'Article : Pourquoi deux méthodes de détection peuvent être en désaccord

Cet article, intitulé A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations, est une plongée profonde dans la mécanique de la prise de décision des modèles d'IA. L'auteur, Abdallah Khemais, traite l'IA non pas comme une boîte noire mystérieuse, mais comme un ensemble d'ingrédients mathématiques que l'on mélange. Il se concentre sur un type spécifique de comportement d'IA appelé « calcul conditionnel » — où l'IA décide de faire une chose si elle voit un jeton « rouge » et une autre chose si elle voit un jeton « bleu ».

Les trois grandes découvertes

L'article prouve trois points principaux à liment d'un modèle mathématique simplifié, puis vérifie si ces choses se produisent dans de véritables modèles d'IA entraînés.

1. L'« Effondrement Parfait » (Quand le retrait de parties fait oublier à l'IA)
Imaginez que l'IA choisisse entre deux chemins : le Chemin A (la route « Inversée ») et le Chemin B (la route « Littérale »). L'auteur prouve que si vous retirez un ensemble spécifique de « transporteurs » (les parties de l'IA qui portent la décision), l'IA peut soudainement oublier la différence entre le Chemin A et le Chemin B. Elle s'effondre en une réponse unique et inconditionnelle.

Le piège : Cela ne se produit que si le retrait est parfaitement équilibré. Si vous retirez une partie qui pousse l'IA vers le Chemin A, vous devez également retirer une partie qui la pousse vers le Chemin B avec la même force exacte. Si l'équilibre est rompu, l'IA ne s'effondre pas ; elle est simplement confuse.
Le test en conditions réelles : L'auteur a entraîné de petits modèles d'IA sur un jeu où ils devaient se souvenir de clés et de valeurs. Il a constaté que parfois, retirer une partie faisait choisir le mauvais chemin à l'IA, mais retirer une combinaison différente de parties lui faisait choisir le mauvais chemin opposé. Ce « renversement de polarité » a prouvé que l'IA ne se contentait pas d'échouer de manière aléatoire ; elle s'effondrait d'une manière très spécifique et prévisible, telle que les mathématiques l'avaient prédit.

2. Le décalage « Patch vs Ablate » (Le piège de la redondance)
C'est la découverte la plus ludique et la plus surprenante de l'article. L'auteur montre que l'Activation Patching et le Weight Ablation mesurent deux choses complètement différentes.

L'analogie : Imaginez une équipe de cinq personnes portant une boîte lourde. Si vous demandez : « Qui est assez fort pour porter la boîte seul ? » et que vous remplacez une personne par un géant surpuissant (Patching), la boîte vole à travers la pièce. Cette personne est « suffisante ». Mais si vous demandez : « Qui est nécessaire ? » et que vous retirez discrètement une personne de l'équipe (Ablation), les quatre autres peuvent simplement compenser, et la boîte ne tombe pas.
La découverte : L'article prouve mathématiquement que vous pouvez avoir une situation où chaque personne est assez forte pour porter la boîte seule (donc échanger n'importe laquelle d'entre elles change le résultat), mais où aucune personne n'est nécessaire (donc en retirer une seule ne fait rien).
Le résultat : Dans leurs expériences, ils ont trouvé des composants d'IA qui, lorsqu'ils étaient échangés, changeaient complètement la décision de l'IA (un « ratio de récupération » supérieur à 1, ce qui signifie qu'ils ont dépassé l'objectif). Pourtant, lorsqu'ils retiraient ces mêmes composants, l'IA continuait de fonctionner parfaitement. Cela explique pourquoi certains composants d'IA ressemblent à des héros dans un test et à des décorations inutiles dans un autre.

3. L'« Interaction Cachée » (Quand les parties se parlent)
Le modèle mathématique simplifié suppose que chaque partie de l'IA fonctionne indépendamment, comme des ingrédients séparés dans une salade. Mais dans les vrais modèles d'IA, les parties se parlent souvent. Plus précisément, l'auteur a examiné comment une « Tête d'Attention » (une partie qui regarde d'autres mots) interagit avec le « MLP » (une partie qui traite le résultat) dans la même couche.

Les mathématiques : Ils ont dérivé une formule précise montrant que si vous retirez la Tête d'Attention, cela modifie l'entrée pour le MLP, créant un « effet de ricochet » ou un « terme d'interaction » que le modèle simple ignore.
La preuve : Ils ont montré que si vous retirez uniquement le MLP, cet effet de ricochet disparaît (le calcul est exact). Mais si vous retirez la Tête d'Attention, l'effet de ricochet est réel et mesurable.
L'expérience : Ils ont mesuré cette « magnitude d'interaction » dans leurs modèles d'IA. Ils ont trouvé une corrélation négative forte (un rang de Spearman de -0,83) : plus l'interaction cachée est grande, moins les prédictions du modèle simple sont précises.

Le moment « Oups » : Pas de seuil magique

C'est ici que l'article se montre très honnête et scientifique. Au début, l'auteur pensait qu'il pourrait trouver un « chiffre magique » ou une ligne claire séparant le moment où le modèle simple fonctionne et celui où il échoue. Ils ont examiné 14 configurations spécifiques et ont vu un écart net : certaines avaient une interaction nulle, d'autres une interaction élevée, et le modèle fonctionnait parfaitement pour les premières.

Mais ensuite, ils ont testé 25 configurations supplémentaires (out-of-sample). L'écart net a disparu. Les configurations qui semblaient devoir échouer fonctionnaient parfois, et vice versa.

La conclusion : L'auteur admet que, bien que la taille de l'interaction soit un excellent prédicteur de l'erreur du modèle simple, on ne peut pas encore utiliser de règle simple de type oui/non pour dire « Ceci est sûr, cela ne l'est pas ». La relation est une courbe lisse, pas un interrupteur. Ils déclarent explicitement que la « séparation nette » qu'ils avaient observée au début était probablement un coup de chance dû à la petite taille de l'échantillon, et que le monde réel est plus désordonné.

Pourquoi cela importe

Cet article ne se contente pas de dire « l'IA est difficile ». Il donne une carte précise de pourquoi nos outils pour comprendre l'IA peuvent être trompeurs.

Il nous dit que si une partie d'une IA semble « dispensable » lorsque nous la retirons, c'est peut-être simplement parce que l'IA est redondante, et non parce que la partie est sans importance.
Il nous dit que si nous voulons comprendre l'IA, nous ne pouvons pas nous fier à une seule méthode (comme le patching ou l'ablation) ; nous devons comprendre les mathématiques de leurs différences.
Plus important encore, il montre que si nous voulons prédire à quel point un modèle échouera lorsqu'on le simplifie, nous ne pouvons pas encore prédire exactement quand il échouera avec une règle binaire.

L'auteur conclut que le « modèle idéalisé » (le calcul simple) est un outil puissant, mais qu'il possède un terme d'erreur connu. En mesurant ce terme d'erreur, nous pouvons obtenir une image beaucoup plus claire de ce que l'IA fait réellement, plutôt que d'être trompés par la redondance de sa propre conception. C'est un rappel que dans la quête de compréhension de l'IA, la vérité est souvent un gradient, et non un interrupteur.

Ce document examine les conditions dans lesquelles deux familles dominantes d'interventions de l'interprétabilité mécaniste — le patching d'activation (activation patching) et l'ablation dans l'espace des poids (weight-space ablation) — concordent ou divergent. Bien que les deux méthodes soient utilisées pour soutenir qu'un composant spécifique du réseau est causalement responsable d'un comportement, elles opèrent sur des objets différents : le patching modifie un calcul réalisé unique (les activations), tandis que l'ablation modifie les paramètres (les poids) qui génèrent tous les calculs. Le document démontre que ces interventions mesurent des quantités fondamentalement différentes et peuvent mener à des conclusions contradictoires sur l'importance d'un composant, même au sein d'un modèle mathématique idéalisé.

Formulation du problème

L'auteur étudie un calcul conditionnel effectué de manière additive à travers un flux résiduel, modélisé comme :
$F(x) = F_0(x) + \sum_{i=1}^k \alpha_i(x) v_i$
où $F_0$ est la partie inconditionnelle, $v_i$ sont des directions de caractéristiques fixes (vecteurs porteurs ou carriers), et $\alpha_i(x)$ sont des coefficients sélecteurs scalaires. La décision du réseau est déterminée par une lecture linéaire $s(x) = \psi(F(x)) + b$ . L'étude se concentre sur des paires appariées d'entrées $(x_A, x_B)$ qui nécessitent la même sortie mais sont traitées via des branches conditionnelles opposées (c'est-à-dire $s(x_A) > 0 > s(x_B)$ ).

La question centrale est la suivante : quand la suppression d'un sous-ensemble de vecteurs porteurs (ablation) force-t-elle les deux entrées vers une même sortie inconditionnelle (effondrement ou collapse), et comment cela se rapporte-t-il à l'effet du patching d'un vecteur porteur unique ?

Méthodologie

Le document emploie une analyse théorique d'un Modèle Conditionnel Abstrait suivie d'une validation synthétique sur de petits transformateurs entraînés sur des tâches conditionnelles.

Dérivation théorique : L'auteur dérive des identités exactes pour les effets de l'ablation et du patching. Il définit les « vecteurs porteurs » comme les paires $(v_i, \alpha_i)$ et analyse le flux résiduel après la suppression d'un sous-ensemble de ces termes.
Hypothèses idéalisées : La théorie suppose l'additivité résiduelle, un support de rang faible pour les calculs conditionnels, un calcul de base stable et une lecture linéaire.
Validation synthétique : De petits transformateurs (4 couches, largeur 64) sont entraînés sur une tâche de rappel associatif synthétique impliquant un jeton « marqueur » qui bascule entre deux formats (recherche directe vs recherche permutée). L'auteur effectue un patching d'activation glouton pour identifier les « vecteurs porteurs » (têtes d'attention ou MLP) puis effectue des ablations de faible rang dans l'espace des poids en projetant les deltas d'activation donneur-receveur hors des matrices de poids.
Analyse d'interaction : Le document dérive une formule de premier ordre pour le terme d'interaction qui survient lorsqu'une tête d'attention et le MLP de sa couche sont composés, montrant comment le modèle additif idéalisé échoue dans cette configuration architecturale spécifique.

Contributions clés et résultats

1. Effondrement conditionnel (Théorème 1)
Le document prouve que la suppression d'un sous-ensemble de vecteurs porteurs $S$ fait s'effondrer une paire appariée sur une sortie inconditionnelle unique si et seulement si deux conditions exactes sont remplies :

Symétrie : La masse supprimée est symétrique sur la paire ( $\bar{q}_S = 0$ ).
Absence de contraste survivant : Aucun contraste ne subsiste en dehors du sous-ensemble supprimé ( $\Psi_S = 0$ ).
Lorsque ces conditions sont remplies, l'erreur résultante est déterministe, et la polarité de l'effondrement est déterminée par le signe de la marge moyenne de la paire. L'auteur fournit une identité d'erreur exacte (Proposition 1) montrant que si ces conditions ne sont remplies que de manière approximative, l'erreur est bornée par l'écart par rapport à ces égalités, permettant ainsi à la théorie de s'appliquer à de vrais réseaux où l'égalité exacte est impossible.

2. Dissociation Patching–Ablation (Théorème 2)
L'auteur prouve que le patching et l'ablation mesurent des quantités distinctes :

Le Patching déplace la lecture par le contraste du vecteur porteur ( $\beta_i \delta_i$ , où $\delta_i$ est la différence d'activation entre le donneur et le receveur).
L'Ablation déplace la lecture par le niveau absolu du vecteur porteur au niveau du receveur ( $-\beta_i \alpha_i(x_B)$ ).
L'auteur construit des paires appariées où chaque patch de vecteur porteur unique inverse la décision (suffisance), tandis qu'aucune ablation de vecteur porteur unique ne le fait (absence de nécessité). Ce « régime de redondance » explique pourquoi le patching peut surestimer l'importance (dépasser la frontière de décision) tandis que l'ablation peut la sous-estimer (les composants paraissant dispensables en raison de la redondance).

3. Interaction non linéaire (Théorème 3)
Le modèle idéalisé suppose que les vecteurs porteurs sont indépendants. L'auteur dérive une formule exacte pour le terme d'interaction $\Delta(x)$ qui survient lorsqu'une tête d'attention est ablée mais pas son MLP de couche.

L'interaction est de second ordre par rapport à la taille de la perturbation.
Elle est identiquement nulle si seul le MLP est ablé ( $\eta(x) \equiv 0$ ).
Elle est génériquement non nulle si la tête est ablée, ce qui signifie que l'ablation de la tête perturbe la sortie du MLP même si le MLP est intact.
Ce terme d'interaction explique pourquoi les prédictions d'effondrement idéalisé peuvent échouer dans les réseaux réels impliquant des têtes.

4. Validation synthétique
Les expériences sur cinq instances de transformateurs entraînés confirment les prédictions théoriques :

Effondrement : Des sous-ensembles d'ablation imbriqués peuvent faire s'effondrer le réseau sur des branches inconditionnelles opposées (par exemple, un sous-ensemble force une lecture « inversée », un sous-ensemble plus large force une lecture « littérale »), un phénomène impossible dans le modèle idéalisé mais expliqué par le terme d'interaction.
Dissociation : Un patch sur un site unique a montré un ratio de récupération $\kappa > 1$ (dépassement/overshoot), tandis que l'ablation de poids correspondante a laissé la majorité des entrées correctes, confirmant le régime de suffisance sans nécessité.
Interaction vs Fidélité : À travers 39 configurations d'ablation, la magnitude du terme d'interaction (l'écart entre le modèle idéalisé et le réseau édité réel) est fortement corrélée de manière monotone (rho de Spearman $\rho \approx -0,83$ ) avec la précision de prédiction du modèle.
Résultat négatif : Une « séparation nette » (un seuil distinguant parfaitement les configurations idéalisées des non-idéalisées) observée dans un sous-ensemble de 14 configurations n'a pas survécu lors des tests sur 25 configurations supplémentaires. L'auteur conclut que, bien que la magnitude de l'interaction soit la quantité correcte à suivre, un seuil numérique universel n'est pas établi par ces expériences.

Signification et Revendications

Le document prétend établir que le patching d'activation et l'ablation dans l'espace des poids ne sont pas deux mesures de la même quantité causale. Au lieu de cela, ce sont des opérateurs sur des objets différents qui interrogent des propriétés mathématiques différentes (contraste vs niveau absolu).

Implications pour l'interprétabilité : Un résultat d'ablation négatif ne prouve pas qu'un composant est sans importance, et un résultat de patching positif ne prouve pas qu'il est nécessaire. Ces divergences sont des caractéristiques structurelles de codes superposés et redondants, et non de simples bruits de mesure.
Précision théorique : Le document fournit des identités exactes pour les erreurs introduites par le modèle additif idéalisé, en bornant spécifiquement le terme d'interaction pour les compositions tête-MLP. Il montre que l'échec du modèle idéalisé n'est pas un bruit aléatoire mais un effet prévisible de second ordre.
Modestie sur les seuils : L'auteur précise explicitement que, bien que la théorie identifie la bonne quantité (magnitude de l'interaction) pour prédire le comportement du modèle, elle ne fournit pas encore de seuil calibré transférable d'un réseau ou d'une configuration à l'autre. La signification réside dans la compréhension qualitative de quand et pourquoi les interventions divergent, plutôt que dans une nouvelle règle de décision binaire pour l'interprétabilité.

Le travail est présenté comme une « théorie à bloc unique » avec validation synthétique, les extensions aux interactions multi-couches et aux modèles pré-entraînés réels étant réservées à une analyse complémentaire.