💬 NLP

Detection vs. Execution: Single-Bucket Probes Miss Half the Mamba-2 State Sink

Cet article démontre que dans Mamba-2, les signatures représentationnelles identifiées par des sondes à compartiment unique (single-bucket probes) confondent souvent des circuits de détection et d'exécution distincts pour le phénomène du puits d'état (state sink), révélant que seul un sous-ensemble spécifique de têtes (les spécialistes du BOS) pilote causalement la performance critique de récupération en contexte long, tandis que d'autres présentant des représentations similaires ne le font pas.

Auteurs originaux : Yuhang Jiang

Publié 2026-06-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuhang Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Voir l'« ombre » vs l'« acteur »

Imaginez que vous essayez de comprendre comment un orchestre massif et complexe joue une chanson spécifique. Vous avez un microphone (une sonde) qui peut détecter quand un instrument spécifique joue fort.

Dans le monde de la recherche en IA, les scientifiques supposent souvent que si leur microphone détecte un son fort provenant d'un instrument spécifique, c'est cet instrument qui joue réellement la mélodie.

Ce papier soutient que dans un nouveau type de modèle d'IA appelé Mamba-2, cette supposition est fausse. Le microphone détecte une énorme « ombre » d'activité, mais l'« acteur » réel qui fait le gros du travail est un petit groupe caché au sein de cette ombre. Si vous ne regardez que le son fort, vous passez à côté du véritable mécanisme.

Le cadre : Le « State Sink » (Puits d'état)

Pour comprendre le problème, nous devons comprendre ce que fait l'IA.

L'analogie : Imaginez une longue file de personnes se passant un seau d'eau en chaîne. Chaque fois qu'une nouvelle personne rejoint la file (un nouveau mot dans une phrase), la personne tout au début (le jeton « Début de phrase » ou BOS) doit tenir le seau très fermement pour éviter que l'eau ne s'échappe.
La science : Dans les modèles d'IA, ce fait de « tenir fermement » est appelé un State Sink. Le modèle concentre une quantité massive d'énergie sur les premiers jetons (comme le début d'une phrase ou d'une nouvelle ligne) pour maintenir sa mémoire stable.

La découverte : Deux groupes, un seul signal

Les chercheurs ont examiné les modèles Mamba-2 et ont découvert que ce « State Sink » n'est pas juste un grand groupe de travailleurs. C'est en réalité deux groupes distincts qui se ressemblent pour un détecteur simple, mais qui font des tâches très différentes.

1. Les « Spécialistes du BOS » (La couche d'exécution)

Qui ils sont : Un petit groupe de travailleurs (seulement environ 5 % du total).
Ce qu'ils font : Ce sont les faiseurs. Ce sont eux qui tiennent réellement le seau et maintent la circulation de l'eau. Si vous les retirez, toute la file s'effondre et l'IA oublie tout.
La thèse du papier : Ce sont le circuit d'« Exécution ». Ce sont eux qui effectuent réellement le calcul.

2. Les « Têtes doubles » (La couche de détection)

Qui ils sont : Un groupe beaucoup plus large (environ 30 % du total).
Ce qu'ils font : Ce sont les observateurs. Ils se tiennent à côté des faiseurs, regardent la même chose et s'enthousiasment tout autant. Pour un microphone simple (une sonde à « seau unique »), ils ressemblent exactement aux faiseurs. Leurs signaux sont presque identiques.
Le rebondissement : Si vous retirez ces observateurs, l'IA fonctionne toujours très bien ! Ils ne font pas le gros du travail. Ils sont juste en train de « détecter » que quelque chose d'important se passe.
La thèse du papier : Ce sont le circuit de « Détection ». Ils ont la bonne signature (ils ont l'air de travailler) mais pas la bonne fonction (ils ne font pas le travail réel).

L'erreur : Le piège du « Seau unique »

Le papier appelle l'erreur consistant à confondre ces deux groupes le pièage de la « Sonde à seau unique » (Single-Bucket Probe).

L'analogie : Imaginez que vous essayez de trouver les meilleurs chefs dans une cuisine en demandant : « Qui tient un couteau ? »
- Vous trouvez un petit groupe de Chefs de cuisine (les Spécialistes du BOS) qui cuisinent réellement le repas.
- Vous trouvez aussi un grand groupe de Sous-chefs (les Têtes doubles) qui tiennent des couteaux mais se contentent de couper des légumes pour la garniture.
- Si vous utilisez un test simple qui dit : « Quiconque tient un couteau est un Chef de cuisine », vous penserez à tort que les sous-chefs sont ceux qui cuisinent le plat principal.
- Le résultat : Vous pensez avoir trouvé toute l'équipe de cuisine, mais vous avez manqué le fait que la vraie cuisine est faite par une petite équipe d'élite.

Dans Mamba-2, les « couteaux » sont les signaux mathématiques. La sonde simple voit les deux groupes tenir les couteaux, mais seul le petit groupe est réellement en train de cuisiner le repas.

Pourquoi cela arrive-t-il ? (L'architecture)

Pourquoi Mamba-2 possède-t-il ce groupe d'« Ombre » alors que les anciens modèles n'en ont pas ?

Mamba-1 (L'ancien modèle) : Imaginez une cuisine où chaque chef a son propre comptoir privé. Si un chef veut se concentrer sur le début de la phrase, il peut le faire sans déranger personne d'autre. Les « Faiseurs » et les « Observateurs » sont les mêmes personnes.
M_amba-2 (Le nouveau modèle) : Imaginez une cuisine où les chefs sont forcés de partager un seul petit comptoir. Comme ils doivent partager l'espace, ils doivent faire plusieurs choses à la fois.
- Le modèle force un groupe de têtes à faire du « multiplexage » (faire deux tâches à la fois).
- Une tâche est de détecter le début d'une phrase (les Observateurs).
- L'autre tâche est d'exécuter la réinitialisation (les Faiseurs).
- Parce qu'ils partagent le même espace, ils paraissent identiques pour une sonde simple, même si leurs tâches sont différentes.

La preuve : Le test de « L'aiguille dans la botte de foin »

Pour prouver que le petit groupe (les Spécialistes) est le véritable héros et que le grand groupe (les Têtes doubles) n'est qu'un spectateur, les chercheurs ont réalisé un test de « l'aiguille dans la botte de foin ».

Le test : Ils ont caché une phrase spécifique (l'« aiguille ») au fond d'un livre immense (la « botte de foin ») et ont demandé à l'IA de la trouver.
Le résultat :
- Lorsqu'ils ont retiré le Petit Groupe (les Spécialistes) : L'IA a totalement échoué. Elle n'a pas pu trouver l'aiguille du tout. La précision est passée de 100 % à 0 %.
- Lorsqu'ils ont retiré le Grand Groupe (les Têtes doubles) : L'IA a toujours trouvé l'aiguille parfaitement.
- Conclusion : Le grand groupe ne faisait que regarder ; le petit groupe était celui qui se souvenait réellement de l'aiguille.

Résumé des affirmations du papier

Détection $\neq$ Exécution : Ce n'est pas parce qu'une partie de l'IA s'illumine (est détectée) qu'elle est en train de faire le travail (exécution).
La Scission : Dans Mamba-2, le « State Sink » se divise en une petite Couche d'Exécution (5 % des têtes) et une grande Couche de Détection (30 % des têtes).
Le Piège : Les sondes simples (à seau unique) ne voient que la grande Couche de Détection et ratent la petite Couche d'Exécution.
Le Remède : Pour comprendre comment fonctionne Mamba-2, on ne peut pas simplement regarder qui est « bruyant ». Il faut tester qui est réellement nécessaire en les retirant et en observant si l'IA se brise.
L'Architecture compte : Cela se produit à cause de la façon dont Mamba-2 est construit (projections partagées), et non pas seulement à cause de la taille du modèle.

En bref : Le papier nous avertit que dans les nouveaux modèles Mamba-2, les parties « bruyantes » du cerveau ne sont pas toujours celles qui réfléchissent. Il y a une petite équipe cachée qui fait le vrai travail, et une équipe beaucoup plus large qui se contente de faire semblant d'être occupée. Si vous n'écoutez que le bruit, vous passerez à côté de la véritable histoire.

Résumé Technique : Détection vs Exécution dans les puits d'état de Mamba-2

Énoncé du Problème
L'interprétabilité mécaniste opère souvent sous l'hypothèse que les sondes identifiant une signature représentationnelle spécifique (par exemple, une activation élevée sur les jetons de bordure) identifient également le circuit de calcul spécifique qui exécute la computation correspondante. Ce document remet en question cette hypothie dans le contexte des modèles d'espace d'état sélectifs (SSM), spécifiquement Mamba-2. Les auteurs étudient le « puits d'état » (state sink), analogue au « puits d'attention » des Transformers, où une activation disproportionnée de la porte conditionnelle au jeton ( $\Delta$ ) se produit sur les jetons de bordure (BOS/Début de séquence, sauts de ligne, etc.). Le problème central est de savoir si les sondes à compartiment unique (classant les unités selon leur activation sur une classe spécifique) localisent avec précision le circuit causal responsable de la gestion de l'état, ou si elles passent à côté d'un ensemble plus large d'unités fonctionnellement distinctes qui partagent la même signature représentationnelle.

Méthodologie
L'étude emploie une grille d'interventions rigoureuse comprenant 12 096 cellules (6 060 évaluées) à travers quatre points de contrôle de modèles : Mamba-1 (130M, 2,8B) et Mamba-2 (1,3B, 2,7B), ainsi que Pythia (160M–2,8B) comme base de comparaison inter-architectures.

Classification Spécialiste : Les unités (canaux dans Mamba-1, têtes dans Mamba-2) sont classées comme « spécialistes » si leur activation moyenne pré-softplus de $\Delta$ sur une classe de jetons spécifique (BOS, saut de ligne, etc.) dépasse un seuil ( $\tau=0,5$ ) par rapport à un ensemble de référence. Cela produit des spécialistes à « compartiment unique » (une classe) et des spécialistes « doubles » (deux classes).
Interventions Causales : Les auteurs effectuent des études d'ablation utilisant six types d'interventions (ex: gate_zero, delta_zero, gate_one) sur des ensembles spécifiques d'unités. Ils mesurent la différence de Négative Log-Likelihood (NLL) sur les huit premiers jetons après un jeton de bordure, en comparant l'ensemble des spécialistes à des compléments aléatoires de taille équivalente.
Comparaison de Granularité : L'étude contraste Mamba-1 (granularité par canal, projections $\Delta$ indépendantes) avec Mamba-2 (granularité par tête, projections $\Delta$ partagées par les têtes) pour isoler les effets architecturaux.
Validation : Les résultats sont validés sur deux corpus (wikitext-2, Pile-10k), à plusieurs échelles, ainsi que sur une tâche de récupération de contexte long (RULER Needle-in-a-Haystack).

Contributions Clés et Résultats

Causalité Conditionnelle à la Granularité :
- Dans Mamba-1 (granularité par canal), les spécialistes du BOS à compartiment unique portent la masse causale du puits d'état. Leur ablation provoque une dégradation significative des performances, et la sonde suit avec précision le circuit d'exécution.
- Dans Mamba-2 (granularité par tête), les sondes à compartiment unique ne récupèrent qu'une petite « couche d'exécution » (~5 % des têtes). Cependant, un ensemble beaucoup plus large de « têtes doubles » (27–35 % des têtes), qui partagent la même signature représentationnelle (activation élevée à la fois sur le BOS et les sauts de ligne), est manqué par la classification à compartiment unique.
Dichotomie Détection vs Exécution :
- Couche d'Exécution : Les spécialistes du BOS à compartiment unique constituent la couche d'exécution causale. Leur ablation fait s'effondrer la précision de récupération de 1,00 à 0,00 dans les tâches RULER NIAH et augmente considérablement la NLL sur les cibles de contexte BOS et de saut de ligne.
- Couche de Détection : Les têtes doubles présentent une forte similitude représentationnelle avec les spécialistes (similitude cosinus $\approx 0,89$ sur BOS vs saut de ligne) mais montrent des effets causaux nettement plus faibles sous ablation. En fait, l'ablation des têtes doubles a souvent des effets négligeables, voire négatifs, sur les performances par rapport à la ligne de base, indiquant qu'elles sont une « couche de détection représentationnelle » plutôt que la couche d'exécution fonctionnelle.
- Sondes Trompeuses : Le papier démontre que la similitude représentationnelle n'implique pas l'équivalence fonctionnelle. Les sondes à compartiment unique sous-estiment systématiquement le substrat causal de 3 à 7 fois en taille d'ensemble par rapport aux spécialistes.
Moteur Architectural :
- L'asymétrie est attribuée à l'architecture de Mamba-2, où la projection $\Delta$ est partagée entre les canaux au sein d'une même tête. Cela force les têtes à multiplexer les classes de bordure, créant la large population de têtes doubles.
- Une expérience de contrôle impliquant un partitionnement aléatoire des canaux de Mamba-1 pour correspondre au ratio tête-classe de Mamba-2 n'a pas réussi à reproduire la dominance des têtes doubles, impliquant la projection $\Delta$ partagée par les têtes comme le moteur, plutôt que la seule granularité du substrat.
Base de Comparaison Inter-Architecture :
- Les têtes d'attention de Pythia (Transformer) montrent une sélectivité à compartiment unique mais ne possèdent pas l'ensemble dominant de têtes doubles trouvé dans Mamba-2. Cela confirme que la séparation détection/exécution est spécifique à la mécanique d'espace d'état de l'architecture Mamba-2, et non une propriété universelle des modèles à granularité de tête.

Signification et Revendications
Le papier affirme que le mouvement standard « label-to-locus » en interprétabilité mécaniste — supposer que les unités présentant les activations les plus élevées identifiées par une sonde constituent le circuit causal — est systématiquement peu fiable à la granularité de tête de Mamba-2.

Nécessité de Ré-audit : Les découvertes d'interprétabilité localisées sur les têtes de Mamba-2 via des sondes à compartiment unique justifient un ré-audit sous des règles d'agrégation multi-classes.
Décomposition Fonctionnelle : Le puits d'état dans Mamba-2 se décompose en deux couches fonctionnelles distinctes : une petite couche d'exécution (spécialistes à compartiment unique) et une grande couche de détection (têtes doubles). Séparer les deux nécessite une ablation conditionnelle à la classe plutôt que de se fier à la similitude cosinus conditionnelle à la classe.
Ancre Active : Contrairement aux puits d'attention des Transformers qui peuvent être passifs ou supprimables, le puits d'état de Mamba-2 est une ancre active où des têtes spécifiques sont nécessaires pour la récupération de contexte long et la gestion de l'état de bordure.

Les auteurs concluent que bien que les sondes soient efficaces pour l'analyse représentationnelle, elles peuvent échouer à identifier le véritable circuit causal dans les architectures possédant des projections partagées et des profils d'activation multiplexés, nécessitant une vérification par intervention pour distinguer la détection de l'exécution.