💻 computer science

All Routes Lead to Collapse

Auteurs originaux : K. R. Balasubramanian

Publié 2026-06-23

📖 7 min de lecture🧠 Analyse approfondie

Auteurs originaux : K. R. Balasubramanian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le problème du « Juge Aveugle »

Imaginez que vous êtes un juge dans un concours de talents. Votre travail est de choisir les meilleurs interprètes (les tokens) pour leur donner le devant de la scène. Vous avez un livre de règles (l'algorithme) qui vous indique comment les noter.

Le papier soutient que tous les modèles d'IA modernes (comme les Transformers, Mamba, RWKV, etc.) utilisent un livre de règles qui est « aveugle » à un détail spécifique.

Le Livre de Règles : Il note les interprètes en fonction de la manière dont leur « contenu » correspond à votre requête.
Le Point Aveugle : Le livre de règles ignore complètement si l'interprète est fort ou imposant (son volume ou sa taille). Il ne s'intéresse qu'à la forme de sa voix, pas au volume.

Parce que le juge est aveugle au volume, le système est confus. Pour prendre une décision, le système est forcé de faire quelque chose d'extrême : il arrête de disperser le projecteur sur les différents acteurs et, au lieu de cela, concentre toute l'attention sur un ou deux interprètes seulement.

Le papier appelle cela la « Collapsus » (Collapse). Ce n'est pas un bug dans le code ; c'est une nécessité mathématique. Si votre ruban à mesurer est cassé (aveugle à la taille), le système doit compenser en compressant tout dans un coin minuscule pour donner un sens aux choses.

Les trois symptômes (La « Signature »)

Le papier identifie trois choses qui se produisent chaque fois que ce « juge aveugle » est aux commandes. Considérez-les comme les symptômes d'une même maladie :

L'« Attentional Sink » (L'accumulation du projecteur) :
Au lieu que le projecteur se déplace de manière fluide entre de nombreux acteurs, il reste bloqué sur seulement quelques-uns. En termes d'IA, un nombre infime de tokens (comme le tout premier mot d'une phrase) absorbe presque toute l'attention.
- Analogie : Imaginez une salle de classe où l'enseignant cesse de poser des questions à toute la classe pour soudainement fixer uniquement l'élève assis au premier rang, ignorant tous les autres.
Le Collapsus de Rang (L'aplatissement) :
Les « pensées » internes de l'IA (les représentations) cessent d'être diverses. Elles commencent toutes à se ressembler, se réduisant à une forme simple et de faible dimension.
- Analogie : Imaginez une sculpture en 3D qui s'aplatit lentement jusqu'à ressembler à un dessin en 2D. Toute la profondeur et toutes les nuances sont perdues, et tout devient une feuille plate.
La Stratification de la Norme (L'explosion du volume) :
Parce que le juge ignore le volume, l'IA essaie de « tricher » en rendant certains tokens incroyablement forts (norme élevée) et d'autres très faibles, dans l'espoir que les plus forts se démarquent.
- Analogie : Puisque le juge ne peut pas entendre la différence de volume, les acteurs commencent à hurler à tue-tête juste pour être remarqués, tandis que d'autres chuchotent.

La grande découverte : Ce n'est pas seulement l'« Attention »

Pendant longtemps, les scientifiques ont pensé que ces problèmes ne se produisaient que dans les Transformers (le type spécifique d'IA qui utilise l'« Attention »). Ils pensaient qu'il s'agissait d'un défaut du mécanisme d'« Attention » lui-même.

Le papier prouve que c'est faux.

Les auteurs ont testé cette théorie du « juge aveugle » sur quatre types différents d'architectures d'IA qui n'utilisent pas l'Attention standard :

Graph Attention : Routage de l'information entre les nœuds d'un réseau.
Mamba : Un modèle qui utilise des « espaces d'états » (comme un tampon de mémoire) au lieu de l'attention.
RWKV : Un modèle qui mélange l'information au fil du temps de manière récurrente.
Attention Residuals : Un modèle qui route l'information en fonction de la profondeur (couches) plutôt que du temps.

Le Résultat : Ces quatre systèmes différents ont développé exactement les mêmes symptômes (l'accumulation du projecteur, l'aplatissement et l'explosion du volume).

La Conclusion : Le problème n'est pas l'« Attention ». Le problème est le Routage basé sur le Contenu lorsque l'outil de mesure est « aveugle à la norme ». Si vous routez l'information en fonction du contenu mais que vous ignorez la magnitude (la taille), le système finira par s'effondrer, peu importe l'architecture que vous construisez.

L'analogie du « Frein » : Pourquoi certains modèles s'effondrent plus vite

Si le mécanisme est le même, pourquoi certains modèles s'effondrent-ils immédiatement (comme les Transformers) alors que d'autres mettent beaucoup de temps (comme Mamba) ?

Le papier introduit le concept de « Frein Positionnel » (Positional Brake).

Le Moteur : Le « Score de Contenu » est le moteur qui tente de pousser le système vers le collapsus (en choisissant le meilleur contenu).
Le Frein : Chaque modèle possède une règle secondaire qui dit : « Mais attendez, souvenez-vous d'où cela vient ! » (par exemple, « Ne pas oublier le mot le plus récent » ou « Ne pas oublier le premier mot »).

Comment le frein fonctionne :

Frein Fort : Si le frein est fort (comme dans Mamba ou RWKV, qui ont des règles de décroissance temporelle marquées), il combat le moteur. Le système résiste au collapsus pendant longtemps. Il faut un certain temps pour que le « contenu » l'emporte.
Frein Faible : Si le frein est faible (comme dans les Transformers standards avec l'encodage de position rotatif/RoPE), le moteur gagne rapidement. Le système s'effondre tôt et brutalement.

L'Expérience :
Les auteurs ont pris un modèle (RWKV) et ont ajusté manuellement le frein.

Lorsqu'ils ont resserré le frein (rendu la décroissance temporelle plus forte), le collapsus est arrivé plus tard et de manière moins marquée.
Lorsqu'ils ont retiré le frein (laissé le contenu agir librement), le collapsus s'est produit presque instantanément.

Cela prouve que le mécanisme (le collapsus) est toujours présent, mais que le timing dépend de la force du « frein ».

L'astuce du « Volume » (Stratification de la Norme)

L'une des découvertes les plus intéressantes concerne l'« Explosion du Volume » (Stratification de la Norme).

La Théorie : L'IA crée des tokens « bruyants » pour compenser le fait que le juge est aveugle au volume.
Le Test : Les auteurs ont observé un modèle (AttnRes) où les tokens étaient forcés d'avoir le même volume (normalisés). On pourrait penser que cela stopperait le collapsus.
Le Résultat : Le collapsus s'est quand même produit. Le système a simplement trouvé une autre façon de tricher. Il a arrêté d'utiliser le volume et a commencé à se concentrer purement sur des « hubs » de contenu.

La Leçon : L'« explosion du volume » n'est qu'une façon pour l'IA de compenser le ruban à mesurer défectueux. C'est un symptôme, pas la cause. La vraie cause est le ruban aveugle lui-même.

Résumé : Ce que cela signifie

C'est une loi universelle : Ce n'est pas un bug dans un modèle d'IA spécifique. C'est une conséquence mathématique fondamentale du fonctionnement de ces systèmes de routage. Si vous routez en fonction du contenu mais que vous ignorez la taille, vous obtenez un collapsus.
La géométrie est un diagnostic, pas un remède : Les auteurs utilisent un langage géométrique (distances, variétés/manifolds) pour décrire pourquoi cela arrive, mais ils ne disent pas que l'IA fait de la géométrie complexe. Ils disent que l'IA est en difficulté parce que son « règle » est plate et aveugle.
Le frein contrôle le timing : Nous ne pouvons pas arrêter totalement le collapsus (selon ce papier), mais nous pouvons contrôler quand il arrive en ajustant le « frein positionnel » (à quel point le modèle accorde d'importance à la position par rapport au contenu).

En bref : le papier dit : « Arrêtez de blâmer le type d'IA spécifique (le Transformer). Le problème, c'est le ruban à mesurer. Tant que le ruban est aveugle à la taille, le système finira par tout compresser dans un coin pour donner un sens aux choses. »

Résumé Technique : « Tous les chemins mènent à l'effondrement »

Énoncé du Problème
Les modèles transformeurs entraînés présentent trois pathologies distinctes et souvent citées : les puits d'attention (attention sinks — quelques jetons absorbant une masse d'attention disproportionnée), l'effondrement de rang (rank collapse — les représentations cachées dérivant vers un sous-espace de faible rang avec la profondeur) et la stratification de la norme (norm stratification — les normes des clés et des requêtes s'étalant au lieu de rester uniformes). Ces phénomènes sont généralement traités comme des défaillances spécifiques du mécanisme d'attention, diagnostiqués et corrigés au cas par cas pour chaque modèle. Cet article soutient que ces phénomènes ne sont pas des pathologies de l'attention en soi, mais plutôt le comportement inévitable d'un routage basé sur le contenu opérant sous une métrique de similitude fixe et aveugle à la norme. Les auteurs postulent que lorsque la métrique d'un routeur est mal adaptée aux représentations qu'il traite, le système compense en concentrant les poids de routage et en faisant s'effondrer les représentations.

Méthodologie et Identité de Recadrage
La contribution théorique centrale est une identité de recadrage qui réinterprète l'attention softmax. Les auteurs démontrent que l'attention softmax est mathématiquement équivalente à une agrégation pondérée par Boltzmann sur des distances euclidiennes, à condition que les clés reposent sur une hypersphère (norme constante).

L'Identité : Le score de produit scalaire standard $\langle q, k \rangle$ est dérivé d'une métrique de distance au carré $D(q, k)^2 = \|q\|^2 - 2\langle q, k \rangle + \|k\|^2$ . La normalisation softmax annule le terme $\|q\|^2$ , et l'hypothèse de normes de clés constantes ( $\|k\| = c$ ) annule le terme $\|k\|^2$ .
L'Aveuglement : Par conséquent, le score d'attention standard omet le terme $-\|k\|^2$ , rendant le routeur aveugle à la magnitude des clés.
La Prédiction : Si les représentations apprises ne satisfont pas l'hypothèse de norme constante (c'est-à-dire si les normes des clés varient), le routeur doit compenser cette inadéquation de la métrique. La signature de compensation prédite est : (1) la concentration des poids de routage sur quelques sources, (2) l'effondrement des représentations routées dans un sous-espace de faible rang, et (3) la stratification des normes de clés.

Portée Expérimentale
Les auteurs testent cette hypothèse à travers cinq architectures de routage distinctes pour déterminer si la signature est universelle au routage basé sur le contenu ou spécifique aux transformeurs :

Transformeurs Standards : Neuf modèles pré-entraînés (variantes de GPT-2 et de Pythia) routant sur des jetons.
Graph Attention (GAT) : Routage sur des nœuds dans des graphes hétérophiles.
Modèles d'Espace d'États Sélectifs (Mamba) : Routage sur le temps via un opérateur contrôlé par les données sans attention explicite.
Mixeurs Récurrents (RWKV) : Routage sur le temps avec un softmax décliné.
Résidus d'Attention (AttnRes) : Routage sur la profondeur (sous-couches) plutôt que sur les jetons.

Résultats Clés

Violation des Hypothèses : Dans les neuf modèles transformeurs, les normes de clés ne sont pas uniformes (en violation de l'hypothèse de norme constante), et les clés occupent un sous-espace de faible rang nettement inférieur aux lignes de base aléatoires (gaussiennes ou mélangées).
Signature Universelle : La « signature de compensation » (concentration, effondrement et stratification de la norme) apparaît dans les cinq architectures, y compris les modèles non-transformeurs comme Mamba et RWKV.
- Les Transformeurs montrent un début précoce (9–25 % de la profondeur) et une forte concentration.
- Les Modèles récurrents (Mamba, RWKV) montrent un début tardif (42–81 % de la profondeur) et une concentration plus faible.
- AttnRes (routage sur la profondeur) se concentre également, prouvant que le phénomène n'est pas spécifique à l'axe des jetons.
Ablations Causales :
- Mamba : Le gel de la porte dépendante de l'entrée ( $\Delta$ ) élimine la concentration, prouisant que le mécanisme de sélectivité cause l'effondrement, et non une récurrence générique.
- RWKV : La modification du paramètre de déclin temporel (le « frein positionnel ») déplace la profondeur d'apparition et la force de concentration. Supprimer la partie « carry » élimine la concentration ; augmenter le « carry » l'accélère.
- AttnRes : Malgré l'utilisation de RMSNorm (qui force les normes de clés à être constantes par construction, éliminant la stratification de la norme), le routeur se concentre tout de même. Cela prouve que la stratification de la norme est une stratégie de compensation, et non la cause de l'effondrement.
Contrôle par Graphe : Une comparaison entre les réseaux d'attention de graphes (GAT) et les réseaux de convolution de graphes (GCN) montre que le GAT s'effondre davantage que le GCN, isolant l'effet au routage appris plutôt qu'à un lissage de voisinage générique (oversmoothing).

L'Hypothèse : Mécanisme Invariant vs Forme Contingente
Le papier propose une hypothèse séparant le mécanisme invariant de la forme contingente :

Mécanisme Invariant : Le routage basé sur le contenu sous une métrique fixe et aveugle à la norme développe inévitablement un attracteur de représentation (concentration et effondrement). Cela est vrai quelle que soit l'architecture (transformeur, SSM, récurrent) ou l'axe de routage (jetons, nœuds, temps, profondeur).
Forme Contingente : Le moment (profondeur d'apparition), la force et le sous-espace spécifique de l'effondrement sont déterminés par le « frein positionnel ». Il s'agit du terme positionnel (par exemple, la phase rotative dans les transformeurs, le déclin temporel dans RWKV, le biais de récence dans AttnRes) qui tire le routage vers des sources récentes ou locales, contrecarrant l'attracteur basé sur le contenu.
- Les freins faibles (ex: les phases rotatives des transformeurs) mènent à un effondrement précoce et fort.
- Les freins forts (ex: le déclin explicite de RWKV) retardent et affaiblissent l'effondrement.

Signification et Revendications
Le papier ne prétend pas que les modèles implémentent la géométrie riemannienne ; la vue géométrique sert plutôt d'outil de diagnostic pour nommer l'insuffisance de la métrique plate et aveugle à la norme utilisée dans le routage standard.

Recadrage : Les auteurs déplacent l'interprétation des puits d'attention et de l'effondrement de rang de « bugs » vers des « caractéristiques » résultant d'un décalage entre une métrique fixe et les représentations apprises.
Généralité : Le mécanisme est montré comme étant indépendant de l'architecture, apparaissant dans des modèles sans softmax, sans attention requête-clé, et sans routage basé sur les jetons.
Intervention : Le papier suggère que restaurer le terme $-\|k\|^2$ omis pourrait fournir un nouveau degré de liberté pour corriger la métrique, bien que cela soit laissé aux travaux futurs.
Modestie : Les auteurs déclarent explicitement qu'ils revendiquent la suffisance, et non la nécessité. Ils ne prétendent pas que tous les comportements de faible rang sont causés par ce mécanisme (par exemple, le lissage excessif dans les GNN est un chemin différent), ni que l'attracteur est toujours une pathologie (dans certains cas de graphes, l'effondrement sans attention apprise généralise mieux). L'hypothèse est falsifiable : un routeur aveugle à la norme qui ne développerait pas cette signature infirmerait la revendication invariante.

En résumé, le papier soutient que « tous les chemins mènent à l'effondrement » car la métrique standard utilisée pour le routage basé sur le contenu est fondamentalement aveugle à la magnitude, forçant le système à compenser en concentrant son routage et en faisant s'effondrer ses représentations, un comportement modulé mais non empêché par les biais positionnels architecturaux.