💻 computer science

Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures

Cet article démontre que, malgré des mécanismes microscopiques fondamentalement différents, les architectures Transformer et Mamba développent une dynamique collective infrarouge partagée, quasi-marginale, caractérisée par un continuum de modes lents, étendant ainsi l'universalité d'une telle organisation au-delà des Transformers et soutenant les prédictions de la Théorie du Champ Cognitif.

Auteurs originaux : Byung Gyu Chae

Publié 2026-08-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Byung Gyu Chae

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le vaste paysage de l'intelligence artificielle, les chercheurs cherchent depuis longtemps à comprendre comment les machines apprennent à se souvenir. Deux familles dominantes de modèles ont émergé pour traiter des séquences d'informations, telles que des mots dans une phrase ou des images dans une vidéo. La première famille, connue sous le nom de Transformers, repose sur un mécanisme appelé auto-attention, qui permet au modèle de pondérer l'importance de chaque fragment d'information par rapport à tous les autres simultanément. La seconde famille, représentée par des modèles plus récents comme Mamba, utilise une approche différente basée sur la dynamique de l'espace d'état, où le modèle maintient un état interne qui évolue au fil du temps, mettant à jour sa mémoire à mesure qu'il traite chaque nouvelle donnée. Depuis des années, les scientifiques se demandent si ces deux manières fondamentalement différentes de concevoir le temps et la mémoire pourraient en réalité mener au même comportement sous-jacent au plus profond de la machine. Cette question est cruciale car si des architectures différentes convergent vers les mêmes schémas, cela suggère que la capacité d'apprendre et de se souvenir est régie par des principes universels plutôt que par les seuls choix d'ingénierie des concepteurs.

Un chercheur s'est donné pour mission de tester cette idée en regardant à l'intérieur d'un modèle Mamba entraîné pour voir comment sa mémoire fonctionne réellement. Il s'est concentré sur une propriété spécifique appelée la « densité d'états de l'échelle de temps », qui est essentiellement une carte montrant combien de différentes vitesses de mémoire le modèle possède. Imaginez une bibliothèque où les livres ne sont pas classés par sujet, mais par la rapidité avec laquelle ils s'effacent de l'esprit d'un lecteur. Certains livres sont oubliés en quelques secondes, d'autres en quelques minutes, et certains persistent pendant des années. Le chercheur voulait observer la distribution de ces « vitesses d'effacement » dans le modèle Mamba. Il savait que Mamba possède un mécanisme de mémoire intégré qui peut être examiné en plusieurs couches : d'abord, les vitesses de mémoire internes brutes encodées dans sa conception ; ensuite, comment ces vitesses changent en fonction de l'entrée spécifique qu'il reçoit ; et enfin, la vitesse de mémoire collective de l'ensemble du bloc après que tous ses calculs complexes ont été terminés.

Le chercheur a découvert que ces trois couches ne sont pas identiques. La mémoire interne brute du modèle Mamba commence par une large gamme de vitesses, mais à mesure que le modèle traite l'information, il rééchelonne sélectivement ces vitesses en fonction de ce qu'il lit. Cet ajustement dépendant de l'entrée est une caractéristique unique de Mamba, lui permettant de ralentir ou d'accélérer son horloge interne selon le contexte. Cependant, la découverte la plus surprenante est survenue lorsque le chercheur a observé la sortie collective finale de l'ensemble du bloc du modèle. Malgré la réorganisation complexe des vitesses se produisant à l'intérieur, le résultat final s'est stabilisé selon un schéma très spécifique et stable. Lorsqu'ils ont mesuré les vitesses de mémoire à travers différentes longueurs de séquences, ils ont constaté que le modèle développait systématiquement une gamme large et continue de mémoires très lentes. Ces mémoires lentes ne disparaissaient pas ; au contraire, elles formaient un continuum lisse et prévisible qui devenait plus clair et plus défini à mesure que le modèle traitait des séquences de données plus longues.

Pour comprendre s'il s'agissait d'une particularité de la conception de Mamba ou d'une règle générale des systèmes intelligents, le chercheur a comparé ses résultats avec le comportement des modèles Transformers. Les Transformers ne possèdent pas la même machinerie d'espace d'état interne que Mamba ; ils reposent sur des mécanismes d'attention. Pourtant, lorsque le chercheur a mesuré les vitesses de mémoire collectives des Transformers, il a trouvé un schéma frappant de similitude. Les deux architectures, bien qu'utilisant des méthodes microscopiques totalement différentes pour traiter l'information, développent une distribution presque plate des vitesses de mémoire, légèrement pondérée vers les mémoires les plus lentes et les plus durables. Dans le langage de la physique, il s'agit d'un état « quasi-marginal », ce qui signifie que les modèles sont positionnés juste au bord d'une mémoire infinie, ce qui leur permet de conserver des informations pendant de longues périodes sans rester bloqués.

L'étude confirme que cette organisation de la mémoire lente n'est pas seulement une caractéristique d'un type spécifique de réseau neuronal. Le chercheur a démontré que même si Mamba construit explicitement sa mémoire en utilisant une structure mathématique différente de celle des Transformers, les deux systèmes finissent par organiser leur dynamique collective de la même manière. Ils ont découvert que le comportement de la mémoire de Mamba se stabilise autour d'une valeur spécifique, indiquant un schéma robuste et reproductible qui émerge indépendamment de la longueur de la séquence, à condition que la séquence soit assez longue pour révéler l'image complète. Cela suggère que la capacité à maintenir une mémoire à long terme est une propriété fondamentale du traitement de séquences apprises, qui émerge naturellement dans différentes formes architecturales. Ces conclusions étendent notre compréhension du fonctionnement de l'intelligence artificielle, montrant que sous les différences de conception de surface, ces modèles puissants partagent une structure profonde commune pour gérer le temps et la mémoire.

Titre : Universalité infrarouge de la dynamique collective à travers les architectures Transformer et d'Espace d'États

Énoncé du problème
Une question fondamentale ouverte en apprentissage profond est de savoir si des architectures neuronales distinctes, malgré l'utilisation de mécanismes de calcul microscopiques différents, développent des comportements dynamiques collectifs communs. Des analyses récentes de modèles de langage Transformer ont révélé une densité d'états de temps (TDOS) presque plate, avec un renforcement infrarouge faible, dans leurs spectres de relaxation, associée à une dynamique de mémoire longue quasi-marginale ( $K(t) \sim 1/t$ ). Cependant, il reste à déterminer si cette organisation infrarouge est un artefact spécifique du mécanisme d'auto-attention ou un principe plus général de traitement de séquences apprises. Pour tester cela, une comparaison est nécessaire avec une architecture employant un mécanisme de calcul temporel qualitativement différent. Les modèles d'espace d'états, particulièrement Mamba, offrent un tel contraste en utilisant une dynamique d'espace d'états sélective dépendante de l'entrée plutôt que l'auto-attention.

Méthodologie
L'étude emploie une analyse spectrale multi-niveaux sur un modèle Mamba-370M pré-entraîné pour distinguer la mémoire microscopique de l'espace d'états de l'organisation collective macroscopique. La méthodologie procède par trois niveaux dynamiques distincts :

Spectre intrinsèque de l'espace d'états : L'auteur analyse le spectre des valeurs propres du générateur d'espace d'états appris ( $A$ ), définissant des taux de relaxation intrinsèques $\lambda^{int}_i = -\text{Re}(a_i)$ . Cela représente la hiérarchie des échelles de temps encodée directement dans les paramètres du modèle avant le conditionnement par l'entrée.
Spectre effectif conditionné par l'entrée : L'étude examine les taux de relaxation effectifs $\lambda^{eff}_{i,t} = \Delta_t(x) \lambda^{int}_i$ , où le pas de temps sélectif dépendant de l'entrée $\Delta_t(x)$ recale les taux intrinsèques pendant l'inférence. Cela capture la manière dont le mécanisme sélectif réorganise dynamiquement les échelles de relaxation en fonction de la séquence d'entrée.
Spectre collectif complet du bloc : L'auteur calcule le Jacobien de la transformation complète du bloc Mamba ( $J_\ell = \partial \text{vec}(H_{\ell+1}) / \partial \text{vec}(H_\ell)$ ). Les taux de relaxation collectifs sont définis par $\lambda^{block}_\alpha = -\ln |\zeta_\alpha|$ , où $\zeta_\alpha$ sont les valeurs propres du Jacobien complet du bloc. Cela mesure la réponse collective de l'ensemble du bloc, incluant les projections, le fenêtrage (gating), les non-linéarités et la propagation résiduelle.

La densité d'états de temps (TDOS) collective, $\rho(\lambda)$ , est construite à partir de ces taux. L'analyse fait varier systématiquement la longueur de séquence retenue ( $L$ ) de 8 à 512 jetons pour tester la convergence et la stabilité du secteur infrarouge. L'exposant de mise à l'échelle infrarouge $\beta$ est déterminé via des statistiques de modes cumulés ( $N(<\lambda) \propto \lambda^{1+\beta}$ ) sur un intervalle fixe et bien résolu afin d'éviter les artefacts de discrétisation (binning). Ces résultats sont directement comparés aux mesures précédentes des modèles Transformer (spécifiquement Pythia-410M) en utilisant la même construction de Jacobien complet de bloc.

Résultats clés

Réorganisation hiérarchique : Les spectres intrinsèque, effectif et de bloc complet ne sont pas identiques. Bien que le générateur d'espace d'états appris contienne une large hiérarchie intrinsèque de taux de relaxation, le mécanisme sélectif et les transformations de bloc subséquentes réorganisent substantiellement cette hiérarchie. Le spectre collectif du bloc complet est une propriété émergente distincte, et non une copie directe du spectre microscopique de l'espace d'états.
Émergence d'un continuum infrarouge collectif : La dynamique du bloc complet de Mamba développe un continuum de modes lents reproductible. À mesure que la longueur de la séquence augmente, le secteur infrarouge devient progressivement mieux résolu et plus lisse, s'étendant vers des taux de relaxation plus faibles.
Exposant de mise à l'échelle infrarouge : L'analyse spectrale cumulative révèle une mise à l'échelle de puissance faiblement négative $\rho(\lambda) \sim \lambda^\beta$ . Pour des séquences longues ( $L \ge 64$ ), l'exposant se stabilise près de $\beta_M \simeq -0,17$ . Cela correspond à un noyau de mémoire $K(t) \sim t^{-(1+\beta)} \approx t^{-0,83}$ , ce qui est proche du régime marginal $1/t$ .
Indépendance de l'architecture : Malgré des mécanismes microscopiques fondamentalement différents (auto-attention vs espace d'états sélectif), les Transformers et Mamba présentent des organisations infrarouges collectives étroitement liées. Les Transformers montrent un exposant représentatif de $\beta_{Tr} \sim -0,1$ , tandis que Mamba se stabilise près de $\beta_M \sim -0,17$ . Les deux architectures occupent un régime « quasi-marginal » caractérisé par une TDOS large, presque plate, mais avec un renforcement infrarouge faible.

Signification et affirmations
L'article affirme séparer la mémoire explicite de l'espace d'états microscopique de l'organisation infrarouge collective, démontant que des architectures de séquences distinctes peuvent développer des dynamiques de modes lents quasi-marginales étroitement liées. La principale signification réside dans le fait de montrer que cette organisation infrarouge n'est pas propre au mécanisme d'auto-attention des Transformers, mais émerge également dans les modèles d'espace d'états, malgré leurs racines computationnelles différentes.

L'auteur soutient que cela suggère que la dynamique de modes lents quasi-marginale peut représenter un principe dynamique général du traitement de séquences apprises, étendant l'observation de l'organisation collective infrarouge au-delà des Transformers. Ce résultat constitue un test indépendant de la structure dynamique décrite par la Théorie du Champ Cognitif, qui associe la mémoire macroscopique à longue durée de vie à l'organisation infrarouge des modes de relaxation collective. Les résultats indiquent que, bien que les implémentations microscopiques diffèrent, la dynamique collective macroscopique des modèles de séquences appris peut converger vers un régime similaire et physiquement significatif.

Articles similaires