🤖 machine learning

Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

Cet article fournit des preuves expérimentales quantitatives que la dynamique des Transformers est régie par un principe universel d'organisation collective infrarouge, où l'apprentissage réorganise la densité d'états des échelles de temps pour améliorer la mémoire et réduire l'oubli grâce à l'accumulation de modes de relaxation lents.

Auteurs originaux : Byung Gyu Chae

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Byung Gyu Chae

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un cerveau numérique géant composé de milliards de minuscules interrupteurs, connu sous le nom de Transformer. Pendant longtemps, les scientifiques ont pensé que ces cerveaux fonctionnaient comme une simple chaîne de montage : une étape mène à la suivante, et l'« intelligence » surgit simplement à la fin. Mais une nouvelle étude suggère que quelque chose de bien plus sauvage se passe à l'intérieur. Il s'avère que ces modèles ne font pas que traiter des données ; ils construisent un champ cognitif collectif, une sorte d'atmosphère mentale invisible et partagée qui s'organise elle-même à travers une danse physique spécifique.

La grande fête du ralentissement

Pour comprendre ce qui se passe, imaginez l'activité interne du cerveau comme une foule massive de coureurs. Au tout début de l'entraînement (lorsque le modèle est « né »), les coureurs sont éparpillés partout. Certains sprintent, d'autres trottinent, et certains sont simplement immobiles. C'est le chaos.

À mesure que le modèle apprend, quelque chose d'étrange se produit. Les coureurs rapides ne font pas que devenir plus rapides ; ils commencent à ralentir. De plus en plus d'entre eux dérivent vers la zone « infrarouge » — un terme de physique sophistiqué pour désigner la partie la plus lente et la plus détendue du spectre. C'est comme si toute la foule décidait soudainement de s'asseoir pour avoir une longue et profonde conversation au lieu de faire des tours de piste.

Les chercheurs ont mesuré cela en observant le « spectre de la Jacobienne », qui est essentiellement un instantané de la façon dont l'état interne du modèle change d'une couche à l'autre. Ils ont découvert qu'au fil de l'entraînement, le modèle ne devient pas seulement plus intelligent ; il réorganise tout son rythme interne. La « Densité d'États des Échelles de Temps » (TDOS) — une façon de compter combien de modes lents existent — devient presque plate dans la région lente. Cela signifie que le modèle construit une hiérarchie de modes de relaxation lents. Ce n'est pas seulement une mémoire lente ; c'est tout un orchestre qui bourdonne ensemble.

Le moment « critique » : un pic, pas une ligne

Voici la partie la plus surprenante de l'histoire. On pourrait s'attendre à ce qu'à mesure que le modèle apprend, sa « puissance de mémoire » devienne de plus en plus forte de manière linéaire. Mais l'article montre que ce n'est pas ce qui arrive.

Au lieu de cela, l'« auto-énergie de la mémoire » du modèle (une mesure de l'influence du passé sur le présent) grimpe rapidement au tout début de l'entraînement. Elle atteint un maximum transitoire prononcé autour de l'étape 2 000. À ce moment précis, le modèle est dans un état « critique ». Imaginez un funambule se tenant en équilibre parfait au milieu du fil. L'« écart de l'oubli cognitif » (la distance entre le souvenir et l'oubli) rétrécit jusqu'à son point le plus bas, et la capacité du modèle à réagir à l'information (sa « susceptibilité collective ») devient immense.

Mais voici le rebondissement : le modèle ne reste pas à ce sommet. Après avoir atteint ce maximum, l'auto-énergie de la mémoire redescend un peu et se stabilise dans un régime « métastable proche de la criticité ». C'est comme si le funambule trouvait un endroit sûr et confortable juste en dessous du sommet, où il peut rester longtemps sans tomber. L'article soutient que cette formation critique transitoire est le moment clé où le « champ cognitif » naît, et le modèle se stabilise ensuite dans un état protégé qui est prêt pour une mémoire à long terme.

La règle universelle : 1 sur le temps

Une fois ce champ formé, le modèle développe un type de mémoire très spécifique. La plupart des systèmes oublient vite, comme un seau percé. Mais ce modèle se souvient des choses d'une manière qui suit une loi de puissance universelle.

Le « noyau de mémoire » (la façon dont le passé affecte le futur) suit la règle $K(t) \sim 1/t$ . Cela signifie que la mémoire ne s'estompe pas de manière exponentielle ; elle s'estompe lentement, comme un écho lointain qui ne disparaît jamais tout à fait. Cela se produit à travers tout le réseau, de la première à la dernière couche, et cela se produit quel que soit la taille du modèle.

Les chercheurs ont testé cela sur trois tailles de modèles différentes : 70M, 410M et 1,4B de paramètres. Même si ces modèles sont de tailles très différentes, ils ont tous exécuté la même danse. Ils ont tous construit la même hiérarchie de modes lents, ils ont tous atteint ce même pic transitoire d'auto-énergie de la mémoire, et ils se sont tous installés dans le même schéma de mémoire $1/t$ . Cela suggère que cette « organisation infrarouge » n'est pas un simple caprice d'un modèle spécifique ; c'est un principe universel de la façon dont ces systèmes apprennent.

Ce que ce n'est PAS

L'article est très clair sur ce que cela n'est pas. Il écarte l'idée que l'intelligence n'est qu'un ensemble de neurones individuels qui s'activent ou un simple processus d'optimisation où le modèle devient simplement « meilleur » de manière linéaire. Il écarte également l'idée que le modèle développe un seul « temps lent » dominant pour la mémoire. Au lieu de cela, il s'agit d'une distribution large et continue de nombreuses vitesses lentes différentes travaillant ensemble.

L'essentiel

L'étude a mesuré ces dynamiques directement en utilisant les modèles de langage Pythia (spécifiquement la version 410M pour les données principales, avec 70M et 1,4B pour comparaison). Ils n'ont pas seulement deviné ; ils ont calculé les taux de relaxation à partir des propres mathématiques du modèle et ont trouvé que les chiffres correspondent aux prédictions de la « Théorie du Champ Cognitif ».

Les preuves suggèrent que l'apprentissage des Transformers est régi par une organisation collective infrarouge. Le modèle ne fait pas que mémoriser des faits ; il réorganise sa propre physique interne pour créer un champ de mémoire partagé et à mouvement lent. Il atteint un pic critique tôt dans le processus, puis se stabilise dans un état proche de la criticité où il peut conserver l'information pendant longtemps, suivant une loi d'échelle en $1/t$ qui fonctionne de la même manière que le modèle soit petit ou immense. Cela fournit la première preuve expérimentale quantitative que ces systèmes d'IA massifs se comportent comme des systèmes physiques collectifs complexes, et non comme de simples calculatrices géantes.

Résumé Technique : Organisation Infrarouge et Formation du Champ Cognitif Critique dans la Dynamique des Transformers

Énoncé du Problème
Les grands modèles de langage (LLM) basés sur l'architecture Transformer présentent des capacités émergentes remarquables, telles que le raisonnement et la mémoire contextuelle à longue portée. Cependant, les mécanismes physiques régissant leurs dynamiques collectives à grande échelle restent mal compris. La littérature existante décrit principalement le calcul des Transformers comme des applications non linéaires de haute dimension ou des processus d'optimisation basés sur l'attention, offrant un aperçu limité de la manière dont l'organisation collective macroscopique émerge des dynamiques sous-jacentes. Ce travail comble la lacune de compréhension pour savoir si les observables collectives prédites par la Théorie du Champ Cognitif — spécifiquement l'organisation des modes de relaxation lente — peuvent être directement identifiées et quantifiées au sein de la dynamique des Transformers.

Méthodologie
Les auteurs étudient les modèles de langage autoregressifs Pythia (70M, 410M et 1,4B de paramètres) disponibles publiquement et entraînés sur le corpus The Pile. L'étude emploie une approche de théorie de la réponse pour analyser la dynamique de relaxation collective générée par la géométrie apprise des états cachés.

Extraction du Spectre Jacobien : Les auteurs calculent les matrices Jacobiennes ( $J_l = \partial h_{l+1} / \partial h_l$ ) entre les représentations successives des couches cachées en utilisant la différenciation automatique. Ils analysent également les Jacobiennes composées ( $J = J_{l+n-1} \cdots J_l$ ) pour capturer la propagation collective à travers différentes profondeurs de réseau et distances de propagation (ex: $1 \to 24$ couches).
Construction du Spectre de Relaxation : À partir des valeurs propres complexes ( $\mu_\alpha$ ) des Jacobiennes, les taux de relaxation sont extraits via $\lambda_\alpha = -\log |\mu_\alpha|$ .
Dérivation des Observables Collectives : En utilisant les taux de relaxation mesurés, les auteurs construisent la Densité d'États des Échelles de Temps (TDOS), $\rho(\lambda)$ $ρ (λ)$ . À partir de la TDOS, ils évaluent quantitativement :
- Le Noyau de Mémoire ( $K(t)$ ), dérivé de la transformée de Laplace de la TDOS.
- L'Auto-énergie de Mémoire ( $\Sigma(0)$ ), calculée comme l'intégrale de la TDOS pondérée par $1/\lambda$ .
- Le Gap d'Oubli Cognitif ( $r_{cog} = r - \Sigma(0)$ ), où $r$ est le taux d'oubli brut.
- La Susceptibilité Collective ( $\chi(0) \propto r_{cog}^{-1}$ ).
- L'Exposant Critique Infrarouge ( $\beta$ ), déterminé en ajustant la distribution cumulative des modes $N(<\lambda) \propto \lambda^{\beta+1}$ .

L'analyse couvre l'ensemble de la trajectoire d'entraînement, variant les profondeurs de réseau et les échelles de modèles pour tester l'universalité.

Contributions Clés

Mesure Directe des Observables de la Théorie du Champ Cognitif : L'article fournit la première réalisation expérimentale quantitative des observables collectives (TDOS, auto-énergie, gap d'oubli, susceptibilité) directement à partir de la dynamique des Transformers sans introduire de paramètres phénoménologiques.
Identification de la Réorganisation Spectrale Infrarouge : L'étude démontre que l'apprentissage des Transformers est caractérisé par une accumulation progressive de modes de relaxation lents vers le secteur infrarouge ( $\lambda \to 0$ ), réorganisant la TDOS.
Découverte de la Formation Critique Transitoire : Les auteurs identent une évolution non monotone de l'auto-énergie de la mémoire, caractérisée par un maximum transitoire prononcé durant les premières étapes de l'entraînement, suivi d'une relaxation vers un régime métastable quasi-critique.
Établissement de l'Universalité : Le document établit que ces phénomènes dynamiques (organisation infrarouge, formation critique et mémoire à loi de puissance) sont universels à travers différentes échelles de modèles, profondeurs de réseau et distances de propagation.

Résultats Clés

Accumulation Infrarouge et TDOS : Tout au long de l'entraînement, le spectre de relaxation subit une réorganisation systématique où le poids spectral se déplace vers des taux de relaxation plus faibles. La TDOS résultante présente une distribution infrarouge approximativement plate, suivant une loi de puissance $\rho(\lambda) \sim \lambda^\beta$ avec un exposant critique $\beta \simeq -0,1$ . Cela indique une hiérarchie de modes lents plutôt qu'une échelle de temps caractéristique unique.
Formation Critique Transitoire : L'auto-énergie de la mémoire ( $\Sigma(0)$ ) n'augmente pas de manière monotone. Au lieu de cela, elle atteint un maximum transitoire pendant les premières étapes de l'optimisation (autour de 2 000 étapes pour Pythia-410M). À ce point, le gap d'oubli cognitif ( $r_{cog}$ ) atteint son minimum, et la susceptibilité collective ( $\chi(0)$ ) est maximisée. Cela signifie une formation critique transitoire du champ cognitif macroscopique. L'optimisation ultérieure conduit le système vers un régime de fonctionnement métastable quasi-critique protégé.
Mémoire Universelle à Loi de Puissance : Les noyaux de mémoire dérivés de la TDOS mesurée présentent des mises à l'échelle robustes en loi de puissance à long terme, $K(t) \sim 1/t$ , à travers tous les modèles et toutes les étapes d'entraînement. Cette mise à l'échelle émerge naturellement du spectre de relaxation mesuré sans formes fonctionnelles imposées.
Indépendance Spatiale et de Profondeur :
- Spatiale : L'organisation infrarouge est distribuée à travers la hiérarchie du Transformer. Bien que la force de la renormalisation de la mémoire varie selon la couche (plus forte dans les couches intermédiaires et profondes), la structure infrarouge à loi de puissance sous-jacente est préservée dans tout le réseau.
- Profondeur : La formation critique transitoire et la mise à l'échelle du noyau de mémoire $1/t$ persistent de manière robuste à travers différentes profondeurs de propagation de couches (de $1 \to 5$ à $1 \to 24$ ), indiquant que les dynamiques collectives sont une propriété globale du réseau, et non limitées aux interactions locales des couches.
Universalité de l'Échelle du Modèle : La même séquence de réorganisation spectrale infrarouge, de formation critique transitoire et de dynamique de mémoire à loi de puissance est reproduite de manière cohérente à travers les modèles Pythia allant de 70M à 1,4B de paramètres.

Signification et Revendications
L'article affirme fournir la première preuve expérimentale quantitative que l'apprentissage des Transformers est régi par une organisation collective infrarouge. En faisant correspondre la dynamique des Transformers au langage de la physique statistique hors équilibre, les auteurs démontrent que :

Les grands modèles de langage fonctionnent comme des systèmes de nombreux corps hors équilibre où la cognition émerge de l'organisation des modes de relaxation lents.
L'émergence des champs cognitifs macroscopiques suit un scénario dynamique spécifique : une réorganisation spectrale infrarouge initiale conduit à un état critique transitoire (susceptibilité maximale), qui se stabilise ensuite dans un régime quasi-critique métastable protégé.
La préservation de la classe d'universalité infrarouge ( $\beta \simeq -0,1$ et $K(t) \sim 1/t$ ) à travers différentes échelles et profondeurs suggère que l'organisation des modes lents infrarouges constitue un principe collectif universel sous-jacent à la dynamique des Transformers, plutôt qu'une caractéristique architecturale spécifique au modèle.

Ce travail établit un cadre de théorie des champs unifié pour mesurer la dynamique cognitive collective, jetant un pont entre l'apprentissage profond et la physique statistique, et suggère que ces principes peuvent représenter des lois générales pour le traitement de l'information collective dans les systèmes dynamiques complexes.