🤖 machine learning

Learning reshapes power-law anisotropy in internal representations

Cet article élucide le mécanisme sous-jacent à l'émergence de l'anisotropie de loi de puissance dans les représentations neurales en démontrant que, contrairement au régime où l'exposant spectral demeure statique, l'apprentissage de caractéristiques dans les réseaux linéaires et non linéaires induit une évolution non monotone de cet exposant à travers l'interaction dynamique entre les statistiques d'entrée et la structure de la tâche.

Auteurs originaux : Asahi Nakamuta, Jun-nosuke Teramae

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Asahi Nakamuta, Jun-nosuke Teramae

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les réseaux de neurones, les moteurs derrière l'intelligence artificielle moderne, sont souvent décrits comme des boîtes noires qui transforment des données brutes en décisions complexes. Pour comprendre comment ils fonctionnent, les scientifiques regardent à l'intérieur, vers les « représentations internes » — les motifs multidimensionnels que le réseau crée lorsqu'il traite l'information. Une manière clé de mesurer la forme de ces motifs est d'observer comment l'importance des différentes directions de l'information est distribuée. Dans de nombreux systèmes, du cerveau des souris aux modèles de langage les plus avancés, cette distribution suit une règle spécifique : quelques directions détiennent une quantité massive d'informations, tandis que les autres en détiennent des quantités progressivement plus faibles, chutant selon une courbe mathématique prévisible connue sous le nom de loi de puissance. Cette inégalité, ou anisotropie, est considérée comme cruciale pour la manière dont un réseau apprend et généralise efficacement. Pendant longtemps, les chercheurs ont supposé que ce motif n'était qu'un reflet statique des données qui avaient été injectées dans le réseau, comme une empreinte laissée par l'entrée. Cependant, une nouvelle étude remet en question cette vision, suggérant que le motif n'est pas seulement hérité, mais activement remodelé par le processus d'apprentissage lui-même.

Une équipe de chercheurs de l'Université de Kyoto s'est donné pour mission de découvrir exactement comment ce remodelage se produit. Ils se sont concentrés sur un modèle simplifié de réseau de neurones — un système à deux couches avec une couche cachée large — placé dans un scénario « enseignant-élève ». Dans cette configuration, le réseau élève tente d'apprendre une tâche définie par un enseignant, en utilisant des données qui possèdent déjà une structure de loi de puissance. Les chercheurs voulaient savoir : l'élève se contente-t-il de copier le motif de l'enseignant, ou l'acte d'apprentissage modifie-t-il la géométrie de la représentation interne ? En résolvant mathématiquement les équations qui régissent la façon dont le réseau change au fil du temps, ils ont découvert que la réponse dépend entièrement de la manière dont le réseau est entraîné. Ils ont découvert que le réseau ne se stabilise pas dans un motif unique et fixe. Au contraire, la forme de son information interne évolue de manière dynamique, passant par des phases distinctes au fur et à mesure de son apprentissage.

L'étude révèle que l'évolution de ces motifs n'est pas une ligne droite, mais un voyage à travers différents régimes. Lorsque le réseau est entraîné dans un mode d'« apprentissage de caractéristiques » (feature-learning), où il réorganise activement sa structure interne pour résoudre la tâche, le motif de l'information subit une transformation spectaculaire. Initialement, l'état interne du réseau reflète les données d'entrée. Mais dès que l'apprentissage commence, le motif change. Les chercheurs ont identifié que le réseau passe par jusqu'à quatre étapes différentes d'organisation. Dans la phase la plus précoce de l'apprentissage, le motif devient encore plus asymétrique, l'information se concentrant encore plus nettement dans quelques directions. À mesure que l'apprentissage progresse, cette raideur s'atténue et le motif se stabilise sous une nouvelle forme, déterminée par la tâche spécifique que l'enseignant demande au réseau d'accomplir. Cette nouvelle forme est un mélange de la structure des données originales et des exigences de la tâche, résultant en un motif final différent tant de la structure brute des données que de l'état initial.

Crucialement, les chercheurs ont montré que ce remodelage dynamique ne se produit que lorsque le réseau est autorisé à apprendre les caractéristiques en profondeur. Si le réseau est entraîné dans un régime où il modifie à peine sa structure interne et repose principalement sur sa configuration aléatoire initiale, le motif reste figé. Dans cet état, la représentation interne reste presque exactement telle qu'elle était au début, reflétant simplement les données d'entrée sans aucune réorganisation significative. Cette distinction est vitale car elle proule que les motifs de loi de puissance observés dans les réseaux de neurones réels ne sont pas des conséquences inévitables des données seules. Au contraire, ils sont le résultat d'une interaction spécifique et active entre les statistiques de l'entrée et les objectifs spécifiques de la tâche d'apprentissage.

Pour s'assurer que ces découvertes n'étaient pas simplement un caprice de leur modèle mathématique simplifié, l'équipe a testé sa théorie sur des réseaux non linéaires plus complexes qui se comportent davantage comme l'intelligence artificielle du monde réel. Les résultats se sont confirmés : même dans ces systèmes plus réalistes, les représentations internes changent de forme pendant l'entraînement dans le régime d'apprentissage de caractéristiques, tout en restant statiques dans le régime où le réseau repose principalement sur sa configuration aléatoire initiale. L'étude suggère que l'anisotropie de loi de puissance observée dans les cerveaux biologiques et artificiels est une propriété fluide, constamment réécrite par le processus d'apprentissage. Ce n'est pas un trait fixe des données, mais une signature dynamique de la manière dont un système s'adapte à son environnement. Ce travail fournit une explication analytique claire de la manière dont la géométrie microscopique de l'état interne d'un réseau est forgée, offrant une nouvelle façon de comprendre la relation entre les données qu'un système perçoit et l'intelligence qu'il développe.

Résumé Technique : L'apprentissage façonne l'anisotropie en loi de puissance des représentations internes

Énoncé du Problème
L'anisotropie en loi de puissance dans les spectres propres des représentations internes est une propriété géométrique ubiquitaire observée dans divers systèmes neuronaux, allant du cortex cérébral de la souris aux grands modèles de langage. Cette anisotropie, où les valeurs propres décroissent selon une loi de puissance en fonction du rang, est liée à l'efficacité du codage, à la robustesse et à la généralisation. Cependant, les cadres théoriques existants traitent largement l'exposant de la loi de puissance comme une quantité fixe héritée des statistiques d'entrée ou supposent qu'il reste statique pendant l'entraînement. Par conséquent, le mécanisme par lequel l'apprentissage piloté par la tâche façonne ces spectres, et comment l'exposant évolue dynamiquement en réponse à la structure des entrées et aux signaux de l'enseignant (teacher), reste obscur. Plus précisément, on ignore si les représentations internes héritent simplement des lois de puissance des entrées ou si elles subissent une déformation non triviale, et comment ces changements dépendent du régime d'apprentissage (apprentissage de caractéristiques [feature-learning] vs linéarisé).

Méthodologie
Pour répondre à ces questions, les auteurs analysent un réseau de neurones linéaire à deux couches dans un cadre enseignant-étudiant (teacher-student). Le modèle est défini avec une dimension d'entrée $D$ , une largeur cachée $N$ , et une dimension de sortie $P$ , où $P=D \ll N$ et $N \to \infty$ .

Structure de l'Entrée et de l'Enseignant : La matrice de covariance des entrées et la matrice de Gram de l'enseignant sont toutes deux supposées diagonales dans le même base orthonormée, avec des valeurs propres décroissant selon des lois de puissance avec des exposants $\alpha$ (entrée) et $\beta$ (enseignant).
Dynamique : Le réseau est entraîné via un flot de gradient de population sur l'erreur quadratique moyenne. Bien que la carte entrée-sortie soit linéaire, l'entraînement conjoint des poids induit des dynamiques non linéaires dans la représentation interne.
Approche Analytique : Les auteurs dérivent l'évolution temporelle exacte des valeurs propres du noyau de la représentation interne (matrice de Gram des poids de la première couche) dans les limites de données infinies et de largeur infinie. Ils décomposent le spectre en une composante d'initialisation (héritée de l'entrée) et une composante dérivée de l'enseignant (formée par l'apprentissage).
Analyse des Régimes : L'étude distingue le régime d'apprentissage de caractéristiques (où les poids changent de manière significative) et le régime linéarisé (où les poids restent proches de l'initialisation), contrôlé par le paramètre $\gamma_0$ .
Validation : Les prédictions théoriques sont validées par des simulations numériques de réseaux linéaires de largeur finie et de réseaux non linéaires avec des fonctions d'activation non linéaires.

Contributions Clés et Résultats
L'article fournit une caractérisation analytique exacte de la manière dont l'exposant local de la loi de puissance des représentations internes évolue pendant l'entraînement.

Décomposition Spectrale : Il est démontré que le spectre de la représentation interne $\rho_k(t)$ se compose de deux composantes additives : l'une dérivée de la covariance de l'entrée (présente à l'initialisation) et l'autre induite par le signal de l'enseignant via l'apprentissage. La dominance relative de ces composantes détermine la forme spectrale.
Quatre Régimes d'Exposants Asymptotiques : Dans le régime d'apprentissage de caractéristiques, l'exposant effectif local de la loi de puissance $\alpha_{\text{eff}}(k, t)$ n'est pas statique. À mesure que l'entraînement progresse, le spectre présente jusqu'à quatre régimes asymptotiques distincts selon l'indice du mode $k$ et le temps d'entraînement $t$ :
- Région I (Dominée par l'initialisation) : $\alpha_{\text{eff}} \approx \alpha$ . Se produit lorsque le changement induit par l'apprentissage est négligeable par rapport à l'initialisation.
- Région II (Apprentissage précoce, première couche dominante) : $\alpha_{\text{eff}} \approx 3\alpha + \beta$ . Se produit lorsque l'apprentissage a commencé mais que le mode n'est pas encore pleinement appris, et que la première couche domine la mise à jour.
- Région IIIa (Appris, première couche dominante) : $\alpha_{\text{eff}} \approx \alpha + \beta$ . Se produit lorsque le mode est appris et que la première couche porte le principal signal d'apprentissage.
- Région IIIb (Appris, les deux couches) : $\alpha_{\text{eff}} \approx \alpha + \beta/2$ . Se produit lorsque le mode est appris et que l'apprentissage est distribué sur les deux couches.
  La transition entre ces régimes est non monotone ; pour un mode fixe, l'exposant peut d'abord se durcir (transitoirement) puis diminuer à mesure que le signal de l'enseignant est incorporé.
Stabilité du Régime Linéarisé : Dans le régime linéarisé, la composante induite par l'apprentissage ne dépasse jamais la composante d'initialisation. Par conséquent, l'exposant local reste essentiellement inchangé ( $\alpha_{\text{eff}} \approx \alpha$ ) tout au long de l'entraînement, indiquant que la représentation interne ne remodèle pas de manière significative l'anisotropie de l'entrée.
Généralisabilité aux Réseaux Non Linéaires : Des expériences numériques avec des réseaux non linéaires démontrent que les transitions spectrales prédites et la distinction entre les régimes d'apprentissage de caractéristiques et linéarisés persistent au-delà du modèle linéaire. Dans les contextes d'apprentissage de caractéristiques non linéaires, le spectre passe également de $\alpha$ à $\alpha + \beta$ sur des plages de modes finies.

Signification
L'article prétend fournir un mécanisme général expliquant la formation des représentations internes en loi de puissance. Les résultats suggèrent que ces représentations ne sont pas de simples reflets statiques des statistiques d'entrée, mais sont remodelées dynamiquement par l'interaction entre l'anisotropie de l'entrée, l'anisotropie du signal de l'enseignant et les échelles de temps d'apprentissage dépendantes du mode.

En démontrant que l'exposant de la loi de puissance peut prendre plusieurs valeurs asymptotiques et évoluer de manière non monotone, ce travail remet en question l'hypothèse d'un exposant fixe dans les analyses théoriques. Il établit que les propriétés géométriques des représentations internes sont une conséquence de l'interaction spécifique entre la structure des données et la dynamique d'apprentissage pilotée par la tâche. Ce cadre analytique offre un point de départ pour comprendre comment la géométrie spectrale microscopique se rapporte aux performances macroscopiques et aux lois d'échelle dans les réseaux de neurones.

Articles similaires