🤖 machine learning

How are linear representations learned? Exact solutions to the dynamics of abstraction

Cet article présente une théorie dynamique de l'abstraction qui dérive des solutions exactes pour la manière dont les représentations conceptuelles linéaires émergent durant l'entraînement dans les réseaux de neurones linéaires et non linéaires, révélant que l'abstraction est régie par la géométrie des données, la profondeur du réseau et l'échelle d'initialisation tout en suivant une loi d'atténuation universelle qui affaiblit l'abstraction dans les activations par rapport aux préactivations.

Auteurs originaux : William W. Yang, Andrew M. Saxe, Peter E. Latham

Publié 2026-07-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : William W. Yang, Andrew M. Saxe, Peter E. Latham

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à comprendre le monde. Vous lui montrez des images de carrés rouges, de carrés bleus, de cercles rouges et de cercles bleus. Vous voulez que le robot apprenne que la « carréité » est une idée unique et cohérente, peu importe si le carré est rouge ou bleu. Dans le cerveau du robot (un réseau de neurones), cette idée est stockée sous la forme d'une direction spécifique dans une carte gigantesque à plusieurs dimensions. Si le robot est « abstrait », la direction pour « carré moins cercle » devrait pointer exactement de la même manière dans le monde rouge que dans le monde bleu. Elles devraient être parallèles.

Ce document est une analyse approfondie de comment cet alignement parfait se produit pendant que le robot apprend, et de ce qui l'empêche de se produire parfaitement.

La grande découverte : La danse « Riche » vs « Paresseuse » de l'apprentissage

Les auteurs ont construit une version simplifiée et mathématiquement soluble d'un réseau de neurones pour observer cet alignement en temps réel. Ils ont découvert que le chemin vers la compréhension n'est pas une ligne droite ; c'est une danse avec un rebondissement surprenant.

Considérez le processus d'apprentissage du robot comme un randonneur tentant d'atteindre un campement spécifique (la compréhension finale, parfaite).

La destination : L'emplacement final du campement est entièrement déterminé par le terrain (les données) et la carte (l'objectif). Si les données sont désordonnées, le campement est désordonné. Si les données sont propres, le campement est parfait.
L'équipement du randonneur (Initialisation) : Voici la partie intéressante. La façon dont le randonneur commence son voyage change le chemin qu'il emprunte, même si la destination reste la même.
- Le randonneur « Riche » (Petit départ) : Si le robot commence avec des poids très, très petits (comme un randonneur avec un sac à dos très léger), il dépasse rapidement le milieu désordonné et atteint un point d'alignement parfait très tôt. Il y reste pendant une période étonnamment longue, presque comme s'il était coincé dans une boucle temporelle de compréhension parfaite. Les auteurs appellent cela la « métastabilité ». C'est si parfait que si vous arrêtiez l'entraînement prématurément, vous penseriez que le robot a maîtrisé le concept pour toujours.
- Le randonneur « Paresseux » (Grand départ) : Si le robot commence avec des poids importants (un sac à dos lourd), il n'atteint jamais ce niveau élevé. Il grimpe simplement lentement vers la destination finale et s'y arrête. Il ne voit jamais ce moment de perfection.
  La règle : La destination finale est fixée par les données, mais le pic de compréhension pendant l'entraînement est contrôlé par la petitesse de votre point de départ. Si vous commencez assez petit, le robot peut atteindre une abstraction quasi parfaite, même si les données sont bruitées.

L'effet de profondeur : Plus on va profond, plus on devient intelligent

Le document a également examiné ce qui se passe lorsque l'on empile plus de couches de neurones, comme si l'on construisait une tour plus haute.

L'analogie : Imaginez passer un message le long d'une file de personnes. Si le message est « Carré Rouge », la première personne pourrait le dire avec un léger accent. La deuxième personne le nettoie un peu. Lorsqu'il atteint le sommet d'une haute tour, le message est parfaitement clair.
La conclusion : Les auteurs ont prouvé mathématiquement qu'en ajoutant plus de couches, la représentation finale devient plus abstraite. C'est une interpolation fluide : plus vous allez profondément, plus vous vous rapprochez du concept « pur », à condition que la cible que vous essayez de prédire soit déjà abstraite.

Le piège de la non-linéarité : Pourquoi l'« Activation » peut affaiblir l'idée

Les vrais réseaux de neurones ne sont pas de simples lignes droites ; ils possèdent des « non-linéarités » (comme ReLU ou GELU) qui agissent comme des portes ou des filtres. Le document teste ce qui se passe lorsqu'on fait passer le « concept direction » à travers ces portes.

La conclusion : Ces portes affaiblissent l'alignement. Elles agissent comme un variateur d'intensité sur une ampoule. La « pré-activation » (le signal avant la porte) est plus brillante et mieux alignée que l'« activation » (le signal après la porte).
La preuve : Les auteurs ont prouvé une « Loi d'Atténuation » pour des non-linéarités spécifiques comme la fonction d'erreur (erf) et la Leaky ReLU : ces non-linéarités réduisent le score d'abstraction par rapport au signal qui les précède. Ils conjecturent que cela s'applique à une famille plus large de non-linéarités, mais la preuve stricte s'applique à ces cas spécifiques. Elles ne corrigent pas magiquement un mauvais alignement ; elles le rendent simplement légèrement pire.

Ce que cela signifie pour l'IA réelle

Les auteurs ne se sont pas contentés de mathématiques ; ils ont testé ces idées sur de vrais modèles massifs comme DINOv3 (un modèle de vision) et Gemma 4 (un modèle de langage).

L'expérience : Ils ont pris ces modèles géants et ont temporairement remplacé les fonctions d'activation GELU par la fonction identité (essentiellement supprimant la non-linéarité juste pour cette étape) pour voir ce qui se passerait.
Le résultat : Lorsqu'ils ont supprimé les non-linéarités, les concepts sont devenus plus abstraits et les modèles sont devenus meilleurs pour la généralisation (transférer des connaissances d'un contexte à un autre). Cela confirme la théorie : les non-linéarités troublaient en réalité les concepts.

Ce que le papier exclut

Il est important de savoir ce que ce document ne prétend pas être l'histoire complète :

Ce n'est pas seulement la fin : Les théories précédentes regardaient souvent uniquement la toute fin de l'entraînement, supposant que le robot finirait par atteindre la perfection. Ce document montre que le voyage compte. Le robot peut atteindre un pic de perfection puis s'en éloigner, ou il peut ne jamais l'atteindre du tout selon la façon dont il a commencé.
Ce n'est pas toujours parfait : Dans le monde réel, avec des données désordonnées, le robot atteint rarement un alignement de 100 % parfait. Le document montre que le niveau final d'abstraction est une formule mathématique basée sur le « bruit » de l'entrée et de la cible. Si les données sont bruitées, l'abstraction sera imparfaite, peu importe la durée de l'entraînement.

Quel est leur degré de certitude ?

Les mathématiques : Pour les réseaux linéaires simples, les auteurs ont des solutions exactes et prouvées. Ils n'ont pas seulement deviné ; ils ont résolu les équations. Ils savent exactement comment l'abstraction évolue au fil du temps.
Les simulations : Pour les réseaux non linéaires profonds, ils ont utilisé des simulations et des approximations mathématiques (limites de largeur infinie). Les résultats sont très solides et correspondent à la théorie, mais ils sont dérivés de ces modèles mathématiques spécifiques.
Le monde réel : Lorsqu'ils ont appliqué cela à DINOv3 et Gemma 4, ils ont mesuré les résultats. Les expériences ont montré que leur théorie tient la route : supprimer les non-linéarités a effectivement amélioré l'abstraction et la généralisation dans ces modèles réels.

L'idée à retenir

Apprendre à comprendre des concepts, c'est comme parcourir un chemin. La destination est fixée par les données, mais le chemin que vous empruntez dépend de votre point de départ. Si vous commencez petit, vous pouvez atteindre un moment de clarté pure qui dure longtemps. Si vous allez plus profondément, vous obtenez une clarté accrue. Mais attention aux portes (les non-linéarités) sur votre chemin ; elles ont tendance à tamiser la lumière de votre compréhension. En comprenant ces dynamiques, nous pouvons construire de meilleurs outils pour scruter le cerveau de l'IA et la rendre plus intelligente.

Résumé Technique : Solutions Exactes de la Dynamique de l'Abstraction

Énoncé du Problème

Dans les réseaux de neurones artificiels et biologiques, les concepts de haut niveau présentent fréquemment un comportement s'apparentant à des directions approximativement linéaires dans l'espace de représentation. Ce phénomène, formalisé sous le nom d'Hypothèse de la Représentation Linéaire (HRL), sous-tend de nombreuses méthodes d'interprétabilité et de contrôle, telles que les sondes linéaires pour la détection de concepts et le pilotage d'activations (activation steering). Bien que des travaux théoriques antérieurs aient établi que les représentations abstraites (où les vecteurs de concepts sont parfaitement alignés à travers les contextes) peuvent émerger aux minima globaux du paysage de perte, la dynamique de l'émergence de ces représentations pendant l'entraînement reste mal comprise. Les observations empiriques suggèrent que l'abstraction présente souvent des trajectoires non triviales et non monotones, et échoue fréquemment à atteindre l'abstraction parfaite ( $\alpha=1$ ) prédite par les théories asymptotiques simples.

Cet article répond aux questions centrales suivantes : Quelle est la trajectoire de l'abstraction pendant l'entraînement ? Comment est-elle influencée par la géométrie des données, la profondeur du réseau et l'initialisation ? Comment les non-linéarités affectent-elles ces dynamiques ?

Méthodologie

Les auteurs développent un cadre dynamique pour étudier l'alignement des vecteurs de concepts, appelé « abstraction », en utilisant un cadre minimal et analytiquement soluble.

Modèle de Réseau Linéaire Minimal :
- Configuration : Un réseau linéaire à deux couches entraîné sur un jeu de données avec deux variables latentes binaires (« forme » et « couleur »), créant quatre classes.
- Score d'Abstraction ( $\alpha$ ) : Défini comme la similitude cosinus entre les vecteurs de concepts dans différents contextes (par exemple, le vecteur pour « carré moins cercle » dans le contexte rouge versus le contexte bleu). $\alpha=1$ implique une linéarité parfaite.
- Hypothèses :
  - Lecture Projetée sur Variable (Variable-Projected Readout) : On suppose que les poids de lecture ( $W_r$ ) sont à leur optimum de ridge à tout moment, régularisant ainsi uniquement les poids des caractéristiques. Cela simplifie la dynamique en une fonction du noyau de caractéristiques $Q = Z^\top Z$ .
  - Symétrie à Deux Facteurs (2FS) : On suppose que l'entrée ( $\Sigma_x$ ), la cible ( $\Sigma_y$ ) et les noyaux de caractéristiques possèdent une structure de symétrie spécifique, invariante par les permutations au sein des classes et par le relabeling global des latents. Cela permet de diagonaliser la dynamique du noyau en cinq modes propres : Moyenne globale ( $G$ ), Forme ( $S$ ), Couleur ( $C$ ), Interaction Forme-Couleur ($SC$) et Résiduel ( $I$ ).
- Dynamique : Les auteurs dérivent des équations différentielles ordinaires (ODE) exactes pour les valeurs propres du noyau $Q$ sous le flot de gradient. Le score d'abstraction est exprimé comme une fonction du rapport des valeurs propres $S$ et $SC$ (inverse du rapport signal sur bruit, SNR).
Extension aux Réseaux Non Linéaires :
- La théorie est étendue aux réseaux non linéaires de largeur infinie via les limites du Noyau de Tangente Neuronale (NTK) / Processus Gaussien de Réseaux de Neurones (NNGP).
- Deux non-linéarités sont analysées : la fonction erreur ( $\text{erf}$ ) et la Leaky ReLU.
- Les auteurs dérivent les cartes de noyaux qui transforment le noyau de pré-activation $Q$ en le noyau de caractéristiques $K$ et analysent comment ces cartes affectent l'abstraction instantanément et dynamiquement.
Validation Empirique :
- Des expériences sont menées sur des données synthétiques et des jeux de données réels (3dshapes) en utilisant des ResNets et des Transformers (DINOv3, Gemma 4).
- Une procédure d'« ablation locale de GELU » est appliquée aux modèles de transformers pour tester les prédictions théoriques concernant les non-linéarités.

Contributions Clés et Résultats

1. Solutions Exactes pour la Dynamique des Réseaux Linéaires

Le papier fournit des solutions implicites exactes pour la trajectoire de l'abstraction $\alpha(t)$ pendant l'entraînement.

Loi de l'Abstraction Terminale : L'abstraction finale $\alpha_\infty$ est déterminée uniquement par la moyenne géométrique des inverses des rapports signal sur bruit (SNR) des noyaux d'entrée et de cible :
$\alpha_\infty = \frac{1 - \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}{1 + \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}$
où $\nu = \lambda_{SC}/\lambda_S$ . Une abstraction parfaite ( $\alpha_\infty=1$ ) est atteinte si soit les entrées, soit les cibles sont sans bruit.
L'Échelle d'Initialisation Contrôle l'Abstraction Maximale : Bien que la valeur terminale soit indépendante de l'initialisation, l'abstraction maximale atteinte pendant l'entraînement dépend de manière critique de l'échelle d'initialisation ( $\kappa$ $κ$ ).
- Dans la limite riche (petite initialisation), le réseau peut atteindre une abstraction quasi parfaite ( $\alpha \approx 1$ ) pendant une période de métastabilité très longue avant de décroître vers la valeur terminale.
- Dans la limite paresseuse (lazy limit, grande initialisation), l'abstraction ne dépasse jamais sa valeur terminale.
Non-monotonie : Dans les régimes dominés par le signal, l'abstraction peut dépasser sa valeur terminale, atteignant un pic avant de converger.

2. Profondeur et Interpolation par Couche

En étendant le modèle à des réseaux linéaires profonds de $L$ couches sous une hypothèse de « balancement par couche » :

Interpolation par Couche : L'abstraction à la couche $\ell$ interpole linéairement entre l'abstraction de l'entrée et l'abstraction de la dernière couche dans l'espace $\text{arctanh}$ :
$\text{arctanh}(\alpha^{(\ell)}) = \left(1 - \frac{\ell}{L}\right)\text{arctanh}(\alpha_{\Sigma_x}) + \frac{\ell}{L}\text{arctanh}(\alpha^{(L)})$
La Profondeur Améliore l'Abstraction : Si la géométrie de la cible est plus abstraite que la géométrie de l'entrée, l'augmentation de la profondeur du réseau améliore de manière monotone l'abstraction terminale de la dernière couche.

3. La Loi d'Atténuation dans les Réseaux Non Linéaires

Un résultat théorique frappant pour les réseaux non linéaires de largeur infinie :

Loi d'Atténuation : Les non-linéarités (spécifiquement $\text{erf}$ et Leaky ReLU) affaiblissent l'abstraction dans l'espace des caractéristiques ( $H$ ) par rapport à l'espace de pré-activation ( $Z$ ). Formellement, $|\alpha_K| \leq |\alpha_Q|$ .
Effets Différentiels :
- Réseaux Erf : La dynamique se rapproche étroitement de la théorie linéaire.
- Réseaux ReLU : La dynamique dépend moins de la géométrie de la cible et davantage de la géométrie de l'entrée. Pour une ReLU pure, même avec des cibles sans bruit, l'abstraction parfaite n'est pas garantie si le bruit d'entrée est élevé ; le système peut converger vers une « anti-abstraction » ( $\alpha \approx -1$ ).

4. Applications Empiriques

Transformers (DINOv3, Gemma 4) : En appliquant la théorie, les auteurs montrent que l'ablation des non-linéarités (remplacement de GELU par l'identité localement) dans les blocs de transformers augmente l'abstraction et améliore la généralisation des sondes linéaires. Cela valide la loi d'atténuation dans les modèles profonds de largeur finie.
Neurosciences (Flux Visuel Ventral du Macaque) : En analysant les enregistrements des régions V4 et IT, l'étude montre que l'abstraction augmente le long de la hiérarchie visuelle ventrale, ce qui est cohérent avec la prédiction théorique selon laquelle les couches plus profondes (plus proches des sorties comportementales) devraient présenter un score d'abstraction plus élevé.

Signification et Revendications

Le papier affirme fournir la première théorie dynamique de l'abstraction capable de capturer la trajectoire complète de l'apprentissage, plutôt que seulement le point final asymptotique.

Pont entre Théorie et Pratique : Il explique pourquoi l'abstraction échoue souvent à atteindre la perfection dans les contextes réels (en raison du bruit d'entrée/cible et de l'échelle d'initialisation) et pourquoi elle présente un comportement non monotone.
Interprétabilité et Contrôle : Les résultats suggèrent que la qualité des sondes linéaires et des vecteurs de pilotage est fondamentalement liée à la dynamique de l'abstraction. La découverte selon laquelle les non-linéarités atténuent l'abstraction offre une base théorique à la raison pour laquelle l'ablation de celles-ci peut améliorer la généralisation des sondes.
Implications pour les Neurosciences : La théorie fournit une explication mécaniste de l'émergence des représentations abstraites dans le cerveau, prédisant que les hiérarchies corticales plus profondes devraient présenter des scores d'abstraction plus élevés, une prédiction confirmée par les données de macaques.

Les auteurs soulignent que bien que leurs solutions exactes reposent sur des hypothèses simplificatrices (réseaux linéaires, symétrie 2FS, largeur infinie), les prédictions qualitatives (dépassement, dépendance à l'initialisation, amélioration par la profondeur, atténuation par les non-linéarités) restent robustes dans des contextes réalistes de réseaux profonds à largeur finie et de données biologiques.