🤖 machine learning

Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking

Cette étude empirique valide le mécanisme théorique de répulsion des caractéristiques de Tian (2025) dans les réseaux d'addition modulaire, démontrant que, si la structure de signe prédite des interactions de caractéristiques se maintient de manière robuste à travers les fonctions d'activation, les signatures spectrales résultantes dans les mises à jour des paramètres dépendent strictement de la dérivée de l'activation, les activations quadratiques permettant un verrouillage spectral détectable de rang 2 pendant le grokking que les activations ReLU échouent à produire.

Auteurs originaux : Yongzhong Xu

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongzhong Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous observez un étudiant passant un test de mathématiques très difficile. Au début, il mémorise simplement les réponses par cœur (Étape 1). Ensuite, il commence à comprendre les modèles sous-jacents, mais il est toujours confus et commet des erreurs (Étape 2). Soudain, à un moment précis, il a un moment « d'ampoule » où il arrête de deviner et commence à obtenir des scores parfaits sur des questions qu'il n'a jamais vues auparavant. Ce saut soudain de la mémorisation à la véritable compréhension est appelé « Grokking ».

Ce papier examine comment et quand ce moment d'ampoule se produit à l'intérieur d'un simple cerveau informatique (un réseau de neurones). Les chercheurs testent une théorie spécifique proposée par un scientifique nommé Tian, qui suggère que, durant le processus d'apprentissage, les « idées » internes de l'ordinateur (les caractéristiques) se repoussent mutuellement si elles sont trop similaires, forçant le cerveau à s'organiser efficacement.

Voici la décomposition de leurs résultats à l'aide d'analogies simples :

1. La Règle de « Répulsion » (La Théorie)

La théorie de Tian stipule que lorsque deux idées internes dans le cerveau informatique deviennent trop similaires, une force mathématique les pousse à s'éloigner. Pensez-y comme deux aimants dont les pôles identiques sont face à face ; ils se repoussent.

Ce qu'ils ont testé : Ils ont vérifié si ce « repoussement » se produit réellement lors de l'entraînement.
Le Résultat : Oui, cela se produit. Cela fonctionne parfaitement que le cerveau informatique utilise une fonction d'activation « lisse » (comme élever au carré, $x^2$ ) ou une fonction « rugueuse » (comme ReLU).
La Métaphore : Imaginez une piste de danse bondée. Si deux danseurs commencent à bouger exactement de la même manière, une règle s'active qui les force à se déplacer vers des endroits différents. Cette règle fonctionne quelle que soit la musique (fonction d'activation) qui joue.

2. Le « Verrouillage Spectral » (Le Signal Observable)

Les chercheurs voulaient savoir : Peut-on observer un signal spécifique sur un écran d'ordinateur qui nous indique que le moment de l'« ampoule » est sur le point de se produire ?
Ils ont examiné le « spectre de mise à jour » — essentiellement, comment les poids de l'ordinateur (les boutons qu'il tourne pour apprendre) changent au fil du temps. Ils cherchaient un motif spécifique : Verrouillage de Rang-2.

L'Analogie : Imaginez que l'ordinateur essaie de trouver le meilleur chemin à travers un labyrinthe.
- Avant l'ampoule : L'ordinateur tourne en rond, essayant 100 directions différentes à la fois (chaos).
- Le Verrouillage : Soudain, il réalise qu'il a besoin de deux directions spécifiques pour résoudre le labyrinthe. Toutes les autres directions s'effondrent en bruit. L'ordinateur se « verrouille » sur ces deux seuls chemins.
Le Résultat : Ce signal de « verrouillage » est uniquement visible lorsque l'ordinateur utilise l'activation « lisse » ( $x^2$ $x^{2}$ ).
- Avec $x^2$ : Le signal est fort et clair. L'ordinateur réduit ses nombreuses directions à exactement deux.
- Avec ReLU : Le signal disparaît. L'ordinateur ne se verrouille pas sur deux directions ; il reste dispersé, dominé par une seule direction principale.

3. La Grande Découverte : « La Règle vs Le Résultat »

C'est la partie la plus importante du papier. Les chercheurs ont constaté une séparation entre le mécanisme (la règle) et la signature (le résultat visible).

Le Mécanisme (La Répulsion) : La règle selon laquelle « les idées similaires se repoussent mutuellement » est universelle. Elle se produit avec les deux types de cerveaux informatiques ( $x^2$ et ReLU).
La Signature (Le Verrouillage) : Le signe visible indiquant que l'ordinateur a « compris » (le verrouillage de Rang-2) est spécifique au cerveau $x^2$ .

La Métaphore :
Imaginez deux types de voitures différents (l'une avec un moteur lisse, l'autre avec un moteur rugueux) montant une colline.

La Règle : Les deux voitures ont une règle qui dit : « Si les roues patinent, les freins doivent s'engager. » Cette règle fonctionne pour les deux voitures.
La Signature : Cependant, seule la voiture lisse émet un clic distinct lorsque les freins s'engagent. La voiture rugueuse engage aussi les freins, mais elle émet simplement un bourdonnement.
La Leçon : Si vous n'écoutez que le clic, vous pourriez penser que la voiture rugueuse ne freine pas. Mais elle freine ! C'est juste que le « son » (la signature spectrale) dépend du type de moteur, même si la « règle de freinage » (la répulsion) est la même.

4. Enseignements Pratiques pour le « Conducteur »

Le papier offre également des conseils pour les personnes tentant de détecter ce moment d'« ampoule » en temps réel :

La Taille de la Fenêtre Compte : Pour entendre le « clic » (le verrouillage), vous devez observer les données sur une fenêtre temporelle spécifique (environ 20 à 30 étapes). Si vous regardez trop vite (5 étapes), vous obtenez de fausses alertes. Si vous regardez trop lentement, vous manquez le moment.
Le Timing : Le « clic » se produit juste avant que l'ordinateur ne commence à obtenir des scores parfaits au test. C'est un système d'alerte précoce fiable, mais uniquement pour le type d'ordinateur lisse ( $x^2$ ).
Le Mode « Lent » : Si vous ralentissez le processus d'apprentissage (en réduisant un paramètre appelé $\eta$ ), le moment d'« ampoule » se produit beaucoup plus tard, mais les mathématiques tiennent toujours. Le « clic » est simplement plus silencieux et met plus de temps à apparaître.

Résumé

Le papier prouve que la règle de « répulsion » proposée par Tian est réelle et se produit dans tous les cas. Cependant, le signal visuel spécifique que nous utilisons pour le détecter (le « Verrouillage de Rang-2 ») est un tour de lumière qui ne fonctionne que pour certains types de cerveaux informatiques. Si vous utilisez un type de cerveau différent (comme ReLU), vous devez chercher un signal différent, car le « verrouillage » se produit différemment, même si la logique sous-jacente est la même.

Résumé technique : Répulsion des caractéristiques et verrouillage spectral

Énoncé du problème

Le « grokking » — le phénomène où les réseaux de neurones passent brusquement de la mémorisation à la généralisation bien après que la perte d'entraînement a atteint un plateau — a été expliqué à travers diverses perspectives, notamment l'interprétabilité mécaniste et la régularisation implicite. Tian [2025] a fourni un cadre rigoureux décomposant la dynamique du grokking dans les réseaux à deux couches en trois étapes, culminant dans une étape d'« apprentissage interactif des caractéristiques » (Étape III). Au sein de cette étape, le Théorème 6 de Tian postule un « théorème de répulsion » : des caractéristiques cachées similaires se repoussent mutuellement en raison de la structure hors-diagonale de la matrice $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$ .

Cependant, le cadre de Tian laissait deux questions empiriques sans réponse :

Calendrier : À quel moment précis de l'entraînement ce mécanisme de répulsion devient-il empiriquement observable ?
Observabilité : Ce mécanisme se manifeste-t-il comme une signature mesurable en ligne dans des grandeurs que les praticiens peuvent calculer sans diagnostics hors ligne coûteux ?

Cet article aborde ces questions en testant le Théorème 6 et un candidat observable spectral sur la configuration exacte d'addition modulaire de Tian.

Méthodologie

L'étude reproduit la configuration d'addition modulaire de Tian [2025] ( $M=71$ classes, $K=2048$ unités cachées, fraction d'entraînement $p \approx 0,40$ ) en utilisant l'optimisation Adam avec une décroissance des poids $\eta$ . Les auteurs emploient deux tests complémentaires sur plusieurs graines aléatoires :

Vérification directe du Théorème 6 :
- Les auteurs calculent $B$ exactement en utilisant l'identité de Woodbury pour réduire la complexité computationnelle.
- À des points de contrôle déterministes, ils identifient les 200 paires de caractéristiques les plus similaires basées sur la similarité cosinus.
- Ils vérifient la règle de signe : $\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$ , où $P$ est une matrice de projection excluant les colonnes $j$ et $\ell$ .
- Cette vérification est effectuée sur différentes fonctions d'activation ( $\sigma(x)=x^2$ et $\sigma(x)=\text{ReLU}$ ).
Détection de signature spectrale :
- Les auteurs surveillent la matrice de Gram à fenêtre glissante des mises à jour des paramètres ( $\Delta W$ ).
- Ils suivent le rapport d'écart spectral $\sigma_2/\sigma_3$ (le rapport entre la deuxième et la troisième valeur propre).
- Un détecteur basé sur la pente identifie le moment de « verrouillage » lorsque ce rapport entre dans une hausse soutenue, en émettant l'hypothèse que la répulsion consolide les caractéristiques redondantes dans une structure de faible rang (spécifiquement de rang 2).
- Des analyses de sensibilité sont menées sur la taille de la fenêtre ( $W$ ) et la décroissance des poids ( $\eta$ ).

Résultats clés

1. Vérification du Théorème 6 (Généralité de l'activation)

La règle de signe du Théorème 6 tient empiriquement sur différentes fonctions d'activation, confirmant que le mécanisme est général à l'activation.

$\sigma(x) = x^2$ : La correspondance de signe empirique pour les 200 paires similaires les plus proches passe de 0,865 à l'époque 50 à une saturation stricte de 0,985 à l'époque 300. La saturation ( $\ge 0,95$ ) se produit systématiquement à l'époque 175 sur toutes les graines.
$\sigma(x) = \text{ReLU}$ : La règle de signe tient également, saturant encore plus rapidement (1,000 à l'époque 500).
Conclusion : Le mécanisme de répulsion, régi par la structure de $\tilde{F}^\top \tilde{F}$ , opère indépendamment du fait que l'activation soit une fonction puissance ou ReLU.

2. Verrouillage spectral (Spécificité de l'activation)

Bien que le mécanisme soit général, la signature spectrale des mises à jour des paramètres est spécifique à l'activation.

$\sigma(x) = x^2$ (Mémorisation focalisée) : Le détecteur basé sur la pente se déclenche dans 15/15 graines de grokking à l'époque 174. Il existe une séparation massive de magnitude ( $229\times$ ) dans le rapport $\sigma_2/\sigma_3$ en phase tardive entre les graines de grokking (médiane $\approx 300$ ) et les graines de contrôle ( $\eta=0$ , médiane $\approx 1,31$ ). Le spectre s'effondre vers un rang 2, indiquant que les caractéristiques se consolident sur deux directions persistantes.
$\sigma(x) = \text{ReLU}$ (Mémorisation étalée) : Le détecteur ne se déclenche dans 0/15 graines de grokking. La séparation de magnitude s'effondre à $1,4\times$ , et le spectre reste dominé par le rang 1 ( $\sigma_1 \gg \sigma_2 \approx \sigma_3$ ).
Conclusion : La signature de verrouillage de rang 2 n'émerge que dans le régime de « mémorisation focalisée » (activations puissance) où les caractéristiques s'effondrent sur des pics nets. Dans le régime de « mémorisation étalée » (ReLU), les caractéristiques restent distribuées, empêchant la formation d'une signature spectrale distincte de rang 2.

3. Contrôles méthodologiques et mise à l'échelle

Sensibilité à la taille de la fenêtre : Le détecteur nécessite une taille de fenêtre $W \in \{20, 30\}$ . Des fenêtres plus petites ( $W \le 10$ ) produisent des faux positifs dans les conditions de contrôle.
Mise à l'échelle de $\eta$ : Une exécution étendue à $\eta = 10^{-5}$ confirme la prédiction de Tian sur la mise à l'échelle en $1/\eta$ pour le temps de grokking (grokking à l'époque 1527). Cependant, la magnitude du verrouillage ( $\sigma_2/\sigma_3$ ) est considérablement réduite ( $\approx 25$ contre $\approx 300$ ), suggérant que la structure de rang 2 est incomplètement développée à cette échelle de temps lente.
Détecteur de niveau-métrique ( $\rho_{tian}$ ) : Une métrique plus simple basée sur la structure hors-diagonale de la Gram d'activation prédit le début du grokking avec un délai positif pour $\sigma=x^2$ , mais échoue à se généraliser au ReLU ou à différentes configurations $(M, p)$ , marquant le début des dynamiques de caractéristiques plutôt que le grokking réussi.

Importance et affirmations

L'article établit une distinction critique entre structure et mécanisme :

Le Mécanisme (Général) : Le Théorème 6 de Tian régit la structure de signe hors-diagonale de $B$ via les propriétés de la Gram des caractéristiques $\tilde{F}^\top \tilde{F}$ . Ce mécanisme est robuste et indépendant de la fonction d'activation spécifique $\sigma$ .
La Signature (Spécifique) : La signature spectrale observable dans les mises à jour des paramètres dépend de la manière dont la répulsion se traduit en mises à jour des poids, ce qui est médié par la dérivée $\sigma'$ $σ^{'}$ .
- Les activations puissance ( $\sigma=x^2$ ) produisent des caractéristiques focalisées qui se consolident sur deux directions, générant un verrouillage spectral de rang 2.
- ReLU produit des caractéristiques étalées qui restent dominées par le rang 1, manquant de la signature de verrouillage spectral malgré la présence du mécanisme de répulsion sous-jacent.

Les auteurs relient cette dissociation empirique au Théorème 5 de Tian, qui distingue formellement les régimes de mémorisation focalisée et étalée. L'article conclut que si le mécanisme de répulsion est universel dans l'Étape III, l'approche spectrale pour le diagnostic du grokking dépend de l'activation. Les praticiens ne peuvent pas supposer qu'une métrique spectrale unique (comme $\sigma_2/\sigma_3$ ) détectera le grokking sur toutes les fonctions d'activation ; le choix du diagnostic doit s'aligner sur le régime de mémorisation spécifique induit par la fonction d'activation.