Spectral Edge Dynamics Reveal Functional Modes of Learning

Cette étude démontre que la dynamique d'apprentissage lors du phénomène de « grokking » se concentre le long d'un petit nombre de modes fonctionnels de basse dimension dans l'espace des entrées, dont la structure dépend de la symétrie algébrique de la tâche et échappe aux outils d'interprétabilité mécaniste traditionnels.

L'essentiel

🧠 Le Secret de l'Apprentissage : Quand les IA "Grokquent"

Imaginez que vous apprenez une nouvelle compétence, comme jouer du piano. Au début, vous faites beaucoup d'erreurs, vous jouez faux, et vous semblez ne rien comprendre. Puis, soudain, un déclic se produit : tout s'aligne, et vous jouez parfaitement. En intelligence artificielle, ce phénomène s'appelle le "grokking" (un mot d'argot qui signifie "comprendre soudainement").

Ce papier de recherche se demande : que se passe-t-il exactement dans le cerveau de l'IA au moment de ce déclic ?

Les chercheurs ont découvert que l'IA ne répare pas simplement ses erreurs pièce par pièce (comme un mécanicien qui changerait des boulons). Au lieu de cela, elle découvre une structure cachée, une sorte de "musique" mathématique qui régit la tâche.

Voici les 4 idées clés, expliquées simplement :

1. La "Ligne de Crête" (Le Spectre)

Imaginez que les changements que l'IA fait à son cerveau (ses poids) sont comme une vague dans l'océan.

• La plupart des changements sont de petites vaguelettes qui vont dans tous les sens (le "bruit" ou la masse).
• Mais, au moment du déclic, une petite vague géante se détache du reste. Les chercheurs appellent cela le "spectre de bord" (spectral edge).

C'est comme si, dans une foule de gens qui discutent tous en même temps, une seule personne se mettait à chanter une mélodie parfaite et que tout le monde l'écoutait. Cette "vague géante" est la clé qui permet à l'IA de comprendre la tâche.

2. Le Problème des "Lunettes" (Pourquoi les outils classiques échouent)

Jusqu'à présent, les scientifiques essayaient de comprendre l'IA en regardant ses "pièces" individuelles :

• "Quel neurone s'active ?"
• "Quelle partie du réseau est utilisée ?"

C'est comme essayer de comprendre une symphonie en regardant uniquement les doigts du pianiste ou les marteaux du piano. Ça ne marche pas.

Les chercheurs ont découvert que cette "vague géante" (le spectre de bord) ne se trouve pas dans un neurone précis. Elle est partout, mais elle forme un motif global.

• L'analogie : Si vous regardez une peinture à l'huile de très près, vous ne voyez que des taches de peinture grises et noires. Vous ne voyez pas le visage. Il faut reculer (changer de perspective) pour voir l'image.
• Les outils classiques regardent de trop près (les neurones). Ce papier dit : "Regardez la fonction globale, le motif sur l'ensemble des données."

3. La Clé de la Symétrie (Les Mathématiques de la Musique)

Une fois qu'on regarde le bon angle, on découvre que cette "vague géante" suit des règles mathématiques très précises, comme des notes de musique.

• Pour l'Addition : L'IA trouve une seule note parfaite. C'est comme si elle comprenait que l'addition est une simple répétition d'un motif.
• Pour la Multiplication : C'est plus compliqué. Si on regarde avec les "lunettes" de l'addition, c'est du bruit. Mais si on change de lunettes (en utilisant une transformation mathématique appelée "logarithme discret"), soudain, on voit aussi une seule note parfaite !
  • Analogie : C'est comme essayer d'écouter une chanson en accélérant le disque. Ça ne fait que du bruit. Mais si vous changez la vitesse de lecture (la base), la mélodie devient claire.
• Pour les tâches complexes (comme $x^2 + y^2$) : Il n'y a pas une seule note. C'est un accord complexe, un mélange de plusieurs notes (addition ET multiplication). L'IA apprend à composer ces notes ensemble.

4. Le Réemploi des Briques (Apprendre plusieurs choses en même temps)

Le papier montre aussi quelque chose de fascinant sur la façon dont l'IA apprend plusieurs tâches.

Si vous entraînez l'IA à faire de l'addition ET de la multiplication en même temps, elle ne crée pas deux cerveaux séparés. Elle réutilise les mêmes "briques" (les mêmes motifs mathématiques) pour les deux tâches.

• Quand elle apprend ensuite une tâche plus difficile ($x^2 + y^2$), elle "emprunte" la brique d'addition qu'elle a déjà apprise.
• C'est comme si vous appreniez à faire du vélo, puis à faire du skate. Vous réutilisez votre équilibre (la même fonction) pour les deux, même si les mouvements sont différents.

🎯 En Résumé

Ce papier nous dit que pour comprendre comment l'IA apprend, il faut arrêter de chercher des "neurones magiques".

Au lieu de cela, il faut regarder la forme globale des changements. L'IA, au moment où elle comprend enfin une tâche, découvre une structure mathématique élégante (souvent liée à la symétrie de la tâche).

• Si la tâche est simple (addition), c'est une note unique.
• Si la tâche est complexe, c'est un accord.
• Et si l'IA apprend plusieurs choses, elle réutilise ces accords pour construire des choses plus complexes.

C'est une nouvelle façon de voir l'intelligence artificielle : pas comme une boîte noire remplie de pièces, mais comme un musicien qui découvre, petit à petit, la partition cachée du monde.

Résumé technique

1. Problématique

Les trajectoires d'entraînement des réseaux de neurones, en particulier lors du phénomène de "grokking" (généralisation soudaine après une phase de mémorisation), sont hautement structurées malgré la dimensionnalité massive de l'espace des paramètres. Des travaux antérieurs suggèrent que la dynamique d'optimisation se concentre le long d'un petit nombre de directions dominantes. Cependant, la nature de ces directions reste floue : s'agit-il de circuits localisés, de caractéristiques interprétables, ou d'autre chose ?

L'article pose l'hypothèse que les outils d'interprétabilité mécaniste standard (attribution par tête, analyse de l'espace d'activation, auto-encodeurs épars) échouent à capturer ces structures car ils opèrent dans l'espace des représentations (paramètres, neurones), alors que la structure réelle de l'apprentissage réside dans l'espace fonctionnel (perturbations de la fonction entrée-sortie).

2. Méthodologie

Les auteurs étudient des modèles Transformer (2 couches, 4 têtes) entraînés sur des tâches d'arithmétique modulaire (modulo 97) : addition, soustraction, multiplication, et des tâches composées comme $x^2 + y^2$.

A. Détection de l'Arête Spectrale (Spectral Edge)

• Analyse des mises à jour : À chaque étape $t$, ils calculent la mise à jour des poids $\delta\theta_t$.
• Matrice de Gram : Sur une fenêtre glissante de mises à jour, ils construisent la matrice de Gram $G_{ij} = \langle \delta\theta_i, \delta\theta_j \rangle$.
• Définition de l'arête : Ils identifient une "arête spectrale" : un petit bloc de directions principales (vecteurs propres à valeurs élevées) qui se sépare du "bulk" (le reste du spectre). Cette séparation est mesurée par le déclin du rapport des écarts spectraux ($g_{23} = \sigma_2 - \sigma_3$).
• Réponse à la perturbation : Pour chaque direction dominante $v_k$ de l'arête, ils définissent une fonction de perturbation $f_k(a, b) = \|\Delta h_k(a, b)\|^2$, qui mesure la sensibilité de la sortie du modèle (le flux résiduel) à une perturbation le long de $v_k$ pour chaque paire d'entrées $(a, b)$.

B. Analyse Fonctionnelle et Bases Adaptées

Au lieu d'analyser les poids directement, les auteurs projettent les fonctions de perturbation $f_k$ sur des bases de Fourier adaptées à la structure algébrique de la tâche :

• Addition : Base additive (caractères du groupe additif).
• Multiplication : Base logarithme discret (caractères du groupe multiplicatif).
• Tâches composées : Analyse des termes croisés entre les bases additives et multiplicatives.

C. Comparaison avec l'Interprétabilité Standard

Les auteurs testent si les directions de l'arête spectrale correspondent à des structures localisées (têtes d'attention, neurones, caractéristiques d'auto-encodeurs) et constatent un échec systématique de ces méthodes.

3. Contributions Clés

1. Détection robuste de l'arête spectrale : Confirmation qu'une arête spectrale émerge systématiquement lors du grokking et distingue les régimes de grokking des régimes non-grokking, indépendamment de la graine ou de la tâche.
2. Échec de l'interprétabilité au niveau des représentations : Démonstration que les outils standards (attribution par tête, auto-encodeurs) ne capturent pas l'arête spectrale, révélant un décalage catégoriel : la structure n'est pas localisée dans l'espace des paramètres, mais dans l'espace des fonctions.
3. Structure fonctionnelle dans les bases adaptées à la symétrie :
   • Pour l'addition et la multiplication, les directions dominantes s'effondrent vers un seul mode de Fourier dominant dans la base algébrique correcte.
   • Pour la soustraction, l'arête s'étend sur une petite famille de modes.
   • Pour $x^2 + y^2$, aucune base harmonique simple ne suffit ; la structure est expliquée par des termes croisés (compositionalité).
4. Preuve de la réutilisation fonctionnelle (Multitask) : Dans un entraînement multitâche (tronc partagé), l'arête spectrale de la tâche composée $x^2 + y^2$ s'aligne davantage avec les modes fonctionnels des tâches simples (addition/multiplication), prouvant que le réseau réutilise des primitives fonctionnelles.

4. Résultats Principaux

• Discrimination du Grokking : Le déclin de l'écart spectral $g_{23}$ est un indicateur fiable du grokking (déclin de 15 à 110 fois dans les cas de grokking, contre < 2 fois dans les contrôles).
• Effondrement vers un mode unique (Addition/Multiplication) :
  • Addition : Toutes les directions principales se concentrent sur une fréquence unique ($\omega \approx 25-26$) dans la base additive. La concentration spectrale est 19 fois supérieure à la ligne de base.
  • Multiplication : Dans la base additive, le signal est diffus. Cependant, dans la base du logarithme discret, les directions s'effondrent sur une fréquence unique ($\omega = 29$), avec une amélioration de concentration de 5,9 fois.
• Structure non harmonique ($x^2 + y^2$) : Aucune base de Fourier unidimensionnelle ne capture la structure. Une régression ridge utilisant des termes croisés (produits de caractéristiques additives et multiplicatives) augmente la variance expliquée ($R^2$) de 0,04 à 0,16 (x4), confirmant une structure compositionnelle.
• Réutilisation en multitâche : Lorsqu'un modèle partage un tronc pour addition, multiplication et $x^2 + y^2$, la fréquence caractéristique de l'addition ($\omega=26$) réapparaît dans l'arête spectrale de la tâche $x^2 + y^2$. Cela prouve que les modes fonctionnels sont des blocs de construction réutilisables.
• Poids d'interférence vs Poids effectifs : L'analyse de co-utilisation montre que les directions au-dessus de l'arête se comportent comme des "poids effectifs" (modes fonctionnels cohérents), tandis que celles en dessous correspondent à des artefacts d'interférence (compromis entre calculs concurrents).

5. Signification et Implications

• Changement de paradigme : L'article propose de passer d'une interprétation basée sur les circuits localisés (neurons, heads) à une interprétation basée sur les modes fonctionnels (perturbations structurées de la fonction entrée-sortie).
• Sélection dynamique : La dynamique d'entraînement (SGD avec décroissance de poids) sélectionne activement des directions alignées avec les modes propres naturels de la tâche (représentations irréductibles du groupe sous-jacent), plutôt que de distribuer l'apprentissage uniformément.
• Limites et Généralisation : Bien que les résultats soient clairs pour l'arithmétique modulaire (groupes abéliens finis), l'article soulève la question de savoir si cette structure fonctionnelle existe dans des tâches plus complexes (langage, vision) où la base fonctionnelle appropriée n'est pas connue a priori.
• Conclusion : L'arête spectrale agit comme une sonde directe des sous-espaces fonctionnels de faible dimension qui gouvernent l'apprentissage. La simplicité de la structure (mode unique vs combinaison) dépend de l'adéquation entre la tâche et la base d'analyse choisie.

En résumé, ce travail démontre que la géométrie de l'optimisation révèle une structure algébrique profonde dans la manière dont les réseaux de neurones apprennent, structure qui est invisible pour les méthodes d'interprétabilité traditionnelles mais parfaitement visible lorsqu'on analyse les perturbations fonctionnelles dans les bases symétriques appropriées.