🤖 machine learning

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

Ce papier démontre que l'analyse des gradients de perte plutôt que des mises à jour de l'optimiseur révèle un couplage fort, précédemment caché, entre la sensibilité à la direction du gradient et les caractéristiques de l'hypothèse du centroïde linéaire, montrant que la contrainte des mises à jour d'attention à des sous-espaces de faible rang accélère le grokking tandis que les mises à jour naturelles de rang complet sont fortement redondantes en rang.

Auteurs originaux : Yongzhong Xu

Publié 2026-04-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongzhong Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Observer une Voiture Conduire vs Regarder la Route

Imaginez que vous essayez de comprendre comment une voiture autonome apprend à naviguer dans une ville complexe. Vous voulez savoir : Quels virages et quelles voies spécifiques aident réellement la voiture à apprendre l'itinéraire ?

Pendant longtemps, les chercheurs ont observé le déplacement réel de la voiture (la trajectoire de l'optimiseur) pour le comprendre. Ils regardaient le chemin parcouru par la voiture au cours des dernières minutes, traçaient une ligne au milieu de ce chemin et disaient : « Aha ! La voiture apprend en se déplaçant dans cette direction spécifique. »

Ce papier soutient que regarder le déplacement de la voiture est trompeur.

Les auteurs affirment que le mouvement de la voiture est un mélange désordonné de :

Momentum : La voiture continue de glisser sur des virages qu'elle a pris il y a 10 secondes.
Mise à l'échelle adaptative : La voiture ajuste sa vitesse en fonction de l'aspect glissant de la route.
Décroissance des poids : La voiture essaie de rester au centre de la voie même quand elle n'en a pas besoin.
Objectifs conflictuels : Dans un contexte multi-tâches, la voiture essaie d'aller à l'épicerie, à la salle de sport et au bureau en même temps. Le chemin qu'elle emprunte est un compromis, pas un itinéraire clair vers une seule destination.

Le papier affirme que pour vraiment comprendre ce que la voiture apprend, vous ne devriez pas regarder où la voiture est allée. Au lieu de cela, vous devriez regarder les panneaux de signalisation et la carte (les gradients) que la voiture regardait à cet instant précis.

La Découverte Centrale : La « Voie Désordonnée » vs Le « Signal Clair »

Les chercheurs ont testé cela sur un modèle informatique apprenant des problèmes de mathématiques (comme l'addition et la multiplication). Ils ont utilisé un « test » pour voir si le modèle formait des caractéristiques spécifiques (comme une règle mentale pour additionner des nombres).

1. L'Ancienne Méthode (Observer la Voiture) :
Quand ils ont analysé le chemin parcouru par le modèle (la « Mise à jour »), les résultats du test étaient faibles et confus.

Le Résultat : Le modèle semblait apprendre, mais la « direction » de l'apprentissage paraissait aléatoire. Dans des tâches complexes où le modèle devait faire quatre choses à la fois, le test a échoué complètement. On aurait dit que le modèle n'apprenait rien de spécifique du tout.
L'Analogie : C'est comme essayer de deviner la destination d'un randonneur en regardant ses empreintes boueuses. Les empreintes sont un fouillis de glissades, d'arrêts et de changements de direction, donc vous ne pouvez pas dire dans quelle direction ils essayaient réellement d'aller.

2. La Nouvelle Méthode (Regarder la Carte) :
Les chercheurs ont switché vers l'analyse des gradients (le signal mathématique brut indiquant au modèle dans quelle direction se déplacer avant que les étapes désordonnées de l'optimiseur n'interviennent).

Le Résultat : Soudain, le signal est devenu incroyablement clair. La « direction » de l'apprentissage était 30 à 100 fois plus forte qu'avant.
L'Analogie : Au lieu de regarder les empreintes boueuses, ils ont regardé les coordonnées GPS que le randonneur visait à cette seconde exacte. La direction était nette, claire et parfaitement alignée avec la destination.

Point Clé : L'« optimiseur » (l'algorithme qui met à jour le modèle) ajoute tellement de bruit et d'histoire qu'il cache le véritable signal d'apprentissage. Vous devez éliminer le momentum et l'histoire pour voir ce que le modèle apprend réellement.

Le Problème Multi-Tâches : La « Réunion de Comité »

Le papier a également examiné un modèle essayant d'apprendre quatre problèmes mathématiques différents en même temps (Additionner, Soustraire, Multiplier, et une formule de carré complexe).

L'Ancienne Vue : Quand ils ont regardé le chemin combiné du modèle, cela ressemblait à un désastre. Le modèle essayait de satisfaire quatre « comités » différents, et le chemin résultant était un compromis qui ne satisfaisait bien aucun d'eux. L'outil de diagnostic disait : « Ce modèle n'apprend aucune caractéristique spécifique. »
La Nouvelle Vue : Quand ils ont regardé la « carte » pour chaque comité séparément (calculant le gradient pour l'addition, puis pour la soustraction, etc.), ils ont découvert que le modèle apprenait très bien pour les quatre tâches.
L'Analogie : Imaginez un comité de quatre personnes essayant de décider d'une commande de déjeuner.
- L'Ancienne Méthode : Vous regardez le compromis final et désordonné (par exemple : « Prenons une salade avec des toppings de pizza »). Cela ressemble à une mauvaise décision qui ne satisfait personne.
- La Nouvelle Méthode : Vous écoutez ce que chaque personne individuellement voulait commander. Vous réalisez que la Personne A voulait vraiment une salade, et la Personne B voulait vraiment une pizza. Le « compromis désordonné » était juste le résultat de leur dispute, mais leurs désirs individuels étaient clairs et forts.

Conclusion : Dans l'entraînement multi-tâches, la « voie de compromis » cache le fait que le modèle apprend avec succès des caractéristiques distinctes pour chaque tâche. Vous devez séparer les tâches pour voir l'apprentissage.

La Surprise « Rang-3 » : Il S'agit de la Taille, Pas de la Direction

Les chercheurs ont fait une dernière expérience. Ils se sont demandé : « Avons-nous besoin que le modèle apprenne dans ces directions spécifiques que nous avons trouvées, ou simplement dans n'importe quelle direction de basse dimension ? »

Ils ont forcé le modèle à n'apprendre qu'en utilisant un très petit et simple « sous-espace » (une minuscule tranche tridimensionnelle de son immense cerveau).

Le Résultat : Le modèle a appris plus vite (environ 2,3 fois plus vite) lorsqu'il a été contraint d'utiliser cette minuscule tranche.
La Surprise : Peu importait quelle tranche ils utilisaient. Qu'ils utilisent la tranche « intelligente » trouvée avec leur nouvelle méthode, ou une tranche complètement aléatoire, le modèle apprenait tout aussi vite.
L'Analogie : Imaginez que vous essayez de faire tenir une grande valise dans un petit coffre de voiture.
- Vous pourriez penser : « Je dois plier les vêtements de cette façon spécifique pour qu'ils rentrent. »
- Mais l'expérience a montré que tant que vous compressez simplement la valise (réduire le rang), elle rentre et arrive plus vite. Peu importe si vous pliez les chemises ou les pantalons en premier ; c'est l'acte de compresser l'espace qui compte.

Conclusion : Les « directions » spécifiques que le modèle apprend ne sont qu'un symptôme du processus d'apprentissage, pas la cause. La vraie magie est que le modèle n'a pas besoin de son cerveau complet et désordonné pour apprendre ces tours de mathématiques ; il n'a besoin que d'une version minuscule et compressée de celui-ci.

Résumé pour le Public Général

Arrêtez de regarder les empreintes : Si vous voulez comprendre comment l'IA apprend, ne regardez pas le chemin qu'elle a pris (les mises à jour de l'optimiseur). Ce chemin est trop désordonné avec l'histoire et les compromis.
Regardez la carte : Regardez les instructions brutes (gradients) que l'IA suit en ce moment même. Cela révèle les véritables « directions » de l'apprentissage, qui sont beaucoup plus fortes et claires.
Séparez les tâches : Si une IA fait plusieurs choses à la fois, le chemin combiné ressemble à un échec. Vous devez regarder chaque tâche individuellement pour voir qu'elle réussit en réalité.
La simplicité gagne : L'IA apprend plus vite lorsqu'elle est contrainte d'être simple. Elle n'a pas besoin de directions complexes et spécifiques pour apprendre ; elle a juste besoin d'être contrainte à un espace plus petit et plus simple.

Le papier nous dit essentiellement que nos outils actuels pour « interpréter » l'IA regardent la mauvaise chose. En passant à une vue plus propre des données, nous pouvons voir que l'IA apprend beaucoup plus efficacement et simplement que nous ne le pensions.

1. Énoncé du problème

En interprétabilité mécaniste, une question centrale consiste à identifier quelles directions dans l'espace des paramètres correspondent à la formation de caractéristiques spécifiques (circuits). Une approche diagnostique courante implique l'analyse de la structure de rang faible des trajectoires de l'optimiseur (mises à jour des paramètres, $\Delta \theta$ ) en utilisant la décomposition en valeurs singulières (SVD) sur des fenêtres glissantes. Cette méthode, connue sous le nom de Update SED (Spectral Edge Diagnostics), suppose que les directions dans lesquelles l'optimiseur se déplace reflètent fidèlement les directions pertinentes pour la formation de caractéristiques.

Les auteurs soutiennent que cette hypothèse est erronée dans les pipelines d'entraînement modernes (utilisant AdamW avec momentum, mise à l'échelle adaptative et décroissance des poids), et particulièrement dans les contextes multitâches. Ils postulent que les mises à jour de l'optimiseur agrègent et déforment le signal de gradient sous-jacent, risquant d'obscurcir ou de détruire l'alignement entre les diagnostics basés sur la trajectoire et la formation réelle des caractéristiques.

2. Méthodologie

L'étude examine cette hypothèse en utilisant le phénomène de grokking sur des tâches d'arithmétique modulaire (addition, soustraction, multiplication et $a^2+b^2$ ) au sein d'une architecture Transformer à 2 couches. Les auteurs comparent deux classes d'estimateurs spectraux par rapport à l'Hypothèse des Centroïdes Linéaires (LCH), qui postule que les caractéristiques se forment le long de directions maximisant la sensibilité des centroïdes spécifiques à la tâche.

Estimateurs clés comparés :

Update SED : Effectue une SVD sur une fenêtre glissante des mises à jour réelles des paramètres AdamW ( $\Delta \theta_t$ ). Cela capture le "chemin" parcouru par l'optimiseur.
Gradient SED : Effectue une SVD sur une fenêtre glissante des gradients bruts ( $g_t = \nabla_\theta L$ $g_{t} = \nabla_{θ} L$ ) évalués aux paramètres actuels. Cela capture la direction de "descente la plus raide" du paysage de perte, débarrassée des artefacts de l'optimiseur (momentum, mise à l'échelle adaptative, décroissance des poids).
- Extension multitâche : Dans les contextes multitâches, les auteurs calculent des gradients par opération ( $g_{op}$ ) en rétropropageant la perte de chaque tâche séparément, plutôt que d'utiliser le gradient de la perte totale agrégée.

Métrique diagnostique :

Le couplage entre une direction spectrale $v_k$ et la formation de caractéristiques est mesuré par le rapport perturbatif $R_k$ :
$R_k(t) = \frac{A(v_k, t)}{\text{median}_j A(r_j, t)}$
Où $A(v, t)$ mesure le changement du centroïde de la tâche lorsque les paramètres d'attention sont perturbés le long de la direction $v$ . Un $R_k$ élevé indique que la direction $v$ est hautement sensible à la formation de caractéristiques.

Interventions causales :

Les auteurs réalisent des interventions causales en contraignant les mises à jour d'attention à des sous-espaces de rang faible (Rang-3) définis soit par la base SED, soit par une base aléatoire. Ils testent deux méthodes de projection :

Projection Update : Projection de la mise à jour finale AdamW.
Projection Gradient : Projection du gradient avant que l'optimiseur AdamW ne calcule ses moments de momentum et de mise à l'échelle adaptative.

3. Résultats clés

A. Résultats en tâche unique : Gradient vs Update

Échec de Update SED : Sur les modèles en tâche unique, Update SED produit des rapports de couplage modestes ( $\bar{R}_k \approx 3\text{--}9\times$ ). L'addition apparaît anormalement couplée, tandis que la multiplication est faible.
Succès de Gradient SED : Le remplacement des mises à jour par des gradients bruts augmente les rapports de couplage de 30 à 100 $\times$ ( $\bar{R}_k \approx 100\text{--}330\times$ $\overset{ˉ}{R}_{k} \approx 100 - 330 \times$ ).
- La multiplication devient la tâche la plus fortement couplée, inversant le classement de Update SED.
- La "dispersion des opérations" (variance entre les tâches) diminue considérablement.
Rôle de la fenêtre glissante : Le couplage élevé à $W=1$ (gradient instantané) suggère que la direction du gradient elle-même est le moteur principal. La fenêtre glissante ( $W=20$ ) agit principalement comme un mécanisme de débruitage, réduisant le rapport de manière monotone mais maintenant un signal d'ordres de grandeur supérieurs au hasard.

B. Résultats multitâches : L'échec critique de l'agrégation

Effondrement de Update SED : Dans l'entraînement multitâche, Update SED échoue totalement, produisant $\bar{R}_k \le 1$ (pire que le hasard). La mise à jour de l'optimiseur agrégée, qui équilibre quatre objectifs concurrents, devient orthogonale au sous-espace pertinent pour les caractéristiques de n'importe quelle tâche unique.
Récupération par Gradient SED : L'utilisation de Gradient SED par opération récupère un couplage fort ( $\bar{R}_k \approx 20\text{--}45\times$ $\overset{ˉ}{R}_{k} \approx 20 - 45 \times$ ).
- Crucialement, le signal Gradient SED multitâche est plus fort que le signal Update SED en tâche unique.
- Cela prouve que la formation de caractéristiques est robuste dans les contextes multitâches, mais qu'elle est masquée par l'agrégation de gradients concurrents lors de l'étape de mise à jour de l'optimiseur.

C. Interventions causales : Rang vs Direction

Accélération : Contrainte des mises à jour à un sous-espace de Rang-3 accélère le grokking d'environ 2,3 $\times$ .
Indépendance de la direction : Cette accélération se produit indépendamment du fait que le sous-espace soit la base SED (alignée sur les caractéristiques) ou une base aléatoire.
- Projection Gradient : Lors de la projection du gradient avant l'optimisation, supprimer le sous-espace SED (en gardant le hasard) n'a aucun effet négatif, et ne conserver que le rang aléatoire 3 accélère l'entraînement autant que de conserver la base SED.
- Projection Update : Des expériences initiales suggéraient que supprimer SED aidait, mais cela était un artefact du momentum interne d'AdamW et de la mise à l'échelle adaptative fuyant des informations vers la trajectoire. La projection gradient élimine cet artefact.
Conclusion : La contrainte de rang (réduction de la redondance) est le facteur causal de l'accélération, et non la direction spécifique. La mise à jour naturelle d'AdamW sur l'attention est "redondante en rang", contenant principalement un mouvement non fonctionnel pour la transition de grokking.

4. Contributions clés

Changement méthodologique : Démontre que la structure du gradient, et non les trajectoires de l'optimiseur, est l'objet correct pour l'analyse spectrale de la formation de caractéristiques. Les mises à jour de l'optimiseur introduisent des distorsions qualitatives qui masquent les directions pertinentes pour les caractéristiques.
Interprétabilité multitâche : Identifie l'agrégation de gradients entre tâches concurrentes comme un obstacle général à l'interprétabilité au niveau des circuits. Une analyse des gradients résolue par tâche est nécessaire pour récupérer la structure des caractéristiques dans l'entraînement multitâche.
Clarification causale : Montre que si les directions dérivées du gradient sont de puissants diagnostics de la formation de caractéristiques, elles ne sont pas uniques en tant que causes. Le facteur clé est la nature de faible rang de la mise à jour, et non l'alignement spécifique avec la base du gradient.
Identification d'artefacts : Révèle que les observations précédentes de "variété de rang 1" dans le grokking étaient partiellement obscurcies par le bruit et la distorsion inhérents aux mises à jour AdamW.

5. Importance

Pour l'interprétabilité : Ce travail remet en question la pratique standard consistant à analyser les trajectoires de mise à jour des paramètres (par exemple, PCA sur les différences de poids) pour trouver des circuits. Il soutient que de telles méthodes sous-estiment systématiquement la formation de caractéristiques, en particulier dans des contextes multitâches complexes ou à grande échelle (comme les mélanges d'experts).
Pour la dynamique d'entraînement : Il suggère que le "chemin naturel" emprunté par des optimiseurs comme AdamW est souvent inefficace et redondant. Contraindre l'optimisation à des rangs inférieurs peut considérablement accélérer l'apprentissage sans sacrifier les performances.
Perspectives futures : Les résultats impliquent que pour les modèles à grande échelle (LLM, ajustement par instruction), l'analyse des gradients par tâche (ou des approximations comme Lanczos sur la Fisher empirique) est essentielle pour comprendre comment des circuits spécifiques se forment, plutôt que de s'appuyer sur une analyse de trajectoire agrégée.

En résumé, l'article soutient que le gradient est le signal, et l'optimiseur est le bruit. Pour comprendre comment les réseaux de neurones apprennent des caractéristiques, il faut analyser le paysage du gradient brut, en particulier décomposé par tâche, plutôt que le chemin déformé que l'optimiseur parcourt dans l'espace des paramètres.