Learning reveals invisible structure in low-rank RNNs

Ce papier étend le cadre de faible rang à l'apprentissage neuronal en dérivant un système d'équations différentielles ordinaires de dimension réduite qui distingue les recouvrements visibles et invisibles par la perte, révélant ainsi comment l'apprentissage expose les différences de connectivité cachées et encode l'historique de l'entraînement sous forme de variables de mémoire.

L'essentiel

La vue d'ensemble : le problème de la « boîte noire »

Imaginez une machine géante et complexe (un réseau de neurones) dotée de millions de petits engrenages (synapses/poids). Vous tournez un cadran (entrée) et la machine produit un résultat (sortie). Si la machine fonctionne parfaitement, vous ne pouvez pas deviner comment les engrenages sont agencés simplement en observant le résultat. Deux agencements d'engrenages totalement différents pourraient produire exactement le même résultat. C'est ce qu'on appelle la dégénérescence : de nombreuses structures internes différentes peuvent accomplir la même tâche.

Habituellement, les scientifiques tentent de comprendre le fonctionnement d'une machine en l'observant accomplir une tâche. Mais ce papier soutient que l'observation de la machine en action ne suffit pas. Il faut l'observer apprendre.

L'idée centrale : le tableau de bord « visible » contre « invisible »

Les auteurs ont étudié un type spécifique de machine appelé Réseau de Neurones Récurrents (RNN) de faible rang. Imaginez cela comme une machine où les millions d'engrenages sont en réalité quelques cadrans maîtres qui contrôlent tout.

Ils ont découvert que, lorsqu'on observe comment ces machines apprennent, les « cadrans » (chevauchements mathématiques) se divisent en deux catégories distinctes :

1. Les cadrans « visibles » (Chevauchements visibles par la perte) :

   • Ce qu'ils font : Ces cadrans contrôlent la sortie de la machine. Si vous les tournez, le résultat change.
   • Analogie : Imaginez le compteur de vitesse et le jauge de carburant de votre voiture. Ils vous indiquent exactement ce que fait la voiture en ce moment. Si vous les modifiez, la voiture conduit différemment.
   • L'affirmation du papier : Ce sont les seuls cadrans qui comptent pour la tâche actuelle.

2. Les cadrans « invisibles » (Chevauchements invisibles par la perte) :

   • Ce qu'ils font : Ces cadrans ne modifient pas la sortie. Si vous les tournez, la voiture conduit exactement de la même manière. Le compteur de vitesse ne bouge pas.
   • Analogie : Imaginez la tension des ressorts de la suspension ou l'alignement du châssis. Vous ne pouvez pas les voir depuis le tableau de bord, et ils ne changent pas la vitesse à laquelle la voiture va maintenant.
   • L'affirmation du papier : Même s'ils ne modifient pas la sortie, ces cadrans invisibles contrôlent comment la machine apprend. Ils agissent comme une mémoire cachée de l'histoire de la machine.

Les deux découvertes principales

1. L'apprentissage est une « lampe torche » pour les différences cachées

Les auteurs montrent que si vous avez deux machines qui semblent identiques sur le tableau de bord (mêmes cadrans visibles) et qui conduisent de manière identique, elles peuvent tout de même avoir des cadrans invisibles différents.

• L'expérience : Ils ont pris deux telles machines et ont commencé à les entraîner sur une nouvelle tâche.
• Le résultat : Même si elles ont commencé avec la même « performance », elles ont appris à des vitesses différentes et ont emprunté des chemins différents pour y parvenir.
• La métaphore : Imaginez deux jumeaux identiques en apparence. Vous ne pouvez pas les distinguer à leur façon de marcher (la sortie). Mais si vous leur demandez d'apprendre une nouvelle danse, l'un pourrait avoir du mal avec le pied gauche tandis que l'autre a du mal avec le pied droit. En les observant apprendre, vous voyez soudainement les différences cachées dans leurs corps (connectivité) qui étaient invisibles auparavant.
• Le terme : Les auteurs appellent cela la « Perturbation par l'apprentissage ». L'apprentissage agit comme une sonde qui révèle la structure cachée.

2. La « mémoire fantôme » des cadrans invisibles

Le papier se demande : ces cadrans invisibles peuvent-ils se souvenir du passé ?

• Dans les machines simples (RNN linéaires) :

  • Le résultat : Non. Si vous entraînez la machine, puis changez de tâche, puis revenez à la première tâche, les cadrans invisibles reviennent à leur position d'origine. Ils n'ont pas de mémoire.
  • Pourquoi ? Les mathématiques des machines simples créent une « invariante » rigide (une règle qui ne se brise jamais). C'est comme une bille roulant dans un bol ; peu importe comment vous la poussez, elle revient toujours exactement au centre.

• Dans les machines complexes (RNN non linéaires) :

  • Le résultat : Oui ! Si la machine est suffisamment complexe (non linéaire), les cadrans invisibles se souviennent.
  • La métaphore : Imaginez que la machine est un randonneur. Dans une machine simple, le randonneur revient toujours exactement au même campement. Dans une machine complexe, le randonneur peut revenir à la même vue (la sortie est la même), mais il campe à un endroit différent sur la montagne (les cadrans invisibles sont différents).
  • La preuve : Les auteurs ont entraîné deux machines identiques sur des tâches différentes au préalable. Plus tard, ils les ont fait accomplir la même tâche. Les machines ont accompli la tâche de manière identique, mais si vous regardiez leur « mémoire fantôme » (les cadrans invisibles), vous pouviez dire quelle tâche elles avaient accomplie en premier. Les cadrans invisibles encodent leur histoire.

Pourquoi cela compte (selon le papier)

Les auteurs suggèrent que, dans les cerveaux biologiques, nous observons peut-être les mauvaises choses. Nous mesurons généralement l'activité « visible » (quels neurones tirent en ce moment) pour comprendre le cerveau. Mais ce papier suggère que les parties « invisibles » des connexions — celles qui ne changent pas le comportement immédiatement — pourraient être celles qui détiennent l'histoire de l'apprentissage.

Pour vraiment comprendre comment un cerveau (ou une IA) a appris quelque chose, vous ne pouvez pas simplement observer son comportement actuel. Vous devez observer comment il change lorsqu'il apprend, car ce processus révèle les « cadrans invisibles » cachés qui ont façonné son parcours.

Résumé en une phrase

Ce papier prouve que, tandis que certaines parties d'un réseau de neurones déterminent ce qu'il fait, d'autres parties cachées déterminent comment il apprend, et en observant le processus d'apprentissage, nous pouvons révéler une mémoire cachée du passé du réseau qui est invisible lorsque le réseau est simplement immobile.

Résumé technique

Résumé technique : L'apprentissage révèle une structure invisible dans les RNN de faible rang

Énoncé du problème
Un défi fondamental dans la compréhension des systèmes neuronaux, biologiques et artificiels, consiste à relier les changements synaptiques microscopiques (plasticité) aux résultats comportementaux macroscopiques. Cette difficulté découle d'une disparité d'échelles : l'apprentissage se déroule dans un espace de paramètres synaptiques de haute dimension, tandis que les fonctions ou comportements résultants sont souvent de dimension beaucoup plus faible. Ce décalage rend la cartographie de la fonction vers la connectivité intrinsèquement mal posée, conduisant à des problèmes de dégénérescence (plusieurs structures de connectivité produisant des fonctions identiques) et d'identifiabilité. Bien que les réseaux de neurones récurrents (RNN) de faible rang aient réussi à relier la connectivité à la fonction du réseau via un ensemble réduit de variables macroscopiques de recouvrement, une compréhension théorique du processus d'apprentissage lui-même au sein de ce cadre est restée insaisissable. Les analyses existantes de la dynamique d'apprentissage pour les RNN opèrent largement en dehors du cadre de faible rang ou reposent sur des hypothèses simplificatrices telles que la séparation des échelles de temps ou des paramètres figés.

Méthodologie
Les auteurs étendent le cadre de faible rang de l'activité statique du réseau à la dynamique d'apprentissage. Ils dérivent la dynamique de descente de gradient directement dans un « espace de recouvrement » réduit, plutôt que dans l'espace complet des paramètres de haute dimension.

1. Extension du cadre : Pour un RNN de rang 1 avec des paramètres $\theta = \{m, u, v, z\}$ (vecteurs d'entrée, récurrents gauche/droite et de lecture), les auteurs expriment les mises à jour de descente de gradient $\dot{\theta} = -\nabla_\theta L$ directement en termes de recouvrements scalaires $\sigma$.
2. Système d'EDO en forme close : En appliquant la règle de la chaîne et la règle du produit, ils dérivent un système d'équations différentielles ordinaires (EDO) en forme close régissant l'évolution de ces recouvrements.
   • Cas linéaire : Pour les RNN linéaires, la dérivation est exacte. Le système se réduit à une EDO de dimension 10.
   • Cas non linéaire : Pour les RNN non linéaires (spécifiquement avec une fonction d'activation erreur), la dérivation est asymptotiquement exacte dans la limite de grand $N$, sous l'hypothèse que les composantes des vecteurs de paramètres sont conjointement gaussiennes (Théorie du champ moyen dynamique).
3. Métrique de préconditionnement : La dynamique d'apprentissage dans l'espace de recouvrement n'est pas une simple descente de gradient sur la perte par rapport aux recouvrements. Elle est plutôt façonnée par une métrique de préconditionnement $G(\theta) = D(\theta)D(\theta)^\top$, une matrice de Gram qui capture la géométrie de l'espace des paramètres de haute dimension héritée par les recouvrements de basse dimension.
4. Décomposition des recouvrements : Une étape analytique centrale consiste à partitionner les recouvrements en deux classes :
   • Recouvrements visibles par la perte : Ceux-ci déterminent entièrement l'activité interne du réseau, la sortie et la perte.
   • Recouvrements invisibles par la perte : Ceux-ci n'affectent pas la fonction actuelle du réseau ni la perte, mais sont nécessaires pour décrire la trajectoire d'apprentissage car ils apparaissent dans la métrique de préconditionnement $G(\theta)$.

Contributions clés

• Description analytique de l'apprentissage : L'article fournit, à la connaissance des auteurs, la première description analytique de la dynamique d'apprentissage dans des RNN non linéaires entraînés sur des tâches. Il offre une description traitable et de basse dimension (exacte pour les cas linéaires, asymptotiquement exacte pour les cas non linéaires) qui capture fidèlement l'apprentissage de haute dimension.
• Décomposition visible vs invisible : Le travail établit une distinction rigoureuse entre les recouvrements visibles par la perte et les recouvrements invisibles par la perte. Il démontre que la frontière entre ces ensembles dépend de la fonction d'activation (linéaire vs non linéaire). Dans les réseaux linéaires, certains recouvrements (par exemple, les normes et certains recouvrements croisés spécifiques) sont invisibles ; dans les réseaux non linéaires, certains de ceux-ci deviennent visibles en raison de leur influence sur le gain de la non-linéarité.
• Perturbation par l'apprentissage : Les auteurs montrent que l'apprentissage agit comme une perturbation capable de révéler des différences structurelles cachées entre des réseaux fonctionnellement équivalents. Deux réseaux ayant des recouvrements visibles par la perte identiques (et donc un comportement identique) mais des recouvrements invisibles par la perte différents suivront des trajectoires d'apprentissage distinctes lorsqu'ils seront exposés à la même tâche, « démasquant » efficacement leurs différences de connectivité sous-jacentes.
• Mémoire et invariants : L'étude caractérise les conditions dans lesquelles les recouvrements invisibles par la perte servent de variables de mémoire codant l'historique de l'entraînement.
  • Dans les réseaux linéaires entraînés avec un flot de gradient, le système possède des quantités conservées (invariants) qui contraignent les recouvrements invisibles par la perte. Par conséquent, ces réseaux présentent une « récupération exacte », revenant à leur état invisible initial lors du réentraînement, échouant à stocker l'historique.
  • Dans les réseaux non linéaires, la séparation altérée visible/invisible brise ces invariants, permettant aux recouvrements invisibles par la perte de conserver des valeurs distinctes et de coder l'historique de l'entraînement.
  • Les auteurs montrent également que l'ajout de bruit (par exemple, bruit d'étiquette ou utilisation d'optimiseurs adaptatifs comme Adam) brise les invariants dans les réseaux linéaires, induisant une dérive des recouvrements invisibles et permettant le stockage de mémoire.

Résultats

• Validation sur des tâches linéaires : Les simulations numériques de RNN linéaires de rang 1 entraînés sur une tâche de filtrage montrent que le système d'EDO de dimension 10 correspond exactement à la dynamique de perte et aux trajectoires de recouvrement du réseau complet de haute dimension. L'optimisation directe dans l'espace de recouvrement (en ignorant la métrique de préconditionnement) produit des dynamiques qualitativement différentes et incorrectes.
• Révélation de la dégénérescence : Les simulations confirment que deux RNN linéaires ayant un comportement initial identique mais des recouvrements invisibles différents produisent des sorties divergentes dès que l'apprentissage commence, malgré des réponses statiques indiscernables.
• Protocole A-B-A : Dans un protocole d'entraînement A-B-A (Tâche A $\to$ Tâche B $\to$ Tâche A), les réseaux linéaires sous descente de gradient classique montrent une récupération complète des recouvrements visibles et invisibles, confirmant la présence d'invariants. Cependant, l'introduction de bruit d'étiquette ou l'utilisation de l'optimiseur Adam brise ces invariants, provoquant une dérive des recouvrements invisibles qui conservent ainsi une trace de la Tâche B intermédiaire.
• Validation non linéaire : Pour les RNN non linéaires entraînés sur une tâche de bascule (flip-flop), la théorie prédit avec précision la dynamique d'apprentissage à condition que le taux d'apprentissage soit suffisamment faible pour maintenir l'hypothèse gaussienne sur les composantes des poids.
• Décodage de l'historique : Dans un protocole d'entraînement dépendant de l'historique (Tâche A ou B $\to$ Tâche C), les auteurs démontrent que, tandis que les recouvrements visibles par la perte convergent vers les mêmes valeurs pour les deux historiques (déterminés par la Tâche C), les recouvrements invisibles par la perte conservent des valeurs distinctes. Un classificateur peut décoder de manière robuste l'historique initial d'entraînement (A vs B) à partir des recouvrements invisibles par la perte, même lorsque du bruit est ajouté, alors que les recouvrements visibles par la perte échouent à le faire.

Signification et affirmations
L'article prétend fournir un cadre principiel pour étudier la dégénérescence, la mémoire et la dérive dans les réseaux récurrents en comblant le fossé entre la connectivité et la fonction via la dynamique d'apprentissage.

• Insight théorique : Il révèle que l'apprentissage n'est pas simplement un processus de minimisation de la perte, mais est structurellement contraint par la géométrie de la paramétrisation. La structure « invisible », bien que silencieuse pour la fonction actuelle, dicte la manière dont le réseau apprend et évolue.
• Implications biologiques : Les auteurs proposent deux prédictions testables pour les expériences d'apprentissage biologique :
  1. Perturbation par l'apprentissage : Observer comment un système apprend peut servir de sonde non invasive pour révéler des différences structurelles de connectivité qui sont cachées dans les enregistrements comportementaux statiques.
  2. Mémoire dans les synapses silencieuses : L'historique d'apprentissage peut être codé dans des synapses fonctionnellement silencieuses (invisibles par la perte) concernant le comportement actuel, mais centrales pour la trajectoire d'apprentissage. Cela suggère que révéler l'historique d'apprentissage nécessite de se concentrer sur ces composants silencieux plutôt que sur ceux qui pilotent l'activité actuelle.

Le travail étend le cadre des RNN de faible rang pour intégrer la dynamique d'apprentissage au sein de la même description de basse dimension, offrant un lien traitable entre les changements structurels et l'évolution fonctionnelle.