Decoupling Dynamical Richness from Representation Learning: Towards Practical Measurement

Cet article propose une métrique efficace et indépendante de la performance pour mesurer la richesse dynamique des réseaux de neurones, permettant d'analyser la relation entre les facteurs d'entraînement et les représentations sans se fier à la précision prédictive.

L'essentiel

🧠 Le Secret des Cerveaux Artificiels : Quand "Faire Plus" n'est pas "Mieux"

Imaginez que vous apprenez à un enfant à reconnaître des chats et des chiens. Vous avez deux façons de le faire :

1. La méthode "Paresseuse" (Lazy) : Vous lui donnez un livre de photos. Il mémorise les images exactes. Si vous lui montrez un chat un peu différent, il est perdu. C'est comme apprendre par cœur sans comprendre.
2. La méthode "Riche" (Rich) : Vous lui expliquez les concepts : "les chats ont des moustaches, les chiens ont un museau". Il comprend la logique. Même s'il voit un chat nouveau, il sait le reconnaître.

En intelligence artificielle (IA), les chercheurs savaient depuis longtemps que la méthode "Riche" (où le réseau de neurones modifie profondément sa façon de voir les données) était souvent associée à de meilleures performances. Mais il y avait un problème : pour mesurer si l'IA était "riche" ou "paresseuse", on regardait simplement son score de réussite (sa précision). C'est comme juger la qualité d'un moteur de voiture uniquement par sa vitesse de pointe. Parfois, un moteur très puissant (riche) peut être mal réglé et aller moins vite qu'un moteur simple mais bien réglé.

Ce papier, publié à la conférence ICLR 2026, propose une nouvelle façon de mesurer la "richesse" d'un cerveau artificiel, sans regarder son score de réussite.

---

📏 La Nouvelle Règle : Le "Mètre DLR"

Les auteurs (de l'Université d'Oxford et d'autres) ont créé un outil appelé DLR (Dynamic Low-Rank measure).

L'analogie du "Trio de Jazz" :
Imaginez un groupe de musique avec 100 musiciens (les neurones de la dernière couche du réseau).

• Le mode "Paresseux" : Les 100 musiciens jouent tous en même temps, chacun un peu différent. C'est le chaos, c'est bruyant, et c'est inefficace.
• Le mode "Riche" : Le groupe se rend compte qu'il n'a besoin que de 3 musiciens (un piano, une basse, une batterie) pour jouer la mélodie parfaite. Les 97 autres se taisent ou se synchronisent parfaitement avec les 3. C'est épuré, efficace et puissant.

Le DLR est un mètre qui compte combien de musiciens sont vraiment nécessaires pour faire le travail.

• Si le chiffre est bas (proche de 0) : C'est "Riche". Le réseau a trouvé l'essence du problème et a éliminé le superflu.
• Si le chiffre est haut (proche de 1) : C'est "Paresseux". Le réseau utilise tout son monde, c'est désordonné.

Pourquoi c'est génial ?
Avant, si un réseau avait un mauvais score, on ne savait pas si c'était parce qu'il était "paresseux" ou juste mal entraîné. Avec le DLR, on peut dire : "Regarde, ce réseau est très 'riche' (il a simplifié les choses), mais il a un mauvais score. Ah ! Donc le problème n'est pas sa structure, c'est qu'il a appris les mauvaises choses."

---

🕵️‍♂️ Les Découvertes Surprenantes

En utilisant cette nouvelle règle, les chercheurs ont découvert des choses fascinantes :

1. La "Richesse" ne garantit pas la victoire :
   Dans une expérience, un réseau très "riche" (très efficace structurellement) a obtenu un score catastrophique sur un test, tandis qu'un réseau "paresseux" (moins efficace structurellement) a excellé.

   • Leçon : Être intelligent dans sa structure ne suffit pas si vous apprenez les mauvaises leçons.

2. L'effet "Grokking" (Le déclic) :
   Parfois, une IA semble bête pendant des heures, puis soudain, elle comprend tout d'un coup (c'est le "grokking"). Le DLR a permis de voir ce moment précis : c'est le moment où le réseau passe du mode "paresseux" (bruit) au mode "riche" (ordre).

3. Le secret de la "Batch Normalization" :
   Les chercheurs ont testé une technique courante appelée "Batch Normalization" (comme un régulateur de température pour le réseau). Ils ont découvert que cette technique agit comme un chef d'orchestre : elle force le réseau à passer du mode "paresseux" au mode "riche", ce qui explique pourquoi elle améliore souvent les performances.

---

🎨 Le Microscope : Voir l'Invisible

Pour aider les humains à comprendre ce qui se passe, les auteurs ont aussi créé une visualisation.

Imaginez que vous regardez un tableau.

• La méthode ancienne vous disait juste : "C'est un beau tableau" (Score élevé) ou "C'est moche" (Score faible).
• La méthode de ce papier vous donne un microscope. Elle vous montre :
  • La Qualité : Est-ce que les traits de pinceau correspondent au sujet ?
  • L'Utilisation : Est-ce que l'artiste utilise 100 couleurs ou seulement 3 ?
  • L'Intensité : Est-ce que les couleurs sont vives ou fades ?

Grâce à cela, ils ont vu que pendant l'apprentissage, les traits de pinceau les plus "intenses" (les plus importants) deviennent aussi les plus "qualitatifs" très rapidement. C'est une nouvelle règle de la danse entre la structure et l'apprentissage.

🚀 En Résumé

Ce papier ne dit pas "comment faire une IA plus forte", mais "comment mieux comprendre comment elle pense".

Ils ont inventé un outil (le DLR) qui permet de distinguer la structure de l'apprentissage de la réussite finale. C'est comme passer d'un examen où l'on note seulement la note finale, à un examen où l'on regarde aussi la méthode de résolution. Cela ouvre la porte à des IA plus fiables, car on pourra diagnostiquer pourquoi elles échouent, même si elles semblent "intelligentes" en apparence.

En une phrase : Ils ont trouvé une nouvelle façon de mesurer la "propreté" de la pensée d'une IA, indépendamment de son score, révélant que parfois, être très organisé ne suffit pas si l'on a mal compris la leçon.

Résumé technique

1. Problématique et Contexte

En apprentissage automatique, l'amélioration des représentations (qualité des caractéristiques pour la généralisation) et les dynamiques d'entraînement non linéaires (le régime "riche" par opposition au régime "paresseux" ou lazy) sont souvent considérées comme corrélées. Cependant, la littérature montre que cette corrélation n'est pas systématique : une dynamique riche ne garantit pas toujours une meilleure généralisation, et inversement.

Le problème central identifié par les auteurs est l'absence de métrique indépendante de la performance pour mesurer la "richesse dynamique".

• Les métriques existantes (comme la déviation du NTK initial, la norme des paramètres, ou la mesure de l'effondrement neuronal NC1) dépendent souvent de l'état initial, de la norme des poids, ou des étiquettes de classe.
• L'utilisation de la précision (accuracy) comme proxy pour la richesse est trompeuse, car elle ne permet pas de distinguer si une bonne performance provient d'une dynamique riche ou d'un biais inductif spécifique.

L'objectif est de définir une mesure de la richesse dynamique qui soit :

1. Indépendante de la performance (précision).
2. Computationnellement efficace.
3. Fondée sur les principes théoriques de la richesse (biais de faible rang).
4. Capable de fonctionner sans étiquettes de classe.

2. Méthodologie

Les auteurs proposent une approche basée sur l'analyse de l'espace fonctionnel et des noyaux de caractéristiques (feature kernels).

A. Le Noyau de Caractéristiques (Feature Kernel)

Ils définissent un opérateur $T$ (opérateur de noyau de caractéristiques) basé sur les activations de la couche pénultième $\Phi(x)$. Cet opérateur agit sur l'espace de Hilbert $L^2(X)$ et capture la structure des caractéristiques apprises.
$$T = \sum_{k=1}^p |\Phi_k\rangle\langle\Phi_k|$$
où $p$ est la largeur de la dernière couche.

B. L'Opérateur de Projection Minimale (TMP)

Pour quantifier la richesse, les auteurs introduisent l'opérateur de projection minimale ($T_{MP}$). Dans un régime dynamique riche idéal, le nombre de caractéristiques apprises est minimal et suffisant pour engendrer l'espace des fonctions apprises $\hat{H}$. $T_{MP}$ est un opérateur qui projette orthogonalement sur cet espace $\hat{H}$ (à une échelle constante près).

C. La Métrique DLR (Dynamic Low-Rank)

La métrique proposée, DLR, mesure la similarité entre le noyau réel $T$ (défini par les caractéristiques actuelles) et l'opérateur idéal $T_{MP}$ (défini par l'espace des fonctions apprises).
$$DLR := 1 - CKA(T, T_{MP})$$
où $CKA$ (Centered Kernel Alignment) est une mesure d'alignement normalisée entre [0, 1].

• Interprétation : Un DLR proche de 0 indique une dynamique très riche (les caractéristiques forment un espace de faible rang correspondant exactement à la fonction apprise). Un DLR proche de 1 indique une dynamique pauvre (paresseuse) ou un désalignement.
• Avantages : Cette métrique ne nécessite pas les étiquettes de classe, ne dépend pas de l'initialisation, et est indépendante de la précision du modèle.

D. Visualisation par Décomposition Spectrale

Pour rendre la métrique interprétable, les auteurs proposent une visualisation basée sur la décomposition en valeurs propres de $T$ :

1. Qualité Cumulée ($\Pi^*(k)$) : Contribution des $k$ premières fonctions propres à l'expression de la fonction cible.
2. Utilisation Cumulée ($\hat{\Pi}(k)$) : Contribution des $k$ premières fonctions propres à l'expression de la fonction apprise.
3. Valeurs Propres Relatives ($\rho_k/\rho_1$) : Montre la décroissance de l'importance des caractéristiques.
   Dans un régime riche, on observe une forte concentration sur un petit nombre de dimensions (faible rang effectif).

3. Contributions Clés

1. Définition de DLR : Introduction d'une métrique légère, indépendante de la performance, basée sur l'alignement entre les caractéristiques et l'espace fonctionnel appris.
2. Lien avec l'Effondrement Neuronal (Neural Collapse) : Démonstration théorique (Propositions 1 et 2) que si $T$ est un opérateur de projection minimale, les conditions de l'effondrement neuronal (NC1 et NC2) sont satisfaites. Cela généralise l'effondrement neuronal au-delà des tâches de classification étiquetées.
3. Validation Empirique :
   • DLR capture correctement les transitions "paresseux $\to$ riche" (ex: grokking, réduction de l'échelle des cibles) là où d'autres métriques échouent.
   • DLR est robuste face aux changements de régularisation (poids) qui peuvent fausser d'autres indicateurs.
4. Nouvelles Observations :
   • La normalisation par lots (Batch Normalization) sur VGG-16 (CIFAR-100) déplace le modèle d'un régime paresseux à un régime riche, expliquant en partie son impact sur la généralisation.
   • La richesse dynamique n'est pas strictement corrélée à la performance : un modèle peut être riche mais mal généraliser (ex: encodage d'étiquettes sur MNIST) ou être paresseux et bien généraliser.
5. Outil de Diagnostic : Une méthode de visualisation basée sur les valeurs propres pour analyser la qualité, l'utilisation et l'intensité des caractéristiques durant l'entraînement.

4. Résultats Expérimentaux

Les expériences couvrent divers scénarios (MNIST, CIFAR-10/100, tâches de division modulaire) :

• Transition Grokking : Sur une tâche de division modulaire, DLR diminue (indiquant une richesse accrue) précisément au moment où le modèle passe de la sur-ajustement à la généralisation (transition paresseux $\to$ riche), confirmant la théorie.
• Impact du Taux d'Apprentissage : Sur ResNet18 (CIFAR-100), un taux d'apprentissage optimal correspond à un DLR plus faible (plus riche) et une meilleure précision. Un taux trop faible conduit à une dynamique plus paresseuse (plus de caractéristiques utilisées) et une performance inférieure.
• Rôle de la Normalisation par Lots : Sans Batch Norm, VGG-16 sur CIFAR-100 reste dans un régime paresseux (DLR élevé, utilisation de nombreuses caractéristiques) avec une mauvaise généralisation. Avec Batch Norm, le modèle devient riche (DLR faible, concentration sur ~100 caractéristiques) et généralise mieux.
• Robustesse aux Étiquettes : Même avec des étiquettes totalement aléatoires (shuffling), les modèles CNN entrent dans un régime riche (DLR faible), suggérant que le biais de faible rang est une propriété intrinsèque de la dynamique d'optimisation, indépendante de la structure des données.
• Comparaison avec d'autres métriques : DLR est plus stable que la norme des paramètres ou les mesures basées sur l'effondrement neuronal (NC1), qui peuvent devenir instables ou mal interprétées dans des cas limites (ex: régularisation L2 forte).

5. Signification et Conclusion

Ce travail est significatif car il découple la mesure de la dynamique d'entraînement de la performance finale, permettant d'étudier la nature de l'apprentissage des caractéristiques sans biais de la précision.

• Théorique : Il établit un pont formel entre le régime riche, le biais de faible rang et l'effondrement neuronal, suggérant que l'effondrement neuronal est un indicateur de dynamique riche plutôt qu'une garantie de généralisation.
• Pratique : DLR offre un outil de diagnostic efficace et peu coûteux pour les chercheurs et ingénieurs afin de comprendre pourquoi un modèle converge vers une solution spécifique, d'optimiser les hyperparamètres (taux d'apprentissage, architecture) et d'explorer les mécanismes de généralisation.
• Limites et Perspectives : La métrique se concentre actuellement sur la dernière couche (où le biais de faible rang est le plus fort) et suppose des fonctions cibles isotropes. Les auteurs prévoient d'étendre ce cadre aux couches intermédiaires et aux tâches déséquilibrées.

En résumé, cette paper fournit une "boussole" nouvelle et robuste pour naviguer dans le paysage complexe de la dynamique des réseaux de neurones profonds, offrant une compréhension plus fine de la relation entre l'optimisation, la dynamique et les représentations apprises.