Résumé Technique : Le Rapport Signal-Bruit et la Taille de l'Échantillon Régissent l'Alignement Représentationnel dans les Réseaux de Neurones

Énoncé du Problème

Les modèles d'apprentissage profond entraînés indépendamment convergent souvent vers des représentations internes structurellement similaires, un phénomène connu sous le nom d'alignement représentationnel. Bien que les preuves empiriques de cette « Hypothèse de la Représentation Platonicienne » soient robustes, les mécanismes théoriques qui le régissent restent insaisissables. Plus précisément, des questions fondamentales persistent concernant :

1. Comment l'alignement dépend de la qualité (niveaux de bruit) et de la quantité (taille de l'échantillon) des données d'entraînement.
2. Si les mécanismes qui entraînent l'alignement diffèrent entre les régimes sous-paramétrés et sur-paramétrés.
3. Si l'alignement représentationnel est un prédicteur fiable de la qualité du modèle (erreur de généralisation).

Les études existantes quantifient principalement l'alignement à l'aide d'outils tels que l'Analyse de Similarité Représentationnelle (RSA), l'Analyse Canonique des Vecteurs Singuliers (SVCCA) et l'Alignement du Noyau Centré (CKA). Cependant, ces métriques supposent souvent des correspondances linéaires et peuvent être inadaptées pour des représentations situées sur des variétés hautement courbes et non linéaires. De plus, il n'est pas clair si une meilleure performance de généralisation implique nécessairement des représentations internes plus alignées.

Méthodologie

Cadre Théorique et Métrique

Les auteurs proposent une nouvelle mesure statistique pour l'alignement appelée Entropie Copule Conditionnelle (CCE). Contrairement aux mesures symétriques (par exemple, CKA), la CCE est asymétrique et quantifie dans quelle mesure la structure de voisinage d'une représentation prédit la structure de voisinage d'une autre.

• Définition : La CCE est dérivée de l'Imbalance Informationnelle (II) et définie comme l'entropie conditionnelle négative des variables copules : $CCE(A \to B) = -\lim_{\eta \to 0} H(c_B | c_A = \eta)$.
• Raison d'être : Elle capture l'alignement représentationnel local en mesurant la réduction de l'incertitude sur les distances dans l'espace $B$ étant donné que les points sont infiniment proches dans l'espace $A$.
• Traitabilité Analytique : Crucialement, pour les projections unidimensionnelles de vecteurs gaussiens, la CCE admet une expression analytique fermée dépendante du coefficient de corrélation $\rho$ : $CCE = -\frac{1}{2}\log(1-\rho^2) - \frac{1}{2}\rho^2$.

Configuration Expérimentale

L'étude emploie une approche multi-niveaux pour valider la théorie :

1. Cadre Linéaire Enseignant-Élève (Analytique) :
   • Modèle : Un réseau linéaire profond à deux couches entraîné par descente de gradient sur une tâche de régression linéaire bruitée ($y = w^* \cdot x + \epsilon$).
   • Protocole : Deux réseaux élèves identiques sont entraînés indépendamment sur des ensembles de données indépendants tirés de la même distribution d'enseignant.
   • Analyse : Les auteurs dérivent la corrélation asymptotique ($\rho^*$) entre les représentations cachées des deux réseaux à l'minimum global. Cela permet le calcul analytique de la CCE en fonction du Rapport Signal-Bruit (SNR) et du rapport entre le nombre d'échantillons d'entraînement et la dimension d'entrée ($\alpha = n/d$).
2. Simulations Non Linéaires (Numériques) :
   • Modèle : Réseaux à deux couches avec des fonctions d'activation ReLU.
   • Tâche : La même tâche de régression synthétique que dans le cadre linéaire.
   • Comparaison : Comparaison directe de l'alignement et de l'erreur de généralisation entre les réseaux linéaires et les réseaux ReLU entraînés sur les mêmes données.
3. Classification du Monde Réel :
   • Ensembles de Données : CIFAR-10 (utilisant un CNN) et MNIST (utilisant un Réseau de Neurones Fully Connected).
   • Protocole : Les réseaux sont entraînés sur des sous-ensembles indépendants de données avec des niveaux variables de bruit d'étiquetage (agissant comme l'inverse du SNR).
   • Métrique : La CCE est calculée entre les représentations de la couche avant-dernière.

Contributions Clés

1. Déduction Théorique : L'article établit un cadre théorique pour analyser l'alignement représentationnel dans les réseaux linéaires profonds, dérivant des expressions analytiques fermées pour la CCE basées sur la corrélation des poids appris.
2. Facteurs de Régulation : Les auteurs démontrent que l'alignement est régi par deux facteurs principaux :
   • Rapport Signal-Bruit (SNR) : L'alignement augmente de manière monotone avec le SNR dans tous les régimes (linéaire et non linéaire, régression et classification).
   • Taille de l'Échantillon : L'alignement varie de manière non monotone avec la taille de l'échantillon d'entraînement. Il atteint un minimum près du seuil d'interpolation ($n \approx d$ ou $n \approx p$), reflétant le comportement de « double descente » observé dans l'erreur de généralisation.
3. Découplage de l'Alignement et de la Généralisation : L'étude fournit des preuves qu'une haute performance de généralisation n'implique pas nécessairement un fort alignement représentationnel.
   • Dans le régime sous-paramétré, des réseaux avec différents SNR peuvent atteindre des erreurs de généralisation identiques mais présenter des degrés d'alignement différents.
   • Dans le régime sur-paramétré, des réseaux avec un SNR plus faible (meilleure généralisation) peuvent avoir des représentations moins alignées que ceux avec un SNR plus élevé.
4. Informativité vs Performance : L'article montre qu'un réseau peut atteindre une performance de tâche supérieure tout en apprenant des représentations internes moins informatives qu'un réseau avec une performance inférieure. Cela souligne que la performance de tâche est un proxy insuffisant pour la qualité de la représentation.

Résultats

Réseaux Linéaires

• Erreur de Généralisation : Présente la courbe de double descente caractéristique, culminant au seuil d'interpolation ($\alpha = 1$).
• Alignement (CCE) : Présente également une dépendance non monotone à la taille de l'échantillon, atteignant un minimum (alignement proche de zéro) au seuil d'interpolation.
• Dépendance au SNR : Un SNR plus élevé conduit systématiquement à un alignement plus fort. Notamment, dans le régime sous-paramétré ($\alpha > 1$), différents SNR produisent la même erreur de généralisation mais des niveaux d'alignement distincts.

Réseaux Non Linéaires (ReLU)

• Similarité Qualitative : Le comportement de la CCE et de l'erreur de généralisation dans les réseaux ReLU reflète qualitativement le cas linéaire : dépendance non monotone à la taille de l'échantillon avec un minimum près du seuil d'interpolation, et amélioration monotone avec le SNR.
• Différences Quantitatives : Contrairement au cas linéaire, l'erreur de généralisation ne diverge pas au seuil d'interpolation, et la CCE ne s'effondre pas à zéro. Au lieu de cela, elle converge vers une valeur dépendante du SNR, suggérant que même au seuil, les réseaux non linéaires conservent certaines informations partagées.
• Comparaison Linéaire vs ReLU : Lorsqu'ils sont entraînés sur le même ensemble de données, le réseau linéaire atteint une erreur de généralisation plus faible (plus proche de l'apprenant optimal de Bayes pour ce problème linéaire) mais apprend des représentations moins informatives (CCE plus faible) par rapport au réseau ReLU. Le réseau ReLU, malgré une erreur plus élevée, capture des informations structurelles plus riches.

Données du Monde Réel (CIFAR-10, MNIST)

• Bruit d'Étiquetage : L'introduction de bruit d'étiquetage (inverse du SNR) augmente l'erreur de généralisation et réduit l'alignement représentationnel.
• Taille de l'Échantillon : La relation non monotone entre la taille de l'échantillon et l'alignement persiste, avec un minimum près du seuil d'interpolation.
• Cohérence : Les résultats s'étendent des cadres linéaires synthétiques à des tâches de classification complexes et réelles utilisant des architectures standard.

Signification et Revendications

L'article revendique fournir une dépendance non triviale de l'alignement sur la qualité et la quantité des données, qui est découplée de la performance de généralisation. En introduisant la CCE, les auteurs offrent une métrique capable de capturer l'alignement sur des variétés hautement courbes où les mesures linéaires traditionnelles (CKA, SVCCA) peuvent échouer ou signaler des similarités fallacieuses.

La signification fondamentale réside dans la remise en question de l'hypothèse selon laquelle une meilleure performance de tâche équivaut à de meilleures ou plus alignées représentations internes. Les auteurs soutiennent que :

• La performance de tâche est un proxy insuffisant pour la qualité de la représentation. Un réseau peut surpasser un autre dans une tâche spécifique tout en codant des représentations internes moins structurées ou informatives.
• L'alignement n'est pas un indicateur universel d'un « bon » apprentissage. Les mécanismes qui entraînent l'alignement (SNR, taille de l'échantillon) opèrent indépendamment des mécanismes qui entraînent l'erreur de généralisation dans certains régimes.

Ces résultats contribuent à bâtir une théorie principielle de l'apprentissage de représentations en identifiant des conditions spécifiques (SNR et taille de l'échantillon par rapport à la dimensionalité) dans lesquelles des réseaux entraînés indépendamment convergent vers des représentations internes structurellement similaires. Le travail suggère que la convergence « platonicienne » des représentations n'est pas garantie mais est strictement régie par les propriétés statistiques des données et du régime d'entraînement.