Rethinking Intrinsic Dimension Estimation in Neural Representations

1. Problématique

L'estimation de la dimension intrinsèque (ID) des représentations neuronales est devenue une méthode populaire pour comprendre la géométrie des réseaux de neurones profonds. L'hypothèse sous-jacente (hypothèse de la variété ou manifold hypothesis) suggère que les données de haute dimension (images, texte) résident sur des variétés de basse dimension.

Des études empiriques antérieures ont rapporté un motif récurrent : l'ID estimée augmente dans les premières couches du réseau (phase d'abstraction) puis diminue dans les couches profondes. Cependant, les auteurs identifient une contradiction fondamentale entre ces observations empiriques et la théorie mathématique des dimensions intrinsèques, suggérant que les estimateurs couramment utilisés ne mesurent pas la véritable dimension intrinsèque sous-jacente.

2. Méthodologie

Les auteurs adoptent une approche combinant analyse théorique rigoureuse et validation empirique sur divers modèles (CNN, ViT, LLM).

A. Fondements Théoriques

• Définitions : L'article se base sur la dimension de Hausdorff et la dimension ponctuelle (pointwise dimension).
• Propriété de Lipschitz : Les auteurs démontrent que la quasi-totalité des architectures de réseaux de neurones (composées de couches linéaires, convolutions, activations comme ReLU, normalisation, etc.) sont des applications Lipschitziennes.
• Théorème clé : Ils prouvent mathématiquement que la dimension ponctuelle (et de Hausdorff) ne peut pas augmenter sous une application Lipschitzienne. Si $f$ est $L$-Lipschitzienne, alors pour presque tout point $x$, la dimension de l'image $f(x)$ est inférieure ou égale à celle de $x$.
• Conséquence : Dans un réseau de neurones Lipschitzien, la dimension intrinsèque réelle des représentations doit être monotone décroissante (ou constante) à travers les couches. Elle ne peut jamais augmenter.

B. Analyse Empirique

• Modèles testés :
  • Vision : AlexNet, VGG, ResNet, Vision Transformers (ViT, DINOv3).
  • Langage (LLM) : Llama-3.1, Mistral, Pythia.
• Estimateurs utilisés : TwoNN, Maximum Likelihood Estimator (MLE), et Gride (variantes basées sur les rapports de distances entre voisins les plus proches).
• Expériences de contrôle :
  • Vérification de la cohérence des motifs d'ID sur des données synthétiques et réelles.
  • Analyse des distances entre voisins les plus proches (k-NN), de la similarité cosinus, de la norme L2 (taille des représentations) et de l'entropie de Von Neumann.
  • Investigation de l'hypothèse de l'union de variétés (données provenant de classes différentes).

3. Contributions Clés

1. Preuve de l'inadéquation des estimateurs : Les auteurs démontrent que les estimateurs d'ID courants (TwoNN, MLE) sont fortement biaisés en haute dimension. Plus important encore, ils prouvent que ces estimateurs ne suivent pas la véritable dimension intrinsèque des représentations neuronales, car les motifs observés (augmentation) contredisent les bornes théoriques imposées par la propriété Lipschitzienne.
2. Extension à l'union de variétés : Même en considérant que les données résident sur une union de variétés déconnectées (hypothèse soutenue par des travaux récents sur les images), la dimension intrinsèque ne peut toujours pas augmenter sous des mappings Lipschitziens. Les motifs observés restent donc non indicatifs de la vraie ID.
3. Cas spécifique des LLM : Pour les modèles de langage, les auteurs montrent que les représentations des tokens forment un ensemble fini (ou dénombrable). Théoriquement, la dimension de Hausdorff et la dimension ponctuelle d'un ensemble fini sont nulles. Les estimateurs actuels ne capturent donc pas cette réalité topologique.
4. Identification du facteur moteur : L'augmentation observée des estimations d'ID n'est pas due à une complexité géométrique accrue, mais à une expansion des représentations dans l'espace latent. Les auteurs montrent que la norme L2 des représentations (distance à l'origine) augmente le long des couches, ce qui éloigne les points les uns des autres. Comme les estimateurs d'ID se basent sur les rapports de distances entre voisins, cette expansion uniforme fausse les ratios, les faisant tendre vers 1, ce qui induit artificiellement une estimation d'ID élevée.
5. Corrélation avec l'Entropie : Les motifs d'ID estimés correspondent étroitement aux motifs de l'entropie de Von Neumann (basée sur la distribution des valeurs propres de la matrice de Gram). Cela suggère que les estimateurs d'ID mesurent en réalité la dispersion de la variance le long des directions linéaires dans l'espace latent, et non la dimension de la variété sous-jacente.

4. Résultats Principaux

• Contradiction Théorie-Pratique : Les graphiques montrent systématiquement une augmentation de l'ID estimée dans les premières couches, ce qui est mathématiquement impossible pour la vraie dimension intrinsèque dans un réseau Lipschitzien.
• Analyse des distances k-NN : Les distances entre les $k$-voisins les plus proches augmentent globalement à travers les couches (surtout au début), mais les rapports entre ces distances (utilisés par les estimateurs) changent de manière à simuler une augmentation de dimension.
• Rôle de la norme L2 : L'augmentation de la norme L2 des représentations (expansion dans l'espace latent) est le facteur principal expliquant l'augmentation des distances k-NN et, par conséquent, l'artefact d'ID croissante.
• Similarité Cosinus : La similarité cosinus entre les représentations ne varie pas de manière significative avec les couches (contrairement à ce qui pourrait être attendu si l'orthogonalité était la cause), éliminant cette hypothèse comme facteur moteur.
• Entropie vs ID : Il existe une corrélation forte entre l'ID estimée et l'entropie de Von Neumann. Lorsque l'entropie augmente (la variance se répartit sur plus de directions), l'ID estimée augmente également.

5. Signification et Impact

• Réinterprétation des résultats antérieurs : Les conclusions tirées de l'augmentation de la dimension intrinsèque dans les couches profondes (souvent interprétée comme une "phase d'abstraction" ou une transition de phase) doivent être réexaminées. Ces motifs ne reflètent pas la complexité géométrique réelle des variétés de données.
• Nouvelle perspective : Au lieu de parler de "dimension intrinsèque", les auteurs suggèrent d'interpréter ces métriques comme des indicateurs de la distribution de la variance dans l'espace latent. L'augmentation observée reflète une expansion des représentations pour distinguer les contextes (notamment dans les LLM), plutôt qu'une augmentation de la dimensionnalité de la variété.
• Recommandations futures :
  • Les chercheurs devraient utiliser des métriques complémentaires, comme l'entropie, pour obtenir une image plus complète de la géométrie des représentations.
  • De nouveaux estimateurs d'ID doivent être conçus pour respecter la contrainte théorique de non-augmentation (monotonie décroissante) dans les réseaux Lipschitziens.
  • Pour les LLM, la notion de dimension intrinsèque non nulle est remise en question pour les embeddings de tokens, qui sont topologiquement de dimension zéro.

En résumé, cet article déconstruit une hypothèse largement acceptée en apprentissage automatique, démontrant que les outils d'estimation actuels sont inadéquats pour mesurer la dimension intrinsèque réelle des réseaux de neurones, et propose une explication alternative basée sur l'expansion spatiale et l'entropie.