🤖 machine learning

IdEst: Assessing Self-Supervised Learning Representations via Intrinsic Dimension

Cet article introduit IdEst, une méthode efficace sur le plan computationnel qui estime la dimension intrinsèque des représentations de l'apprentissage auto-supervisé à l'aide d'un estimateur de dimension par arbre couvrant minimal, démontrant que cette métrique géométrique est fortement corrélée à la performance de la sonde linéaire en aval et sert d'alternative fondée sur des principes pour la sélection d'hyperparamètres.

Auteurs originaux : Julie Mordacq, Vicky Kalogeiton, Steve Oudot

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Julie Mordacq, Vicky Kalogeiton, Steve Oudot

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante de livres non étiquetés (photos, vidéos, etc.). Vous voulez apprendre à un robot à comprendre ces livres sans qu'un bibliothécaire ne lui dise de quoi chacun traite. C'est ce qu'on appelle l'Apprentissage Auto-Supervisé (Self-Supervised Learning ou SSL). Le robot lit les livres, regroupe ceux qui se ressemblent et construit une carte mentale du monde.

Mais voici le problème : comment savoir si la carte mentale du robot est bonne ?

Habituellement, pour tester le robot, vous devez embaucher un bibliothécaire humain pour lui faire passer un examen (une « sonde linéaire »). Vous demandez au robot de trier les livres dans des catégories spécifiques (comme « chats » contre « chiens »). S'il obtient un score élevé, la carte est bonne. Mais cela est lent, coûteux et nécessite beaucoup d'efforts humains.

Entrez en scène, IDEST.

Les auteurs de cet article proposent une nouvelle façon de vérifier la carte du robot sans embaucher de bibliothécaire ni regarder les étiquettes. Ils appellent leur méthode IDEST (qui évoque la locution latine id est, signifiant « c'est-à-dire »).

L'idée centrale : L'analogie de la « pièce bondée »

Imaginez la carte mentale du robot comme une pièce où il place chaque livre qu'il a déjà vu.

Une mauvaise carte : Le robot jette tous les livres dans un immense entrepôt vide. Tout est éparpillé, la pièce semble chaotique et vide. Il est difficile de trouver des motifs.
Une bonne carte : Le robot organise les livres dans un salon chaleureux et bien structuré. Les livres similaires sont proches les uns des autres et l'espace est utilisé efficacement.

Les auteurs ont découvert une règle simple : plus le robot emballe efficacement les livres dans sa pièce mentale, plus il sera performant pour les tâches futures.

Ils mesurent cette efficacité à l'aide de ce qu'on appelle la Dimension Intrinsèque (ID).

Imaginez une feuille de papier plate (2D) flottant dans une pièce en 3D. Même si la pièce est en 3D, la feuille n'a besoin que de 2 dimensions pour être décrite.
Si la carte du robot est « plate » et organisée (dimension basse), elle est efficace.
Si la carte du robot est « bulleuse » et désordonnée, s'étendant dans tous les coins de la pièce (dimension haute), elle est inefficace.

Le problème des anciens outils

Auparavant, les scientifiques essayaient de mesurer cette « efficacité de la pièce » en utilisant des outils comme TwoNN ou MLE.

L'analogie : Imaginez essayer de mesurer la forme d'une pièce en jetant quelques billes sur le sol et en regardant comment elles rebondissent.
La faille : Dans le monde complexe et technologique de l'IA moderne, ces outils sont comme des tentatives de mesurer une pièce avec une règle en gelée. Ils sont perturbés par le bruit, ils se cassent si les billes ne sont pas parfaitement espacées, et ils donnent souvent des réponses aberrantes (comme dire qu'une ligne 1D est en fait infinie).

Le nouvel outil : La méthode de la « corde » (IDEST)

Les auteurs ont utilisé un outil différent appelé dimMST (estimateur de dimension par arbre couvrant minimal).

L'analogie : Au lieu de jeter des billes, imaginez que vous avez une corde. Vous reliez chaque livre de la pièce du robot à son voisin le plus proche avec la corde, créant une immense toile qui touche chaque livre sans créer de boucles.
Pourquoi cela fonctionne : Vous mesurez ensuite la longueur totale de cette corde. En observant comment la longueur de la corde augmente à mesure que vous ajoutez des livres, vous pouvez déterminer mathématiquement la véritable « forme » de la pièce.
Le bénéfice : Cette méthode de la « corde » est robuste. Elle ne se soucie pas de savoir si les livres sont bruyants, regroupés ou dispersés. Elle donne une mesure fiable même dans des conditions désordonnées.

Ce qu'ils ont découvert

Les auteurs ont testé IDEST sur de nombreux modèles d'IA différents (comme DINO, CLIP et VICReg) et sur de nombreux jeux de données différents (comme ImageNet).

La règle d'or : Ils ont trouvé un lien fort et constant : plus la « Dimension Intrinsèque » est basse (l'emballage est plus efficace), plus les scores de test du robot sont élevés.
- Si IDEST indique que la dimension est basse, le robot est probablement intelligent et prêt pour le travail.
- Si IDEST indique que la dimension est haute, le robot est probablement confus.
- Note : La corrélation était si forte qu'ils pouvaient prédire la performance d'un modèle lors d'un test simplement en mesurant la « longueur de la corde » de sa carte, sans jamais exécuter le test.
Observer le robot apprendre : Ils ont observé le robot apprendre au fil du temps. À mesure que le robot devenait meilleur dans sa tâche, la « longueur de la corde » (la dimension) diminuait naturellement. IDEST pouvait suivre cette amélioration en temps réel, agissant comme un tracker de forme pour le cerveau de l'IA.
Gagner du temps et de l'argent : Comme IDEST n'a pas besoin d'étiquettes (il est « non supervisé »), les chercheurs peuvent l'utiliser pour choisir les meilleurs réglages de leurs modèles d'IA sans exécuter de tests coûteux. C'est comme un mécanicien qui vérifie la vibration du moteur pour régler une voiture, plutôt que de la conduire sur un circuit de course pour voir à quelle vitesse elle va.

Résumé

L'article présente IDEST, une nouvelle façon, peu coûteuse et rapide, de juger si un modèle d'IA auto-supervisé est bon. Au lieu de tester le modèle avec des données étiquetées par l'humain, IDEST mesure à quel point la carte interne de l'IA est « étroitement emballée » et organisée.

Dimension basse (emballage serré) = Bon Modèle.
Dimension haute (emballage désordonné) = Mauvais Modèle.

Cela fonctionne comme une « corde » qui relie les points dans l'esprit de l'IA, révélant la véritable forme de sa connaissance sans avoir besoin d'une seule étiquette. Cela permet aux scientifiques de construire de meilleurs modèles d'IA plus rapidement et à moindre coût.

Résumé technique : IDEST – Évaluer les représentations de l'apprentissage auto-supervisé via la dimension intrinsèque

Énoncé du problème

L'apprentissage auto-supervisé (SSL) est devenu un paradigme dominant pour extraire des représentations significatives à partir de données non étiquetées. Cependant, le protocole standard pour évaluer ces représentations — le probing linéaire — présente des limitations importantes. Il est coûteux en termes de calcul, sensible aux hyperparamètres et offre une vision limitée de la structure géométrique de l'espace de représentation. De plus, les proxys géométriques existants pour la qualité des représentations, tels que ceux basés sur les propriétés spectrales (par exemple, $\alpha$ -ReQ, RankMe), reposent souvent sur des hypothèses (comme la décroissance en loi de puissance) qui échouent en cas de collapse de la représentation ou sont restreints à des architectures spécifiques (par exemple, les architectures à double plongement/Joint-Embedding Architectures). De plus, bien que la dimension intrinsèque (ID) ait été liée à la généralisation dans les réseaux convolutifs supervisés, son comportement et son utilité dans les contextes modernes de SSL restent largement inexplorés, particulièrement compte tenu des défis uniques des distributions de données SSL (régimes non asymptotiques où $n \approx d$ et dépendances entre les vues augmentées).

Méthodologie : IDEST

Les auteurs proposent IDEST (Estimation de la dimension intrinsèque pour le SSL via les arbres couvrants minimaux), un critère non supervisé pour évaluer les représentations SSL basé sur l'estimation de leur dimension intrinsèque.

Fondement théorique

La méthode est ancrée dans la connexion entre l'erreur de généralisation et la dimension intrinsèque. Citant Konz & Mazurowski (2024), l'erreur de généralisation $L$ pour un modèle bien entraîné interpolant un ensemble de données de taille $N_D$ évolue comme $O(N_D^{-1/d})$ , où $d$ est la dimension intrinsèque. Cela implique que pour une taille de jeu de données fixe, une dimension intrinsèque plus faible correspond à une représentation plus efficace et potentiellement à de meilleures performances en aval.

Sélection de l'estimateur : dimMST

Pour estimer $d$ , les auteurs rejettent les estimateurs paramétriques standards comme TwoNN et l'Estimation du Maximum de Vraisemblance (MLE). Ces méthodes supposent que les points de données sont échantillonnés de manière i.i.d. à partir d'une distribution avec une densité localement constante et échouent souvent dans les contextes de SSL en raison du bruit, des variations de densité d'échantillonnage et des dépendances spécifiques introduites par les augmentations de données (comme démontré dans la Figure 2, où TwoNN diverge sur une simple variété en hélice).

Au lieu de cela, IDEST utilise l'estimateur de dimension par arbre couvrant minimal (MST) ( $\text{dimMST}$ ), dérivé de la théorie des fonctionnelles euclidiennes (Costa & Hero, 2006).

Mécanisme : L'estimateur repose sur le taux de croissance asymptotique de la longueur totale de l'arbre couvrant minimal (MST) d'un nuage de points. La relation est définie comme :
$\lim_{n \to \infty} n^{-\frac{d-1}{d}} \cdot L(\text{MST}(X_n)) = C'$
où $L$ est la longueur totale des arêtes et $C'$ est une constante.
Implémentation : La dimension intrinsèque $d$ est estimée via une régression linéaire log-log sur des sous-échantillons de tailles croissantes $n_i$ :
$\log(L(\text{MST}(X_{n_i}))) \approx \frac{d-1}{d} \log(n_i) + \log(C)$
La pente $m$ donne $d = 1/(1-m)$ .
Robustesse : $\text{dimMST}$ est théoriquement robuste au bruit, aux variations de densité d'échantillonnage et à la haute dimensionnalité ambiante, ce qui le rend adapté au régime $n \approx d$ inhérent à la vision SSL.

Protocole d'évaluation

IDEST opère sur des représentations gelées transmises à la tête du classifieur, conformément aux protocoles standards de probing linéaire. Pour les modèles sans jeton [CLS] (par exemple, I-JEPA), les jetons de patch sont moyennés par pooling ; pour les modèles avec un jeton [CLS] (par exemple, DINO), le jeton est utilisé directement.

Principales contributions

Proposition d'IDEST : Un critère non supervisé pour évaluer les représentations SSL basé sur l'estimation de la dimension intrinsèque via MST.
Validation empirique : Démonstration qu'IDEST est fortement corrélé aux performances de probing linéaire en aval à travers divers jeux de données, architectures et objectifs de pré-entraînement SSL.
Sélection d'hyperparamètres : Preuve qu'IDEST permet une sélection efficace et sans étiquettes des hyperparamètres, réduisant considérablement les coûts de calcul par rapport aux alternatives supervisées.

Résultats expérimentaux

1. Corrélation avec les performances en aval

Les auteurs ont évalué 33 modèles à travers 14 méthodes de SSL (incluant VICReg, DINO, DINOv2, I-JEPA, CLIP, SigLIP, etc.) et diverses architectures (ResNet, ViT).

Corrélation intra-jeu de données : IDEST montre une forte corrélation négative avec la précision du top-1 du probing linéaire sur ImageNet, iNat-18, iNat-21 et SUN397. Les coefficients de Spearman ( $\rho \approx -0,8$ ) et de Kendall ( $\tau \approx -0,6$ ) indiquent que les modèles ayant des dimensions intrinsèques plus faibles atteignent systématiquement une précision plus élevée.
Corrélation inter-jeu de données : L'IDEST calculé sur ImageNet sert de proxy fiable pour la performance sur d'autres jeux de données (iNat-18, iNat-21, CIFAR-10, CIFAR-100), suggérant qu'il capture des propriétés intrinsèques de la représentation plutôt que des artefacts spécifiques au jeu de données.
Protocoles alternatifs : La corrélation se maintient sous l'évaluation k-NN et sur l'ensemble de validation ImageNet-v2.

2. Dynamique d'entraînement

Probing hors ligne : IDEST suit l'évolution de la qualité de la représentation tout au long du pré-entraînement. À mesure que les époques d'entraînement augmentent et que la précision du probing linéaire s'améliore, la dimension intrinsèque estimée diminue systématiquement.
Probing en ligne : IDEST surveille efficacement l'amélioration des performances en aval même lorsque un classifieur est entraîné conjointement pendant le pré-entraînement (sans rétropropagation vers l'encodeur), à condition d'avoir dépassé les premières étapes d'entraînement.

3. Sélection non supervisée d'hyperparamètres

Les auteurs ont utilisé IDEST pour sélectionner les hyperparamètres optimaux (taux d'apprentissage, décroissance des poids, température, etc.) pour VICReg, DINO et I-JEPA.

Performance : Les modèles sélectionnés via IDEST ont atteint des performances compétitives, voire supérieures, à d'autres bases de référence non supervisées ( $\alpha$ -ReQ, RankMe) et à une base de référence faiblement supervisée (LiDAR).
Efficacité : La sélection de modèles via IDEST évite le coût de calcul de l'entraînement de sondes linéaires pour chaque configuration d'hyperparamètres.

Signification et affirmations

L'article affirme que la dimensionnalité intrinsèque sert de proxy géométrique principled pour évaluer les représentations SSL. En exploitant l'estimateur de dimension par MST, IDEST fournit une métrique robuste et sans étiquettes qui :

Complète les protocoles standards de sondage supervisé en offrant des informations sur la structure géométrique de l'espace de représentation.
Se généralise à travers divers paradigmes de SSL (double plongement, double prédiction, vision-langage) et architectures.
Réduit les coûts en permettant une sélection efficace des hyperparamètres sans nécessiter de données étiquetées ou d'évaluations coûteuses de sondage linéaire.

Les auteurs soulignent que leur travail met en évidence la promesse des descripteurs géométriques comme outil fondamental pour comprendre et optimiser l'apprentissage auto-supervisé, allant au-delà de la séparabilité pour considérer la manière dont l'information est compressée efficacement dans des structures géométriques de faible dimension.