🤖 machine learning

A Comparative Study of Label-free Representation Quality Metrics in Deep Learning

Cet article présente une étude comparative exhaustive de la qualité des métriques de représentation sans étiquette à travers 260 modèles de vision, identifiant la dimensionnalité intrinsèque comme le prédicteur le plus fiable tout en démontant que l'efficacité de toutes les métriques est significativement modérée par la classe d'architecture et les objectifs d'entraînement.

Auteurs originaux : Daniel Richards Arputharaj, Daniel Jönsson, Gabriel Eilertsen

Publié 2026-08-25

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Richards Arputharaj, Daniel Jönsson, Gabriel Eilertsen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le vaste paysage de l'intelligence artificielle moderne, une révolution silencieuse a eu lieu. Pendant des années, les systèmes de vision par ordinateur les plus puissants ont été construits en les nourrissant de millions d'images étiquetées, leur apprenant à reconnaître un chat en leur montrant mille photos de chats avec le mot « chat » écrit en dessous. Mais une approche plus récente et plus efficace est apparue, où les modèles apprennent à comprendre le monde en observant des images sans aucun étiquetage du tout. Ces systèmes, souvent appelés auto-supervisés, s'enseignent à eux-mêmes en repérant des motifs, des similitudes et des différences au sein même des données. Le résultat est une bibliothèque de milliers de modèles pré-entraînés, prêts à être téléchargés et utilisés comme les yeux de nouvelles applications. Pourtant, cette abondance a créé un nouveau problème : comment un développeur peut-il choisir le bon modèle ? Sans étiquettes pour tester, et sans temps pour lancer des expériences d'entraînement coûteuses sur chaque candidat, il existe un besoin désespéré d'un moyen rapide et fiable de juger la qualité de la compréhension interne d'un modèle simplement en regardant sa production.

C'est le défi relevé par une équipe de chercheurs de l'Université de Linköping, qui s'est donné pour mission de tester une collection d'outils conçus pour mesurer la qualité de ces modèles sans étiquettes. Ils ont examiné deux cent soixante modèles de vision différents, allant des classificateurs d'images standards à ceux entraînés avec des techniques d'auto-supervision avancées, et les ont testés sur six ensembles de données différents couvrant tout, des objets génériques comme les voitures et les animaux aux détails plus fins comme des espèces de fleurs spécifiques et des scènes d'imagerie satellite. Les chercheurs voulaient savoir si les raccourcis mathématiques existants utilisés pour juger ces modèles fonctionnaient réellement, ou s'ils ne faisaient que donner une fausse confiance. Ils ont regroupé les outils disponibles en trois familles : ceux qui observent la dispersion globale des données, ceux qui examinent comment les points sont liés les uns aux autres, et ceux qui mesurent la complexité de la forme que les données forment. En menant des expériences contrôlées et en comparant les résultats à la performance réelle des tâches, ils ont découvert que, bien que certains outils soient utiles dans des situations spécifiques, une mesure particulière se distingue comme le guide le plus digne de confiance pour le grand public.

Les chercheurs ont commencé par catégoriser les diverses façons de mesurer l'état interne d'un modèle sans utiliser d'étiquettes. Certaines méthodes, qu'ils ont appelées métriques spectrales, analysent la distribution de l'énergie ou de la variance à travers les dimensions internes du modèle, vérifiant essentiellement si le modèle utilise toute sa capacité ou s'il s'effondre dans quelques directions étroites. D'autres, connues sous le nom de métriques relationnelles, examinent les distances entre différents points de données pour voir si le modèle les a organisés en une structure utile. Un troisième groupe, les métriques basées sur les variétés (manifolds), tente d'estimer la complexité réelle ou la dimensionnalité de la forme que les données occupent. L'équipe a d'abord testé ces outils sur des données synthétiques générées en laboratoire, en contrôlant soigneusement la forme des données pour voir comment chaque outil réagissait. Ils ont découvert que les outils spectraux étaient très sensibles à la forme spécifique de la distribution des données ; certains grimpaient à des valeurs élevées lorsque les données étaient parfaitement uniformes, tandis que d'autres montaient en flèche lorsque les données étaient concentrées. Cela a révélé qu'aucun outil spectral unique ne pouvait être considéré comme fiable pour donner une lecture cohérente dans tous les scénarios possibles, car ils mesuraient souvent des choses entièrement différentes.

Lorsque les chercheurs sont passés aux modèles du monde réel, le tableau est devenu encore plus nuancé. Ils ont évalué les outils par rapport à la précision réelle des modèles lorsqu'ils sont appliqués à de nouvelles tâches. Les résultats ont montré que la fiabilité de ces outils n'était pas une propriété fixe mais dépendait fortement du type de modèle et de la manière dont il était entraîné. Par exemple, les outils conçus pour mesurer la façon dont les données sont réparties fonctionnaient bien pour les modèles entraînés avec des méthodes auto-supervisées, qui sont explicitement enseignés pour disperser leurs représentations afin d'éviter l'effondrement. Cependant, ces mêmes outils échouaient complètement lorsqu'ils étaient appliqués à des modèles entraînés avec des données étiquetées traditionnelles, où l'objectif est souvent de regrouper étroitement des éléments similaires. De même, les outils qui mesuraient la stabilité du système mathématique derrière le modèle se sont révélés trompeurs, car leurs scores n'étaient souvent que le reflet du solveur mathématique utilisé plutôt que de la qualité du modèle lui-même.

Au milieu de cette variabilité, une métrique est apparue comme un leader clair et constant : la dimensionnalité intrinsèque. Cette mesure estime le nombre minimum de paramètres nécessaires pour décrire les données, demandant essentiellement combien de « directions » les données ont réellement besoin pour exister. Les chercheurs ont découvert que cet outil était le prédicteur le plus fiable du succès dans presque tous les scénarios. Lorsque la dimensionnalité intrinsèque était plus faible, les modèles avaient tendance à mieux performer sur les tâches en aval. Cela restait vrai que le modèle soit un réseau convolutionnel standard ou un transformeur moderne, et qu'il ait été entraîné avec ou sans étiquettes. La seule fois où cette règle s'affaiblissait était lorsque la tâche s'éloignait de la reconnaissance d'objets distincts, comme lors de l'identification de scènes spécifiques ou d'images de télédétection, où la relation entre la forme des données et la tâche devenait moins directe.

L'étude a également souligné une leçon cruciale pour quiconque tente de sélectionner un modèle : le contexte compte énormément. Un outil qui fonctionne parfaitement pour une famille de modèles peut être inutile pour une autre. Par exemple, une métrique suggérant qu'un modèle est de haute qualité parce qu'il possède un « rang effectif » élevé pourrait être totalement erroné si le modèle appartient à une architecture différente. Les chercheurs ont démontré qu'il était essentiel de regrouper les modèles par classe d'architecture ou par objectif d'entraînement pour obtenir un signal clair. Sans ce tri minutieux, les résultats étaient souvent contradictoires, différents outils pointant dans des directions opposées. L'équipe a conclu que, bien que le domaine de l'évaluation sans étiquettes soit prometteur, il nécessite une approche plus sophistiquée que le simple choix du chiffre le plus élevé. La voie la plus robuste consiste à s'appuyer sur la mesure de la dimensionnalité intrinsèque, qui suit de manière cohérente la qualité de la représentation, tout en traitant les autres métriques avec prudence et en comprenant exactement les conditions spécifiques pour lesquelles elles sont conçues.

En fin de compte, ce travail fournit une carte plus claire pour naviguer dans la forêt croissante des modèles pré-entraînés. Il suggère que la quête d'un score unique et universel de qualité de modèle peut être complexe, car différents modèles organisent leurs connaissances de manières fondamentalement différentes. Au lieu de cela, l'indicateur le plus fiable du potentiel d'un modèle est sa capacité à compresser l'information dans une structure efficace et de dimension inférieure. Pour les développeurs et les chercheurs, cela signifie que lorsqu'ils choisissent un modèle sans le luxe de le tester sur la tâche finale, regarder la dimensionnalité intrinsèque offre la meilleure chance de faire le bon choix. L'étude ne prétend pas avoir résolu le problème de la sélection de modèles, mais elle a fourni un filtre indispensable, séparant les outils qui offrent une véritable intuition de ceux qui ne font que refléter les particularités de l'entraînement ou de l'architecture du modèle.

Résumé technique : Une étude comparative de la qualité des métriques de représentation sans étiquette dans le deep learning

Énoncé du problème

La prolifération des réseaux de neurones profonds pré-entraînés, particulièrement via l'apprentissage auto-supervisé (SSL) et les dépôts publics comme HuggingFace, a créé un défi pour la sélection d'extracteurs de caractéristiques optimaux pour des tâches en aval sans surcharge computationnelle excessive. Traditionnellement, la pertinence d'un modèle est évaluée via des méthodes dépendantes des étiquettes, telles que le sondage linéaire (linear probing), les k-plus proches voisins (KNN) ou l'ajustement fin complet (full fine-tuning). Cependant, à mesure que le nombre de modèles disponibles augmente, la recherche exhaustive devient prohibitive sur le plan computationnel.

Cela a motivé le développement de métriques sans étiquette (label-free), qui évaluent la qualité de la représentation uniquement sur la base de la géométrie de l'espace des caractéristiques (par exemple, la structure de covariance, les relations par paires ou la géométrie de la variété/manifold) sans nécessiter l'accès aux étiquettes cibles. Bien que diverses métriques aient été proposées (par exemple, RankMe, $\alpha$ -ReQ, Dimension Intrinsèque), les évaluations existantes valident souvent des métriques uniques contre des configurations architecturales ou d'entraînement restreintes. Par conséquent, il reste difficile de savoir quelles métriques sont fiables à travers diverses architectures, objectifs d'entraînement (supervisé vs SSL) et jeux de données, ou comment ces métriques diffèrent dans leur sensibilité aux formes spectrales et aux dimensions de représentation.

Méthodologie

Les auteurs mènent une étude comparative exhaustive impliquant 260 modèles de vision à travers six jeux de données (couvrant la classification d'objets génériques, la classification fine, la reconnaissance de scènes et les tâches géospatiales). La méthodologie est structurée en trois phases principales :

Taxonomie et Unification :
Le document catégorise les métriques sans étiquette existantes en trois familles basées sur leur construction :
- Métriques Spectrales : Basées sur les valeurs propres de la matrice de covariance de la représentation ou les valeurs singulières de la matrice de représentation (ex: $\alpha$ -ReQ, RankMe, NE Sum, Nombre de condition $\kappa$ ).
- Métriques Relationnelles : Basées sur les relations par paires entre les échantillons (ex: Self-Cluster, Entropie Spectrale de Diffusion (DSE)).
- Métriques basées sur la Variété (Manifold) : Basées sur la géométrie locale et la dimensionnalité de la variété de la représentation (ex: Dimension Intrinsèque (ID)).
  Les auteurs reformulent ces métriques lorsque cela est possible pour souligner les connexions théoriques et unifier leurs cadres.
Analyse de Sensibilité Synthétique :
Pour découpler les effets de l'architecture et du jeu de données des propriétés spectrales, les auteurs génèrent des eigenspectres synthétiques suivant une décroissance en loi de puissance ( $\lambda_i \propto i^{-\alpha}$ ). Ils font varier systématiquement l'exposant de décroissance $\alpha$ et la dimensionnalité $d$ pour caractériser comment les métriques spectrales répondent aux changements de forme spectrale et de dimension de représentation.
Étude de Corrélation Empirique :
Les auteurs évaluent la corrélation entre chaque métrique et la précision de la tâche en aval.
- Proxys de performance : Ils utilisent un sondage linéaire par moindres carrés ordinaires (OLS) à forme fermée et un classifieur KNN ( $k=1$ ) comme proxys pour la performance de transfert.
- Stratification : Les résultats sont stratifiés par classe d'architecture (ViT, ResNet, ConvNeXT, RegNet) et objectif d'entraînement (Supervisé vs SSL).
- Rigueur Statistique : La corrélation de rang de Spearman est calculée à l'aide d'une procédure de bootstrap robuste aux clusters pour tenir compte des dépendances au sein des familles de modèles, avec une correction de Benjamini–Hochberg pour les comparaisons multiples.

Contributions Clés

Une Taxonomie Unifiée : Le document établit une taxonomie regroupant les métriques sans étiquette en familles Spectrales, Relationnelles et basées sur la Variété, fournissant des définitions reformulées qui clarifient les similitudes et différences (par exemple, en montrant le lien analytique entre Self-Cluster et DSE).
Caractérisation de la Sensibilité : À travers des expériences synthétiques contrôlées, les auteurs démontrent que les métriques spectrales présentent des sensibilités distinctes à la forme spectrale ( $\alpha$ ) et à la dimensionnalité ( $d$ ). Par exemple, RankMe et NE Sum sont maximisés pour les spectres uniformes ( $\alpha=0$ ), tandis que le nombre de condition $\kappa$ est le plus sensible aux extrêmes spectraux.
Évaluation Systématique de la Fiabilité : L'étude fournit une évaluation empirique à grande échelle de 260 modèles, révélant que la fiabilité des métriques sans étiquette est fortement modérée par la classe d'architecture et l'objectif d'entraînement, des facteurs souvent occultés dans les analyses agrégées.

Résultats Clés

La Dimension Intrinsèque (ID) est le prédicteur le plus fiable : Parmi toutes les métriques considérées, l'ID (spécifiquement l'estimateur TwoNN) montre la corrélation négative la plus constante avec la précision de test à travers les architectures et les objectifs d'entraînement. Une dimension intrinsèque plus faible est généralement corrélée à une meilleure généralisation. Cependant, sa fiabilité se dégrade pour les tâches manquant de structures claires de catégories d'objets grossières (ex: reconnaissance de scènes et télédétection).
Dépendance à l'Architecture et à l'Objectif :
- Métriques Spectrales : Les métriques comme RankMe et NE Sum ne sont pas uniformément fiables. RankMe montre des corrélations fortes lorsqu'il est groupé par architecture, mais des corrélations globales faibles. NE Sum est un prédicteur fiable spécifiquement pour les modèles SSL (associé au blanchiment/whitening des caractéristiques), mais performe mal pour les modèles supervisés.
- Métriques Relationnelles : Self-Cluster et DSE sont fortement corrélés (négativement) et sont des prédicteurs fiables pour les modèles SSL, reflétant la distribution uniforme des représentations encouragée par les objectifs SSL. Cependant, ils sont largement peu informatifs pour les modèles supervisés et les architectures spécifiques comme ViT (où les valeurs convergent souvent vers des extrêmes).
- Nombre de Condition ( $\kappa$ ) : Sa corrélation avec l'exactitude OLS est largement un artefact du conditionnement numérique du solveur linéaire plutôt qu'une véritable mesure de la qualité de la représentation, car la corrélation disparaît lors de l'utilisation d'un probe KNN.
Instabilité des Métriques : $\alpha$ -ReQ est jugé instable, les résultats dépendant fortement de la plage d'ajustement de l'eigenspectre, contredisant l'hypothèse selon laquelle $\alpha \approx 1$ indique universellement des représentations de haute qualité.

Signification et Revendications

Le document prétend fournir une compréhension plus claire de ce que mesurent les métriques sans étiquette, quand elles sont fiables, et comment les interpréter en pratique. La principale signification réside dans la découverte qu'aucune métrique sans étiquette unique ne sert de proxy universel pour la performance en aval à travers toutes les configurations.

Les auteurs concluent que :

Le Contexte est Critique : La fiabilité d'une métrique est fortement influencée par l'architecture du modèle et l'objectif d'entraînement. Les métriques ne doivent pas être utilisées pour classer conjointement des modèles de classes architecturales et de paradigmes d'entraînement différents sans prudence.
L'ID comme Base Robuste : La Dimension Intrinsèque émerge comme la métrique la plus largement fiable, particulièrement pour les tâches de classification d'objets, bien qu'elle ne soit pas parfaite pour tous les types de tâches.
Limites des Métriques Actuelles : Les métriques spectrales et relationnelles capturent des propriétés géométriques spécifiques (ex: distribution de la variance ou uniformité) qui ne sont indicatrices de qualité que sous des régimes d'entraînement spécifiques (ex: blanchiment induit par le SSL).
Directions Futures : Les auteurs suggèrent que la combinaison de métriques complémentaires (comme dans CLID) peut être une direction prometteuse, mais insistent sur le fait que les métriques sans étiquette actuelles doivent être utilisées avec prudence et une compréhension de leurs régimes de validité spécifiques.

L'étude ne propose pas une nouvelle métrique, mais plutôt un cadre pour interpréter les existantes, mettant en garde contre l'application aveugle de ces métriques comme indicateurs autonomes de la qualité d'un modèle sans considérer la configuration sous-jacente du modèle.