Résumé technique : Caractérisation des représentations d'objets universelles à travers les modèles de vision

Énoncé du problème

Il a été observé que les réseaux de neurones profonds (DNN) entraînés avec des architectures, des fonctions objectif et des ensembles de données divers convergent vers des représentations visuelles similaires, un phénomène parfois appelé « hypothèse de la représentation platonicienne ». Cependant, les propriétés visuelles spécifiques que ces représentations partagées capturent et les facteurs à l'origine de cette convergence restent mal compris. Les questions ouvertes clés incluent :

1. Les représentations universelles reflètent-elles des propriétés conceptuelles de haut niveau (par exemple, les catégories d'objets) ou des propriétés perceptives de bas niveau (par exemple, les contours, les couleurs) ?
2. Quels biais inductifs (architecture, objectif, données d'entraînement, taille du modèle ou performance) favorisent l'émergence de ces dimensions universelles ?
3. Comment ces dimensions partagées se rapportent-elles à la vision biologique (activité neuronale et comportement humain) ?

Des travaux antérieurs ont établi que les modèles se recoupent dans leur structure de représentation, mais n'ont pas systématiquement décomposé ces structures en dimensions interprétables et non négatives pour distinguer les composantes universelles des composantes spécifiques au modèle à travers un grand ensemble diversifié de modèles.

Méthodologie

Les auteurs ont analysé 162 modèles de vision divers (couvrant les CNN, les Transformers, les MLP-Mixers et les hybrides) entraînés sur divers ensembles de données (ImageNet, LAION, Taskonomy, etc.) et objectifs (supervisé, auto-supervisé, vision-langage). Le pipeline d'analyse a impliqué les étapes suivantes :

1. Extraction des données et des représentations :

   • Stimuli : 22 248 images d'objets issues de la base de données THINGS, couvrant 1 854 catégories d'objets de niveau de base.
   • Caractéristiques : Les représentations de la couche pénultième ont été extraites de l'ensemble des 162 modèles. La couche pénultième a été choisie car elle intègre les informations conceptuelles de haut niveau et les informations perceptives fines les plus proches de la sortie comportementale.

2. Factorisation de matrice non négative symétrique (Symmetric NMF) :

   • Pour rendre les représentations comparables entre des modèles ayant des espaces de caractéristiques différents, les auteurs ont d'abord calculé des matrices de similarité d'objets par paires ($S_m$) pour chaque modèle en utilisant un noyau à fonction de base radiale (RBF).
   • Chaque matrice de similarité a été décomposée en un petit ensemble de dimensions non négatives ($r=50$) en utilisant la Symmetric NMF : $S_m \approx W_m W_m^\top$.
   • Cela a produit une embedding non négative $W_m$ pour chaque modèle, où chaque colonne représente une dimension définie par des charges sur le même ensemble d'images. Cette approche garantit que les dimensions sont interprétables comme des caractéristiques « basées sur des parties ».

3. Quantification de l'universalité :

   • Un score d'universalité a été calculé pour chaque dimension dans chaque modèle. Cela impliquait de trouver une correspondance un à un (via l'algorithme hongrois) entre les dimensions d'un modèle cible et celles de tous les autres modèles, basée sur la similarité cosinus au carré.
   • Le score pour une dimension $k$ dans le modèle $m$ est la similarité moyenne avec ses meilleures dimensions correspondantes à travers tous les autres $M-1$ modèles.
   • Les scores ont été calibrés par rapport à une distribution nulle de permutation pour corriger l'alignement dû au hasard et la similarité de base due à la non-négativité.

4. Caractérisation et validation :

   • Interprétabilité : 1 059 dimensions représentatives ont été étiquetées par des participants issus du crowdsourcing comme sémantiques, visuelles, les deux ou aucune.
   • Analyse structurelle : La cohérence des catégories ($\eta^2$) a été calculée pour déterminer si les dimensions regroupaient les images par catégorie d'objet (variance inter-catégories) ou par caractéristiques visuelles au sein des catégories (variance intra-catégories).
   • Alignement biologique : Le pouvoir prédictif des dimensions universelles par rapport aux dimensions spécifiques au modèle a été testé contre :
     • L'activité multi-unités dans le cortex temporal inférieur (IT) du macaque.
     • Les jugements de similarité comportementale humaine (tâches de triplet « l'intrus »).
   • Comparaisons contrôlées : Les auteurs ont isolé les effets de l'architecture, de la fonction objectif, des données d'entraînement, de la taille du modèle et de la performance pour déterminer leur influence sur l'universalité.

Résultats clés

1. Existence de dimensions universelles

L'étude a identifié un ensemble de dimensions universelles interprétables qui se répètent de manière cohérente à travers les 162 modèles divers. Les scores d'universalité variaient de presque aléatoire (0,0003) à 0,54, les dimensions les plus universelles atteignant 64 % du plafond de stabilité intra-modèle. Ces dimensions universelles ne sont pas des artefacts de familles de modèles spécifiques ou d'ensembles d'images, car les classements sont restés stables sous le red échantillonnage par bootstrap et les changements d'ensemble d'images (THINGS par rapport à ObjectNet).

2. Nature des dimensions universelles par rapport aux dimensions spécifiques au modèle

• Dimensions universelles : Elles sont significativement plus interprétables pour les humains. À des niveaux d'universalité élevés, 80 % des dimensions ont été étiquetées comme sémantiques ou mixtes sémantique-visuelles, et elles ont montré une forte cohérence catégorielle (regroupement des images par catégorie d'objet).
• Dimensions spécifiques au modèle : Elles sont largement ininterprétables (78 % étiquetées « aucune » à faible universalité) et sont pilotées par des propriétés perceptives de l'image (texture, couleur, point de vue) plutôt que par une structure conceptuelle. Elles présentent une variance intra-catégorie élevée.
• Importance de la reconstruction : Crucialement, l'universalité ne corrèle pas avec la contribution d'une dimension à la structure de similarité globale du modèle (importance de la reconstruction). Les dimensions universelles et spécifiques au modèle contribuent également à la géométrie de représentation du modèle.

3. Facteurs de l'universalité

Les auteurs ont constaté qu'aucun biais inductif unique ne rend compte de l'émergence des dimensions universelles :

• Architecture : Aucune différence significative d'universalité entre les CNN, les Transformers, les MLP-Mixers ou les hybrides.
• Fonction objectif : Bien que les tâches sémantiques aient produit plus de dimensions universelles que les tâches géométriques au sein de la famille Taskonomy, aucun objectif unique (par exemple, contrastif par rapport à non contrastif, vision-langage par rapport à uniquement visuel) n'a systématiquement favorisé l'universalité à travers le zoo de modèles plus large.
• Données d'entraînement : Ni l'échelle de l'ensemble de données (ImageNet-1K par rapport à 21K) ni les ensembles de données spécifiques à l'échelle du web (LAION, DFN, MetaCLIP) n'ont significativement modifié les scores d'universalité.
• Taille/Performance du modèle : L'universalité ne montrait aucune corrélation avec le nombre de paramètres ou la précision top-1 sur ImageNet.

4. Alignement avec la vision biologique

Les modèles avec une proportion plus élevée de dimensions universelles prédisent mieux :

• Activité neuronale : L'activité multi-unités dans le cortex IT du macaque ($r = 0,74$).
• Comportement humain : Les jugements de similarité humaine dans les tâches de triplet « l'intrus » ($r = 0,76$).
  De plus, la « moitié universelle » des dimensions d'un modèle (les 25 premiers par score) surpasse significativement la « moitié spécifique au modèle » dans la prédiction des données neuronales et comportementales.

Signification et affirmations

L'article affirme que l'universalité est une propriété émergente de l'apprentissage réussi de la représentation visuelle plutôt qu'une conséquence de choix architecturaux ou d'entraînement spécifiques. Les résultats suggèrent que :

• Des modèles divers convergent vers un ensemble partagé de représentations d'objets conceptuelles et interprétables qui s'alignent sur la vision biologique.
• La convergence est pilotée par les contraintes du monde visuel lui-même, plutôt que par des biais inductifs spécifiques au modèle.
• L'interprétabilité, le contenu conceptuel et l'alignement biologique coexistent dans la structure vers laquelle les modèles convergent.

Les auteurs positionnent leur travail comme une étape vers la compréhension du « pourquoi » de l'apprentissage de la représentation visuelle, démontrant que malgré la nature « fracturée » des caractéristiques spécifiques au modèle, un noyau universel robuste existe qui reflète l'organisation du système visuel biologique. Ils déclarent explicitement que cette convergence n'est pas complète (les dimensions universelles n'ont pas de scores parfaits, et les dimensions spécifiques au modèle restent significatives), mais que la structure partagée suffit à expliquer l'alignement avec les cerveaux et le comportement.

L'article conclut que ce cadre offre une approche généralisable pour comprendre les représentations partagées par rapport aux représentations spécifiques dans n'importe quel ensemble de modèles traitant des entrées communes, allant au-delà des métriques d'alignement de représentation simples pour caractériser le contenu de la convergence.