Into the Rabbit Hull: From Task-Relevant Concepts in DINO to Minkowski Geometry

En utilisant des auto-encodeurs épars (SAE) pour analyser DINOv2, cette étude révèle que les représentations visuelles ne suivent pas uniquement une hypothèse de linéarité stricte, mais s'organisent plutôt selon des mélanges convexes d'archétypes dans des espaces conceptuels, conduisant à la proposition d'une nouvelle hypothèse de représentation de Minkowski.

L'essentiel

Imaginez que DINOv2 est un artiste génial, un peintre numérique qui a appris à voir le monde en regardant des millions de photos sans jamais qu'on lui dise quoi que ce soit. Il est capable de reconnaître un chat, de mesurer la profondeur d'une forêt ou de découper les contours d'un objet avec une précision chirurgicale.

Mais la question est : comment fonctionne son cerveau ?

Les chercheurs de ce papier (publié à ICLR 2026) ont décidé de faire une autopsie de ce cerveau numérique. Ils ont utilisé une loupe très puissante (appelée "auto-encodeur parcimonieux") pour décomposer les pensées de l'IA en 32 000 petits concepts de base.

Voici ce qu'ils ont découvert, en trois actes, comme une pièce de théâtre :

Acte 1 : Les Spécialistes (Qui fait quoi ?)

Imaginez que le cerveau de DINOv2 est une grande usine avec des milliers d'ouvriers. Les chercheurs ont vu que chaque tâche a ses propres équipes spécialisées :

• Pour classer les images (ex: "C'est un lapin") : L'IA utilise des détecteurs bizarres appelés "Elsewhere" (Ailleurs). C'est comme si l'ouvrier disait : "Ce n'est pas un lapin ici, mais je sais qu'il y a un lapin quelque part ailleurs sur la photo !". L'IA apprend à reconnaître ce qui n'est pas l'objet pour mieux le trouver. C'est une logique spatiale très subtile.
• Pour découper les images (segmentation) : L'IA a une équipe de "détecteurs de contours". Ils ne regardent pas le centre de l'objet, mais uniquement ses bords, comme des dessinateurs qui ne font que les contours au crayon.
• Pour estimer la profondeur (3D) : L'IA utilise trois types d'indices visuels, exactement comme les humains : les lignes de perspective (comme des rails de train qui se rejoignent), les ombres portées, et les changements de texture (les objets lointains sont plus flous).

Acte 2 : La Géométrie des Pensées (Comment sont-elles rangées ?)

Jusqu'à présent, on pensait que les idées de l'IA étaient comme des aiguilles dans un tas de foin : très espacées, très distinctes, et totalement indépendantes les unes des autres (comme des lignes droites sur un graphique).

Mais les chercheurs ont découvert que c'est plus compliqué et plus organique :

• Ce n'est pas juste des lignes : Les concepts ne sont pas isolés. Ils forment des grappes, des nuages.
• Des paires opposées : L'IA a des concepts "jumeaux ennemis". Par exemple, un concept pour "Ligne verticale" et un autre pour "Ligne horizontale" sont presque identiques, mais pointent dans des directions opposées (comme le Nord et le Sud).
• Des concepts "globaux" : Il y a des concepts qui ne regardent pas un objet précis, mais toute la scène : la lumière, le flou de mouvement, le style artistique. Ces concepts sont comme des "registres" (d'où le nom) qui gèrent l'ambiance générale de l'image.

Acte 3 : La Grande Révélation (L'Hypothèse du "Rabbit Hole")

C'est ici que ça devient fascinant. Les chercheurs proposent une nouvelle façon de voir comment l'IA construit ses pensées.

L'ancienne idée (LRH) :
On pensait que l'IA construisait une image en additionnant des lignes droites. Comme si vous construisiez une maison en empilant des planches de bois toutes droites.

La nouvelle idée (Hypothèse de Géométrie Minkowski) :
Les chercheurs disent : "Non, l'IA construit des formes !"

Imaginez que chaque concept est un point de repère (un archétype) dans un paysage imaginaire.

• Si vous voyez un lapin marron et flou, l'IA ne dit pas "Lapin + Marron + Flou".
• Elle dit : "Je suis un mélange de 'Lapin-type', 'Couleur-marron-type' et 'Texture-floue-type'".

C'est comme si l'IA prenait plusieurs îles (les archétypes) et créait un pont entre elles. Le résultat final est une zone (un polygone) où l'objet existe.

• Un lapin n'est pas une ligne droite, c'est une zone de probabilité entre "Lapin", "Marron" et "Flou".
• L'IA ne suit pas des lignes droites infinies, elle navigue à l'intérieur de ces formes géométriques (des polyèdres) pour trouver le sens.

Pourquoi est-ce important ?

Cela change tout pour comprendre l'IA :

1. On ne peut pas juste tirer sur un bouton : Si vous essayez de forcer l'IA à "penser plus au lapin" en poussant une ligne droite, vous risquez de la faire sortir de son monde logique. Il faut la guider vers le "centre" de la zone Lapin.
2. L'IA est plus humaine qu'on ne le pensait : Elle ne pense pas en vecteurs mathématiques froids, mais en régions de sens, un peu comme nos concepts mentaux (un "chien" est une zone floue entre "Labrador", "Chien de garde", "Petit chien", etc.).

En résumé

Ce papier nous dit que le cerveau de DINOv2 n'est pas un simple catalogue de lignes droites. C'est un paysage géométrique complexe où les idées sont des zones de mélange. L'IA navigue dans ce paysage en combinant des points de repère (archétypes) pour comprendre le monde, un peu comme un explorateur qui utilise des points de repère sur une carte pour savoir où il se trouve, plutôt que de suivre une ligne droite aveugle.

C'est une découverte majeure qui nous aide à mieux comprendre, et peut-être à mieux contrôler, ces intelligences artificielles qui voient le monde d'une manière si différente de la nôtre.

Résumé technique

1. Problématique et Contexte

Bien que DINOv2 soit un modèle de vision par ordinateur pré-entraîné de référence, capable de réaliser des tâches variées (classification, segmentation, estimation de profondeur) sans supervision, la nature exacte de ses représentations internes reste obscure.

L'hypothèse dominante dans le domaine de l'interprétabilité est l'Hypothèse de Représentation Linéaire (LRH - Linear Representation Hypothesis). Elle postule que les activations d'un réseau de neurones peuvent être décrites comme une combinaison linéaire et sparse (creuse) d'un grand nombre de directions quasi-orthogonales (un dictionnaire surcomplet). Cependant, les auteurs de cet article suggèrent que cette vision purement linéaire et sparse est insuffisante pour capturer toute la complexité géométrique et fonctionnelle des représentations de DINOv2. Ils cherchent à répondre aux questions suivantes :

• Comment les différentes tâches recrutent-elles les concepts appris ?
• Quelle est la géométrie réelle de ces concepts (orthogonalité, densité, structure) ?
• Existe-t-il une structure géométrique plus profonde, au-delà de la simple superposition linéaire ?

2. Méthodologie

L'étude s'articule autour de trois axes principaux, reposant sur une base méthodologique solide :

A. Extraction de Concepts via Sparse Autoencoders (SAE)

Pour opérationnaliser l'hypothèse LRH, les auteurs entraînent un Sparse Autoencoder (SAE) stable sur les activations de DINOv2-B.

• Dictionnaire : Ils apprennent un dictionnaire surcomplet de 32 000 "atomes" (concepts visuels).
• Contrainte de stabilité : Contrairement aux SAEs classiques, ils imposent que les atomes du dictionnaire appartiennent à l'enveloppe convexe des activations réelles (via une contrainte de convex hull), garantissant ainsi que les concepts sont in-distribution et reproductibles.
• Résultat : Une bibliothèque de concepts interprétables servant de colonne vertébrale à l'analyse.

B. Analyse Fonctionnelle (Recrutement par Tâche)

Les auteurs analysent comment les têtes de lecture linéaires (probes) pour différentes tâches (classification, segmentation, estimation de profondeur) s'alignent avec ce dictionnaire de 32k concepts. Ils utilisent des mesures d'importance basées sur l'espérance des activations pondérées par les poids du probe.

C. Analyse Géométrique et Statistique

Ils examinent les propriétés statistiques du dictionnaire appris :

• Orthogonalité : Mesure des produits scalaires entre atomes (coherence).
• Densité : Analyse de la distribution des activations (sparse vs dense).
• Géométrie locale : Étude de la structure des tokens au sein d'une seule image via PCA, en vérifiant si la connectivité locale est due à l'encodage de position ou à la sémantique.

D. Proposition Théorique : Hypothèse de Représentation de Minkowski (MRH)

En synthétisant les observations, les auteurs proposent une nouvelle hypothèse géométrique : les activations ne sont pas de simples sommes linéaires, mais des sommes de Minkowski de polytopes convexes. Un token est vu comme une combinaison convexe d'archétypes (points de repère) au sein de plusieurs "tuiles" (ex: une tuile pour la position, une pour la catégorie d'objet, une pour la texture), le tout étant additionné.

3. Résultats Clés

A. Spécialisation Fonctionnelle des Tâches

• Classification : Recrute un large éventail de concepts, y compris des concepts "Elsewhere". Ces concepts s'activent partout sauf sur l'objet cible, implémentant une forme de négation logique apprise ("l'objet est ailleurs, mais pas ici").
• Segmentation : S'appuie sur une sous-ensemble restreint de concepts formant un sous-espace cohérent, agissant comme des détecteurs de contours (borders) le long des limites des objets.
• Estimation de Profondeur : Recrute trois familles distinctes de concepts correspondant aux indices monoculaires classiques de la neuroscience visuelle :
  1. Géométrie projective (lignes de fuite, convergence).
  2. Ombres et gradients d'éclairage.
  3. Transitions de fréquence locale (textures).

B. Géométrie et Statistiques des Concepts

• Dépassement de la Sparse Coding pure : Le dictionnaire n'est pas parfaitement orthogonal (contrairement aux cadres de Grassmannian idéaux). Il présente une anisotropie (certaines directions sont plus denses), des paires antipodales (vecteurs opposés codant des pôles sémantiques opposés, ex: blanc/noir), et une structure partiellement dense.
• Concepts Spécifiques aux Tokens :
  • Les tokens reg (registers) activent des concepts capturant des propriétés globales de la scène (éclairage, flou de mouvement, style) sans être liés à des objets spécifiques.
  • Les tokens cls ont un concept unique dédié.
• Compression Positionnelle : L'information de position se comprime fortement au fil des couches, convergeant vers un sous-espace de dimension 2 dans les dernières couches. Cependant, la structure locale connectée des tokens persiste même après la soustraction de l'information de position, indiquant une organisation sémantique intrinsèque.

C. Validation de l'Hypothèse de Minkowski (MRH)

Les auteurs montrent que l'interpolation linéaire directe entre tokens sort souvent du manifold de données, tandis que les géodésiques sur le graphe des voisins (k-NN) restent sur le manifold.

• Preuve Empirique : L'analyse archétypale (Archetypal Analysis) permet de reconstruire les tokens avec très peu d'archétypes (environ 10), suggérant que les données résident dans des polytopes de basse dimension.
• Preuve Théorique : Ils démontrent mathématiquement que le mécanisme d'attention multi-têtes génère naturellement une somme de Minkowski de polytopes convexes (chaque tête produit une combinaison convexe de ses vecteurs valeurs, et les têtes s'additionnent).

4. Contributions Principales

1. Dictionnaire à Grande Échelle : Création et publication d'un dictionnaire de 32 000 concepts pour DINOv2, le plus grand à ce jour pour un modèle de vision fondation, accessible via un outil interactif (DinoVision).
2. Découverte de Concepts "Elsewhere" : Identification d'un mécanisme de logique spatiale distribué où la classification utilise des signaux négatifs (absence d'objet) pour inférer la présence de l'objet.
3. Cartographie des Indices de Profondeur : Mise en évidence de la manière dont DINOv2 apprend de manière auto-supervisée des primitives de perception 3D (ombres, perspective, texture) alignées avec la biologie visuelle.
4. Hypothèse de Représentation de Minkowski (MRH) : Proposition d'un nouveau cadre théorique remplaçant la LRH pure. Selon la MRH, les concepts sont des régions convexes (polytopes) définies par des archétypes, et non de simples directions linéaires infinies.
5. Implications pour l'Interprétabilité :
   • Le "steering" (pilotage) des modèles ne doit pas être une dérive infinie le long d'un vecteur, mais une convergence vers un archétype spécifique dans un polytope.
   • La décomposition des activations en facteurs génératifs est fondamentalement non identifiable sans connaître la structure des couches précédentes (problème de décomposition de Minkowski).

5. Signification et Impact

Cet article marque un tournant dans la compréhension des modèles de vision par transformers. Il démontre que la géométrie des représentations est plus riche que la simple orthogonalité sparse. En introduisant la Minkowski Representation Hypothesis, les auteurs offrent un cadre unificateur qui relie :

• La théorie cognitive des espaces conceptuels (Gärdenfors).
• Le mécanisme d'architecture des Transformers (attention convexe).
• Les observations empiriques de DINOv2.

Cela suggère que pour interpréter, guider ou contrôler ces modèles, il faut passer d'une vision vectorielle linéaire à une vision géométrique basée sur des régions convexes et des archétypes. Cela ouvre la voie à de nouvelles méthodes d'interprétabilité plus robustes et à des techniques de "steering" plus efficaces qui respectent les limites du manifold de données.