🤖 AI

Global Geometry Is Not Enough for Vision Representations

Cet article démontre que la géométrie de l'enchâssement global est insuffisante pour prédire la liaison compositionnelle dans les représentations visuelles, révélant plutôt que la sensibilité fonctionnelle, mesurée via les jacobiennes entrée-sortie, est un indicateur critique et fiable de la capacité d'un modèle à composer des éléments visuels.

Auteurs originaux : Jiwan Chung, Seon Joo Kim

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiwan Chung, Seon Joo Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Ce n'est pas seulement une question d'ingrédients, c'est une question de recette

Imaginez que vous essayez d'apprendre à un robot à reconnaître un sandwich.

L'ancienne méthode (Géométrie globale) : Vous dites au robot : « Assure-toi que la liste de tes ingrédients est parfaitement équilibrée. Tu dois avoir une quantité égale de pain, de fromage et de jambon, et aucun ingrédient ne doit dominer la liste. » Le robot crée une liste parfaite et équilibrée de ce qui est présent.
Le problème : Le robot ne sait toujours pas si le fromage est sur le jambon ou en dessous. Il sait que les ingrédients existent, mais il ne comprend pas comment ils sont agencés.

Cet article soutient que la plupart des modèles de vision par IA actuels sont comme ce robot. Ils sont excellents pour lister ce qui se trouve dans une image (géométrie globale), mais ils sont très mauvais pour comprendre comment ces choses sont assemblées (liaison compositionnelle).

L'expérience : Le « Puzzle de formes »

Pour tester cela, les chercheurs ont créé un puzzle fictif très simple.

La configuration : Ils ont montré à l'IA une image « de requête » avec un cercle rouge sur la gauche et un carré vert sur la droite.
Le test : Ils ont demandé à l'IA de trouver une image correspondante parmi un groupe d'options.
L'astuce : Les images correspondantes utilisaient des couleurs complètement différentes (par exemple, un cercle bleu, un carré jaune). L'IA ne pouvait pas tricher en faisant correspondre les couleurs ; elle devait comprendre la structure : « Cercle à gauche, carré à droite. »

Ils ont testé 26 modèles d'IA différents (comme CLIP, DINO et d'autres) sur ce puzzle.

La découverte : La « Carte » vs Le « Moteur »

Les chercheurs ont examiné deux façons de mesurer la performance de ces modèles d'IA :

1. Le contrôle de la carte (Géométrie globale)
Cela mesure la manière dont l'IA répartit ses connaissances de façon homogène. Imaginez une carte où toutes les villes sont réparties parfaitement pour qu'aucune ne soit trop proche d'une autre.

Le résultat : Les chercheurs ont vérifié cette « carte » pour les 26 modèles. Ils ont trouvé aucune connexion entre la perfection de la répartition de la carte et la capacité du modèle à résoudre le puzzle de formes. Un modèle peut avoir une carte parfaite et pourtant échouer au puzzle.

2. Le contrôle du moteur (Sensibilité fonctionnelle)
Cela mesure la façon dont l'IA réagit lorsque vous modifiez légèrement l'entrée. Imaginez que vous poussez une voiture. Est-ce que la voiture bouge dans de nombreuses directions différentes selon l'endroit où vous la poussez, ou ne va-t-elle que vers l'avant, peu importe la poussée ?

Le résultat : Les chercheurs ont mesuré cette « sensibilité » (en utilisant ce qu'on appelle le rang effectif de la Jacobienne). Ils ont trouvé une connexion forte : les modèles qui étaient sensibles à de nombreuses directions différentes (comme une voiture qui peut rouler en avant, en arrière et sur le côté) étaient ceux qui résolvaient réellement le puzzle de formes.

Le « Pourquoi » : Comment les règles d'entraînement façonnent l'IA

Pourquoi certains modèles ont-ils ce « moteur » et d'autres non ? Cela revient aux règles (fonctions de perte) avec lesquelles l'IA a été entraînée.

La règle de « Décorrélation de la variance » (Les gagnants) : Certains modèles (comme Barlow Twins) ont été entraînés avec une règle qui dit : « Assure-toi que chaque partie de ton cerveau réagit différemment à chaque partie de l'image. » Cela force l'IA à être sensible à de nombreuses directions, lui donnant le « moteur » nécessaire pour comprendre la structure.
La règle « Contrastive » ou « Masquée » (Les perdants) : La plupart des modèles populaires (comme CLIP ou DINO) ont été entraînés simplement pour faire correspondre des images similaires ou remplir des parties manquantes. Ces règles ne s'intéressent qu'à la vue d'ensemble (géométrie globale). Elles ne se soucient pas des détails précis de la réaction de l'image à de petits changements. Ainsi, le « moteur » de l'IA s'effondre ; il devient rigide et ne réagit que de quelques manières spécifiques, ce qui le rend incapable de comprendre la structure.

À retenir

Ne regardez pas seulement la carte : Ce n'est pas parce que la représentation interne d'une IA semble « parfaite » et équilibrée (bonne géométrie globale) qu'elle comprend le monde.
Vérifiez le moteur : Pour savoir si une IA peut comprendre comment les choses sont assemblées (comme une voiture rouge à côté d'une maison bleue), vous devez vérifier si elle est sensible aux changements de ses entrées (sensibilité fonctionnelle).
La solution : Si nous voulons une IA qui comprenne réellement la composition, nous devons changer les règles d'entraînement pour forcer l'IA à être sensible aux détails locaux, et non seulement à l'équilibre global.

En bref : Vous pouvez avoir une bibliothèque parfaitement organisée (Géométrie globale), mais si le bibliothécaire ne sait pas trouver un livre spécifique en fonction de son emplacement sur l'étagère (Sensibilité fonctionnelle), la bibliothèque n'est pas très utile. Ce papier nous dit d'arrêter de simplement organiser la bibliothèque et de commencer à entraîner le bibliothécaire à naviguer dans les étagères.

Résumé Technique : La Géométrie Globale ne suffit pas pour les Représentations de Vision

1. Énoncé du Problème

Une hypothèse prédominante dans l'apprentissage de représentations visuelles est que des plongements (embeddings) globalement bien distribués — caractérisés par des propriétés telles que l'isotropie, l'uniformité et une dimensionnalité effective élevée — soutiennent des représentations robustes et généralisables. Cette perspective géométrique a façonné les objectifs d'entraînement (ex: alignement contrastif, décorrélation de la variance) et les protocoles d'évaluation, traitant la géométrie globale comme un indicatem de la compétence représentationnelle.

Cependant, les scènes visuelles sont définies non seulement par la présence d'éléments, mais aussi par leur liaison compositionnelle (c'est-à-dire comment les éléments sont agencés et reliés). Si la géométrie globale encode efficacement quels traits sont présents, elle peut être insensible à la manière dont ils sont composés. Cet article examine si les métriques géométriques standards peuvent prédire la capacité d'un modèle à effectuer une liaison compositionnelle, ou si cette capacité repose sur un axe différent, non mesuré, de la qualité représentationnelle.

2. Méthodologie

Configuration Expérimentale

Les auteurs ont évalué 26 encodeurs de vision pré-entraînés couvrant sept familles distinctes d'objectifs d'entraînement :

Décorrélation de la Variance : Barlow Twins, VICReg
Modélisation Masquée (Masked Modeling) : MAE, BEiT, BEiTv2
Clustering/Distillation : DINO, DINOv2, SwAV
Contrastif : MoCo v3
Vision-Langage : CLIP, SigLIP, EVA-CLIP
Supervisé : ConvNeXt, ViT

Pour isoler la capacité de composition de facteurs confondants comme la reconnaissance de textures ou la détection d'objets, les auteurs ont conçu un benchmark de liaison d'attributs synthétique.

Tâche : Les modèles doivent faire correspondre une image de requête à une image cible basée sur des liaisons forme-position (ex: "cercle rouge à gauche du carré bleu").
Contrainte : Les requêtes et les cibles utilisent des ensembles de couleurs disjoints pour empêcher le recours à la cooccurrence de couleurs, forçant le modèle à s'appuyer sur des relations spatiales abstraites.
Contrôle : Une sonde "Même/Différent" a été utilisée pour mesurer la discrimination structurelle de base, la distinguant de la véritable liaison relationnelle.

Métriques Évaluées

Métriques Géométriques (Statiques) :
- Ratio de Participation Globale (G.PR) : Mesure la dimensionnalité effective globale.
- Score d'Isotropie Globale (G.Iso) : Mesure la distribution de la variance au-delà de la composante principale supérieure.
- Isotropie Locale (L.Iso) : Mesure l'isotropie des voisinages locaux dans l'espace de plongement.
Métriques Fonctionnelles (Dynamiques) :
- Rang Effectif du Jacobien (JER) : Mesure le rang effectif du Jacobien entrée-sortie ( $J_f(x) = \partial f(x) / \partial x$ ). Cela quantifie la dimensionnalité des variations locales dans l'espace de représentation induites par des perturbations de l'entrée, caractérisant la sensibilité fonctionnelle.
Analyse de Lecture (Readout) :
- Les auteurs ont testé si des lectures alternatives basées sur la géométrie (kNN, PCA locale) pouvaient récupérer l'information de liaison à partir de plongements gelés lorsque la similitude cosinus échouait.

3. Résultats Clés

Les Métriques Géométriques ne prédisent pas la Liaison

Corrélation Nulle : Les métriques géométriques standards (G.PR, G.Iso, L.Iso) ont présenté une corrélation quasi nulle avec la précision de la liaison compositionnelle sur l'ensemble des 26 modèles (ex: $r \approx 0,11$ pour G.Iso, $p > 0,5$ ).
Orthogonalité : Des propriétés géométriques de haute qualité (ex: haute isotropie) ne se traduisent pas par une performance de liaison fonctionnelle. Des modèles dotés d'une excellente géométrie globale (comme DINOv2 ou CLIP) ont obtenu des performances proches du hasard sur la tâche de liaison.
Robustesse : Ce résultat nul s'est maintenu à travers diverses variations de l'hyperparamètre (taille de voisinage $k$ ) et des formulations de métriques (Rang Effectif, Ratio de Participation).

La Sensibilité Fonctionnelle Prédit la Liaison

Forte Corrélation : Le Rang Effectif du Jacobien (JER) a montré une forte corrélation positive avec la précision de la liaison ( $r = 0,69, p < 0,001$ ).
Pouvoir Prédictif : Une régression bivariée combinant le JER et la précision de la discrimination "Même/Différent" a expliqué 78 % de la variance de la performance de liaison ( $R^2 = 0,78$ ).
Dépendance à l'Objectif :
- Les objectifs de Décorrélation de la Variance (Barlow Twins, VICReg) maintiennent un JER élevé (~~28,8) et atteignent la plus haute précision de liaison (~~44 %).
- Les objectifs Contrastifs et Vision-Langage (CLIP, DINOv2) présentent un "effondrement de rang" dans leurs spectres de Jacobien, résultant en un faible JER (~~18–20) et une précision de liaison proche du hasard (~~13 %).
- Les modèles Supervisés présentent le JER le plus bas (~14,1).

Mécanisme d'Effondrement de Rang

Analyse Spectrale : Les modèles de décorrélation de la variance maintiennent un spectre de valeurs singulières plat et à décroissance lente, indiquant une sensibilité uniforme à travers les directions d'entrée. En revanche, des modèles comme CLIP et DINOv2 montrent une décroissance spectrale rapide, concentrant la sensibilité dans quelques modes dominants.
Analyse de Profondeur : L'effondrement de rang se produit à différents stades selon l'objectif. CLIP et DINOv2 présentent un effondrement au milieu du réseau (blocs 5–8), tandis que MAE maintient un rang élevé dans le backbone mais s'effondre brutalement au niveau de la couche de projection.
Limites de Lecture : Les lectures géométriques alternatives (kNN, PCA locale) n'ont pas réussi à améliorer la précision de la liaison pour les modèles à faible JER, suggérant que l'information de liaison n'est pas récupérable par une manipulation géométrique post-hoc.

Généralisation

La corrélation entre le JER et la performance de liaison s'est généralisée aux images naturelles (benchmark SugarCrepe) au sein de la famille CLIP, le JER prédisant la performance ( $r = 0,69$ ) même après contrôle de la précision zero-shot sur ImageNet.

4. Explication Théorique

L'article postule que la disparité entre la régularité géométrique et la sensibilité fonctionnelle provient de la conception de l'objectif :

Décorrélation de la Variance : Ces objectifs contraignent explicitement les statistiques de second ordre des caractéristiques (covariance) via l'augmentation. Cela force la perte à façonner directement le Jacobien ( $J(x)\Sigma_\delta J(x)^\top$ ), préservant la sensibilité à travers de multiples directions d'entrée et maintenant un JER élevé.
Contrastif/Clustering/Masqué/Sémantique : Ces objectifs contraignent le Jacobien uniquement à travers des projections de rang déficient (ex: gradients de similitude ou d'erreurs de reconstruction). Ils laissent les directions orthogonales à la tâche spécifique (ex: alignement sémantique ou discrimination d'instance) non contraintes, entraînant un effondrement du rang fonctionnel et une perte de sensibilité compositionnelle.

5. Signification et Revendications

Les auteurs affirment que la géométrie globale des plongements ne capture qu'une vue partielle de la compétence représentationnelle.

Limitation des Métriques Actuelles : Les diagnostics géométriques largement utilisés suivent de manière fiable les performances sur des tâches pilotées par une variation à facteur unique (ex: présence de traits) mais échouent systématiquement sur les tâches exigeant une véritable structure compositionnelle.
Nouvel Axe de Diagnostic : L'article établit la sensibilité fonctionnelle (mesurée via le Rang Effectif du Jacobien) comme un axe critique et complémentaire pour modéliser la structure composite.
Propriété Intrinsèque : L'accessibilité linéaire de la structure compositionnelle est montrée comme une propriété intrinsèque induite par l'objectif de pré-entraînement, plutôt qu'une caractéristique qui peut être récupérée par des lectures géométriques alternatives.

Ce travail ne propose pas un nouvel algorithme d'entraînement, mais offre un cadre de diagnostic pour comprendre pourquoi certains objectifs (comme la décorrélation de la variance) réussissent dans les tâches compositionnelles alors que d'autres (comme l'apprentissage contrastif) échouent, malgré le fait que les deux produisent des géométries globales "bien conditionnées".