💻 computer science

The Cross-Architecture Substrate: A Domain-Transcendent, Calibration-Surviving Geometric Invariant of Modern Vision Encoders

Cet article révèle un invariant géométrique universel à seize dimensions appelé « substrat de l'architecture croisée » qui émerge tôt dans l'entraînement à travers divers encodeurs de vision modernes et domaines, survivant à la calibration et permettant un filtrage de transférabilité sans étiquette, une détection de domaine, un sondage à faible échantillonnage et une distillation sans enseignant supérieurs, malgré l'échec de la prédiction de la qualité de transfert ou des modalités croisées.

Auteurs originaux : Yousef Radwan

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yousef Radwan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez quatre chefs différents. L'un est formé pour identifier les légumes, un autre pour reconnaître des modèles de voitures, un troisième pour compléter les parties manquantes d'un puzzle, et un quatrième pour associer des photos à des poèmes. Vous vous attendriez à ce que leur « pensée interne » (la façon dont ils traitent les images dans leur cerveau) soit complètement différente, n'est-ce pas ?

Ce document dit : Non.

Les chercheurs ont découvert que malgré leurs métiers, leurs méthodes d'entraînement et leurs architectures différentes, tous ces systèmes de vision IA modernes développent exactement les mêmes 16 « directions mentales » pour traiter les images. Ils appellent cette fondation partagée le « Substrat Trans-Architecture » (Cross-Architecture Substrate).

Voici la décomposition en utilisant des analogies simples :

1. L'analogie de la « Boussole Universelle »

Considérez chaque modèle de vision IA comme un randonneur tentant de naviguer dans une forêt.

La vision ancienne : Nous pensions qu'un randonneur formé pour trouver des ours utiliserait une carte totalement différente d'un randonneur formé pour trouver des fleurs.
La nouvelle découverte : Les chercheurs ont découvert que peu importe ce pour quoi le randonneur est entraîné, ils utilisent tous les mêmes 16 points de la boussole pour s'orienter.
La preuve : Ils ont testé cela sur 13 modèles d'IA différents. Lorsqu'ils ont examiné les 16 principales façons dont ces modèles variaient leur compréhension d'une image, ces 16 directions étaient géométriquement identiques à travers tous les modèles. C'est comme si vous demandiez à 13 personnes différentes de dessiner la carte d'une ville, et qu'elles dessinaient toutes exactement les mêmes 16 rues principales, même si elles n'ont été entraînées qu'à trouver des choses différentes (comme « où se trouve la boulangerie » par rapport à « où se trouve le parc »).

2. Le test du « Changement de Forme » (Transcendance du Domaine)

Les chercheurs ont demandé : « Est-ce que cette boussole à 16 points fonctionne si l'on change de décor ? »

Ils ont testé les modèles sur 8 types d'images totalement différents :
- Des photos normales (comme sur Instagram).
- Des scanners médicaux (à l'intérieur du corps).
- Des photos satellites (depuis l'espace).
- Des images au microscope (cellules minuscules).
- Des croquis faits à la main.
- Des cartes thermiques.
- Des cartes de profondeur (formes 3D).
- Des images de galaxies.
Le résultat : Même si une galaxie ne ressemble en rien à un scanner médical, les modèles d'IA utilisent toujours les mêmes 16 points de la boussole pour les comprendre. La « boussole » fonctionne partout.

3. Le test du « Faux » (Est-ce juste un tour de passe-passe ?)

Les sceptiques pourraient dire : « Peut-être est-ce simplement parce que l'IA regarde des choses basiques comme des bords ou des couleurs, ou peut-être que les mathématiques sont faussées. »

Le test des « Pixels » : Ils ont essayé de trouver ces 16 directions en regardant simplement les pixels bruts (comme compter combien de pixels rouges il y a dans une photo). Cela a échoué. La « boussole » est bien plus intelligente que le simple comptage de pixels.
Le test du « Hasard » : Ils ont essayé d'utiliser 16 directions aléatoires. Cela a lamentablement échoué.
Le test de « Pang » : Une critique récente (Pang 2026) suggérait que des études précédentes avaient été trompées par la taille des modèles d'IA. Les chercheurs ont refait leurs tests en utilisant cette mathématique plus stricte et plus difficile. Les 16 directions ont survécu. Ils ont prouvé que la similitude n'est pas une illusion ; elle est réelle.

4. La découverte de l'« Oiseau de l'Aube » (Quand cela se produit-il ?)

Ils ont observé une IA apprendre à partir de zéro.

La surprise : L'IA a développé ces 16 directions partagées dès les 10 % premiers de son entraînement.
Le bémol : À ce moment-là, l'IA était encore très mauvaise dans son travail réel (elle n'atteignait que 46 % de précision). Elle ne s'est améliorée dans sa tâche que bien plus tard.
La signification : Cette « boussole à 16 directions » est la fondation que l'IA construit en premier. C'est la phase « apprendre à apprendre ». Une fois que l'IA possède cette fondation, elle peut ensuite apprendre des tâches spécifiques (comme identifier des chats ou des tumeurs) par-dessus.

5. Que pouvons-nous en faire ? (Les outils)

Parce que nous savons que cette « boussole à 16 directions » existe et qu'elle est partagée, le document suggère quatre astuces pratiques :

Le filtre « Sans Étiquette » : Vous pouvez choisir le meilleur modèle d'IA pour un nouveau travail sans avoir besoin d'étiqueter des données au préalable. C'est 3 fois plus rapide que les méthodes actuelles.
Le « Détecteur de Domaine » : Vous pouvez dire si une image est un scanner médical, une photo satellite ou un croquis, simplement en regardant ces 16 nombres. C'est précis à 99,6 %.
Le boost des « Caractéristiques Minuscules » : Si vous avez très peu d'étiquettes (comme seulement 50 exemples d'une maladie), utiliser ces 16 directions fonctionne mieux que d'utiliser les caractéristiques massives et complexes (768 dimensions) que les IA modernes utilisent habituellement.
Le « Professeur Fantôme » : Lors de l'entraînement de nouvelles IA, on a généralement besoin d'une IA « professeur » pour montrer la voie. Cette méthode permet d'entraîner une IA « élève » en utilisant la « boussole à 16 directions » comme professeur, sans avoir besoin de faire tourner l'IA professeur à chaque fois. Cela économise une puissance de calcul massive.

Ce que cela N'EST PAS (Les limites)

Les auteurs précisent avec soin ce que cela ne fait pas :

Cela ne fonctionne pas entre les sens : Si l'on mélange la vision (yeux) et l'audio (oreilles), cette boussole à 16 directions se brise. Elle ne fonctionne que pour la vision.
Cela ne prédit pas la qualité : Le simple fait qu'une IA possède une « boussole » forte ne signifie pas qu'elle sera la meilleure pour une tâche spécifique.
Ce n'est pas un remède miracle : Cela ne signifie pas qu'une IA entraînée sur des photos classiques sera automatiquement parfaite pour lire des rayons X, bien que cela aide.

Résumé

Le document révèle que, dans le fond, tous les modèles de vision IA modernes parlent le même langage de 16 mots pour comprendre le monde. Ils construisent ce langage très tôt dans leur entraînement, et cela fonctionne qu'ils regardent un chat, une tumeur ou une galaxie. Cette découverte nous permet de construire des outils d'IA plus rapides, moins chers et plus intelligents sans avoir besoin de quantités massives de données étiquetées.

Résumé Technique : Le Substrat Trans-Architectures

Énoncé du Problème
Les encodeurs de vision modernes sont entraînés sur des objectifs très différents : classification supervisée (ex. : ImageNet), apprentissage contrastif (ex. : DINOv2), modélisation d'image masquée (ex. : MAE) et appariement vision-langage (ex. : CLIP). La sagesse conventionnelle suggère que ces paradigmes d'entraînement, architectures et biais inductifs divergents devraient entraîner des représentations internes fondamentalement différentes. De plus, des critiques récentes (spécifiquement Pang et al., 2026) ont soutenu que les métriques de similitude standard comme l'alignement de noyau centré (CKA) sont gonflées par la largeur des caractéristiques et la profondeur du pooling, ce qui fait que de nombreuses affirmations de convergence trans-architecturale rapportées se dissolvent sous une calibration rigoureuse. La question centrale est de savoir si une structure géométrique partagée existe à travers ces encodeurs hétérogènes, survivant à la fois aux changements de domaine et à une calibration statistique rigoureuse.

Méthodologie
Les auteurs définissent un « substrat trans-architectures » à travers une procédure géométrique spécifique :

Panel d'encodeurs : Un ensemble de $E$ encodeurs de vision (allant des ResNets et ViTs aux ConvNeXts) est sélectionné.
Extraction de caractéristiques : Un ensemble fixe d'images de sondage est passé à travers tous les encodeurs. Les caractéristiques de la couche pénultième sont centrées sur la moyenne et blanchies pour normaliser les échelles.
PCA Conjointe : Les vecteurs de caractéristiques de tous les encodeurs sont concaténés en une matrice unique. Les $K$ premières composantes principales (PC) de cet espace conjoint sont extraites.
Définition : Les auteurs déterminent empiriquement que $K=16$ est la dimension où la similitude trans-domaine plafonne. La base de 16 dimensions résultante est définie comme le substrat.
Métriques d'évaluation :
- Procrustes-CKA (PCKA) : Une mesure symétrique comparant deux sous-espaces de dimension $K$ après une rotation optimale.
- Calibration Pang 2026 : Pour répondre à la critique de l'« inflation de la largeur », les auteurs appliquent l'hypothèse nulle de permutation de lignes de Pang. Ils soustraient la ligne de base d'alignement attendue à partir de données aléatoires (variantes de CKA linéaire globale et de rappel k-NN local mutuel) pour s'assurer que la similitude observée n'est pas un artefact de la dimensionnalité des caractéristiques.
Contrôles : L'étude inclut des études d'ablation (leave-one-out), des comparaisons avec la PCA au niveau des pixels, des banques d'énergie de bords de Gabor et des projections de faible rang aléatoires. Elle teste également l'émergence pendant l'entraînement et limite l'applicabilité du substrat aux modalités et aux paradigmes.

Contributions Clés

Existence d'un objet géométrique partagé : Les 16 premières directions principales de variation dans 13 encodeurs de vision modernes convergent vers le même objet géométrique de 16 dimensions, qu'ils aient été entraînés par classification supervisée, apprentissage contrastif ou reconstruction masquée.
Survie sous une calibration rigoureuse : Contrairement aux affirmations précédentes, ce substrat survit à la calibration de Pang 2026. Les encodeurs discriminants montrent un alignement 7,4 fois plus élevé entre eux que les encodeurs de reconstruction masquée (MAE) sous calibration globale, et une séparation de 4,82–5,30× sous la variante plus difficile de rappel du plus proche voisin local ( $p < 10^{-44}$ ).
Transcendance du Domaine : Le substrat se transporte à travers huit domaines visuels hétérogènes : photographies naturelles, scanner médical (CT), imagerie satellite RGB, microscopie, croquis faits à la main, cartes de profondeur, infrarouge thermique et images de galaxies par télescope. Le PCKA médian de ces huit domaines est de 0,604, chaque paire trans-domaine dépassant 0,40.
Émergence Précoce : Le substrat est acquis tôt durant l'entraînement. Dans un ResNet-50 entraîné à partir de zéro, l'alignement du substrat atteint 0,58 à l'époque 5 (10 % de l'entraînement), tandis que la précision de classification continue de grimper de 46 % à 76 % sur les époques restantes. Cela suggère que le substrat est une propriété du bassin d'optimisation précoce, et non d'un état de classificateur convergé.
Quatre Applications Sans Étiquette (Label-Free) :
- Filtre de Transferabilité : Un « score d'alignement au substrat » sans étiquette remplace LogME pour classer les encodeurs, offrant une accélération de 3× et une amélioration de +0,15 du $\tau$ de Kendall sur le benchmark SITE-2025.
- Détecteur de Domaine : Un classificateur linéaire sur le substrat de 16 dimensions atteint une précision de 99,6 % pour distinguer quatre domaines visuels sans ajustement fin (fine-tuning).
- Sondage de Faible Échantillonnage (Low-Shot Frozen Probe) : À $N=50$ étiquettes par classe, le substrat de 16 dimensions surpasse les caractéristiques de DINOv2 de 768 dimensions de +3,78 points de pourcentage en précision équilibrée.
- Distillation Sans Enseignant : Une perte auxiliaire de substrat-CKA égale les bases de la distillation de connaissance enseignant-élève standard sans nécessiter de passage direct (forward pass) du réseau enseignant pendant l'entraînement, atteignant un gain maximal de +7,56 pp par rapport à l'entropie croisée à 10 % des fractions d'étiquettes.

Résultats et Limites

Pas des Statistiques de Pixels : Le substrat n'est pas expliqué par les statistiques de bas niveau de l'image. La PCA au niveau des pixels ne produit qu'un PCKA de 0,263, et les banques d'énergie de bords de Gabor de 0,31, soit des valeurs nettement inférieures au 0,679 (quatre domaines) ou 0,604 (huit domaines) du substrat.
Pas Aléatoire : Les projections aléatoires de 16 dimensions produisent un PCKA médian de 0,041.
Pas Spécifique à l'Encodeur : L'ablation leave-one-out montre que le substrat est une propriété du panel, et non d'un seul modèle (retirer n'importe quel encodeur ne change le PCKA médian que de $\pm 0,027$ ).
Limites de Modalité : Le substrat ne s'étend pas aux modalités ; un substrat vision-audio conjoint (CLIP/CLAP) échoue à la calibration nulle.
Limites de Paradigme : Bien que le substrat existe au sein de la famille discriminante, il ne facilite pas la distillation trans-paradigme (ex. : transférer un substrat CLIP à un étudiant ResNet ne produit aucun gain par rapport à l'entropie croisée).
Limites Prédictives : L'alignement du substrat ne prédit pas la précision de transfert en aval ( $\tau = -0,08$ ) ; il identifie le type de paradigme d'entraînement d'un modèle, et non sa qualité.

Signification et Revendications
L'article affirme identifier une régularité empirique robuste dans les encodeurs de vision modernes : une structure géométrique partagée de 16 dimensions qui émerge tôt dans l'entraînement et persiste à travers diverses architectures, objectifs d'entraînement et domaines visuels. Les auteurs positionnent cela non pas comme un théorème ou une revendication d'universalité de la pertinence des caractéristiques, mais comme une revendication d'« existence de direction ». La signification réside dans la démonstration que, malgré des objectifs d'entraînement divergents, les encodeurs de vision convergent vers un sous-espace géométrique de faible dimension commun qui est distinct du bruit aléatoire, des statistiques de pixels ou des idiosyncrasies spécifiques aux encodeurs. Cette découverte remet en question l'hypothèse selon laquelle différents paradigmes d'entraînement mènent à des espaces de représentation entièrement disjoints et fournit un nouvel outil sans étiquette pour l'estimation de la transférabilité, la détection de domaine et la distillation de connaissances efficace. Les auteurs mettent explicitement en garde que le substrat est un phénomène intra-modalité et qu'il n'implique pas que les modèles pré-entraînés sur ImageNet soient des backbones universellement compétitifs pour toutes les tâches en aval (ex. : imagerie médicale).