The Cross-Architecture Substrate: A Domain-Transcendent, Calibration-Surviving Geometric Invariant of Modern Vision Encoders

Technische Samenvatting: Het Cross-Architectuur Substraat

Probleemstelling
Moderne visuele encoders worden getraind op zeer uiteenlopende doelstellingen—gesuperviseerde classificatie (bijv. ImageNet), contrastief leren (bijv. DINOv2), gemaskeerd beeldmodellering (bijv. MAE) en visuele-taal koppeling (bijv. CLIP). De conventionele wijsheid suggereert dat deze uiteenlopende trainingsparadigma's, architecturen en inductieve biases moeten resulteren in fundamenteel verschillende interne representaties. Bovendien hebben recente kritieken (specifiek Pang et al., 2026) betoogd dat standaard gelijkenismetrieken zoals Centered Kernel Alignment (CKA) worden opgeblazen door de breedte van de features en de diepte van de pooling, waardoor veel gerapporteerde claims over cross-architecturale convergentie vervallen onder rigoureuze kalibratie. De centrale vraag is of er een gedeelde geometrische structuur bestaat over deze heterogene encoders heen die zowel domeinverschuivingen als rigoureuze statistische kalibratie overleeft.

Methodologie
De auteurs definiëren een "cross-architecturaal substraat" via een specifieke geometrische procedure:

1. Encoder Panel: Een set van $E$ visuele encoders (variërend van ResNets en ViTs tot ConvNeXts) wordt geselecteerd.
2. Feature Extractie: Een vaste set proefbeelden wordt door alle encoders geleid. De penultimate-layer features worden gemiddeld gecentreerd en gewit om schalen te normaliseren.
3. Joint PCA: De featurevectoren van alle encoders worden geconcateneerd tot een enkele matrix. De top $K$ hoofdcomponenten (PC's) van deze gezamenlijke ruimte worden geëxtraheerd.
4. Definitie: De auteurs bepalen empirisch dat $K=16$ de dimensie is waar de cross-domein gelijkenis een plateau bereikt. De resulterende 16-dimensionale basis wordt gedefinieerd als het substraat.
5. Evaluatiemetrieken:
   • Procrustes-CKA (PCKA): Een symmetrische maatstaf die twee $K$-dimensionale subruimten vergelijkt na optimale rotatie.
   • Pang 2026 Kalibratie: Om de kritiek op "breedte-inflatie" aan te pakken, passen de auteurs de Pang row-permutatie nulhypothese toe. Ze trekken de baseline alignment af die verwacht wordt van willekeurige data (zowel globale lineaire-CKA als lokale mutual-kNN recall varianten) om te garanderen dat de geobserveerde gelijkenis geen artefact is van de dimensionaliteit van de features.
6. Controles: De studie bevat ablatie-studies (leave-one-out), vergelijkingen met pixel-niveau PCA, Gabor edge-energy banks en willekeurige low-rank projecties. Het test ook de emergentie tijdens training en de grenzen van de toepasbaarheid van het substraat over modaliteiten en paradigma's.

Belangrijkste Bijdragen

1. Bestaan van een Gedeeld Geometrisch Object: De top 16 hoofdcomponenten van variatie in 13 moderne visuele encoders convergeren naar hetzelfde 16-dimensionale geometrische object, ongeacht of de encoders getraind zijn via gesuperviseerde classificatie, contrastief leren of gemaskeerde reconstructie.
2. Overleving onder Rigoureuze Kalibratie: In tegenstelling tot eerdere claims, overleeft dit substraat de Pang 2026 kalibratie. Discriminatieve encoders vertonen een 7,4× hogere alignment met elkaar dan gemaskeerde-reconstructie (MAE) encoders onder globale kalibratie, en een 4,82–5,30× separatie onder de moeilijkere lokale nearest-neighbour recall variant ($p < 10^{-44}$).
3. Domein Transcendentie: Het substraat transporteert over acht heterogene visuele domeinen: natuurlijke foto's, medische CT, satelliet RGB, microscopie, handgetekende schetsen, dieptekaarten, thermisch infrarood en telescoopbeelden van sterrenstelsels. De mediane PCKA over deze acht domeinen is 0,604, waarbij elk cross-domein paar de 0,40 overschrijdt.
4. Vroege Emergentie: Het substraat wordt vroeg in de training verworven. In een ResNet-50 getraind vanaf nul, bereikt de substraat-alignment 0,58 bij epoch 5 (10% van de training), terwijl de classificatienauwkeurigheid blijft stijgen van 46% naar 76% over de resterende epochs. Dit suggereert dat het substraat een eigenschap is van de vroege optimalisatie-basin, en niet een geconvergeerde classifier-staat.
5. Vier Label-Vrije Toepassingen:
   • Transferability Filter: Een label-vrije "substraat-alignment score" vervangt LogME voor het rangschikken van encoders, wat een 3× versnelling en een +0,15 Kendall-$\tau$ verbetering biedt op de SITE-2025 benchmark.
   • Domein Detector: Een lineaire classifier op het 16-dimensionale substraat bereikt 99,6% nauwkeurigheid in het onderscheiden van vier visuele domeinen zonder fine-tuning.
   • Low-Shot Frozen Probe: Bij $N=50$ labels per klasse presteert de 16-dimensionale substraat beter dan 768-dimensionale DINOv2 features met +3,78 procentpunten in gebalanceerde nauwkeurigheid.
   • Teacher-Free Distillatie: Een substraat-CKA auxiliary loss matcht de standaard getrainde teacher-knowledge distillation baselines op 3/3 teacher-student paren zonder een forward pass van het teacher-netwerk te vereisen tijdens de training, met een piek van +7,56pp boven cross-entropy bij 10% label fracties.

Resultaten en Grenzen

• Geen Pixel Statistieken: Het substraat wordt niet verklaard door laag-niveau beeldstatistieken. Pixel-niveau PCA levert een PCKA van slechts 0,263, en Gabor edge-energy banks leveren 0,31, beide significant lager dan de substraat's 0,679 (vier domeinen) of 0,604 (acht domeinen).
• Geen Willekeur: Willekeurige 16-dimensionale projecties leveren een mediane PCKA van 0,041.
• Niet Encoder-Specifiek: Leave-one-out ablatie laat zien dat het substraat een eigenschap is van het panel, niet van een enkele model (het verwijderen van een enkele encoder verandert de mediane PCKA met slechts $\pm 0,027$).
• Modality Limieten: Het substraat strekt zich niet uit over modaliteiten; een gezamenlijk visueel-audio substraat (CLIP/CLAP) faalt de gekalibreerde nulhypothese.
• Paradigma Limieten: Hoewel het substraat bestaat binnen de discriminatieve familie, faciliteert het geen cross-paradigma distillatie (bijv. het overdragen van een CLIP-substraat naar een ResNet-student levert geen winst op boven cross-entropy).
• Predictieve Limieten: Substraat-alignment voorspelt de downstream transfer nauwkeurigheid niet ($\tau = -0,08$); het identificeert het type trainingsparadigma waar een model toe behoort, niet de kwaliteit ervan.

Significantie en Claims
Het artikel claimt een robuuste empirische regelmaat te hebben geïdentificeerd in moderne visuele encoders: een gedeelde 16-dimensionale geometrische structuur die vroeg in de training emergeert en persisteert over diverse architecturen, trainingsdoelen en visuele domeinen. De auteurs positioneren dit niet als een theorema of een universele claim over feature relevantie, maar als een "richting-existentie" claim. De significantie ligt in het aantonen dat, ondanks uiteenlopende trainingsdoelen, visuele encoders convergeren naar een gemeenschappelijke laag-dimensionale geometrische subruimte die onderscheidend is van willekeurige ruis, pixelstatistieken of specifieke encoder-idioctieën. Deze bevinding daagt de aanname uit dat verschillende trainingsparadigma's leiden tot volledig disjuncte representatieruimtes en biedt een nieuwe, label-vrije tool voor transferability schatting, domein detectie en efficiënte kennisdistillatie. De auteurs waarschuwen expliciet dat het substraat een intra-modale verschijnsel is en niet impliceert dat op ImageNet voorgetrainde modellen universeel concurrerende backbones zijn voor alle downstream taken (bijv. medische beeldvorming).