The Cross-Architecture Substrate: A Domain-Transcendent, Calibration-Surviving Geometric Invariant of Modern Vision Encoders

Sintesi Tecnica: Il Substrato Cross-Architettura

Problematica
I moderni encoder di visione vengono addestrati su obiettivi profondamente diversi: classificazione supervisionata (es. ImageNet), apprendimento contrastivo (es. DINOv2), modellazione di immagini mascherate (es. MAE) e accoppiamento visione-linguaggio (es. CLIP). La teoria convenzionale suggerisce che questi paradigmi di addestramento, architetture e bias induttivi divergenti dovrebbero dare origine a rappresentazioni interne fondamentalmente differenti. Inoltre, critiche recenti (specificamente Pang et al., 2026) hanno sostenuto che le metriche di similarità standard come la Correlazione Kernel Centrata (CKA) siano gonfiate dalla larghezza delle feature e dalla profondità del pooling, causando la dissoluzione di molte affermazioni riportate sulla convergenza cross-architettura sotto una rigorosa calibrazione. La domanda centrale è se esista una struttura geometrica condivisa tra questi encoder eterogenei che sopravviva sia ai cambiamenti di dominio che a una rigorosa calibrazione statistica.

Metodologia
Gli autori definiscono un "substrato cross-architettura" attraverso una specifica procedura geometrica:

1. Panel di Encoder: Viene selezionato un insieme di $E$ encoder di visione (che spaziano da ResNet e ViT a ConvNeXt).
2. Estrazione delle Feature: Un set fisso di immagini di prova viene passato attraverso tutti gli encoder. Le feature dell'ultimo strato pre-classificazione vengono centrate sulla media e biancheggiate (whitening) per normalizzare le scale.
3. PCA Congiunta: I vettori delle feature di tutti gli encoder vengono concatenati in un'unica matrice. Vengono estratti i primi $K$ componenti principali (PC) di questo spazio congiunto.
4. Definizione: Gli autori determinano empiricamente $K=16$ come la dimensione in cui la similarità cross-dominio raggiunge un plateau. La base risultante a 16 dimensioni è definita come il substrato.
5. Metriche di Valutazione:
   • Procrustes-CKA (PCKA): Una misura simmetrica che confronta due sottospazi a $K$ dimensioni dopo una rotazione ottimale.
   • Calibrazione Pang 2026: Per affrontare la critica della "inflazione della larghezza", gli autori applicano l'ipotesi nulla della permutazione delle righe di Pang. Sottraggono la similarità di base attesa da dati casuali (sia varianti globali di linear-CKA che varianti locali di mutual-kNN recall) per garantire che la similarità osservata non sia un artefatto della dimensionalità delle feature.
6. Controlli: Lo studio include studi di ablazione (leave-one-out), confronti con PCA a livello di pixel, banche di energia dei bordi Gabor e proiezioni casuali a basso rango. Testa inoltre l'emergenza durante l'addestramento e i limiti di applicabilità del substrato attraverso modalità e paradigmi.

Contributi Chiave

1. Esistenza di un Oggetto Geometrico Condiviso: Le prime 16 direzioni di variazione dei componenti principali in 13 moderni encoder di visione convergono verso lo stesso oggetto geometrico a 16 dimensioni, indipendentemente dal fatto che gli encoder siano stati addestrati tramite classificazione supervisionata, apprendimento contrastivo o ricostruzione mascherata.
2. Sopravvivenza sotto Rigorosa Calibrazione: A differenza delle affermazioni precedenti, questo substrato sopravvive alla calibrazione di Pang 2026. Gli encoder discriminativi mostrano un allineamento tra loro 7,4 volte superiore rispetto agli encoder di ricostruzione mascherata (MAE) sotto calibrazione globale, e una separazione di 4,82–5,30× nella variante più difficile di recall del vicino più prossimo locale ($p < 10^{-44}$).
3. Trascendenza del Dominio: Il substrato si trasporta attraverso otto domini visivi eterogenei: fotografie naturali, TC medica, immagini satellitari RGB, microscopia, schizzi a mano libera, mappe di profondità, infrarosso termico e immagini telescopiche di galassie. Il PCKA mediano attraverso questi otto domini è 0,604, con ogni coppia cross-dominio che supera lo 0,40.
4. Emergenza Precoce: Il substrato viene acquisito precocemente durante l'addestramento. In una ResNet-50 addestrata da zero, l'allineamento al substrato raggiunge lo 0,58 all'epoca 5 (10% dell'addestramento), mentre l'accuratezza di classificazione continua a salire dal 46% al 76% durante le restanti epoche. Ciò suggerisce che il substrato sia una proprietà del bacino di ottimizzazione precoce, non uno stato di classificatore convergente.
5. Quattro Applicazioni Senza Etichette (Label-Free):
   • Filtro di Trasferibilità: Un punteggio di "allineamento al substrato" senza etichette sostituisce LogME per classificare gli encoder, offrendo un'accelerazione di 3× e un miglioramento di +0,15 in Kendall-$\tau$ sul benchmark SITE-2025.
   • Rilevatore di Dominio: Un classificatore lineare sul substrato a 16 dimensioni raggiunge un'accuratezza del 99,6% nel distinguere quattro domini visivi senza fine-tuning.
   • Probe Frozen a Basso Numero di Campioni (Low-Shot): Con $N=50$ etichette per classe, il substrato a 16 dimensioni supera le feature di DINOv2 a 768 dimensioni di +3,78 punti percentuali in accuratezza bilanciata.
   • Distillazione Senza Insegnante (Teacher-Free): Una perdita ausiliaria di substrato-CKA eguaglia le baselines di distillazione della conoscenza standard (teacher-student) in 3/3 coppie teacher-student, senza richiedere un passaggio in avanti (forward pass) della rete dell'insegnante durante l'addestramento, raggiungendo un picco di +7,56pp rispetto alla cross-entropy con frazioni di etichette al 10%.

Risultati e Limiti

• Non sono Statistiche di Pixel: Il substrato non è spiegato dalle statistiche di basso livello dell'immagine. La PCA a livello di pixel produce un PCKA di soli 0,263, e le banche di energia dei bordi Gabor producono 0,31, entrambi significativamente inferiori al 0,679 del substrato (quattro domini) o 0,604 (otto domini).
• Non è Casuale: Le proiezioni casuali a 16 dimensioni producono un PCKA mediano di 0,041.
• Non è Specifico dell'Encoder: L'ablazione leave-one-out mostra che il substrato è una proprietà del panel, non di un singolo modello (rimuovere qualsiasi encoder cambia il PCKA mediano solo di $\pm 0,27$).
• Limiti di Modalità: Il substrato non si estende attraverso le modalità; un substrato congiunto visione-audio (CLIP/CLAP) fallisce la calibrazione del null.
• Limiti di Paradigma: Sebbene il substrato esista all'interno della famiglia discriminativa, non facilita la distillazione cross-paradigma (es. trasferire un substrato CLIP a uno studente ResNet non produce alcun guadagno rispetto alla cross-entropy).
• Limiti Predittivi: L'allineamento al substrato non predice l'accuratezza del trasferimento a valle ($\tau = -0,08$); identifica il tipo di paradigma di addestramento a cui appartiene un modello, non la sua qualità.

Significatività e Affermazioni
Il paper sostiene di aver identificato una regolarità empirica robusta nei moderni encoder di visione: una struttura geometrica condivisa a 16 dimensioni che emerge precocemente nell'addestramento e persiste attraverso diverse architetture, obiettivi di addestramento e domini visivi. Gli autori pongono questa ricerca non come un teorema o una rivendicazione di rilevanza universale delle feature, ma come una rivendicazione di "esistenza di una direzione". La significatività risiede nel dimostrare che, nonostante i divergenti obiettivi di addestramento, gli encoder di visione convergono su un sottospazio geometrico a bassa dimensione comune che è distinto dal rumore casuale, dalle statistiche dei pixel o dalle idiosincrasie specifiche dell'encoder. Questa scoperta sfida l'assunto che diversi paradigmi di addestramento portino a spazi di rappresentazione completamente disgiunti e fornisce un nuovo strumento, privo di etichette, per la stima della trasferibilità, il rilevamento del dominio e l'efficiente distillazione della conoscenza. Gli autori avvertono esplicitamente che il substrato è un fenomeno intra-modalità e non implica che i modelli pre-addestrati su ImageNet siano universalmente competitivi come backbone per tutti i compiti a valle (es. imaging medico).