Riepilogo Tecnico: IDEST – Valutazione delle Rappresentazioni di Apprendimento Auto-Supervisionato tramite Dimensione Intrinseca

Problema

L'apprendimento auto-supervisionato (SSL) è diventato un paradigma dominante per l'estrazione di rappresentazioni significative da dati non etichettati. Tuttavia, il protocollo standard per la valutazione di queste rappresentazioni — il linear probing — presenta limitazioni significative. È computazionalmente costoso, sensibile agli iperparametri e offre una visione limitata della struttura geometrica dello spazio di rappresentazione. Inoltre, gli esistenti proxy geometrici per la qualità della rappresentazione, come quelli basati su proprietà spettrali (ad esempio, $\alpha$-ReQ, RankMe), spesso si basano su assunzioni (come il decadimento della legge di potenza) che falliscono in presenza di collasso della rappresentazione o sono limitati a specifiche architetture (ad esempio, Joint-Embedding Architectures). Inoltre, sebbene la Dimensione Intrinseca (ID) sia stata collegata alla generalizzazione nelle reti convoluzionali supervisionate, il suo comportamento e la sua utilità nei moderni contesti SSL rimangono ampiamente inesplorati, particolarmente dati i problemi unici delle distribuzioni di dati SSL (regimi non asintotici dove $n \approx d$ e dipendenze tra le viste aumentate).

Metodologia: IDEST

Gli autori propongono IDEST (Intrinsic Dimension Estimation for SSL using minimum spanning Trees), un criterio non supervisionato per valutare le rappresentazioni SSL basato sulla stima della loro Dimensione Intrica.

Fondamento Teorico

Il metodo si basa sulla connessione tra l'errore di generalizzazione e la dimensione intrinseca. Citando Konz & Mazurowski (2024), l'errore di generalizzazione $L$ per un modello ben addestrato che interpola un dataset di dimensione $N_D$ scala come $O(N_D^{-1/d})$, dove $d$ è la dimensione intrinseca. Ciò implica che, per una dimensione fissa del dataset, una dimensione intrinseca inferiore corrisponde a una rappresentazione più efficiente e a potenziali prestazioni migliori a valle.

Selezione dello Stimatore: dimMST

Per stimare $d$, gli autori rifiutano gli stimatori parametrici standard come TwoNN e la Massima Verosimiglianza (MLE). Questi metodi assumono che i punti dati siano campionati i.i.d. da una distribuzione con densità localmente costante e spesso falliscono nei contesti SSL a causa del rumore, delle variazioni di densità di campionamento e delle specifiche dipendenze introdotte dalle aumentazioni dei dati (come dimostrato nella Figura 2, dove TwoNN diverge su un semplice manifold a elica).

Invece, IDEST utilizza lo stimatore della dimensione del Minimum Spanning Tree (MST) ($\text{dimMST}$), derivato dalla teoria dei funzionali euclidei (Costa & Hero, 2006).

• Meccanismo: Lo stimatore si basa sul tasso di crescita asintotica della lunghezza totale dell'MST di una nuvola di punti. La relazione è definita come:
  $$\lim_{n \to \infty} n^{-\frac{d-1}{d}} \cdot L(\text{MST}(X_n)) = C'$$
  dove $L$ è la lunghezza totale degli archi e $C'$ è una costante.
• Implementazione: La dimensione intrinseca $d$ viene stimata tramite regressione lineare log-log su sottocampioni di dimensione crescente $n_i$:
  $$\log(L(\text{MST}(X_{n_i}))) \approx \frac{d-1}{d} \log(n_i) + \log(C)$$
  La pendenza $m$ fornisce $d = 1/(1-m)$.
• Robustezza: $\text{dimMST}$ è teoricamente robusto al rumore, alle variazioni di densità di campionamento e all'alta dimensionalità ambientale, rendendolo adatto al regime $n \approx d$ inerente alla vision SSL.

Protocollo di Valutazione

IDEST opera su rappresentazioni congelate passate alla testa del classificatore, in modo coerente con i protocolli standard di linear probing. Per i modelli senza un token di classe (ad esempio, I-JEPA), i token di patch vengono mediati tramite average-pooling; per i modelli con un token [CLS] (ad esempio, DINO), il token viene utilizzato direttamente.

Contributi Chiave

1. Proposta di IDEST: Un criterio non supervisionato per valutare le rappresentazioni SSL basato sulla stima della dimensione intrinseca tramite MST.
2. Validazione Empirica: Dimostrazione che IDEST correla fortemente con le prestazioni di linear probe a valle attraverso diversi dataset, architetture e obiettivi di pretraining SSL.
3. Selezione degli Iperparametri: Evidenza del fatto che IDEST consente una selezione efficiente e senza etichette degli iperparametri, riducendo significativamente i costi computazionali rispetto alle alternative supervisionate.

Risultati Sperimentali

1. Correlazione con le Prestazioni a Valle

Gli autori hanno valutato 33 modelli su 14 metodi SSL (inclusi VICReg, DINO, DINOv2, I-JEPA, CLIP, SigLIP, ecc.) e varie architetture (ResNet, ViT).

• Correlazione Intra-Dataset: IDEST mostra una forte correlazione negativa con l'accuratezza del Top-1 linear probe su ImageNet, iNat-18, iNat-21 e SUN397. Gli indici di Spearman $\rho \approx -0.8$ e Kendall $\tau \approx -0.6$ indicano che i modelli con dimensioni intrinseche inferiori raggiungono costantemente un'accuratezza maggiore.
• Correlazione Inter-Dataset: IDEST calcolato su ImageNet funge da affidabile proxy per le prestazioni su altri dataset (iNat-18, iNat-21, CIFAR-10, CIFAR-100), suggerendo che cattura proprietà intrinseche della rappresentazione piuttosto che artefatti specifici del dataset.
• Protocolli Alternativi: La correlazione si mantiene anche sotto la valutazione k-NN e sul set di validazione ImageNet-v2.

2. Dinamiche di Addestramento

• Probing Offline: IDEST traccia l'evoluzione della qualità della rappresentazione durante il pretraining. Man mano che gli epoch di addestramento aumentano e l'accuratezza del linear probe migliora, la dimensione intrinseca stimata diminuisce costantemente.
• Probing Online: IDEST monitora efficacemente i miglioramenti delle prestazioni a valle anche quando un classificatore viene addestrato congiuntamente durante il pretraining (senza backpropagazione all'encoder), a condizione che le fasi iniziali di addestramento siano superate.

3. Selezione Non Supervisionata degli Iperparametri

Gli autori hanno utilizzato IDEST per selezionare gli iperparametri ottimali (learning rate, weight decay, temperatura, ecc.) per VICReg, DINO e I-JEPA.

• Prestazioni: I modelli selezionati tramite IDEST hanno raggiunto prestazioni competitive o superiori ad altri baseline non supervisionati ($\alpha$-ReQ, RankMe) e a un baseline debolmente supervisionato (LiDAR).
• Efficienza: La selezione dei modelli tramite IDEST evita il costo computazionale di addestrare linear probe per ogni configurazione di iperparametri.

Significato e Rivendicazioni

Il paper sostiene che la dimensione intrinseca funge da proxy geometrico fondato per valutare le rappresentazioni SSL. Sfruttando lo stimatore della dimensione MST, IDEST fornisce una metrica robusta e priva di etichette che:

• Complementa i protocolli standard di probing supervisionato offrendo intuizioni sulla struttura geometrica dello spazio di rappresentazione.
• Generalizza attraverso diversi paradigmi SSL (joint-embedding, joint-predictive, vision-language) e architetture.
• Riduce i Costi consentendo una selezione efficiente degli iperparametri senza la necessità di dati etichettati o costose valutazioni di linear probing.

Gli autori sottolineano che il loro lavoro evidenzia la promessa dei descrittori geometrici come strumento fondamentale per comprendere e ottimizzare l'apprendimento auto-supervisionato, andando oltre la separabilità per considerare come l'informazione venga compressa efficientemente in strutture geometriche a bassa dimensione.