Technische Samenvatting: IDEST – Het beoordelen van representaties van zelfgesuperviseerd leren via intrinsieke dimensie

Probleemstelling

Zelfgesuperviseerd leren (SSL) is een dominante paradigma geworden voor het extraheren van betekenisvolle representaties uit ongelabelde data. De standaardmethode voor het evalueren van deze representaties—linear probing—presenteert echter aanzienlijke beperkingen. Het is computationeel duur, gevoelig voor hyperparameters en biedt beperkt inzicht in de geometrische structuur van de representatieruimte. Bovendien leunen bestaande geometrische proxies voor de kwaliteit van representaties, zoals die gebaseerd op spectrale eigenschappen (bijv. $\alpha$-ReQ, RankMe), vaak op aannames (zoals power-law decay) die falen bij representatie-collaps of beperkt zijn tot specifieke architecturen (bijv. Joint-Embedding Architectures). Daarnaast is de utiliteit van Intrinsieke Dimensie (ID) in moderne SSL-omgevingen nog grotendeels onverkend, ondanks de link tussen ID en generalisatie in gesuperviseerde convolutionele netwerken, met name gezien de unieke uitdagingen van SSL-datadistributies (niet-asymptotische regimes waar $n \approx d$ en afhankelijkheden tussen geaugmenteerde views).

Methodologie: IDEST

De auteurs stellen IDEST voor (Intrinsic Dimension Estimation for Self-Supervised learning using minimum spanning Trees), een ongesuperviseerde criterium voor het beoordelen van SSL-representaties op basis van het schatten van hun intrinsieke dimensie.

Theoretische Fundering

De methode is geworteld in de connectie tussen generalisatiefout en intrinsieke dimensie. Onder verwijzing naar Konz & Mazurowski (2024), schaalt de generalisatiefout $L$ voor een goed getraind model dat een dataset van grootte $N_D$ interpoleert als $O(N_D^{-1/d})$, waarbij $d$ de intrinsieke dimensie is. Dit impliceert dat voor een vaste datasetgrootte een lagere intrinsieke dimensie correspondeert met een efficiëntere representatie en potentieel betere downstream prestaties.

Estimator Selectie: dimMST

Om $d$ te schatten, verwerpen de auteurs standaard parametrische estimators zoals TwoNN en Maximum Likelihood Estimation (MLE). Deze methoden gaan ervan uit dat datapunten i.i.d. zijn gesampled uit een distributie met lokaal constante dichtheid en falen vaak in SSL-settings vanwege ruis, variaties in sampling-densiteit en de specifieke afhankelijkheden geïntroduceerd door data-augmentaties (zoals aangetoond in Figuur 2, waar TwoNN divergeert op een eenvoudige helix-manifold).

In plaats daarvan gebruikt IDEST de Minimum Spanning Tree (MST) dimensie estimator ($\text{dimMST}$), afgeleid van de theorie van Euclidische functionalen (Costa & Hero, 2006).

• Mechanisme: De estimator berust op de asymptotische groeisnelheid van de totale lengte van de MST van een puntenwolk. De relatie wordt gedefinieerd als:
  $$\lim_{n \to \infty} n^{-\frac{d-1}{d}} \cdot L(\text{MST}(X_n)) = C'$$
  waarbij $L$ de totale randlengte is en $C'$ een constante.
• Implementatie: De intrinsieke dimensie $d$ wordt geschat via log-log lineaire regressie op subsamples van toenemende grootte $n_i$:
  $$\log(L(\text{MST}(X_{n_i}))) \approx \frac{d-1}{d} \log(n_i) + \log(C)$$
  De helling $m$ levert $d = 1/(1-m)$ op.
• Robuustheid: $\text{dimMST}$ is theoretisch robuust tegen ruis, variaties in sampling-densiteit en hoge ambient-dimensionaliteit, wat het geschikt maakt voor het $n \approx d$ regime dat inherent is aan computer vision SSL.

Evaluatieprotocol

IDEST opereert op bevroren representaties die worden doorgegeven aan de classifier head, consistent met standaard linear probing protocollen. Voor modellen zonder class token (bijv. I-JEPA) worden patch tokens gemiddeld gepooled; voor modellen met een [CLS] token (bijv. DINO) wordt de token direct gebruikt.

Belangrijkste Bijdragen

1. Voorstel van IDEST: Een ongesuperviseerd criterium voor het evalueren van SSL-representaties op basis van intrinsieke dimensie-schatting via MST.
2. Empirische Validatie: Demonstratie dat IDEST sterk correleert met downstream linear probe prestaties over diverse datasets, architecturen en SSL pretraining objectives.
3. Hyperparameter Selectie: Bewijs dat IDEST efficiënte, label-vrije hyperparameter selectie mogelijk maakt, wat de computationele kosten aanzienlijk vermindert vergeleken met gesuperviseerde alternatieven.

Experimentele Resultaten

1. Correlatie met Downstream Prestaties

De auteurs evalueerden 33 modellen over 14 SSL-methoden (inclusief VICReg, DINO, DINOv2, I-JEPA, CLIP, SigLIP, etc.) en diverse architecturen (ResNet, ViT).

• Intra-Dataset Correlatie: IDEST vertoont een sterke negatieve correlatie met de Top-1 linear probe accuraatheid op ImageNet, iNat-18, iNat-21 en SUN397. Spearman's $\rho \approx -0.8$ en Kendall's $\tau \approx -0.6$ geven aan dat modellen met lagere intrinsieke dimensies consequent hogere accuraatheid bereiken.
• Inter-Dataset Correlatie: IDEST berekend op ImageNet dient als een betrouwbare proxy voor prestaties op andere datasets (iNat-18, iNat-21, CIFAR-10, CIFAR-100), wat suggereert dat het intrinsieke eigenschappen van de representatie vastlegt in plaats van dataset-specifieke artefacten.
• Alternatieve Protocollen: De correlatie houdt stand onder k-NN evaluatie en op de ImageNet-v2 validatieset.

2. Trainingsdynamiek

• Offline Probing: IDEST volgt de evolutie van de representatiekwaliteit tijdens de pretraining. Naarmate de training epochs toenemen en de linear probing accuraatheid verbetert, neemt de geschatte intrinsieke dimensie consistent af.
• Online Probing: IDEST monitort effectief de verbeteringen in downstream prestaties, zelfs wanneer een classifier gezamenlijk wordt getraind tijdens de pretraining (zonder terug te propageren naar de encoder), mits de initiële trainingsfasen zijn gepasseerd.

3. Ongesuperviseerde Hyperparameter Selectie

De auteurs gebruikten IDEST om optimale hyperparameters (leersnelheid, weight decay, temperatuur, etc.) te selecteren voor VICReg, DINO en I-JEPA.

• Prestaties: Via IDEST geselecteerde modellen behaalden prestaties die competitief of superieur waren aan andere ongesuperviseerde baselines ($\alpha$-ReQ, RankMe) en een zwak-gesuperviseerde baseline (LiDAR).
• Efficiëntie: Het selecteren van modellen via IDEST vermijdt de computationele kosten van het trainen van linear probes voor elke hyperparameter configuratie.

Significantie en Claims

Het artikel claimt dat intrinsieke dimensionaliteit dient als een fundamenteel geometrisch proxy voor het beoordelen van SSL-representaties. Door gebruik te maken van de MST dimensie estimator, biedt IDEST een robuuste, label-vrije metriek die:

• Complementair is aan standaard gesuperviseerde probing protocollen door inzichten te bieden in de geometrische structuur van de representatieruimte.
• Generaliseert over diverse SSL paradigma's (joint-embedding, joint-predictive, vision-language) en architecturen.
• Kosten Verlaagt door efficiënte hyperparameter selectie mogelijk te maken zonder de noodzaak van gelabelde data of dure linear probing evaluaties.

De auteurs benadrukken dat hun werk de belofte onderstreept van geometrische descriptoren als een fundamenteel instrument voor het begrijpen en optimaliseren van zelfgesuperviseerd leren, waarbij zij verder gaan dan enkel scheidbaarheid om te kijken naar hoe efficiënt informatie wordt gecomprimeerd in laag-dimensionale geometrische structuren.