Technische Samenvatting: Globale Geometrie is Niet Genoeg voor Visuele Representaties

1. Probleemstelling

Een heersende aanname in het leren van visuele representaties is dat globaal goed verdeelde embeddings — gekenmerkt door eigenschappen zoals isotropie, uniformiteit en een hoge effectieve dimensionaliteit — robuuste en generaliseerbare representaties ondersteunen. Dit geometrische perspectief heeft trainingsobjectieven (bijv. contrastieve uitlijning, variantie-decorrelatie) en evaluatieprotocollen gevormd, waarbij de globale geometrie wordt behandeld als een proxy voor representatieve competentie.

Visuele scènes worden echter niet alleen gedefinieerd door de aanwezigheid van elementen, maar ook door hun compositionele binding (dat wil zeggen: hoe elementen zijn gerangschikt en met elkaar gerelateerd zijn). Hoewel globale geometrie effectief codeert welke kenmerken aanwezig zijn, is het mogelijk ongevoelig voor hoe deze zijn samengesteld. Dit paper onderzoekt of standaard geometrische metrieken de bekwaamheid van een model voor compositionele binding kunnen voorspellen, of dat deze bekwaamheid rust op een andere, niet-gemeten as van representatieve kwaliteit.

2. Methodologie

Experimentele Opzet

De auteurs evalueerden 26 voorgetrainde visuele encoders verspreid over zeven verschillende families van trainingsobjectieven:

• Variantie-decorrelatie: Barlow Twins, VICReg
• Masked Modeling: MAE, BEiT, BEiTv2
• Clustering/Distillatie: DINO, DINOv2, SwAV
• Contrastief: MoCo v3
• Visie-Taal: CLIP, SigLIP, EVA-CLIP
• Gesuperviseerd: ConvNeXt, ViT

Om de compositionele bekwaamheid te isoleren van verwarrende factoren zoals textuurherkenning of objectdetectie, ontwierpen de auteurs een synthetische Attribute Binding benchmark.

• Taak: Modellen moeten een query-afbeelding matchen met een doelafbeelding op basis van vorm-positie-bindingen (bijv. "rode cirkel links van blauw vierkant").
• Restrictie: Queries en doelafbeeldingen gebruiken disjuncte kleurensets om te voorkomen dat er een beroep wordt gedaan op kleur-co-occurrence, waardoor het model wordt gedwongen te vertrouwen op abstracte ruimtelijke relaties.
• Controle: Een "Hetzelfde/Anders" probe werd gebruikt om basisstructuur-discriminatie te meten, wat dit onderscheidt van echte relationele binding.

Geëvalueerde Metrieken

1. Geometrische Metrieken (Statisch):
   • Global Participation Ratio (G.PR): Meet de globale effectieve dimensionaliteit.
   • Global Isotropy Score (G.Iso): Meet de variantieverdeling buiten de eerste hoofdcomponent.
   • Lokale Isotropie (L.Iso): Meet de isotropie van lokale buurten in de embedding-ruimte.
2. Functionele Metrieken (Dynamisch):
   • Jacobian Effective Rank (JER): Meet de effectieve rang van de input-output Jacobian ($J_f(x) = \partial f(x) / \partial x$). Dit kwantificeert de dimensionaliteit van lokale variaties in de representatieruimte geïnduceerd door input-perturbaties, wat de functionele sensitiviteit karakteriseert.
3. Readout-analyse:
   • De auteurs testten of alternatieve geometrie-gebaseerde readouts (kNN, Local PCA) de binding-informatie konden herstellen uit bevroren embeddings wanneer cosinus-gelijkenis faalde.

3. Belangrijkste Resultaten

Geometrische Metrieken Voorspellen Binding Niet

• Nulcorrelatie: Standaard geometrische metrieken (G.PR, G.Iso, L.Iso) vertoonden een bijna nulcorrelatie met de nauwkeurigheid van de compositionele binding over alle 26 modellen (bijv. $r \approx 0,11$ voor G.Iso, $p > 0,5$).
• Orthogonaliteit: Hoogwaardige geometrische eigenschappen (bijv. hoge isotropie) vertalen zich niet naar functionele binding-prestaties. Modellen met uitstekende globale geometrie (zoals DINOv2 of CLIP) presteerden op een niveau nabij toeval bij de binding-taak.
• Robuustheid: Dit nulresultaat hield stand bij verschillende keuzes voor hyperparameters (omvang van de buren $k$) en metriek-formuleringen (Effective Rank, Participation Ratio).

Functionele Sensitiviteit Voorspelt Binding

• Sterke Correlatie: De Jacobian Effective Rank (JER) vertoonde een sterke positieve correlatie met de binding-nauwkeurigheid ($r = 0,69, p < 0,001$).
• Voorspellende Kracht: Een bivariate regressie die JER combineert met de "Hetzelfde/Anders" discriminatie-nauwkeurigheid verklaarde 78% van de variantie in binding-prestaties ($R^2 = 0,78$).
• Afhankelijkheid van het Objectief:
  • Variantie-decorrelatie-objectieven (Barlow Twins, VICReg) behielden een hoge JER (28,8) en behaalden de hoogste binding-nauwkeurigheid (44%).
  • Contrastieve en Visie-Taal-objectieven (CLIP, DINOv2) vertoonden "rank collapse" in hun Jacobian-spectra, wat resulteerde in een lage JER (18–20) en een binding-nauwkeurigheid nabij toeval (13%).
  • Gesuperviseerde modellen vertoonden de laagste JER (~14,1).

Mechanisme van Rank Collapse

• Spectrale Analyse: Variantie-decorrelatie-modellen behouden een vlak, langzaam afnemend singulariteits-spectrum, wat wijst op uniforme sensitiviteit over meerdere inputrichtingen. Daarentegen vertonen modellen zoals CLIP en DINOv2 een snelle spectrale afname, waarbij de sensitiviteit geconcentreerd is in enkele dominante modi.
• Diepte-analyse: Rank collapse vindt plaats op verschillende stadia afhankelijk van het objectief. CLIP en DINOv2 vertonen mid-netwerk collapse (blokken 5–8), terwijl MAE een hoge rang behoudt in de backbone, maar scherp instort bij de projectielaag.
• Beperkingen van Readouts: Alternatieve geometrische readouts (kNN, Local PCA) slaagden er niet in de binding-nauwkeurigheid te verbeteren voor modellen met een lage JER, wat suggereert dat binding-informatie niet herstelbaar is door middel van post-hoc geometrische manipulatie.

Generalisatie

• De correlatie tussen JER en binding-prestaties generaliseerde naar natuurlijke afbeeldingen (SugarCrepe benchmark) binnen de CLIP-familie, waarbij JER de prestaties voorspelde ($r = 0,69$), zelfs na controle voor zero-shot ImageNet nauwkeurigheid.

4. Theoretische Verklaring

Het paper stelt dat het verschil tussen geometrische regelmaat en functionele sensitiviteit voortkomt uit het ontwerp van het objectief:

• Variantie-decorrelatie: Deze objectieven beperken expliciet de tweede-orde feature-statistieken (covariantie) via augmentatie. Dit dwingt de loss om de Jacobian direct vorm te geven ($J(x)\Sigma_\delta J(x)^\top$), waardoor sensitiviteit over meerdere inputrichtingen behouden blijft en een hoge JER wordt gehandhaafd.
• Contrastief/Clustering/Masked/Semantisch: Deze objectieven beperken de Jacobian alleen via rang-arme projecties (bijv. gradiënten van gelijkenis of reconstructiefouten). Ze laten richtingen die orthogonaal staan aan de specifieke taak (bijv. semantische uitlijning of instantie-discriminatie) onbeperkt, wat leidt tot een instorting in de functionele rang en een verlies van compositionele sensitiviteit.

5. Betekenis en Claims

De auteurs claimen dat globale embedding-geometrie slechts een gedeeltelijk beeld geeft van de representatieve competentie.

• Beperking van Huidige Metrieken: Veelgebruikte geometrische diagnostiek volgt betrouwbaar prestaties op taken die gedreven worden door variatie in één factor (bijv. de aanwezigheid van een kenmerk), maar faalt systematisch bij taken die een echte compositionele structuur vereisen.
• Nieuwe Diagnostische As: Het paper vestigt functionele sensitiviteit (gemeten via de Jacobian Effective Rank) als een cruciale, complementaire as voor het modelleren van compositionele structuur.
• Intrinsieke Eigenschap: De lineaire toegankelijkheid van compositionele structuur blijkt een intrinsieke eigenschap te zijn die wordt geïnduceerd door het pretraining-objectief, in plaats van een kenmerk dat kan worden hersteld via alternatieve geometrische readouts.

Het werk stelt geen nieuw trainingsalgoritme voor, maar biedt een diagnostisch kader om te begrijpen waarom bepaalde objectieven (zoals variantie-decorrelatie) succesvol zijn in compositionele taken, terwijl andere (zoals contrastief leren) falen, ondanks het feit dat beide "goed geconditioneerde" globale geometrieën produceren.