🤖 machine learning

UR-JEPA: Uniform Rectifiability as a Regularizer for Joint-Embedding Predictive Architectures

UR-JEPA introduceert een nieuwe regularisator gebaseerd op uniforme rectifieerbaarheid en een Carleson-type vierkante functie om representatie-instorting in Joint-Embedding Predictive Architectures te voorkomen, waarbij het competitieve nauwkeurigheid bereikt met aanzienlijk lagere trainingsvariantie en een duidelijke, laagdimensionale geometrische structuur in de embedding-ruimte induceert vergeleken met bestaande methoden.

Oorspronkelijke auteurs: Triet M. Le

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Triet M. Le

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert de wereld te begrijpen door hem twee licht verschillende foto's van hetzelfde object te laten zien (zoals een kat vanuit links en een kat vanuit rechts). Het doel van de robot is om een "mentale kaart" (een embedding) te leren waarbij deze twee foto's bijna identiek lijken, ook al zijn de pixels verschillend.

Het grote probleem in dit vakgebied is Collapse (instorting). Als je niet voorzichtig bent, wordt de robot lui. In plaats van een rijke kaart te leren, besluit hij: "Hé, als ik gewoon alles als één enkel punt in het midden van de kamer teken, dan zien ze er allemaal hetzelfde uit!" Dit is een mislukking; de robot heeft niets geleerd.

Om dit te voorkomen, gebruikten eerdere methoden (zoals LeJEPA) een regel: "Je mentale kaart moet eruitzien als een perfecte, pluizige gaswolk die gelijkmatig in alle richtingen uitzet." Het is alsof je de robot dwingt om de hele kamer te vullen met mist. Hoewel dit voorkomt dat de robot instort tot één enkel punt, strijdt het tegen hoe de natuur werkelijk werkt. Echte objecten (zoals katten of sterrenstelsels) leven meestal op een lager-dimensionaal "vlak" of "lint" binnen die grote kamer, niet zwevend overal willekeurig rond.

UR-JEPA is een nieuwe methode die de regels beter laat aansluiten bij de realiteit. Hier is de onderverdeling:

1. De Oude Regel vs. De Nieuwe Regel

De Oude Regel (LeJEPA): "Vul de hele kamer met mist."
- Analogie: Stel je voor dat je een bibliotheek probeert te organiseren door elk boek in de lucht te gooien en te hopen dat ze landen in een perfecte, uniforme wolk. Het werkt om te voorkomen dat boeken in één hoek op een hoopje terechtkomen, maar het negeert dat boeken eigenlijk op planken thuishoren.
De Nieuwe Regel (UR-JEPA): "Organiseer de boeken op platte, gladde planken."
- Analogie: In plaats van een willekeurige wolk, vertelt UR-JEPA de robot: "Je data zou moeten lijken op een gladde, platte plaat (een manifold). Als je inzoomt op een klein deel van die plaat, moet het eruitzien als een plat stuk papier."
- In wiskundige termen wordt dit Uniform Rectifiability genoemd. Dit betekent dat de data niet alleen "verspreid" is; het is gestructureerd, glad en heeft een specif aantal "richtingen" waarin het kan bewegen (zoals een 2D-vel in een 3D-kamer).

2. Hoe het werkt (De "Liniaal" en de "Schaduw van de Liniaal")

Het paper introduceert twee belangrijke manieren om te controleren of de robot deze nieuwe regel volgt:

Methode A: De Dichtheidsliniaal (CGLT Loss):
Stel je voor dat je controleert of een menigte mensen op een vlakke vloer staat. Je laat een "dichtheidsliniaal" (een Gaussische kernel) op verschillende plekken vallen. Als de mensen op een plat vlak staan, blijft het aantal mensen onder de liniaal constant wanneer je de grootte van de liniaal verandert. Als ze een willekeurige wolk of een enkele hoop zijn, gaan de getallen alle kanten op. UR-JEPA gebruikt dit om ervoor te zorgen dat de data op dat "platte vel" blijft.
Methode B: De Lokale Kaartcontrole (Beta-Number Loss):
Stel je voor dat je in een bos bent. Je kijkt naar een kleine cirkel om je heen. Als de bomen in een rechte lijn zijn gerangschikt (een 1D-manifold), kun je een rechte lijn trekend die ze allemaal perfect past. Als het een willekeurige struik is, kan dat niet. Deze methode controleert of de datapunten in een kleine omgeving kunnen worden aangepast aan een plat vlak. Als dat niet zo is, krijgt de robot een straf (penalty).

3. De Resultaten: Wat is er gebeurd?

De auteurs hebben dit getest op vier verschillende datasets:

ImageNet-10: Een kleine set van 10 veelvoorkomende objecten.
Galaxy10: Foto's van sterrenstelsels.
ImageNet-100: Een grotere set van 100 objecten.
EuroSAT: Satellietbeelden van land (bossen, rivieren, etc.).

De Bevindingen:

Betere Nauwkeurigheid: Op de kleine objectdataset (ImageNet-10) versloeg UR-JEPA de oude methode met een kleine maar significante marge. Het leerde een betere kaart.
Meer Stabiliteit: De oude methode gaf soms zeer verschillende resultaten afhankelijk van welke willekeurige 'seed' (startpunt) je gebruikte. UR-JEPA was veel consistenter, zoals een betrouwbare auto die elke keer start, terwijl de oude methode een beetje temperamentvol was.
De "Vorm" van het Leren: Dit is het meest interessante deel. Toen de onderzoekers naar de "vorm" van de mentale kaart van de robot keken:
- De Oude Methode produceerde een "platte" kaart waarbij elke richting even belangrijk was (zoals een perfecte sfeer).
- De Nieuwe Methode produceerde een "klif"-kaart. Het realiseerde zich dat van de 32 mogelijke richtingen, er slechts ongeveer 20 tot 25 daadwerkelijk werden gebruikt om de data vast te houden. De andere richtingen waren leeg.
- Waarom dit ertoe doet: Dit bewijst dat de robot daadwerkelijk heeft geleerd dat de data op een lager-dimensionale structuur leeft (het "vel"), in plaats van simpelweg de hele kamer te vullen. Het vond de "planken" in plaats van alleen maar "mist" te maken.

4. De Afwegingen

Pluspunten: Het creëert een meer gestructureerde, realistische representatie van de data. Het is stabieler (minder willekeurige variantie) en in sommige gevallen nauwkeuriger.
Minpunten: Je moet de robot ongeveer vertellen hoe "plat" de data is (een getal genaamd $n$ , de intrinsieke dimensie). De oude methode had dit niet nodig. Ook is het berekenen van de nieuwe regels iets computationeel duurder dan de oude regels.

Samenvatting

UR-JEPA is een slimmere manier om robots te leren zien. In plaats van hen te dwingen zich de wereld voor te stellen als een willekeurige, uniforme wolk, leert het hen de wereld te zien als gestructureerde, gladde oppervlakken. Het resultaat is een robot die consistenter is, in sommige taken iets slimmer is, en een mentale kaart creëert die de geometrie van de echte wereld daadwerkelijk weerspiegelt.

Technische Samenvatting: UR–JEPA: Uniforme Rectifiabiliteit als Regularisator voor Joint-Embedding Predictive Architectures

1. Probleemstelling

Joint-Embedding Predictive Architectures (JEPAs) leren representaties door de embedding van één versterkte view te voorspellen vanuit een andere view in de latente ruimte. Een centrale moeilijkheid bij het trainen van JEPAs is het voorkomen van representatie-instorting (representation collapse), waarbij de encoder alle inputs naar een constante of triviale oplossing mapt.

Historische oplossingen zijn grotendeels heuristisch geweest (bijv. stop-gradients, contrastieve negatieven, covariantie-straffen). LeJEPA [1] verbeterde dit door heuristieken te vervangen door een enkele expliciete doel-distributie regularisator: Sketched Isotropic Gaussian Regularization (SIGReg). SIGReg dwingt af dat de embedding-distributie een isotrope Gaussische $N(0, I_D)$ is over de volledige ambante dimensie $D$ .

Echter, dit doel botst met de manifold hypothese, die stelt dat embeddings van echte data concentreren op een laag-dimensionale deelverzameling van intrinsieke dimensie $n \ll D$ . Het afdwingen dat embeddings de volledige $D$ -dimensionale ruimte isotroop vullen, spreekt de prior tegen die de representatieleer motiveert. Het artikel stelt UR–JEPA voor, dat de isotrope Gaussische doelstelling vervangt door een uniforme $n$ -rectifieerbare maat. Deze doelstelling dwingt af dat embeddings concentreren op een verzameling die op kleine schaal kwantitatief $n$ -dimensionaal is, wat de regularisatie afstemt op de geometrische structuur van echte data.

2. Methodologie

UR–JEPA behoudt de LeJEPA predictieve loss $L_{pred}$ , maar vervangt de SIGReg regularisator door geometrische maattheoretische doelstellingen afgeleid van Uniforme $n$ -Rectifiabiliteit (UR). Twee complementaire karakterisaties van UR worden gebruikt om differentieerbare losses te construeren die geschikt zijn voor Stochastic Gradient Descent (SGD).

2.1 Theoretische Fundamenten

Uniforme $n$ -Rectifiabiliteit: Een maat $\mu$ is uniform $n$ -rectifieerbaar als zij $n$ -Ahlfors–David regulier is (dichtheid schaalt als $r^n$ ) en beschikt over "Big Pieces of Lipschitz Images".
Karakterisaties:
1. CGLT Vierkante Functie: Gebaseerd op de Chousionis–Garnett–Le–Tolsa (CGLT) stelling, die UR karakteriseert via de begrensdheid van een Carleson-type vierkante functie die gebruik maakt van schaal-genormaliseerde bol-dichtheden.
2. Jones $\beta$ -getallen: Meet de lokale afwijking van de data van de best passende affiene $n$ -vlak.

2.2 De UR–JEPA Loss Families

A. Gaussian-Kernel Gesmoothde Carleson Loss ( $L_{CGLT}$ )

Deze familie benadert de CGLT vierkante functie met behulp van een Gaussische kernel om de empirische dichtheid te vertogen, om zo de ruisproblemen van ruwe bol-tellingen te vermijden.

Dichtheidsschatting: Een schaal-genormaliseerde dichtheid $\theta_r(x)$ wordt berekend met behulp van een Gaussische kernel met bandbreedte $r$ .
Log-Increment Variant (Standaard): Om te voorkomen dat de loss gekoppeld wordt aan het absolute dichtheidsniveau (dat onbekend is), werkt de loss op de log-dichtheidstoename: $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$ $Δ_{r} lo g θ (x) = lo g θ_{2 r} (x) - lo g θ_{r} (x)$ .
- Loss: $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$ .
- AD-Regularity Anchor: Een aparte term $L_{AD}$ straft de variantie van $\log \theta_r$ over de anchors af om de $n$ -Ahlfors–David regulariteitsconditie af te dwingen (constante dichtheidsniveau).
Schaal-Afgeleide Varianten: Alternatieve formuleringen die gebruik maken van de schaal-afgeleide $t \partial_t \log \theta(x)$ of de ruwe kernel-afgeleide. Het artikel stelt vast dat de log-afgeleide variant essentieel is voor stabiliteit, aangezien de ruwe vorm lijdt onder parasitaire koppeling aan lokale dichtheidsniveaus.

B. Jones $\beta$ -Getal Loss ( $L_\beta$ )

Deze familie dwingt af dat lokale buurten dicht bij een $n$ -dimensionaal affien vlak liggen.

Lokale PCA: Voor elke anchor $x$ en schaal $r$ wordt een gewogen scattermatrix gevormd. De loss is de som van de eigenwaarden die overeenkomen met het orthogonale complement van de top- $n$ eigenvectoren (de residuele variantie).
Anti-Collapse Mechanismen: De ruwe $\beta$ $β$ -loss staat een triviale puntmassa-minimalisator toe (instorting naar een enkel punt levert nul residu op). Het artikel introduceert twee remedies:
1. Intrinsieke Log-Trace Straf: Voegt $-\gamma \log \text{tr}(S_r(x))$ toe om de instorting van het lokale buurtvolume te bestraffen.
2. Adaptieve Eigenwaarde Drempelwaarde: In plaats van de tangentiële dimensie vast te zetten op $n$ , selecteert het eigenvectoren waar het variantie-aandeel een drempelwaarde $\tau$ overschrijdt. Dit staat toe dat de lokale intrinsieke dimensie per anchor varieert terwijl de globale geometrische doelstelling behouden blijft.

2.3 Anti-Collapse Eigenschappen

In tegen tegenstelling tot de $\beta$ -loss zijn de CGLT-gebaseerde losses anti-collapse door constructie. Op een puntmassa-configuratie schaalt de gesmoothde dichtheid als $r^{-n}$ , waardoor de log-increment $\Delta_r \log \theta$ een niet-nul constante ( $n \log 2$ ) is. Hierdoor blijft de loss gebonden boven nul, wat voorkomt dat de optimizer in een gecondenseerde staat terechtkomt zonder dat er hulp-straffen nodig zijn.

3. Belangrijkste Bijdragen

Geometrische Regularisatie voor JEPAs: Het artikel operationaliseert Uniforme $n$ -Rectifiabiliteit als een trainingsloss, wat een principieel alternatief biedt voor de isotrope Gaussische doelstelling van LeJEPA. Dit stemt de regularisatie af op de manifold hypothese.
Nieuwe Loss Families: Het introduceert twee concrete, SGD-vriendelijke loss families:
- $L_{CGLT}$ : Gebaseerd op de CGLT-stelling, gebruikmakend van Gaussian-kernel gesmoothde dichtheden en log-increments.
- $L_\beta$ : Gebaseerd op Jones $\beta$ -getallen via lokale PCA, aangevuld met log-trace straffen om instorting te voorkomen.
Theoretisch-Praktisch Bruggenbouw: Het demonstreert hoe deep learning complexe geometrische maattheoretische concepten (Carleson-maten, Jones $\beta$ -getallen) kan implementeren via differentieerbare benaderingen.
Methodologische Inzicht: Het artikel stelt vast dat de log-transformatie van de dichtheid (of schaal-afgeleide) methodologisch essentieel is. De ruwe schaal-afgeleide vorm presteert aanzienlijk slechter dan de log-vorm vanwege de koppeling met lokale dichtheidsniveaus, terwijl de log-vorm deze verwarring wegneemt.

4. Empirische Resultaten

Experimenten werden uitgevoerd op ImageNet-10 (Inet10), Galaxy10 SDSS, ImageNet-100 (Inet100) en EuroSAT.

4.1 Prestaties vs. LeJEPA

Inet10: UR–JEPA( $L_{CGLT}$ ) bereikt een top-1 nauwkeurigheid van 0.9141 ± 0.0014, waarmee het de gematchte-recept LeJEPA( $L_{SIGReg}$ ) (0.9058 ± 0.0019) verslaat met +0.83 procentpunt (pp). Cruciaal is dat UR–JEPA een ~30% lagere seed standaarddeviatie vertoont.
Galaxy10 SDSS: Bij een gematchte recept is UR–JEPA( $L_{CGLT}$ ) (0.8142) en LeJEPA (0.8105) statistisch gelijkwaardig, waarbij UR–JEPA een lagere variantie laat zien. Beiden presteren significant beter dan gepubliceerde LeJEPA baselines (toe te schrijven aan recept-verbeteringen), maar de regularisator zelf levert een marginale, niet-significante winst op ten opzichte van de gematchte LeJEPA baseline.
Inet100 & EuroSAT: UR–JEPA en LeJEPA convergeren naar dezelfde piek-nauwkeurigheidsband. Op EuroSAT behoudt UR–JEPA zijn signatuur van ~2x hechtere seed-variantie vergeleken met LeJEPA.
Schaling: In tegen tegenstelling tot LeJEPA, die degradeert wanneer de projector-dimensie $D$ wordt verhoogd van 16 naar 32, verbetert UR–JEPA, wat suggereert dat de lokale geometrische statistieken minder gevoelig zijn voor de schaarste van de ambante ruimte.

4.2 Geometrisch Onderscheid

Ondanks vergelijkbare nauwkeurigheid produceren de twee methoden structureel verschillende representaties:

LeJEPA: Produceert een bijna-isotrope spectrum (vlak eigenwaarde-verdeling), consistent met zijn Gaussische doelstelling.
UR–JEPA: Produceert een scherp anisotroop spectrum. De covariantie-eigenwaarden dalen met 4 tot 5 ordes van grootte bij index $\sim 20\text{--}25$ (van $D=32$ ). Dit duidt op een effectief laag-rang projectie, consistent met de intrinsieke dimensie van natuurlijke afbeeldingen, terwijl bijna-Gaussische per-dimensie marginalen behouden blijven (een gevolg van het Diaconis–Freedman fenomeen).
Robuustheid: De "cliff" signatuur in UR–JEPA is reproduceerbaar over seeds en datasets, terwijl LeJEPA isotroop blijft.

4.3 Ablatie Studies

Intrinsieke Dimensie ( $n$ ): Prestaties zijn robuust over een brede plateau ( $n \in [6, 10]$ ) maar storten catastrofaal in bij $n=4$ .
Log-Transformatie: De log-afgeleide variant van de CGLT loss presteert aanzienlijk beter dan de ruwe vorm (met ~1.5 pp), wat de noodzaak van de log-transformatie voor stabiliteit bevestigt.
$\beta$ -Loss: De kale $\beta$ -loss stort in op Inet10. Echter, met de log-trace straf ( $L_{\beta, \gamma}$ ) wordt het competitief op Galaxy10, hoewel het onderpresteert ten opzien van de CGLT-varianten.

5. Betekenis en Claims

Het artikel beweert dat UR–JEPA een principieel geometrisch alternatief biedt voor distributie-matching in self-supervised learning.

Structurele Herstel: UR–JEPA herstelt de lokale tangentiële dimensie als een regelbare parameter en dwingt schaal-vrije vormrestricties af (Carleson-type condities) die LeJEPA niet kan afdwingen. Het produceert representaties die globaal effectief laag-rang zijn, terwijl lokale $n$ -rectifiabiliteit behouden blijft.
Stabiliteit: De methode vertoont een lagere seed-variantie en betere schaling met de projector-dimensie vergeleken met LeJEPA, wat wijst op een stabieler optimalisatie-landschap.
Bescheidenheid: De auteurs erkennen dat hoewel UR–JEPA de nauwkeurigheid van LeJEPA evenaart of licht overtreft, de primaire winst structureel is (laag-rang, geometrisch consistente representaties) en statistisch (verminderde variantie). Zij beweren geen universele superioriteit in nauwkeurigheid voor alle taken, waarbij zij opmerken dat op Galaxy10 en EuroSAT de methoden bij convergentie statistisch gelijkwaardig zijn.
Theoretische Kloof: Het artikel geeft toe dat het geen eindige-steekproef convergentiegarantie biedt voor het minimaliseren van de Carleson loss naar een UR-doelstelling, wat dit als een open theoretische vraag laat staan.

Samenvattend slaagt UR–JEPA erin de geometrische maattheoretische concepten van uniforme rectifiabiliteit te vertalen naar een praktische, differentieerbare regularisator die self-supervised learning afstemt op de manifold hypothese, wat resulteert in representaties die geometrisch verschillend en statistisch stabieler zijn dan die geproduceerd door isotrope Gaussische doelstellingen.