🤖 machine learning

UR-JEPA: Uniform Rectifiability as a Regularizer for Joint-Embedding Predictive Architectures

UR-JEPA führt einen neuartigen Regularisierer auf Basis von uniformer Rektifizierbarkeit und einer Carleson-Typ-Quadratfunktion ein, um Repräsentationskollaps in Joint-Embedding Predictive Architectures zu verhindern, wobei eine konkurrenzfähige Genauigkeit bei signifikant geringerer Trainingsvarianz erreicht und im Vergleich zu bestehenden Methoden eine distinkte, niedrigdimensionale geometrische Struktur im Einbettungsraum induziert wird.

Ursprüngliche Autoren: Triet M. Le

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Triet M. Le

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, die Welt zu verstehen, indem Sie ihm zwei leicht unterschiedliche Fotos desselben Objekts zeigen (wie eine Katze von links und die Katze von rechts). Das Ziel des Roboters ist es, eine „mentale Landkarte“ (ein Embedding) zu lernen, in der diese zwei Fotos fast identisch aussehen, obwohl sie unterschiedliche Pixel sind.

Das große Problem auf diesem Gebiet ist der Kollaps. Wenn man nicht vorsichtig ist, wird der Roboter faul. Anstatt eine reichhaltige Landkarte zu lernen, entscheidet er: „Hey, wenn ich einfach alles als einen einzigen Punkt in der Mitte des Raumes zeichne, sehen sie alle gleich aus!“ Das ist ein Fehlschlag; der Robbot hat nichts gelernt.

Um dies zu verhindern, nutzten frühere Methoden (wie LeJEPA) eine Regel: „Deine mentale Landkarte muss wie eine perfekte, flauschige Gaswolke aussehen, die sich gleichmäßig in alle Richtungen ausbreitet.“ Es ist, als würde man den Roboter dazu zwingen, den gesamten Raum mit Nebel zu füllen. Während dies den Roboter daran hindert, zu einem einzigen Punkt zu kollabieren, widerspricht es der Art und Weise, wie die Natur tatsächlich funktioniert. Reale Objekte (wie Katzen oder Galaxien) existieren meist auf einer niedrigdimensionalen „Fläche“ oder einem „Band“ innerhalb dieses großen Raums, nicht als zufälliges Schweben überall.

UR-JEPA ist eine neue Methode, die die Regeln besser an die Realität anpasst. Hier ist die Aufschlüsselung:

1. Die alte Regel vs. die neue Regel

Die alte Regel (LeJEPA): „Fülle den ganzen Raum mit Nebel.“
- Analogie: Stellen Sie sich vor, Sie versuchen, eine Bibliothek zu organisieren, indem Sie jedes Buch in die Luft werfen und hoffen, dass sie als perfekte, gleichmäßige Wolke landen. Das funktioniert zwar, um zu verhindern, dass sich die Bücher in einer Ecke stapeln, aber es ignorił, dass Bücher eigentlich auf Regalen gehören.
Die neue Regel (UR-JEPA): „Organisiere die Bücher auf flachen, glatten Regalen.“
- Analogie: Anstatt einer zufälligen Wolke sagt UR-JEPA dem Roboter: „Deine Daten sollten so aussehen, als lägen sie auf einem glatten, flachen Blatt (einer Mannigfaltigkeit/Manifold). Wenn du in einen kleinen Teil dieser Fläche hineinzoomst, sollte sie wie ein flaches Stück Papier aussehen.“
- In mathematischen Begriffen nennt man das Uniforme Rektifizierbarkeit. Das bedeutet, dass die Daten nicht einfach nur „verteilt“ sind, sondern strukturiert, glatt und haben eine spezifische Anzahl von „Richtungen“, in denen sie sich bewegen können (wie ein 2D-Blatt in einem 3D-Raum).

2. Wie es funktioniert (Das „Lineal“ und der „Schatten des Lineals“)

Das Paper führt zwei Hauptwege ein, um zu überprüfen, ob der Roboter dieser neuen Regel folgt:

Methode A: Das Dichtelinieal (CGLT Loss):
Stellen Sie sich vor, Sie prüfen, ob eine Menschenmenge auf einem flachen Boden steht. Sie lassen ein „Dichtelinieal“ (einen Gaußschen Kern) an verschiedenen Stellen fallen. Wenn die Menschen auf einem flachen Blatt stehen, bleibt die Anzahl der Menschen unter dem Lineal konsistent, während Sie die Größe des Lineals ändern. Wenn sie nur eine zufällige Wolke oder ein einzelner Haufen sind, gehen die Zahlen verrückt. UR-JEPA nutzt dies, um sicherzustellen, dass die Daten auf diesem „flachen Blatt“ bleiben.
Methode B: Der lokale Karten-Check (Beta-Number Loss):
Stellen Sie sich vor, Sie sind in einem Wald. Sie betrachten einen kleinen Kreis um sich herum. Wenn die Bäume in einer geraden Linie angeordnet sind (eine 1D-Mannigfaltigkeit), können Sie eine gerade Linie ziehen, die sie alle perfekt abbildet. Wenn es ein zufälliger Busch ist, können Sie das nicht. Diese Methode prüft, ob die Datenpunkte in einer kleinen Nachbarschaft durch eine flache Ebene abgebildet werden können. Wenn sie das nicht können, erhält der Roboter eine Strafe.

3. Die Ergebnisse: Was ist passiert?

Die Autoren testeten dies auf vier Datensätzen:

ImageNet-10: Ein kleiner Satz von 10 gängigen Objekten.
Galaxy10: Bilder von Galaxien.
ImageNet-100: Ein größerer Satz von 100 Objekten.
EuroSAT: Satellitenbilder von Landflächen (Wälder, Flüsse usw.).

Die Erkenntnisse:

Bessere Genauigkeit: Auf dem kleinen Objektdatensatz (ImageNet-10) schlug UR-JEPA die alte Methode um eine kleine, aber signifikante Marge. Es lernte eine bessere Landkarte.
Mehr Stabilität: Die alte Methode lieferte manchmal sehr unterschiedliche Ergebnisse, je nachdem, welchen Zufallssamen (Startpunkt) man verwendete. UR-JEPA war viel konsistenter, wie ein zuverlässiges Auto, das jedes Mal anspringt, während die alte Methode etwas temperamentvoll war.
Die „Form“ des Lernens: Dies ist der interessanteste Teil. Als die Forscher die „Form“ der mentalen Landkarte des Roboters betrachteten:
- Die alte Methode erzeugte eine „flache“ Karte, in der jede Richtung gleich wichtig war (wie eine perfekte Kugel).
- Die neue Methode erzeugte eine „Klippen“-Karte. Sie erkannte, dass von etwa 32 möglichen Richtungen nur etwa 20 bis 25 tatsächlich genutzt wurden, um die Daten zu halten. Die anderen Richtungen waren leer.
- Warum das wichtig ist: Dies beweist, dass der Roboter tatsächlich gelernt hat, dass die Daten auf einer niedrigdimensionalen Struktur leben (dem „Blatt“), anstatt nur den ganzen Raum auszufüllen. Er fand die „Regale“ statt nur „Nebel“ zu erzeugen.

4. Die Kompromisse (Trade-offs)

Vorteile: Es erstellt eine strukturiertere, realistischere Repräsentation der Daten. Es ist stabiler (weniger Zufallsvarianz) und in einigen Fällen genauer.
Nachteile: Man muss dem Roboter grob sagen, wie „flach“ die Daten sind (eine Zahl namens $n$ , die intrinsische Dimension). Die alte Methode benötigte dies nicht. Zudem ist die Berechnung der neuen Regeln etwas rechenintensiver als die der alten Regeln.

Zusammenfassung

UR-JEPA ist eine intelligentere Art, Roboter das Sehen beizubringen. Anstatt sie zu zwingen, sich die Welt als eine zufällige, gleichmäßige Wolke vorzustellen, lehrt es sie, die Welt als strukturierte, glatte Oberflächen zu sehen. Das Ergebnis ist ein Roboter, der konsistenter, in einigen Aufgaben etwas klüger und eine mentale Landkarte besitzt, die die Geometrie der realen Welt tatsächlich widerspiegelt.

Technisches Resümee: UR–JEPA: Uniform Rectifiability als Regularisierer für Joint-Embedding Predictive Architectures

1. Problemstellung

Joint-Embedding Predictive Architectures (JEPAs) lernen Repräsentationen, indem sie das Embedding einer augmentierten Ansicht aus einer anderen im latenten Raum vorhersagen. Eine zentrale Schwierigkeit beim Training von JEPAs besteht darin, die Repräsentationskollaps zu verhindern, bei dem der Encoder alle Eingaben auf eine konstante oder triviale Lösung abbildet.

Historische Abhilfemaßnahmen waren weitgehend heuristisch (z. B. Stop-Gradients, kontrastive Negativbeispiele, Kovarianz-Strafen). LeJEPA [1] verbesserte dies, indem es Heuristiken durch einen einzelnen expliziten Zielverteilungs-Regularisierer ersetzte: die Sketched Isotropic Gaussian Regularization (SIGReg). SIGReg erzwingt, dass die Embedding-Verteilung eine isotrope Gauß-Verteilung $N(0, I_D)$ über die volle Umgebungssimension $D$ ist.

Dieses Ziel steht jedoch im Konflikt mit der Manifold-Hypothese, die besagt, dass die Einbettungen realer Daten auf einer niedrigdimensionalen Teilmenge mit der intrinsischen Dimension $n \ll D$ konzentrieren. Das Erzwingen, dass die Embeddings den vollen $D$ -dimensionalen Raum isotrop ausfüllen, widerspricht dem Prior, der das Repräsentationslernen motiviert. Das Paper schlägt UR–JEPA vor, welches den isotropen Gauß-Zielwert durch ein gleichmäßig $n$ -rektifizierbares Maß ersetzt. Dieses Ziel erzwingt, dass die Embeddings auf einer Menge konzentrieren, die auf kleinen Skalen quantitativ $n$ -dimensional ist, wodurch die Regularisierung mit der geometrischen Struktur realer Daten in Einklang gebracht wird.

2. Methodik

UR–JEPA behält den LeJEPA-Vorhersageverlust $L_{pred}$ bei, ersetzt jedoch den SIGReg-Regularisierer durch geometrische Maßtheorie-Objektive, die aus der gleichmäßigen $n$ -Rektifizierbarkeit (Uniform $n$ -Rectifiability, UR) abgeleitet sind. Zwei komplementäre Charakterisierungen von UR werden genutzt, um differenzierbare Verluste zu konstruieren, die für das stochastische Gradientenverfahren (SGD) geeignet sind.

2.1 Theoretische Grundlagen

Gleichmäßige $n$ -Rektifizierbarkeit: Ein Maß $\mu$ ist gleichmäßig $n$ -rektifizierbar, wenn es $n$ -Ahlfors–David-regulär ist (die Dichte skaliert als $r^n$ ) und „große Stücke Lipschitz-Abbildungen“ besitzt.
Charakterisierungen:
1. CGLT Square Function: Basierend auf dem Chousionis–Garnett–Le–Tolsa (CGLT)-Theorem, welches UR über die Beschränktheit einer Carleson-Typus-Quadratfunktion charakterisiert, die skalierte Kugel-Dichten involviert.
2. Jones $\beta$ -Zahlen: Messen die lokale Abweichung der Daten von der am besten passenden affinen $n$ -Ebene.

2.2 Die UR–JEPA Verlustfamilien

A. Gaussian-Kernel-geglätteter Carleson-Verlust ( $L_{CGLT}$ )

Diese Familie approximiert die CGLT-Quadratfunktion unter Verwendung eines Gauß-Kernels, um die empirische Dichte zu glätten und so die Rauschprobleme roher Kugel-Zählungen zu vermeiden.

Dichteschätzung: Eine skalierte Dichte $\theta_r(x)$ wird mittels eines Gauß-Kernels mit Bandbreite $r$ berechnet.
Log-Inkrement-Variante (Standard): Um zu verhindern, dass der Verlust an das absolute Dichteniveau gekoppelt wird (welches unbekannt ist), operiert der Verlust auf dem Log-Dichteincrement: $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$ $Δ_{r} lo g θ (x) = lo g θ_{2 r} (x) - lo g θ_{r} (x)$ .
- Verlust: $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$ .
- AD-Regularitäts-Anker: Ein separater Term $L_{AD}$ bestraft die Varianz von $\log \theta_r$ über Anker hinweg, um die $n$ -Ahlfors–David-Regularitätsbedingung (konstantes Dichteniveau) zu erzwingen.
Skalen-Ableitungs-Varianten: Alternative Formulierungen unter Verwendung der Skalen-Ableitung $t \partial_t \log \theta(x)$ oder der rohen Kernel-Ableitung. Das Paper stellt fest, dass die Log-Ableitungs-Variante für die Stabilität essenziell ist, da die rohe Form unter parasitären Kopplungen an lokale Dichteniveaus leidet.

B. Jones $\beta$ -Zahl Verlust ( $L_\beta$ )

Diese Familie erzwingt, dass lokale Nachbarschaften nahe an einer $n$ -dimensionalen affinen Ebene liegen.

Lokale PCA: Für jeden Anker $x$ und jede Skala $r$ wird eine gewichtete Streumatrix gebildet. Der Verlust ist die Summe der Eigenwerte, die zum orthogonalen Komplement der Top- $n$ -Eigenvektoren gehören (die Residuenvarianz).
Anti-Kollaps-Mechanismen: Der reine $\beta$ $β$ -Verlust erlaubt einen trivialen Punktmasse-Minimierer (Kollaps zu einem einzelnen Punkt ergibt Null-Residuum). Das Paper führt zwei Abhilfen ein:
1. Intrinsischer Log-Spur-Penalty: Fügt $-\gamma \log \text{tr}(S_r(x))$ hinzu, um den Kollaps des lokalen Nachbarschaftsvolumens zu bestrafen.
2. Adaptive Eigenwert-Schwellenwertbildung: Anstatt die Tangentialdimension fest auf $n$ zu setzen, wählt es Eigenvektoren aus, deren Varianzanteil einen Schwellenwert $\tau$ überschreitet. Dies ermöglicht es der lokalen intrinsischen Dimension, pro Anker zu variieren, während die globale geometrische Zielvorgabe beibehalten wird.

2.3 Anti-Kollaps-Eigenschaften

Im Gegensatz zum $\beta$ -Verlust sind die auf CGLT basierenden Verluste konstruktionsbedingt anti-kollaps-resistent. Bei einer Punktmasse-Konfiguration skaliert die geglättete Dichte als $r^{-n}$ , was dazu führt, dass das Log-Inkrement $\Delta_r \log \theta$ ein von Null verschiedener konstanter Wert ( $n \log 2$ ) ist. Somit bleibt der Verlust von Null verschieden, was verhindert, dass der Optimierer in einen kollabierten Zustand ohne zusätzliche Strafen verfällt.

3. Zentrale Beiträge

Geometrische Regularisierung für JEPAs: Das Paper operationalisiert gleichmäßige $n$ -Rektifizierbarkeit als Trainingsverlust und bietet damit eine fundierte Alternative zum isotropen Gauß-Zielwert von LeJEPA. Dies bringt die Regularisierung mit der Manifold-Hypothese in Einklang.
Neue Verlustfamilien: Es führt zwei konkrete, SGD-freundliche Verlustfamilien ein:
- $L_{CGLT}$ : Basierend auf dem CGLT-Theorem, unter Verwendung von Gauß-Kernel-geglätteten Dichten und Log-Inkrementen.
- $L_\beta$ : Basierend auf Jones $\beta$ -Zahlen via lokaler PCA, ergänzt durch Log-Spur-Strafen zur Vermeidung von Kollaps.
Brücke zwischen Theorie und Praxis: Es demonstriert, wie Deep Learning komplexe Konzepte der geometrischen Maßtheorie (Carleson-Maße, Jones $\beta$ -Zahlen) durch differenzierbare Approximationen implementieren kann.
Methodische Erkenntnis: Das Paper stellt fest, dass die Log-Transformation der Dichte (oder der Skalen-Ableitung) methodisch essenziell ist. Die rohe Skalen-Ableitungs-Form schneidet aufgrund der Kopplung an lokale Dichteniveaus signifikant schlechter ab als die Log-Form, welche diesen Störfaktor eliminiert.

4. Empirische Ergebnisse

Die Experimente wurden auf ImageNet-10 (Inet10), Galaxy10 SDSS, ImageNet-100 (Inet100) und EuroSAT durchgeführt.

4.1 Performance vs. LeJEPA

Inet10: UR–JEPA( $L_{CGLT}$ ) erreicht eine Top-1 Genauigkeit von 0,9141 ± 0,0014 und übertrifft das vergleichbare LeJEPA( $L_{SIGReg}$ ) (0,9058 ± 0,0019) um +0,83 Prozentpunkte (pp). Entscheidend ist, dass UR–JEPA eine ~30% geringere Seed-Standardabweichung aufweist.
Galaxy10 SDSS: Bei einem vergleichbaren Rezept ist UR–JEPA( $L_{CGLT}$ ) (0,8142) und LeJEPA (0,8105) statistisch gleichauf, wobei UR–JEPA eine geringere Varianz zeigt. Beide übertreffen die veröffentlichten LeJEPA-Baselines signifikant (aufgrund von Rezept-Verbesserungen), aber der Regularisierer selbst liefert einen marginalen, nicht signifikanten Gewinn gegenüber der gematchten LeJEPA-Baseline.
Inet100 & EuroSAT: UR–JEPA und LeJEPA konvergieren in dasselbe Peak-Genauigkeitsband. Auf EuroSAT behält UR–JEPA seine Signatur einer ~2-mal engeren Seed-Varianz im Vergleich zu LeJEPA bei.
Skalierung: Im Gegensatz zu LeJEPA, das sich verschlechtert, wenn die Projektordimension $D$ von 16 auf 32 erhöht wird, verbessert sich UR–JEPA, was darauf hindeutet, dass seine lokalen geometrischen Statistiken weniger sensitiv auf die Sparsamkeit des umgebenden Raums reagieren.

4.2 Geometrische Unterscheidung

Trotz ähnlicher Genauigkeit erzeugen die beiden Methoden strukturell unterschiedliche Repräsentationen:

LeJEPA: Erzeugt ein nahezu isotropes Spektrum (flache Eigenwertverteilung), konsistent mit seinem Gauß-Ziel.
UR–JEPA: Erzeugt ein stark anisotropes Spektrum. Die Kovarianz-Eigenwerte fallen bei Index $\sim 20\text{--}25$ (von $D=32$ ) um 4 bis 5 Größenordnungen ab. Dies deutet auf eine effektiv niedrigdimensionale Projektion hin, die konsistent mit der intrinsischen Dimension natürlicher Bilder ist, während nahezu-Gauß-Verteilungen pro Dimension erhalten bleiben (eine Konsequenz des Diaconis–Freedman-Phänomens).
Robustheit: Die „Cliff“-Signatur in UR–JEPA ist über Seeds und Datensätze hinweg reproduzierbar, während LeJEPA isotrop bleibt.

4.3 Ablationsstudien

Intrinsische Dimension ( $n$ ): Die Performance ist robust über ein breites Plateau ( $n \in [6, 10]$ ), bricht aber bei $n=4$ katastrophal ein.
Log-Transformation: Die Log-Ableitungs-Variante des CGLT-Verlusts übertrifft die rohe Form signifikant (um ~1,5 pp), was die Notwendigkeit der Log-Transformation für die Stabilität bestätigt.
$\beta$ -Verlust: Der reine $\beta$ -Verlust kollabiert auf Inet10. Mit dem Log-Spur-Penalty ( $L_{\beta, \gamma}$ ) wird er jedoch auf Galaxy10 konkurrenzfähig, schneidet aber unter den CGLT-Varianten schlechter ab.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass UR–JEPA eine fundierte geometrische Alternative zum Verteilungsabgleich im selbstüberwachten Lernen bietet.

Strukturelle Rekonstruktion: UR–JEPA rekonstruiert die lokale Tangentialdimension als parametrisierbaren Wert und erzwingt skalenfreie Formbeschränkungen (Carleson-Typus Bedingungen), die LeJEPA nicht leisten kann. Es erzeugt Repräsentationen, die global effektiv niedrigdimensional sind, während sie lokal $n$ -rektifizierbar bleiben.
Stabilität: Die Methode zeigt eine geringere Seed-Varianz und eine bessere Skalierung mit der Projektordimension im Vergleich zu LeJEPA, was auf eine stabilere Optimierungslandschaft hindeutet.
Bescheidenheit: Die Autoren räumen ein, dass UR–JEPA zwar die Genauigkeit von LeJEPA erreicht oder leicht übertrifft, der primäre Gewinn jedoch struktureller Natur (niedrigdimensionale, geometrisch konsistente Repräsentationen) und statistischer Natur (reduzierte Varianz) ist. Sie behaupten keine universelle Überlegenheit in der Genauigkeit über alle Aufgaben hinweg, da sich die Methoden auf Galaxy10 und EuroSAT bei der Konvergenz statistisch ähneln.
Theoretische Lücke: Das Paper gibt zu, dass es keinen Konvergenzbeweis für endliche Stichproben liefert, der die Minimierung des Carleson-Verlusts gegen ein UR-Ziel garantiert, und lässt dies als offene theoretische Frage offen.

Zusammenfassend lässt sich sagen, dass UR–JEPA erfolgreich das Konzept der gleichmäßigen $n$ -Rektifizierbarkeit aus der geometrischen Maßtheorie in einen praktischen, differenzierbaren Regularisierer übersetzt, der das selbstüberwachte Lernen mit der Manifold-Hypothese in Einklang bringt und dadurch Repräsentationen liefert, die geometrisch distinkter und statistisch stabiler sind als jene, die durch isotrope Gauß-Ziele erzeugt werden.