🤖 machine learning

UR-JEPA: Uniform Rectifiability as a Regularizer for Joint-Embedding Predictive Architectures

UR-JEPA यूनिफॉर्म रेक्टिफिएबिलिटी (uniform rectifiability) और एक कारलेसन-प्रकार के स्क्वायर फंक्शन (Carleson-type square function) पर आधारित एक नवीन रेगुलराइज़र पेश करता है ताकि जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (Joint-Embedding Predictive Architectures) में रिप्रेजेंटेशन कोलैप्स (representation collapse) को रोका जा सके, जिससे काफी कम ट्रेनिंग वेरिएंस के साथ प्रतिस्पर्धी सटीकता प्राप्त होती है और मौजूदा विधियों की तुलना में एम्बेडिंग स्पेस में एक विशिष्ट, निम्न-आयामी ज्यामितीय संरचना प्रेरित होती है।

मूल लेखक: Triet M. Le

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Triet M. Le

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझने के लिए सिखा रहे हैं, उसे एक ही वस्तु की दो थोड़ी अलग तस्वीरें दिखाकर (जैसे एक बिल्ली की बाईं ओर से और दाईं ओर से ली गई फोटो)। रोबोट का लक्ष्य एक "मानसिक मानचित्र" (एम्बेडिंग) सीखना है जहाँ ये दोनों तस्वीरें लगभग एक जैसी दिखें, भले ही उनके पिक्सेल अलग हों।

इस क्षेत्र की सबसे बड़ी समस्या है कोलैप्स (Collapse)। यदि आप सावधान नहीं रहे, तो रोबट आलसी हो जाएगा। एक समृद्ध मानचित्र सीखने के बजाय, वह यह तय कर लेगा, "अरे, अगर मैं सब कुछ कमरे के बीच में एक एकल बिंदु के रूप में बना दूँ, तो वे सभी एक जैसे दिखेंगे!" यह एक विफलता है; रोबोट ने कुछ भी नहीं सीखा है।

इसे रोकने के लिए, पिछले तरीकों (जैसे LeJEPA) ने एक नियम का उपयोग किया: "आपका मानसिक मानचित्र हर दिशा में समान रूप से फैलने वाले एक आदर्श, फूले हुए गैस के बादल की तरह होना चाहिए।" यह ऐसा है जैसे रोबोट को पूरे कमरे में धुंध भरने के लिए मजबूर करना। जबकि यह उसे एक एकल बिंदु में सिमटने से रोकता है, यह इस बात के विरुद्ध काम करता है कि प्रकृति वास्तव में कैसे काम करती है। वास्तविक वस्तुएं (जैसे बिल्लियाँ या आकाशगंगाएँ) आमतौर पर उस बड़े कमरे के भीतर एक कम-आयामी (lower-dimensional) "शीट" या "रिबन" पर रहती हैं, न कि हर जगह तैरती रहती हैं।

UR-JEPA एक नया तरीका है जो नियमों को वास्तविकता के साथ बेहतर ढंग से मिलाने के लिए बदलता है। यहाँ इसका विवरण दिया गया है:

1. पुराना नियम बनाम नया नियम

पुराना नियम (LeJEPA): "पूरे कमरे को धुंध से भर दो।"
- उपमा: कल्पना करें कि आप एक पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं, प्रत्येक पुस्तक को हवा में उछाल रहे हैं और उम्मीद कर रहे हैं कि वे एक आदर्श, समान बादल के रूपв में नीचे गिरें। यह किताबों को एक कोने में जमा होने से रोकने के लिए काम करता है, लेकिन यह इस बात को अनदेखा करता है कि किताबें वास्तव में शेल्फ (अलमारियों) पर होनी चाहिए।
नया नियम (UR-JEPA): "किताबों को सपाट, चिकनी अलमारियों पर व्यवस्थित करें।"
- उपमा: एक यादृच्छिक बादल के बजाय, UR-JEPA रोबोट को बताता है: "आपका डेटा एक चिकनी, सपाट शीट (मैनिफोल्ड) पर स्थित दिखना चाहिए। यदि आप उस शीट के किसी भी छोटे हिस्से को ज़ूम करके देखते हैं, तो वह कागज के एक सपाट टुकड़े जैसा दिखना चाहिए।"
- गणितीय शब्दों में, इसे यूनिफॉर्म रेक्टिफिएबिलिटी (Uniform Rectifiability) कहा जाता है। इसका मतलब है कि डेटा केवल "फैला हुआ" नहीं है; यह संरचित, चिकना है, और इसमें चलने के लिए विशिष्ट "दिशाएं" हैं (जैसे एक 3D कमरे में एक 2D शीट)।

2. यह कैसे काम करता है ( "रूलर" और "रूलर की छाया")

यह पेपर दो मुख्य तरीके पेश करता है यह जाँचने के लिए कि क्या रोबोट इस नए नियम का पालन कर रहा है:

विधि A: घनत्व रूलर (CGLT लॉस):
कल्पना करें कि आप यह जाँच रहे हैं कि क्या लोगों की भीड़ एक सपाट फर्श पर खड़ी है। आप अलग-अलग स्थानों पर एक "घनत्व रूलर" (एक गॉसियन कर्नेल) गिराते हैं। यदि लोग एक सपाट शीट पर हैं, तो रूलर का आकार बदलने पर भी रूलर के नीचे लोगों की संख्या स्थिर रहती है। यदि वे केवल एक यादृच्छिक बादल या एक ढेर हैं, तो संख्याएँ अजीब तरह से बदल जाएँगी। UR-JEPA यह सुनिश्चित करने के लिए इसका उपयोग करता है कि डेटा उस "सपाट शीट" पर बना रहे।
विधि B: स्थानीय मानचित्र जाँच (बीटा-नंबर लॉस):
कल्पना करें कि आप एक जंगल में हैं। आप अपने चारों ओर एक छोटा घेरा देखते हैं। यदि पेड़ एक सीधी रेखा में व्यवस्थित हैं (एक 1D मैनिफोल्ड), तो आप उन्हें पूरी तरह से फिट करने वाली एक सीधी रेखा खींच सकते हैं। यदि वे एक यादृच्छिक झाड़ी की तरह हैं, तो आप ऐसा नहीं कर सकते। यह विधि जाँचती है कि क्या एक छोटे पड़ोस में डेटा बिंदुओं को एक सपाट तल (plane) द्वारा फिट किया जा सकता है। यदि वे नहीं कर सकते, तो रोबोट को दंड (penalty) मिलता है।

3. परिणाम: क्या हुआ?

लेखकों ने चार अलग-अलग डेटासेट पर इसका परीक्षण किया:

ImageNet-10: 10 सामान्य वस्तुओं का एक छोटा सेट।
Galaxy10: आकाशगंगाओं की तस्वीरें।
ImageNet-100: 100 वस्तुओं का एक बड़ा सेट।
EuroSAT: भूमि (जंगल, नदियों आदि) के उपग्रह चित्र।

निष्कर्ष:

बेहतर सटीकता: छोटे ऑब्जेक्ट डेटासेट (ImageNet-10) पर, UR-JEPA ने पुराने तरीके को थोड़े लेकिन महत्वपूर्ण अंतर से पछाड़ दिया। इसने एक बेहतर मानचित्र सीखा।
अधिक स्थिरता: पुराना तरीका कभी-कभी बहुत अलग परिणाम देता था, जो इस बात पर निर्भर करता था कि आपने कौन सा रैंडम सीड (शुरुआती बिंदु) इस्तेमाल किया। UR-JEelly-JEPA बहुत अधिक सुसंगत था, जैसे कि एक भरोसेमंद कार जो हर बार शुरू होती है, जबकि पुराना तरीका थोड़ा अस्थिर था।
सीखने का "आकार": यह सबसे दिलचस्प हिस्सा है। जब शोधकर्ताओं ने रोबोट के मानसिक मानचित्र के "आकार" को देखा:
- पुराने तरीके ने एक "सपाट" मानचित्र बनाया जहाँ हर दिशा समान रूप से महत्वपूर्ण थी (जैसे एक पूर्ण गोला)।
- नए तरीके ने एक "क्लिफ" (चट्टान/ढलान) मानचित्र बनाया। इसने महसूस किया कि 32 संभावित दिशाओं में से, केवल लगभग 20 से 25 का उपयोग डेटा को रखने के लिए किया जा रहा था। अन्य दिशाएं खाली थीं।
- यह क्यों मायने रखता है: यह साबित करता है कि रोबोट ने वास्तव में सीखा कि डेटा एक कम-आयामी संरचना (शीट) पर रहता है, न कि केवल पूरे कमरे को भरने के बजाय। इसने केवल "धुंध" बनाने के बजाय "शेल्फ" को खोज लिया।

4. समझौते (Trade-offs)

पक्ष (Pros): यह डेटा का अधिक संरचित, यथार्थवादी प्रतिनिधित्व बनाता है। यह अधिक स्थिर है (कम यादृच्छिक भिन्नता) और कुछ मामलों में अधिक सटीक भी है।
विपक्ष (Cons): इसके लिए आपको रोबोट को यह बताना होगा कि डेटा कितना "सपाट" है (एक संख्या जिसे $n$ , आंतरिक आयाम कहा जाता है)। पुराने तरीके में इसकी आवश्यकता नहीं थी। इसके अलावा, नए नियमों की गणना करना पुराने तरीकों की तुलना में थोड़ा अधिक कम्प्यूटेशनल रूप से महंगा है।

सारांश

UR-JEPA रोबोट को देखने के सिखाने का एक स्मार्ट तरीका है। उन्हें दुनिया को एक यादृच्छिक, समान बादल के रूप में कल्पना करने के लिए मजबूर करने के बजाय, यह उन्हें दुनिया को संरचित, चिकनी सतहों के रूप में देखना सिखाता है। परिणाम यह है कि रोबोट अधिक सुसंगत, कुछ कार्यों पर थोड़ा स्मार्ट, और एक ऐसा मानसिक मानचित्र बनाता है जो वास्तव में वास्तविक दुनिया की ज्यामिति को दर्शाता है।

तकनीकी सारांश: UR–JEPA: जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर के लिए यूनिफॉर्म रेक्टिफिएबिलिटी एक रेगुलराइज़र के रूप में

1. समस्या विवरण (Problem Statement)

जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPAs) लेटेंट स्पेस में एक ऑगमेंटेड व्यू के एम्बेडिंग को दूसरे से प्रेडिक्ट करके रिप्रजेंटेशन सीखते हैं। JEPAs को प्रशिक्षित करने में एक केंद्रीय कठिनाई रिप्रजेंटेशन कोलैप्स (representation collapse) को रोकना है, जहाँ एनकोडर सभी इनपुट्स को एक स्थिर या तुच्छ समाधान (trivial solution) में मैप कर देता है।

ऐतिहासिक उपचार काफी हद तक ह्यूरिस्टिक (जैसे कि स्टॉप-ग्रेडिएंट्स, कॉन्ट्रास्टिव नेगेटिव्स, कोवेरियेंस पेनल्टीज़) रहे हैं। LeJEPA [1] ने एक एकल स्पष्ट टार्गेट-डिस्ट्रीबशन रेगुलराइज़र: स्केच्ड आइसोट्रोपिक गॉसियन रेगुलराइजेशन (SIGReg) का उपयोग करके इसे आगे बढ़ाया। SIGReg यह सुनिश्चित करता है कि एम्बेडिंग डिस्ट्रीब्यूशन पूरे एम्बिएंट डायमेंशन $D$ में एक आइसोट्रोपिक गॉसियन $N(0, I_D)$ हो।

हालाँकि, यह टार्गेट मैनिफोल्ड हाइपोथीसिस (manifold hypothesis) के साथ संघर्ष करता है, जो यह मानता है कि वास्तविक दुनिया के डेटा एम्बेडिंग्स एक लो-डायमेंशनल सबसेट पर केंद्रित होते हैं जिसकी इंट्रिन्सिक डायमेंशन $n \ll D$ होती है। एम्बेडिंग्स को पूरे $D$ -डायमेंशनल स्पेस को आइसोट्रोपिक रूप से भरने के लिए मजबूर करना उस प्रायर (prior) के विरुद्ध है जो रिप्रजेंटेशन लर्निंग को प्रेरित करता है। प्रस्तावित शोध UR–JEPA का सुझाव देता है, जो आइसोट्रोपिक गॉसियन टार्गेट के स्थान पर एक यूनिफॉर्मली $n$ -रेक्टिफिएबल मेजर (uniformly $n$ -rectifiable measure) का उपयोग करता है। यह टार्गेट सुनिश्चित करता है कि एम्बेडिंग्स छोटे स्केल्स पर एक सेट पर केंद्रित हों जो मात्रात्मक रूप से $n$ -डायमेंशनल हो, जिससे रेगुलराइजेशन वास्तविक डेटा की ज्यामितीय संरचना के साथ संरेखित हो जाता है।

2. कार्यप्रणाली (Methodology)

UR–JEPA LeJEPA प्रेडिक्टिव लॉस $L_{pred}$ को बरकरार रखता है लेकिन SIGReg रेगुलराइज़र को यूनिफॉर्म $n$ -रेक्टिफिएबिलिटी (UR) से प्राप्त ज्यामितीय मेजर-थ्योरेटिक ऑब्जेक्टिव्स से बदल देता है। दो पूरक लक्षण (complementary characterizations) का उपयोग UR बनाने के लिए किया जाता है जो स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) के अनुकूल डिफरिएबल लॉसेस का निर्माण करते हैं।

2.1 सैद्धांतिक आधार (Theoretical Foundations)

यूनिफॉर्म $n$ -रेक्टिफिएबिलिटी (Uniform $n$ -Rectifiability): एक मेजर $\mu$ तब यूनिफॉर्मली $n$ -रेक्टिफिएबल होता है जब वह $n$ -Ahlfors–David रेगुलर हो (घनत्व $r^n$ के रूप में स्केल करता है) और उसमें "बिग पीसेस ऑफ लिप्सचिट्ज़ इमेजेस" (Big Pieces of Lipschitz Images) हों।
लक्षण (Characterizations):
1. CGLT स्क्वायर फंक्शन: चौशियोनिस–गार्नेट–ली–टॉल्सा (CGLT) प्रमेय पर आधारित, जो स्केल-नॉर्मलाइज्ड बॉल डेंसिटीज वाले एक कारलेसन-टाइप स्क्वायर फंक्शन के माध्यम से UR को चिह्नित करता है।
2. जोन्स $\beta$ -नंबर्स (Jones $\beta$ -numbers): यह स्थानीय स्तर पर डेटा के सबसे उपयुक्त एफ़ाइन $n$ -प्लेन से विचलन को मापता है।

2.2 UR–JEPA लॉस फैमिलीज़

A. गॉसियन-कर्नेल स्मूथड कारलेस लॉस ( $L_{CGLT}$ )

यह फैमिली कच्ची बॉल काउंट्स की शोर संबंधी समस्याओं से बचने के लिए गॉसियन कर्नेल का उपयोग करके एम्पेरिकल डेंसिटी को स्मूथ करने के लिए CGLT स्क्वायर फंक्शन का अनुमान लगाती है।

डेंसिटी एस्टीमेशन: बैंडविड्थ $r$ के साथ एक गॉसियन कर्नेल का उपयोग करके एक स्केल-नॉर्मलाइज्ड डेंसिटी $\theta_r(x)$ की गणना की जाती है।
लॉग-इन्क्रीमेंट वेरिएंट (डिफ़ॉल्ट): लॉस को एब्सोल्यूट डेंसिटी लेवल (जो अज्ञात है) से न जोड़ने के लिए, लॉस लॉग-डेंसिटी इन्क्रीमेंट पर काम करता है: $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$ $Δ_{r} lo g θ (x) = lo g θ_{2 r} (x) - lo g θ_{r} (x)$ ।
- लॉस: $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$ ।
- AD-रेगुलैरिटी एंकर: एक अलग टर्म $L_{AD}$ एंकर्स के बीच $\log \theta_r$ के वेरिएंस को दंडित करता है ताकि $n$ -Ahlfors–David रेगुलैरिटी कंडीशन (स्थिर डेंसिटी लेवल) लागू की जा सके।
स्केल-डेरिवेटिव वेरिएंट्स: स्केल डेरिवेटिव $t \partial_t \log \theta_t$ या रॉ कर्नेल डेरिवेटिव का उपयोग करने वाले वैकल्पिक फॉर्मुलेशन। पेपर में पाया गया कि स्थिरता के लिए लॉग-डेरिवेटिव वेरिएंट आवश्यक है, क्योंकि रॉ फॉर्म लोकल डेंसिटी लेवल्स के साथ पैरासिटिक कपलिंग से ग्रस्त होता है।

B. जोन्स $\beta$ -नंबर लॉस ( $L_\beta$ )

यह परिवार सुनिश्चित करता है कि स्थानीय पड़ोस (neighborhoods) एक $n$ -डायमेंशनल एफ़ाइन प्लेन के करीब हों।

लोकल PCA: प्रत्येक एंकर $x$ और स्केल $r$ के लिए, एक वेटेड स्कैटर मैट्रिक्स बनाया जाता है। लॉस टॉप- $n$ आइजनवेक्टर्स के ऑर्थोगोनल कॉम्प्लीमेंट के आइजनवैल्यूज का योग है (अवशिष्ट वेरिएंस)।
एंटी-कोलैप्स मैकेनिज्म: रॉ $\beta$ $β$ -लॉस एक ट्रिवियल पॉइंट-मास मिनिमाइज़र को स्वीकार करता है (एक सिंगल पॉइंट में कोलैप्स होने पर जीरो रेसिडुअल मिलता है)। पेपर में दो उपचार पेश किए गए हैं:
1. इंट्रिन्सिक लॉग-ट्रेस पेनल्टी: स्थानीय पड़ोस के वॉल्यूम के कोलैप्स को रोकने के लिए $-\gamma \log \text{tr}(S_r(x))$ जोड़ता है।
2. एडैप्टिव आइजनवैल्यू थ्रेशोल्डिंग: टेंगेंट डायमेंशन को $n$ पर फिक्स करने के बजाय, यह उन आइजनवेक्टर्स का चयन करता है जहाँ वेरिएंस शेयर $\tau$ थ्रेशोल्ड को पार करता है। यह प्रत्येक एंकर के लिए स्थानीय इंट्रिन्सिक डायमेंशन को बदलने की अनुमति देता है जबकि वैश्विक ज्यामितीय लक्ष्य को बनाए रखता है।

2.3 एंटी-कोलैप्स गुण (Anti-Collapse Properties)

$\beta$ -लॉस के विपरीत, CGLT-आधारित लॉस बनावट से ही एंटी-कोलैप्स (anti-collapse by construction) हैं। एक पॉइंट-मास कॉन्फ़िगरेशन पर, स्मूथड डेंसिटी $r^{-n}$ के रूप में स्केल करती है, जिससे लॉग-इन्क्रीमेंट $\Delta_r \log \theta$ एक नॉन-जीरो कांस्टेंट ( $n \log 2$ ) बन जाता है। इस प्रकार, लॉस शून्य से ऊपर बना रहता है, जो किसी भी ऑक्सिलरी पेनल्टी की आवश्यकता के बिना ऑप्टिमाइज़र को कोलैप्स्ड स्टेट में बैठने से रोकता है।

3. मुख्य योगदान (Key Contributions)

JEPAs के लिए ज्यामितीय रेगुलराइजेशन: पेपर यूनिफॉर्म $n$ -रेक्टिफिएबिलिटी को एक ट्रेनिंग लॉस के रूप में संचालित करता है, जो LeJEPA के आइसोट्रोपिक गॉसियन टार्गेट के लिए एक सिद्धांत आधारित विकल्प प्रदान करता है। यह रेगुलराइजेशन को मैनिफोल्ड हाइपोथीसिस के साथ संरेखित करता है।
नई लॉस फैमिलीज़: यह दो ठोस, SGD-फ्रेंडली लॉस फैमिलीज़ पेश करता है:
- $L_{CGLT}$ : CGLT प्रमेय पर आधारित, जो गॉसियन-कर्नेल स्मूथड डेंसिटीज और लॉग-इन्क्रीमेंट्स का उपयोग करता है।
- $L_\beta$ : लोकल PCA के माध्यम से जोन्स $\beta$ -नंबर्स पर आधारित, जिसे कोलैप्स रोकने के लिए लॉग-ट्रेस पेनल्टी के साथ बढ़ाया गया है।
थ्योरेटिकल-प्रैक्टिकल ब्रिज: यह प्रदर्शित करता है कि कैसे डीप लर्निंग जटिल ज्यामितीय मेजर थ्योरी अवधारणाओं (कारलेस मेजर्स, जोन्स $\beta$ -नंबर्स) को डिफरिएबल एप्रोक्सिमेशन्स के माध्यम से लागू कर सकता है।
मेथोडोलॉजिकल इनसाइट: पेपर स्थापित करता है कि डेंसिटी का लॉग-ट्रांसफॉर्म (या स्केल-डेरिवेटिव) मेथडोलॉजिकल रूप से आवश्यक है। रॉ स्केल-डेरिवेटिव फॉर्म, लॉग-फॉर्म की तुलना में काफी खराब प्रदर्शन करता है क्योंकि यह लोकल डेंसिटी लेवल्स के साथ कपलिंग से प्रभावित होता है।

4. अनुभवजन्य परिणाम (Empirical Results)

प्रयोग ImageNet-10 (Inet10), Galaxy10 SDSS, ImageNet-100 (Inet100), और EuroSAT पर किए गए।

4.1 LeJEPA बनाम प्रदर्शन

Inet10: UR–JEPA( $L_{CGLT}$ ) 0.9141 ± 0.0014 टॉप-1 एक्यूरेसी प्राप्त करता है, जो मैचिंग-रेसिपी LeJEPA( $L_{SIGReg}$ ) (0.9058 ± 0.0019) को +0.83 पर्सेंटेज पॉइंट्स (pp) से पछाड़ता है। महत्वपूर्ण रूप से, UR–JEPA में ~30% कम सीड स्टैंडर्ड डेविएशन दिखता है।
Galaxy10 SDSS: मैच की गई रेसिपी पर, UR–JEPA( $L_{CGLT}$ ) (0.8142) और LeJEPA (0.8105) सांख्यिकीय रूप से बराबर हैं, जबकि UR–JEPA कम वेरिएंस दिखाता है। दोनों प्रकाशित LeJEPA बेसलाइन्स से काफी बेहतर हैं (रेसिपी सुधारों के कारण), लेकिन केवल रेगुलराइज़र स्वयं एक मामूली, गैर-महत्वपूर्ण लाभ प्रदान करता है।
Inet100 और EuroSAT: UR–JEPA और LeJEPA समान पीक-एक्यूरेसी बैंड में अभिसरित (converge) होते हैं। EuroSAT पर, UR–JEPA LeJEPA की तुलना में ~2x टाइटर सीड वेरिएंस का अपना सिग्नेचर बनाए रखता है।
स्केलिंग: LeJEPA के विपरीत, जो प्रोजेक्टर डायमेंशन $D$ को 16 से 32 तक बढ़ाने पर खराब प्रदर्शन करता है, UR–JEPA में सुधार होता है, जो बताता है कि इसके लोकल ज्यामितीय आंकड़े एम्बिएंट स्पेस की स्पर्सिटी के प्रति कम संवेदनशील हैं।

4.2 ज्यामितीय अंतर (Geometric Distinction)

समान एक्यूरेसी के बावजूद, दोनों विधियाँ संरचनात्मक रूप से भिन्न रिप्रजेंटेशन बनाती हैं:

LeJEPA: लगभग आइसोट्रोपिक स्पेक्ट्रम (फ्लैट आइजनवैल्यू डिस्ट्रीब्यूशन) बनाता है, जो इसके गॉसियन टार्गेट के अनुरूप है।
UR–JEPA: एक शार्पली अनिसोट्रोपिक स्पेक्ट्रम बनाता है। कोवेरियेंस आइजनवैल्यूज इंडेक्स $\sim 20\text{--}25$ (आउट ऑफ $D=32$ ) पर 4 से 5 ऑर्डर्स ऑफ मैग्नीट्यूड तक गिर जाते हैं। यह एक प्रभावी लो-रैंक प्रोजेक्शन का संकेत देता है, जो प्राकृतिक छवियों की इंट्रिन्सिक डायमेंशन के अनुरूप है, जबकि प्रति-डायमेंशन लगभग-गॉसियन मार्जिनल को बनाए रखता है (Diaconis–Freedman घटना का परिणाम)।
रोबस्टनेस: UR–JEPA में "क्लिफ" (cliff) सिग्नेचर विभिन्न सीड्स और डेटासेट्स में पुनरुत्पादित (reproducible) है, जबकि LeJEPA आइसोट्रोपिक बना रहता है।

4.3 एब्लेशन स्टडीज (Ablation Studies)

इंट्रिन्सिक डायमेंशन ( $n$ ): प्रदर्शन एक विस्तृत प्लेटो ( $n \in [6, 10]$ ) में मजबूत है लेकिन $n=4$ पर विनाशकारी रूप से गिर जाता है।
लॉग-ट्रांसफॉर्म: CGLT लॉस का लॉग-डेरिवेटिव वेरिएंट रॉ फॉर्म की तुलना में काफी बेहतर प्रदर्शन करता है (~1.5 pp), जो स्थिरता के लिए लॉग-ट्रांसफॉर्म की आवश्यकता की पुष्टि करता है।
$\beta$ -लॉस: रॉ $\beta$ -लॉस Inet10 पर कोलैप्स हो जाता है। हालाँकि, लॉग-ट्रेस पेनल्टी ( $L_{\beta, \gamma}$ ) के साथ, यह Galaxy10 पर प्रतिस्पर्धी बनता है, हालांकि यह CGLT वेरिएंट्स से कम प्रदर्शन करता है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि UR–JEPA सेल्फ-सुपरवाइज्ड लर्निंग में डिस्ट्रीब्यूशन मैचिंग के लिए एक सिद्धांत आधारित ज्यामितीय विकल्प प्रदान करता है।

स्ट्रक्चरल रिकवरी: UR–JEPA लोकल टेंगेंट डायमेंशन को एक ट्यूनेबल पैरामीटर के रूप में रिकवर करता है और स्केल-फ्री शेप कंस्ट्रेंट्स (कारलेस-टाइप कंडीशंस) लागू करता है जिन्हें LeJEPA नहीं कर सकता। यह ऐसे रिप्रजेंटेशन बनाता है जो वैश्विक स्तर पर प्रभावी रूप से लो-रैंक हैं जबकि स्थानीय $n$ -रेक्टिफिएबिलिटी बनाए रखते हैं।
स्थिरता: विधि LeJEPA की तुलना में कम सीड वेरिएंस और प्रोजेक्टर डायमेंशन के साथ बेहतर स्केलिंग प्रदर्शित करती है, जो एक अधिक स्थिर ऑप्टिमाइजेशन लैंडस्केप का सुझाव देती है।
विनम्रता: लेखक स्वीकार करते हैं कि हालांकि UR–JEPA एक्यूरेसी में LeJEPA के बराबर या थोड़ा अधिक है, प्राथमिक लाभ स्ट्रक्चरल (लो-रैंक, ज्यामितीय रूप से सुसंगत रिप्रजेंटेशन) और सांख्यिकीय (कम वेरिएंस) है। वे सभी कार्यों में सार्वभौमिक श्रेष्ठता का दावा नहीं करते हैं।
थ्योरेटिकल गैप: पेपर स्वीकार करता है कि यह कारलेस लॉस को UR टार्गेट की ओर मिनिमाइज करने के लिए फाइनाइट-सैंपल कन्वर्जेंस गारंटी प्रदान नहीं करता है, जिससे यह एक खुला सैद्धांतिक प्रश्न बना हुआ है।

संक्षेप में, UR–JEPA सफलतापूर्वक यूनिफॉर्म रेक्टिफिएबिलिटी की ज्यामितीय मेजर थ्योरी अवधारणा को एक व्यावहारिक, डिफरिएबल रेगुलराइज़र में बदल देता है जो मैनिफोल्ड हाइपोथीसिस के साथ संरेखित होता है, जिससे ऐसे रिप्रजेंटेशन मिलते हैं जो आइसोट्रोपिक गॉसियन टार्गेट्स की तुलना में ज्यामितीय रूप से विशिष्ट और सांख्यिकीय रूप से अधिक स्थिर हैं।