💻 computer science

A Lightweight Library for Energy-Based Joint-Embedding Predictive Architectures

यह शोधपत्र EB-JEPA को प्रस्तुत करता है, जो एक ओपन-सोर्स, लाइटवेट लाइब्रेरी है जो छवियों, वीडियो और एक्शन-कंडीशन्ड वर्ल्ड मॉडल्स में अर्थपूर्ण प्रतिनिधित्व सीखने के लिए एनर्जी-बेस्ड जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर के कुशल, सिंगल-जीपीयू प्रशिक्षण को सक्षम बनाती है, जैसा कि CIFAR-10, मूविंग MNIST और नेविगेशन कार्यों पर उच्च प्रदर्शन द्वारा प्रदर्शित किया गया है।

मूल लेखक: Basile Terver, Randall Balestriero, Megi Dervishi, David Fan, Quentin Garrido, Tushar Nagarajan, Koustuv Sinha, Wancong Zhang, Mike Rabbat, Yann LeCun, Amir Bar

प्रकाशित 2026-04-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Basile Terver, Randall Balestriero, Megi Dervishi, David Fan, Quentin Garrido, Tushar Nagarajan, Koustuv Sinha, Wancong Zhang, Mike Rabbat, Yann LeCun, Amir Bar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। आपके पास इसे सिखाने के दो मुख्य तरीके हैं:

"फोटोग्राफर" दृष्टिकोण: आप रोबोट को कहते हैं, "भूलभुलैया के हर एक पिक्सेल को याद कर लो। अगर तुम्हें लाल दीवार दिखे, तो लाल रंग का सटीक शेड और ईंटों की बनावट (texture) को भी याद रखो।" यह वैसा ही है जैसे किसी भाषा को हर एक अक्षर के आकार को रटकर सीखना। यह अविश्वसनीय रूप से कठिन है, इसके लिए एक विशाल मस्तिष्क (कंप्यूटर) की आवश्यकता होती है, और यह उन छोटी बारीकियों में फंस जाता है जो महत्वपूर्ण नहीं हैं (जैसे दीवार पर लगा कोई धब्बा)।
"स्टोरीटेलर" (कथावाचक) दृष्टिकोण: आप रोबोट को कहते हैं, "पिक्सेल की चिंता मत करो। बस 'कहानी' को समझो। अगर मैं एक गलियारे में हूँ और मैं बाईं ओर मुड़ता हूँ, तो मैं एक कमरे में पहुँच जाऊँगा। अगर मैं एक बटन दबाता हूँ, तो दरवाजा खुल जाता है।" यह दुनिया के अर्थ और नियमों को समझने के बारे में है, न कि केवल कच्चे डेटा (raw data) के बारे में।

यह पेपर EB-JEPA नामक एक नया, उपयोग में आसान टूलकिट पेश करता है जो रोबोट को "स्टोरीटेलर" दृष्टिकोण से सिखाता है।

यहाँ इस पेपर का विवरण दिया गया, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

1. मूल विचार: "तस्वीर" नहीं, "विचार" की भविष्यवाणी करना

अधिकांश वर्तमान AI मॉडल फोटोग्राफरों की तरह हैं। वे पिक्सेल-दर-पिक्सेल एक छवि को फिर से बनाने की कोशिश करते हैं। यदि आप उन्हें एक बिल्ली दिखाते हैं, तो वे हर एक मूंछ और बालों के पैटर्न को बनाने की कोशिश करते हैं। यह गणनात्मक रूप से बहुत महंगा है और अक्सर मुख्य बात को छोड़ देता है।

EB-JEPA एक स्टोरीटेलर की तरह है। बिल्ली का चित्र बनाने के बजाय, यह बिल्ली का एक "मानसिक प्रतिनिधित्व" (एक अवधारणा/concept) सीखता है।

यह कैसे काम करता है: यह बिल्ली की एक तस्वीर देखता है, उसे एक मानसिक अवधारणा (मान लीजिए "बिल्ली-कॉन्सेप्ट") में बदल देता है, और फिर यह अनुमान लगाने की कोशिश करता है कि अगले क्षण वह "बिल्ली-कॉन्सेप्ट" कैसा दिखेगा।
यह बेहतर क्यों है: यह उबाऊ विवरणों (जैसे बैकग्राउंड का रंग) को अनदेखा करता है और महत्वपूर्ण चीजों पर ध्यान केंद्रित करता है (जैसे कि बिल्ली बाईं ओर बढ़ रही है)। यह ऊर्जा बचाता है और रोबोट को योजना बनाने (planning) में अधिक स्मार्ट बनाता है।

2. टूलकिट के तीन स्तर

लेखकों ने तीन "स्तर" वाली एक लाइब्रेरी बनाई है, जिसे इस तरह डिज़ाइन किया गया है कि कोई भी एक अकेले कंप्यूटर के साथ कुछ घंटों में इसे चला सके (इसके लिए सुपरकंप्यूटर की आवश्यकता नहीं है)।

स्तर 1: दर्पण का खेल (छवियाँ/Images)
कल्पना कीजिए कि आप एक रोबोट को एक कप की फोटो दिखाते हैं, और फिर उसे वही कप थोड़े अलग कोण या अलग रोशनी के साथ दिखाते हैं। रोबिमट सीखता है कि बदलावों के बावजूद "यह अभी भी एक कप है।" वह वस्तु के विशिष्ट पिक्सेल को नहीं, बल्कि उसके सार (essence) को पहचानना सीखता है।
- परिणाम: रोबोट वस्तुओं को पहचानने में बहुत अच्छा हो जाता है (एक मानक परीक्षण पर 91% सटीकता)।
स्तर 2: मूवी प्रेडिक्टर (वीडियो/Video)
अब, कल्पना कीजिए कि रोबोट एक उछलती हुई गेंद का वीडियो देख रहा है। वह केवल देखता नहीं है; वह अगले फ्रेम में गेंद कैसी दिखेगी, इसका अनुमान लगाने की कोशिश करता है इससे पहले कि वह उसे देखे।
- ट्रिक: पेपर दिखाता है कि यदि रोबोट प्रशिक्षण के दौरान 4 या 8 कदम आगे की भविष्यवाणी करने का अभ्यास करता है, तो वह केवल अगले सेकंड का अनुमान लगाने के बजाय, समय के साथ चीजें कैसे चलती हैं, इसे समझने में बहुत बेहतर हो जाता है।
स्तर 3: शतरंज खिलाड़ी (क्रिया और योजना/Action & Planning)
यह सबसे बड़ा स्तर है। अब रोबोट केवल देख नहीं रहा है; वह खेल रहा है। कल्पना कीजिए कि एक रोबोट भूलभुलैया में है जहाँ दीवारें हैं। उसे यह समझना होगा: "अगर मैं बाईं ओर मुड़ता हूँ, तो मैं दीवार से टकराता हूँ। अगर मैं दाईं ओर मुड़ता हूँ, तो मैं निकास (exit) के करीब पहुँच जाता हूँ।"
- रोबोट अपने "मानसिक मॉडल" का उपयोग करके अपने दिमाग में अलग-अलग रास्तों का अनुकरण (simulate) करता है। वह पूछता है, "अगर मैं यह क्रिया करता हूँ, तो आगे क्या होगा?"
- परिणाम: रोब의 ने एक जटिल भूलभुलैया को 97% बार सफलतापूर्वक पार किया, तब भी जब दीवारें बेतरतीब ढंग से रखी गई थीं।

3. गुप्त नुस्खा: "ब्रेन फ्रीज" (दिमाग सुन्न होना) को रोकना

इस तरह से AI को सिखाने में सबसे बड़ी समस्याओं में से एक "कोलैप्स" (collapse) है। कल्पना कीजिए कि एक छात्र, उत्तर सीखने के बजाय, हर परीक्षा में केवल "42" लिख देता है क्योंकि वह सबसे आसान उत्तर है। AI भी ऐसा ही करता है: वह हर छवि के लिए एक ही उबाऊ, बेकार "कॉन्सेप्ट" आउटपुट करना सीख जाता है क्योंकि यह सबसे आसान रास्ता है।

पेपर में रेगुलराइजर्स (Regularizers) पेश किए गए हैं (इन्हें "अनुशासकों" या "जिम ट्रेनर" के रूप में सोचें)।

द वेरिएंस ट्रेनर (The Variance Trainer): AI को मजबूर करता है कि वह अलग-अलग चीजों के लिए अपने मस्तिष्क के अलग-अलग हिस्सों का उपयोग करे। यह कहता है, "सिर्फ '42' आउटपुट मत करो! आपको अपनी पूरी शब्दावली का उपयोग करने की आवश्यकता है।"
द इनवर्स डायनेमिक्स ट्रेनर (The Inverse Dynamics Trainer): रोबोट से पूछता है, "मैं गेंद को यहाँ से वहाँ जाते हुए देखता हूँ। वह क्या क्रिया थी जिसे तुमने करने के लिए किया जिससे यह हुआ?" यह AI को कारण और प्रभाव (cause and effect) को समझने के लिए मजबूर करता है, न कि केवल संयोग को।

इन ट्रेनरों के बिना, रोबोट का दिमाग "कोलैप्स" हो जाता है और वह विफल हो जाता है। इनके साथ, वह दुनिया की एक समृद्ध, उपयोगी समझ विकसित करता है।

4. यह क्यों मायने रखता है

सुलभता (Accessibility): इससे पहले, ऐसे "वर्ल्ड मॉडल्स" बनाने के लिए विशाल टीमों और सुपरकंप्यूटरों की आवश्यकता होती थी। यह पेपर कहता है, "यहाँ एक लेगो सेट (Lego set) है। आप अपने लैपटॉप पर एक दोपहर में एक कामकाजी वर्ल्ड मॉडल बना सकते हैं।"
शिक्षा: यह छात्रों और शोधकर्ताओं को यह समझने में मदद करता है कि ये सिस्टम कैसे काम करते हैं, बजाय इसके कि वे इन्हें केवल एक जादुई ब्लैक बॉक्स की तरह मानें।
दक्षता (Efficiency): "पिक्सेल" के बजाय "अवधारणाओं" (concepts) पर ध्यान केंद्रित करके, ये सिस्टम कम ऊर्जा का उपयोग करते हैं और भविष्य के लिए बेहतर योजना बनाने में सक्षम होते हैं।

निष्कर्ष (The Bottom Line)

EB-JEPA एक उपयोगकर्ता के अनुकूल मार्गदर्शिका और टूलकिट है जो AI को "फोटोग्राफर" (पिक्सेल को याद करना) बनने के बजाय "स्टोरीटेलर" (दुनिया कैसे काम करती है, यह समझना) बनने के लिए सिखाता है। यह साबित करता है कि आपको एक रोबोट बनाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है जो योजना बना सके, भविष्यवाणी कर सके और रास्ता खोज सके; आपको बस समस्या के बारे में सोचने के सही तरीके की आवश्यकता है।

यहाँ ICLR 2026 में प्रस्तुत शोध पत्र "A Lightweight Library for Energy-Based Joint-Embedding Predictive Architectures" (EB-JEPA) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बुद्धिमान प्रणालियों के निर्माण के लिए वर्तमान दृष्टिकोण अक्सर जेनरेटिव मॉडल्स (Generative Models) पर निर्भर करते हैं जो पिक्सेल स्पेस में अवलोकनों को पुनर्गठित (reconstruct) करते हैं (जैसे, VideoMAE, MAE)। हालांकि ये प्रभावी हैं, लेकिन ये मॉडल मौलिक चुनौतियों का सामना करते हैं:

कंप्यूटेशनल अक्षमता (Computational Inefficiency): उन्हें सभी पिक्सेल को मॉडल करना पड़ता है, जिसमें कार्य-अप्रासंगिक विवरण भी शामिल होते हैं, जिसके लिए विशाल कंप्यूटेशनल संसाधनों की आवश्यकता होती है।
फीचर की गुणवत्ता (Feature Quality): पुनर्गठन-आधारित शिक्षण (Reconstruction-based learning) धारणा और नियोजन (perception and planning) के लिए गैर-सूचनात्मक फीचर्स उत्पन्न कर सकता है।
पहुंच का अंतर (Accessibility Gap): जबकि जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPAs) पिक्सेल स्पेस के बजाय रिप्रेजेंटेशन स्पेस (Representation Space) में भविष्यवाणी करके एक बेहतर विकल्प प्रदान करते हैं, मौजूदा कार्यान्वयन अक्सर बड़े पैमाने के, उत्पादन-उन्मुख होते हैं और शोधकर्ताओं के लिए उन्हें नेविगेट करना, प्रयोग करना या सैद्धांतिक रूप से समझना कठिन होता है।

एक ऐसे सुलभ, मॉड्यूलर और शैक्षिक कोडबेस की कमी है जो इमेज रिप्रेजेंटेशन से लेकर एक्शन-कंडीशन्ड वर्ल्ड मॉडलिंग जैसे कार्यों के लिए JEPA के सैद्धांतिक सिद्धांतों और व्यावहारिक अनुप्रयोग के बीच के अंतर को पाट सके।

2. कार्यप्रणाली: EB-JEPA फ्रेमवर्क (Methodology: The EB-JEPA Framework)

लेखक EB-JEPA पेश करते हैं, जो एनर्जी-बेस्ड मॉडल (EBM) प्रतिमान पर निर्मित एक ओपन-सोर्स लाइब्रेरी है। इसका मुख्य उद्देश्य एक ऐसा लेटेंट सिमेंटिक रिप्रेजेंटेशन स्पेस सीखना है जहाँ संगत इनपुट-आउटपुट जोड़ों के लिए "ऊर्जा" (loss) न्यूनतम हो।

एकीकृत ऊर्जा सूत्रीकरण (Unified Energy Formulation)

लाइब्रेरी एक सामान्य प्रशिक्षण उद्देश्य को परिभाषित करती है:
$L = L_{pred}(g_\phi(f_\theta(x), q_\omega(a)), z') + \lambda R(z)$
जहाँ:

$f_\theta$ : इनपुट $x$ को रिप्रेजेंटेशन $z$ में मैप करने वाला एनकोडर।
$g_\phi$ : कॉन्टेक्स्ट को भविष्य के रिप्रेजेंटेशन में मैप करने वाला प्रेडिक्टर।
$q_\omega$ : कंडीशनिंग के लिए वैकल्पिक एक्शन एनकोडर।
$R(z)$ : रिप्रेजेंटेशन कोलैप्स (collapse) को रोकने के लिए रेगुलराइजेशन टर्म।
$\lambda$ : बैलेंसिंग हाइपरपैरामीटर।

फ्रेमवर्क तीन प्रगतिशील जटिल इंस्टांशिएशंस (instantiations) को लागू करता है:

Image-JEPA (व्यू इनवेरिएंस): मूल ( $x$ ) से रूपांतरित व्यू ( $x'$ ) के रिप्रेजेंटेशन की भविष्यवाणी करता है। यहाँ ऊर्जा $z$ और $z'$ के बीच की दूरी है।
Video-JEPA (टेम्पोरल प्रेडिक्शन): पिछले फ्रेम्स के कॉन्टेक्स्ट ( $z_{t-v:t}$ ) के आधार पर भविष्य के फ्रेम ( $z_{t+1}$ ) के रिप्रेजेंटेशन की भविष्यवाणी करता है।
Action-Conditioned Video-JEPA (वर्ल्ड मॉडलिंग): पिछले अवलोकनों और नियंत्रण इनपुट्स (एक्शन) दोनों के आधार पर अगले स्टेट रिप्रेजेंटेशन की भविष्यवाणी करता है। यह लक्ष्य-निर्देशित नियोजन (goal-directed planning) को सक्षम बनाता है।

रेगुलराइजेशन रणनीतियाँ (Regularization Strategies)

JEPAs में एक महत्वपूर्ण चुनौती रिप्रेजेंटेशन कोलैप्स (जहाँ मॉडल निरंतर, तुच्छ रिप्रेजेंटेशन आउटपुट करता है) है। EB-JEPA दो प्राथमिक रेगुलराइजेशन परिवारों को लागू करता है:

VICReg: वेरिएंस (फीचर स्प्रेड सुनिश्चित करने के लिए) और कोवेरिएंस (फीचर्स को डिकोरिलेट करने के लिए) टर्म्स का उपयोग करता है।
SIGReg: एक सैद्धांतिक रूप से स्थापित विकल्प जो रैंडम 1D प्रोजेक्शन के माध्यम से एम्बेडिंग्स पर आइसोट्रोपिक गॉसियन वितरण लागू करता है। पेपर में पाया गया कि SIGReg, VICReg की तुलना में अधिक स्थिर और ट्यून करने में आसान है।

प्रशिक्षण और नियोजन तंत्र (Training & Planning Mechanics)

मल्टीस्टेप रोलआउट्स (Multistep Rollouts): "एक्सपोज़र बायस" (टीचर-फोर्स्ड ट्रेनिंग और ऑटोरेग्रेसिव इन्फरेंस के बीच विसंगति) को कम करने के लिए, लाइब्रेरी प्रशिक्षण के दौरान $k$ -स्टेप रिकर्सिव प्रेडिक्शन लॉस का उपयोग करती है।
वर्ल्ड मॉडल्स के लिए अतिरिक्त रेगुलराइज़र्स: रैंडमाइज्ड वातावरण को संभालने के लिए, लाइब्रेरी में टेम्पोरल सिमिलरिटी (स्मूथ ट्राजेक्टरीज) और इनवर्स डायनेमिक्स मॉडल (IDM) लॉस (स्टेट ट्रांजिशन से एक्शन प्रेडिक्ट करने के लिए) शामिल हैं ताकि स्प्यूरियस कोरिलेशन (spurious correlations) को रोका जा सके।
नियोजन (Planning): लाइब्रेरी मॉडल प्रेडिक्टिव पाथ इंटीग्रल (MPPI) ऑप्टिमाइज़ेशन का उपयोग करती है। नियोजन को एक ऐसी एक्शन सीक्वेंस खोजने के रूप में फ्रेम किया गया है जो हॉरिजन के दौरान संचित ऊर्जा (प्रेडिक्टेड ट्राजेक्टरी और गोल रिप्रेजेंटेशन के बीच की दूरी) को कम करती है।

3. प्रमुख योगदान (Key Contributions)

सुलभ कार्यान्वयन (Accessible Implementation): तीन स्व-निहित उदाहरण (Image, Video, Action-Conditioned) जिन्हें एकल GPU पर कुछ घंटों के भीतर प्रशिक्षित किया जा सकता है, जो JEPA अनुसंधान के लिए प्रवेश बाधा को कम करता है।
मॉड्यूलर आर्किटेक्चर (Modular Architecture): पुन: प्रयोज्य घटक (Encoders, Predictors, Regularizers, Planners) जो नए अनुप्रयोगों के लिए आसान पुनर्संयोजन की अनुमति देते हैं।
व्यापक एब्लेशन (Comprehensive Ablations): विशिष्ट घटकों की आवश्यकता को प्रदर्शित करने वाले व्यवस्थित प्रयोग, विशेष रूप से कोलैप्स को रोकने में रेगुलराइजेशन की भूमिका।
शैक्षिक संसाधन (Educational Resource): स्पष्ट दस्तावेज़ीकरण और कोड संरचना जो एनर्जी-बेस्ड सेल्फ-सुपरवाइज्ड लर्निंग और वर्ल्ड मॉडलिंग के सिद्धांतों को सिखाने के लिए डिज़ाइन की गई है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लाइब्रेरी का मूल्यांकन तीन बेंचमार्क पर किया गया:

इमेज रिप्रेजेंटेशन (CIFAR-10):
- ResNet-18 बैकबोन का उपयोग करते हुए, मॉडल ने SIGReg के साथ 91.02% सटीकता (लीनियर प्रोबिंग) और VICReg के साथ 90.12% प्राप्त की।
- एब्लेशन ने दिखाया कि सीखा गया प्रोजेक्टर उपयोग करने से डायरेक्ट रेगुलराइजेशन की तुलना में सटीकता ~3% बढ़ गई।
- SIGReg ने VICReg की तुलना में हाइपरपैरामीटर्स केAcross अधिक स्थिरता प्रदर्शित की।
वीडियो प्रेडिक्शन (Moving MNIST):
- मल्टीस्टेप रोलआउट्स ( $k=4$ ) के साथ प्रशिक्षित मॉडल्स ने डाउनस्ट्रीम डिटेक्शन टास्क (Average Precision) में सिंगल-स्टेप प्रेडिक्शन की तुलना में काफी बेहतर प्रदर्शन किया।
- विज़ुअलाइज़ेशन ने पुष्टि की कि मॉडल विस्तारित हॉरिजन के दौरान सुसंगत मोशन ट्राजेक्टरीज बनाए रखता है।
एक्शन-कंडीशन्ड प्लानिंग (Two Rooms Environment):
- मॉडल ने एक नॉन-मोनोटोनिक नेविगेशन टास्क (जिसमें लक्ष्य तक पहुँचने के लिए लक्ष्य से दूर जाना आवश्यक है) में 97% सफलता दर प्राप्त की।
- एब्लेशन निष्कर्ष:
  - IDM को हटाने से सफलता दर गिरकर 1% हो गई (स्प्यूरियस कोरिलेशन के कारण)।
  - वेरिएंस या कोवेरिएंस टर्म्स को हटाने से सफलता दर घटकर ~46-47% रह गई।
  - टेम्पोरल सिमिलरिटी को हटाने से सफलता दर ~61% रह गई।
  - प्लानिंग हॉरिजन के लिए क्युमुलेटिव कॉस्ट (cumulative cost) का उपयोग करने से फाइनल-स्टेट-ओनली कॉस्ट की तुलना में 8% बेहतर प्रदर्शन हुआ।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

सिद्धांत और व्यवहार के बीच सेतु: EB-JEPA बड़े कंप्यूट क्लस्टर्स की आवश्यकता के बिना स्टैटिक रिप्रेजेंटेशन लर्निंग से डायनेमिक वर्ल्ड मॉडलिंग की ओर संक्रमण का पता लगाने के लिए पहला लाइटवेट, मॉड्यूलर टूलकिट प्रदान करता है।
JEPA सिद्धांतों का सत्यापन: परिणाम अनुभवजन्य रूप से इस बात की पुष्टि करते हैं कि उचित रेगुलराइजेशन के साथ रिप्रेजेंटेशन स्पेस में भविष्यवाणी करना, नियोजन के लिए उपयुक्त वर्ल्ड मॉडल्स सीखने का एक व्यवहार्य और कुशल मार्ग है।
भविष्य का अनुसंधान: लाइब्रेरी निम्नलिखित की खोज के लिए मंच तैयार करती है:
- हायरार्किकल वर्ल्ड मॉडल्स: कई टेम्पोरल रेजोल्यूशन पर सीखना।
- लर्नड कॉस्ट फंक्शन्स: डिस्टेंस-बेस्ड कॉस्ट से आगे बढ़कर लर्नड वैल्यू फंक्शन्स की ओर बढ़ना।
- स्केलेबिलिटी: बड़े पैमाने पर डिस्ट्रिब्यूटेड ट्रेनिंग फ्रेमवर्क में जाने से पहले एक रैपिड प्रोटोटाइपिंग टूल के रूप में सेवा देना।

निष्कर्षतः, EB-JEPA अत्याधुनिक वर्ल्ड मॉडलिंग तकनीकों तक पहुंच को लोकतांत्रिक बनाता है, और यह सिद्ध करता है कि जटिल एनर्जी-बेस्ड प्रेडिक्टिव आर्किटेक्चर को मानक हार्डवेयर पर प्रभावी ढंग से प्रशिक्षित, विश्लेषित और लागू किया जा सकता है।