🤖 AI

Social-JEPA: Emergent Geometric Isomorphism

यह शोध पत्र प्रदर्शित करता है कि एक ही वातावरण के भिन्न दृष्टिकोणों पर प्रेडिक्टिव लर्निंग ऑब्जेक्टिव्स के साथ प्रशिक्षित स्वतंत्र एजेंट स्वाभाविक रूप से ज्यामितीय रूप से आइसोमोर्फिक (isomorphic) लेटेंट स्पेस विकसित करते हैं, जो पैरामीटर शेयरिंग या समन्वय के बिना ज़ीरो-शॉट ज्ञान हस्तांतरण और कुशल इंटरऑपरेबिलिटी को सक्षम बनाता है।

मूल लेखक: Haoran Zhang, Youjin Wang, Yi Duan, Rong Fu, Dianyu Zhao, Sicheng Fan, Shuaishuai Cao, Wentao Guo, Xiao Zhou

प्रकाशित 2026-03-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoran Zhang, Youjin Wang, Yi Duan, Rong Fu, Dianyu Zhao, Sicheng Fan, Shuaishuai Cao, Wentao Guo, Xiao Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: दो अजनबी, एक मानचित्र

कल्पना कीजिए कि दो खोजकर्ता, एलिस (Alice) और बॉब (Bob) को एक ही रहस्यमय द्वीप का मानचित्र बनाने के लिए भेजा गया है।

एलिस एक पहाड़ पर खड़ी है और नीचे की ओर देख रही है।
बॉब एक घने जंगल के बीच में है और ऊपर की ओर देख रहा है।

उन्हें एक-दूसरे से बात करने की अनुमति नहीं है। वे अपनी खोज के दौरान एक-दूसरे के साथ फोटो, अपने नोट्स या अपने मानचित्र साझा नहीं कर सकते। उन्हें द्वीप को पूरी तरह से अपने दम पर सीखना होगा।

आमतौर पर, आप उम्मीद करेंगे कि उनके मानचित्र पूरी तरह से अलग दिखेंगे। एलिस का मानचित्र ऊपर से देखने पर द्वीप को एक सपाट वृत्त के रूप में दिखाएगा; बॉब का मानचित्र पेड़ों की एक लंबी, संकीली पट्टी जैसा दिखेगा।

पेपर की बड़ी खोज: भले ही उन्होंने अलग-अलग प्रशिक्षण लिया हो, लेकिन जब वे समाप्त करते हैं, तो उनके आंतरिक "मानसिक मानचित्र" वास्तव में गणितीय रूप से समान होते हैं, बस एक अलग "भाषा" या समन्वय प्रणाली (coordinate system) में लिखे होते हैं।

यदि आप एलिस के मानचित्र को लें और उस पर एक सरल अनुवाद कुंजी (translation key) लागू करें (एक रैखिक गणितीय सूत्र), तो वह तुरंत बॉब के मानचित्र में बदल जाता है। उन्हें डेटा साझा करने की आवश्यकता नहीं थी; उन्हें बस द्वीप के नियमों पर सहमत होने की आवश्यकता थी।

समस्या: AI में "बेबेल का टॉवर" (Tower of Babel)

आर्टिफिशियल इंटेलिजेंस की दुनिया में, हम अक्सर अलग-अलग रोबोट या AI एजेंटों को दुनिया को समझने के लिए प्रशिक्षित करते हैं।

रोबोट A दुनिया को सामने वाले कैमरे के माध्यम से देखता है।
रोबोट B दुनिया को पीछे वाले कैमरे के माध्यम से देखता है।

यदि हम उन्हें अलग-अलग प्रशिक्षित करते हैं, तो वे अपने स्वयं के "विश्व मॉडल" (world models) बनाते हैं। आमतौर पर, यदि आप रोबोट A को कुछ सिखाने की कोशिश करते हैं जो रोबोट B जानता है, तो यह एक जर्मन शब्द सिखाने के लिए फ्रांसीसी वक्ता को कोशिश करने जैसा है बिना किसी शब्दकोश के। यह कठिन, महंगा है और इसके लिए भारी मात्रा में कच्चे डेटा को साझा करने की आवश्यकता होती है (जो धीमा है और गोपनीयता का जोखिम है)।

समाधान: सोशल-जेपा (Social-JEPA)

शोधकर्ताओं ने JEPA (Joint Embedding Predictive Architecture) नामक एक विशिष्ट प्रशिक्षण पद्धति का उपयोग किया।

AI से केवल "छवि को पुनर्गठित करने" के लिए कहने के बजाय (जैसे बिल्ली की सटीक फोटो बनाने की कोशिश करना), JEPA AI को भविष्य की भविष्यवाणी करने के लिए कहता है।

प्रश्न: "यदि मैं अभी एक कार को बाईं ओर जाते हुए देखता हूँ, तो अगले फ्रेम में वह कैसी दिखेगी?"
उत्तर: AI कार के पिक्सेल को नहीं, बल्कि कार की गति के तर्क (logic) को सीखता है।

क्योंकि भौतिकी के नियम (कारों का चलना, वस्तुओं पर प्रकाश कैसे पड़ता है) एलिस और बॉब दोनों के लिए समान हैं, इसलिए उनके मस्तिष्क (AI मॉडल) स्वाभाविक रूप से एक ही अंतर्निहित संरचना पर अभिसरित (converge) होते हैं। वे दोनों दुनिया के "सत्य" को सीखते हैं, भले ही वे इसे अलग-अलग कोणों से देखते हों।

जादू: "अनुवाद कुंजी" (The Translation Key)

यहाँ दिलचस्प हिस्सा है: प्रशिक्षण समाप्त होने के बाद, शोधकर्ताओं ने पाया कि एक सरल रैखिक मानचित्र (मान लीजिए $W$ ) मौजूद है।

$W$ को एक छोटे, हल्के शब्दकोश या एडेप्टर प्लग के रूप में सोचें।

यह बहुत कम जगह लेता है (जैसे एक पोस्टकार्ड)।
इसमें द्वीप की कोई फोटो नहीं है।
यह बस कहता है: "जब एलिस 'X' देखती है, तो बॉब 'Y' देखता है। जब एलिस 'A' देखती है, तो बॉब 'B' देखता है।"

एक बार जब आपके पास यह छोटा सा शब्दकोश होता है, तो आप तुरंत एक रोबोट से दूसरे रोबोट तक ज्ञान का अनुवाद कर सकते हैं।

यह क्यों मायने रखता है (वास्तविक दुनिया का प्रभाव)

1. शून्य-लागत ज्ञान साझाकरण (Zero-Cost Knowledge Sharing)
कल्पना कीजिए कि आपने एक रोबोट को सामने वाले कैमरे का उपयोग करके "बाधाओं" को पहचानना सिखाया है। अब आप उसी क्षमता को पीछे वाले कैमरे वाले रोबोट को देना चाहते हैं।

पुराना तरीका: आपको पीछे वाले रोबोट को शुरू से फिर से प्रशिक्षित करना होगा, या उसे सभी सामने वाले कैमरों की तस्वीरें भेजनी होंगी (भारी डेटा ट्रांसफर)।
सोशल-जेपा तरीका: आप बस छोटी सी "अनुवाद कुंजी" ( $W$ ) भेज देते हैं। पीछे वाला रोबोट बिना कुछ नया सीखे बाधाओं को तुरंत समझ जाता है। यह किसी को नया भाषा सिखाने के बजाय एक ट्रांसलेटर ऐप देने जैसा है।

2. सुपर-फास्ट ट्रेनिंग
यदि आप एक नया छात्र रोबोट प्रशिक्षित करना चाहते हैं, तो आप एक "शिक्षक" रोबोट का उपयोग कर सकते हैं जो पहले से दुनिया को जानता है। छात्र को शून्य से शुरू करने के बजाय, वह शिक्षक के मस्तिष्क के साथ तालमेल बिठाने के लिए 'अनुवाद कुंजी' का उपयोग करता है।

परिणाम: छात्र 3 गुना से 4 गुना तेजी से सीखता है और 70% कम कंप्यूटिंग शक्ति का उपयोग करता है।

3. गोपनीयता और बैंडविड्थ
सेल्फ-ड्राइविंग कारों या ड्रोन की दुनिया में, आप उनके बीच टेराबाइट्स वीडियो डेटा स्ट्रीम नहीं करना चाहते। इस पद्धति के साथ, उन्हें समन्वय करने के लिए केवल एक छोटा गणितीय सूत्र साझा करने की आवश्यकता होती। यह तेज़, निजी और कुशल है।

"सीक्रेट सॉस" (The Secret Sauce)

यह काम क्यों किया?
पेपर का तर्क है कि भविष्य की भविष्यवाणी करने से AI को "शोर" (जैसे आकाश का विशिष्ट रंग या सूरज का कोण) को अनदेखा करने और दुनिया की मूल संरचना (कार का आकार, सड़क, भौतिकी) पर ध्यान केंद्रित करने के लिए मजबूर किया जाता है।

चूंकि मूल संरचना सभी के लिए समान है, इसलिए उनके आंतरिक मानचित्र स्वाभाविक रूप से एक पंक्ति में आ जाते हैं। यह अलग-अलग उपकरणों के साथ घर बनाने वाले दो लोगों जैसा है; यदि वे दोनों एक ही ब्लूप्रिंट का पालन करते हैं, तो कमरे एक ही स्थान पर होंगे, भले ही दीवारें अलग तरह से बनाई गई हों।

सारांश

सोशल-जेपा (Social-JEPA) दिखाता है कि यदि आप AI एजेंटों को स्वतंत्र रूप से भविष्य की भविष्यवाणी करने के लिए प्रशिक्षित करते हैं, तो वे स्वाभाविक रूप से संगत "मस्तिष्क" विकसित करते हैं। उन्हें एक साथ काम करने के लिए आपस में बात करने या डेटा साझा करने की आवश्यकता नहीं है। आपको बस एक छोटी, सस्ती "अनुवाद कुंजी" की आवश्यकता है ताकि वे एक-दूसरे को समझ सकें।

यह अलग-थलग पड़े AI एजेंटों की एक अराजक दुनिया को एक सहकारी समाज में बदल देता है जो तुरंत और कुशलता से ज्ञान साझा कर सकता है।

यहाँ शोध पत्र "Social-JEPA: Independently Trained World Models में Emergent Geometric Isomorphism" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र विकेंद्रीकृत वर्ल्ड मॉडल्स (decentralized world models) में इंटरऑपरेबिलिटी (interoperability) की चुनौती को संबोधित करता है। कई व्यावहारिक परिदृश्यों में (जैसे, मल्टी-रोबोट सिस्टम, वितरित सेंसर), कई एजेंटों को अलग-अलग दृष्टिकोणों (viewpoints) या अवलोकन कार्यों (observation functions) से एक ही अंतर्निहित वातावरण के मॉडल सीखने की आवश्यकता होती है।

प्रतिबंध (The Constraint): एजेंट प्रीट्रेनिंग के दौरान रॉ डेटा (raw data), पैरामीटर्स, या क्रॉस-व्यू ऑब्जेक्टिव्स को साझा किए बिना स्वतंत्र रूप से प्रशिक्षण लेते हैं।
प्रश्न: क्या एक ही वातावरण के विभिन्न दृश्यों (views) के संपर्क में आने वाले स्वतंत्र रूप से प्रशिक्षित मॉडल, संगत लेटेंट रिप्रजेंटेशन (compatible latent representations) की ओर अभिसरित (converge) होते हैं? विशेष रूप से, क्या उनके लेटेंट स्पेस को एक सरल, व्युत्क्रमणीय रैखिक रूपांतरण (invertible linear transformation) द्वारा जोड़ा जा सकता है?
अंतराल (The Gap): पारंपरिक सेल्फ-सुपरवाइज्ड लर्निंग (SSL) मूल्यांकन "एटॉमिस्टिक" (atomistic) हैं, जो एकल-मॉडल प्रदर्शन पर ध्यान केंद्रित करते हैं। इस बात की समझ की कमी है कि एक ही वातावरण पर प्रशिक्षित लेकिन अलग-अलग दृश्यों वाले विभिन्न मॉडल ज्यामितीय रूप से एक-दूसरे से कैसे संबंधित हैं।

2. कार्यप्रणाली: Social-JEPA

लेखक Social-JEPA का प्रस्ताव करते हैं, जो एक ऐसा ढांचा (framework) है जहाँ अलग-अलग एजेंट एक ही वातावरण के विभिन्न दृश्यों पर स्वतंत्र रूप से जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) को प्रशिक्षित करते हैं।

मुख्य तंत्र (Core Mechanism)

स्वतंत्र प्रशिक्षण (Independent Training): दो एजेंट (एजेंट 1 और एजेंट 2) एक ही वातावरण के अलग-अलग दृश्यों पर अलग-अलग JEPA मॉडल ( $f^{(1)}$ $f^{(1)}$ और $f^{(2)}$ $f^{(2)}$ ) का उपयोग करके स्वतंत्र रूप से प्रशिक्षण लेते हैं: $\|p_\phi(z_c) - \text{sg}(z_t)\|^2$ $∥ p_{ϕ} (z_{c}) - sg (z_{t}) ∥^{2}$ को कम करते हुए लेटेंट स्पेस में लक्षित दृश्य ( $z_t$ $z_{t}$ ) के लेटेंट रिप्रसेंटेशन ( $z_c$ $z_{c}$ ) की भविष्यवाणी करना।
- महत्वपूर्ण रूप से, प्रशिक्षण के दौरान इसमें कोई पैरामीटर शेयरिंग नहीं होती है और कोई क्रॉस-व्यू लॉस नहीं होता है।
इमर्जेंट आइसोमॉर्फिज्म (Emergent Isomorphism): प्रशिक्षण के बाद, लेखक परिकल्पना करते हैं कि लेटेंट स्पेस ज्यामितीय रूप से आइसोमॉर्फिक (geometrically isomorphic) हैं। इसका अर्थ है कि एक व्युत्क्रमणीय रैखिक मानचित्र (invertible linear map) $W \in \mathbb{R}^{d \times d}$ मौजूद है जिससे किसी भी साझा सिमेंटिक स्टेट $s$ के लिए:
$z^{(2)}(s) \approx W z^{(1)}(s)$
अलाइनमेंट अनुमान (Alignment Estimation): मानचित्र $W$ को पेयर्ड सैंपल्स (एक ही स्टेट के दोनों दृश्यों के अवलोकन) का उपयोग करके रिज रिज (ridge regression) या प्रोक्रस्टेस अलाइनमेंट (Procrustes alignment) के माध्यम से पोस्ट हॉक अनुमानित किया जाता है:
$W^* = \arg \min_W \sum \|z^{(2)}_n - W z^{(1)}_n\|^2$
कोलबोरेटिव प्रिमिटिव्स (Collaboration Primitives): एक बार $W$ $W$ सीख लेने के बाद, यह निम्नलिखित के लिए एक हल्का इंटरफेस (lightweight interface) के रूप में कार्य करता है:
- जीरो-कॉस्ट प्रोब शेयरिंग (Zero-Cost Probe Sharing): बिना किसी अतिरिक्त ग्रेडिएंट स्टेप के वेट्स को ट्रांसफॉर्म करके ( $a^{(2)} = W^{-\top}a^{(1)}$ ) एजेंट 1 पर प्रशिक्षित लीनियर क्लासिफायर (प्रोब) को एजेंट 2 पर स्थानांतरित करना।
- रिप्रजेंटेशन माइग्रेशन (Representation Migration): $W$ का उपयोग स्टूडेंट मॉडल के प्रशिक्षण (टीचर-स्टूडेंट) या म्यूचुअल टीचिंग के लिए मार्गदर्शन करने हेतु करना, जिससे लक्षित सटीकता तक पहुँचने के लिए आवश्यक कंप्यूट काफी कम हो जाता है।

सैद्धांतिक तर्क (Theoretical Rationale)

पेपर प्रेडिक्टिव सफिशिएंसी (Predictive Sufficiency) और लीनियर सिमेट्री (Linear Symmetry) पर आधारित एक सैद्धांतिक आधार प्रदान करता है:

प्रेडिक्टिव सफिशिएंसी: JEPA एनकोडर को भविष्य की अवस्थाओं की भविष्यवाणी करने के लिए एक पर्याप्त सांख्यिकीय (sufficient statistic) सीखने के लिए मजबूर करता है। चूंकि अंतर्निहित वातावरण समान है, दोनों मॉडलों को एक ही प्रेडिक्टिव स्ट्रक्चर को कैप्चर करना चाहिए।
GL(d) सिमेट्री: JEPA लॉस फंक्शन व्युत्क्रमणीय रैखिक रीपैरामीट्राइजेशन (invertible linear reparameterizations) के तहत इनवेरिएंट है। यदि $(f, p)$ इष्टतम है, तो किसी भी व्युत्क्रमणीय $A$ के लिए $(Af, A p A^{-1})$ भी इष्टतम होगा। इसका तात्पर्य है कि स्वतंत्र रूप से प्रशिक्षित मॉडल स्वाभाविक रूप से एक ही अंतर्निहित प्रेडिक्टिव मैनिफोल्ड के विभिन्न कोर्डिनेट सिस्टम की ओर अभिसरित होते हैं, जिससे वे रैखिक रूप से अलाइन करने योग्य (linearly alignable) बन जाते हैं।

3. प्रमुख योगदान (Key Contributions)

Social-JEPA की खोज: यह पहली बार औपचारिक पहचान है कि स्वतंत्र रूप से प्रशिक्षित JEPA मॉडल स्वतः ही ऐसे लेटेंट स्पेस विकसित करते हैं जो लगभग आइसोमॉर्फिक हैं, भले ही व्यूपॉइंट में भारी बदलाव और न्यूनतम पिक्सेल ओवरलैप हो।
सैद्धांतिक स्पष्टीकरण: एक कठोर प्रमाण जो दिखाता है कि JEPA ऑब्जेक्टिव एक लीनियर इक्विवेलेंस क्लास (linear equivalence class) को प्रेरित करता है, जो यह समझाता है कि जटिल नॉन-लीनियर मैचिंग के बिना सरल लीनियर मैप्स अलाइनमेंट के लिए क्यों पर्याप्त हैं।
व्यावहारिक उपयोगिता: "प्लग-एंड-प्ले" इंटरऑपरेबिलिटी प्रिमिटिव्स का प्रदर्शन:
- जीरो-कॉस्ट नॉलेज ट्रांसफर: मॉडल्स के बीच क्लासिफायर को तुरंत स्थानांतरित करना।
- कंप्यूट एफिशिएंसी: रिप्रजेंटेशन माइग्रेशन के माध्यम से प्रशिक्षण को तेज करना (स्क्रैच से प्रशिक्षण के केवल 0.28× FLOPs के साथ लक्षित सटीकता प्राप्त करना)।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने smallNORB (बड़े व्यूपॉइंट गैप), nuScenes (विभक्त कैमरा व्यू), और ImageNet-1k (अलग-अलग ऑगमेंटेशन पाइपलाइन्स) पर फ्रेमवर्क का मूल्यांकन किया।

मजबूत अलाइनेबिलिटी (Strong Alignability):
- smallNORB (0° बनाम 160° व्यू) पर, JEPA ने 0.891 का $R^2$ और 0.872 का डिस्टेंस-स्ट्रक्चर कंसिस्टेंसी (DSC) प्राप्त किया।
- ImageNet-1k पर, JEPA ने क्रॉस-मॉडल अलाइनेबिलिटी में रिकंस्ट्रक्टिव (MAE) और कॉन्ट्रास्टिव (SimCLR, MoCo v3) बेसलाइन्स को पछाड़ दिया। उदाहरण के लिए, JE-PA ने $R^2=0.489$ प्राप्त किया, जबकि MoCo v3 का $0.358$ और SimCLR का $0.437$ था।
मजबूती (Robustness):
- आइसोमॉर्फिज्म तब भी बना रहता है जब पिक्सेल ओवरलैप शून्य के करीब होता है।
- आइसोमॉर्फिज्म तब टूट जाता है जब स्पैटियल स्ट्रक्चर नष्ट हो जाता है (जैसे, पैच शफलिंग), जो पुष्टि करता है कि अलाइनमेंट स्थिर पर्यावरणीय नियमों को कैप्चर करने पर निर्भर है, न कि मनमाने सहसंबंधों (arbitrary correlations) पर।
दक्षता लाभ (Efficiency Gains - Table 9):
- टीचर-स्टूडेंट माइग्रेशन: लेटेंट अलाइनमेंट का उपयोग करके स्टूडेंट मॉडल ने 150 एपोक्स (स्क्रैच से) की तुलना में केवल 35 एपोक्स (0.28× FLOPs) में 85% डाउनस्ट्रीम सटीकता प्राप्त की।
- प्रोब शेयरिंग: $W$ के माध्यम से स्थानांतरित एक लीनियर प्रोब ने 0 अतिरिक्त ट्रेनिंग स्टेप्स के साथ 51.70% सटीकता प्राप्त की, जो डायरेक्ट ट्रांसफर (49.59%) और पारंपरिक नॉलेज डिस्टिलेशन (50.63%) से बेहतर है।

5. महत्व और प्रभाव (Significance and Impact)

विकेंद्रीकृत इंटरऑपरेबिलिटी: यह कार्य विकेंद्रीकृत विजन सिस्टम के लिए सहयोग करने का एक हल्का रास्ता प्रदान करता है। उच्च-बैंडविड्थ वाला रॉ डेटा या ग्रेडिएंट्स साझा करने के बजाय, एजेंट एक छोटा लीनियर मैट्रिक्स ( $W$ , ViT-S के लिए लगभग 0.6 MB) साझा करके सिमेंटिक अलाइनमेंट प्राप्त कर सकते हैं।
प्राइवेसी और बैंडविड्थ: यह गोपनीयता-संवेदनशील या बैंडविड्थ-सीमित वातावरण (जैसे, मल्टी-रोबोट फ्लीट, फेडरेटेड लर्निंग) में सहयोगी शिक्षण को सक्षम बनाता है जहाँ रॉ डेटा साझा करना प्रतिबंधित है।
मौलिक अंतर्दृष्टि: यह इस धारणा को चुनौती देता है कि सेल्फ-सुपरवाइज्ड रिप्रजेंटेशन स्वाभाविक रूप से उनके ट्रेनिंग पाइपलाइन के प्रति विशिष्ट (idiosyncratic) होते हैं। इसके बजाय, यह सुझाव देता है कि भविष्य के अवलोकनों की भविष्यवाणी करने का दबाव मजबूत ज्यामितीय नियमितताओं को लागू करता है जो विशिष्ट व्यूपॉइंट्स से परे हैं।
भविष्य की दिशाएं: लेखक सुझाव देते हैं कि यह सिद्धांत सक्रिय एजेंटों तक बढ़ सकता है जो अपने स्वयं के कैमरों को नियंत्रित करते हैं और वातावरण को प्रभावित करते हैं, जिससे मल्टी-एजेंट सिस्टम में समन्वित अन्वेषण (coordinated exploration) और प्लानिंग का मार्ग प्रशस्त होता है।

संक्षेप में, Social-JEPA प्रदर्शित करता है कि "प्रेडिक्शन की ज्यामिति" स्वतंत्र शिक्षार्थियों के बीच सार्वभौमिक है, जो विकेंद्रीकृत AI सिस्टम में कुशल, कम-ओवरहेड समन्वय की अनुमति देती है।