📊 statistics

UWM-JEPA: Predictive World Models That Imagine in Belief Space

यह शोध पत्र UWM-JEPA को प्रस्तुत करता है, जो एक प्रेडिक्टिव वर्ल्ड मॉडल है जो आंशिक रूप से प्रेक्षित वातावरणों में ब्लाइंड रोलआउट्स के दौरान अनिश्चितता को बनाए रखने के लिए डेंसिटी-मैट्रिक्स लेटेंट्स और यूनिटरी प्रेडिक्टर्स का उपयोग करता है, जो काउंटरफैक्चुअल एक्शन सेंसिटिविटी और फ्यूचर इमेजिनेशन कार्यों में वेक्टर-लेटेंट बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Santosh Kumar Radha, Oktay Goktas

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Santosh Kumar Radha, Oktay Goktas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए पेपर UWM-JEPA: Predictive World Models That Imagine in Belief Space का स्पष्टीकरण दिया गया है।

बड़ी समस्या: "आंखों पर पट्टी बंधा" प्रेडिक्टर (The "Blindfolded" Predictor)

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ कुछ सेकंड के लिए स्क्रीन काली हो जाती है, लेकिन फिर भी आपको अंदाज़ा लगाना है कि क्या हो रहा है।

स्टैंडर्ड AI (वेक्टर लेटेंट्स): अधिकांश वर्तमान AI मॉडल भविष्य का अनुमान लगाने की कोशिश करते हैं, लेकिन वे अपने "मन" में एक विशिष्ट बिंदु (single point) चुनने की कोशिश करते हैं। यह ऐसा है जैसे यह अंदाज़ा लगाना कि "कार निश्चित रूप से इस सटीक निर्देशांक (coordinate) पर है।" यदि कार वास्तव में दो अलग-अलग जगहों पर हो सकती थी, तो AI भ्रमित हो जाता है या उन दोनों स्थानों के बीच के एक धुंधले, बेकार मध्य बिंदु को चुन लेता है।
चुनौती: वास्तविक दुनिया में (और कई गेम्स में), हम अक्सर सब कुछ नहीं देख पाते। हमें एक ही समय में कई संभावित भविष्यों की कल्पना करने और यह ट्रैक रखने की आवश्यकता होती है कि उनमें से प्रत्येक की संभावना कितनी है।

समाधान: UWM-JEPA (द "बलीफ" मॉडल)

लेखकों ने एक नए प्रकार का AI बनाया जिसे UWM-JEPA कहा जाता है। एक एकल बिंदु का अनुमान लगाने के बजाय, यह मॉडल एक "बलीफ मैप" (Belief Map) का अनुमान लगाता है।

1. डेंसिटी मैट्रिक्स: "संभावनाओं का एक बादल" (A "Cloud of Possibilities")

मान लीजिए कि एक मानक AI की स्मृति (memory) मानचित्र पर एक एकल बिंदु है।
UWM-JEPA की स्मृति बिंदुओं का एक बादल है।

उपमा: कल्पना कीजिए कि आप एक खोए हुए कुत्ते का पता लगाने की कोशिश कर रहे हैं। एक स्टैंडर्ड AI कहता है, "कुत्ता पार्क में है।" UWM-JEPA कहता है, "40% संभावना है कि कुत्ता पार्क में है, 30% संभावना है कि वह झील के पास है, और 30% संभावना है कि वह घर पर है।"
विज्ञान: वे एक गणितीय वस्तु का उपयोग करते हैं जिसे डेंसिटी मैट्रिक्स (density matrix) कहा जाता है। यह एक संरचित बादल की तरह है जो इन सभी विभिन्न संभावनाओं और उनकी संभावनाओं को एक साथ रखता है, न कि उन्हें एक औसत उत्तर में मिला देता है।

2. यूनिटरी प्रेडिक्टर: "परफेक्ट स्पिनर" (The "Perfect Spinner")

यह मॉडल भविष्य की कल्पना कैसे करता है?

स्टैंडर्ड AI: जब यह भविष्य की कल्पना करता है, तो यह अक्सर जानकारी खो देता है। यह एक घूमते हुए लट्टू (top) की तरह है; अंततः, यह डगमगाता है और गिर जाता है। AI भविष्य की भविष्यवाणी करते समय अपनी अनिश्चितता के विवरणों को "भूल" जाता है।
UWM-JEPA: वे एक यूनिटरी प्रेडिक्टर (Unitary Predictor) का उपयोग करते हैं।
उपमा: कल्पना कीजिए कि "संभावनाओं का बादल" एक पूरी तरह से संतुलित, जादुई घूमता हुआ लट्टू है। आप इसे कितनी भी बार घुमाएं (भविष्य के कितने भी चरणों की भविष्यवाणी करें), यह कभी डगमगाता नहीं है। यह कभी अपना आकार या अपनी ऊर्जा नहीं खोता।
परिणाम: यह मॉडल 10 कदम आगे के भविष्य की कल्पना बिना अपनी अनिश्चितता को "बिखेरे" (dissipate) किए कर सकता है। यह संभावनाओं के बादल को बरकरार रखता है, बस उन्हें एक पूर्ण चक्र में घुमाता रहता है।

द "काउंटरफैक्चुअल" ट्विस्ट: गाड़ी चलाना सीखना (The "Counterfactual" Twist)

पेपर ने पाया कि इस मॉडल को निर्णय लेने के लिए वास्तव में उपयोगी बनाने के लिए एक महत्वपूर्ण ट्रिक है।

जाल (टीचर-फोर्सिंग): यदि आप AI को उस वास्तविक वीडियो दिखाकर प्रशिक्षित करते हैं जो आगे हुआ था, तो AI आलसी हो जाता है। वह "स्टीयरिंग व्हील" (वह क्रिया जो आपने की) को अनदेखा करना सीख जाता है क्योंकि उसने बस वीडियो को रट लिया है। यह उस छात्र की तरह है जो गणित की समस्या हल करने के बजाय उत्तर कुंजी (answer key) को रट लेता है।
समाधान (काउंटरफैक्चुअल टारगेट्स): लेखकों ने AI को एक सिम्युलेटर (Simulator) का उपयोग करके प्रशिक्षित किया। उन्होंने AI से कहा: "कल्पना करो कि तुमने बाएँ मुड़ा, लेकिन वास्तव में, तुम दाएँ मुड़े। क्या होता अगर?"
परिणाम: क्योंकि AI को अलग-अलग क्रियाओं के तहत क्या होता इसका अनुमान लगाना था, इसलिए उसे यह सीखने के लिए मजबूर होना पड़ा कि "स्टीयरिंग व्हील" भविष्य को कैसे बदलता है। उसने सीखा कि बाएँ मुड़ने से संभावनाओं का बादल दाएँ मुड़ने की तुलना में अलग दिशा में चलता है।

परिणाम: वास्तव में क्या काम आया?

इस पेपर ने एक मानक AI (एक LSTM) के मुकाबले इसका परीक्षण किया, जिसमें "हिडन वेलोसिटी" (Hidden Velocity) गेम (यह अंदाज़ा लगाना कि कोई चीज़ कितनी तेज़ चल रही है जब आप उसे देख नहीं सकते) का उपयोग किया गया।

"ब्लाइंड रोलआउट" टेस्ट: जब बिना नई तस्वीरें देखे भविष्य की कल्पना करने के लिए कहा गया:
- स्टैंडर्ड AI: जल्दी ही अपना रास्ता भटक गया। कुछ ही चरणों के बाद इसकी सटीकता तेजी से गिर गई।
- UWM-JEPA: इसने अपनी सटीकता काफी लंबे समय तक बनाए रखी। यह गायब होने से पहले कई चरणों तक सच्चाई के "करीब" रहा।
"एक्शन" टेस्ट: जब क्रियाएं बदली गईं (जैसे, "क्या होगा अगर मैं दाएं के बजाय बाएं गया?"):
- स्टैंडर्ड AI: इसे कोई फर्क नहीं पड़ा। इसने क्रिया के बावजूद एक ही उत्तर दिया।
- UWM-JEPA: इसने क्रिया के आधार पर सही उत्तर बदला।
"मेमोरी" चेक: लेखकों ने यह जांचा कि क्या UWM-JEPA केवल एक बेहतर "फोटोग्राफर" (encoder) था जो वर्तमान दृश्य को कैप्चर करता है।
- आश्चर्य: नहीं। दोनों मॉडल वर्तमान दृश्य को "फोटोग्राफ" करने में समान रूप से अच्छे थे। अंतर पूरी तरह से इस बात में था कि वे भविष्य की कल्पना कैसे करते थे।

निचोड़ (The Bottom Line)

यह पेपर यह दावा नहीं करता है कि इसने कार चलाने या बीमारी ठीक करने वाला रोबोट बनाया है। यह दावा करता है कि इसने "कल्पना करने का एक बेहतर तरीका" बनाया है।

पुराना तरीका: एक एकल, धुंधले भविष्य की कल्पना करना और उम्मीद करना कि सब ठीक होगा।
नया तरीका (UWM-JEPA): सभी संभावित भविष्यो के एक संरचित बादल की कल्पना करना, उन्हें समय में आगे घुमाते हुए पूरी तरह से बरकरार रखना, और इसका उपयोग यह समझने के लिए करना कि हमारी क्रियाएं परिणाम को कैसे बदलती हैं।

यह साबित करता है कि यदि आप चाहते हैं कि एक AI अनिश्चितता और "क्या-होता-अगर" (what-if) वाले परिदृश्यों को संभाल सके, तो आपको उसके मस्तिष्क को एक ऐसी संरचना देनी होगी जो एक ही समय में कई संभावनाओं को धारण कर सके, न कि उसे केवल एक को चुनने के लिए मजबूर करे।

तकनीकी सारांश: UWM-JEPA

समस्या विवरण (Problem Statement)

जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPAs) कच्चे अवलोकनों (raw observations) के पुनर्निर्माण के बजाय लेटेंट स्पेस में भविष्य की अवस्थाओं की भविष्यवाणी करते हैं, जो प्रभावी रूप से प्रतिनिधित्व शिक्षण (representation learning) को जनरेटिव डिकोडिंग से अलग करता है। हालाँकि, आंशिक रूप से दृश्यमान वातावरण (partially observable environments) में, एक मानक वेक्टर-मूल्य वाला लेटेंट प्रतिनिधित्व उस आंतरिक संरचना का अभाव रखता है जो छिपे हुए निरंतरता (hidden continuations) पर "विश्वास" (belief) बनाए रखने के लिए आवश्यक है। जब वर्तमान अवलोकन इतिहास छिपी हुई अवस्था को विशिष्ट रूप से निर्धारित नहीं करता है, तो भविष्य प्रतिनिधित्व स्थान में एक एकल बिंदु नहीं होता, बल्कि संगत छिपी हुई अवस्थाओं पर एक वितरण (distribution) होता है।

एक्सपोनेंशियल मूविंग एवरेज (EMA) लक्ष्यों के विरुद्ध प्रशिक्षित मानक वेक्टर प्रेडिक्टर्स लॉस को कम कर सकते हैं, लेकिन लॉस फंक्शन अकेले यह निर्दिष्ट नहीं करता है कि किन अनिश्चितताओं को संरक्षित किया जाना चाहिए, किन्हें औसत निकाला जाना चाहिए, या काउंटरफैक्चुअल (counterfactual) क्रियाएं विश्वास अवस्था (belief state) को कैसे बदल सकती हैं। नतीजतन, वेक्टर-लेटेंट JEPAs अक्सर "ब्लाइंड रोलआउट" (बिना नए अवलोकनों के भविष्य की अवस्थाओं की कल्पना करना) के दौरान क्रिया-संवेदनशील गतिकी (action-sensitive dynamics) को बनाए रखने या कार्य-प्रासंगिक जानकारी को संरक्षित करने में विफल रहते हैं।

कार्यप्रणाली (Methodology)

लेखक UWM-JEPA (यूनिटरी वर्ल्ड मॉडल JEPA) पेश करते हैं, जो JEPA ढांचे का एक संशोधन है जो लेटेंट को एक नियतात्मक बिंदु के बजाय एक स्पष्ट विश्वास अवस्था (explicit belief state) के रूप में मानता है।

1. विश्वास-अवस्था लेटेंट (Belief-State Latent)

एक वेक्टर के बजाय, ऑनलाइन एनकोडर $E_\theta$ देखे गए संदर्भ को एक बाइपार्टाइट लेटेंट स्पेस $\mathcal{H}_T = \mathcal{H}_S \otimes \mathcal{H}_E$ (सिस्टम $\otimes$ एनवायरनमेंट) पर एक डेंसिटी मैट्रिक्स $\rho_t$ में मैप करता है।

आयाम (Dimensions): सिस्टम फैक्टर ( $d_{sys}=8$ ) को लॉस और प्रोब्स द्वारा पढ़ा जाता है; एनवायरनमेंट फैक्टर ( $d_{env}=2$ ) एक रजिस्टर के रूप में कार्य करता है जो छिपे हुए मोड और सिस्टम-एनवायरनमेंट सहसंबंधों को वहन करता है।
बाधाएं (Constraints): डेंसिटी मैट्रिक्स को हर्मिटी (Hermitian), पॉजिटिव सेमी-डेफिनिट (positive semi-definite), और यूनिट ट्रेस (unit trace) होने के लिए बाध्य किया गया है। इन्हें निर्माण द्वारा लागू किया जाता है: प्रारंभिक अवस्था मैक्सिमली मिक्स्ड (maximally mixed) है, अवलोकन अपडेट सकारात्मक मेजरमेंट ऑपरेटर्स लागू करते हैं, और प्रेडिक्शन स्टेप्स यूनिटरी कंजुगेशन (unitary conjugation) का उपयोग करते हैं।

2. यूनिटरी प्रेडिक्टर (Unitary Predictor)

प्रेडिक्टर यूनिटरी कंजुगेशन के माध्यम से लेटेंट अवस्था को आगे बढ़ाता है:
$\hat{\rho}_{t+k|t} = U_k \rho_t (U_k)^\dagger$
जहाँ $U = \exp(-iH\Delta t)$ और $H$ एक हर्मिटी जनरेटर है।

क्रिया अनुकूलन (Action Conditioning): जनरेटर क्रिया $a$ के प्रति रैखिक है: $H(a) = H_0 + a H_1$ । यह यूनिटरी ट्राजेक्टरी को क्रियाओं द्वारा निर्देशित करने की अनुमति देता है।
प्रशिक्षण उद्देश्य (Training Objective): मॉडल मानक JEPA स्कैफोल्ड का उपयोग करता है: एक EMA टारगेट एनकोडर $E_\xi$ (स्टॉप-ग्रेडिएंट के साथ), और एक प्रोजेक्शन हेड के बाद सिस्टम फैक्टर तक पार्टियल ट्रेस (partial trace) के माध्यम से मूल्यांकित लेटेंट-स्पेस मैचिंग लॉस।
काउंटरफैक्चुअल लक्ष्य (Counterfactual Targets): यह सुनिश्चित करने के लिए कि प्रेडिक्टर क्रिया चैनल का उपयोग करना सीखे, प्रशिक्षण लक्ष्य एक काउंटरफैक्चुअल क्रिया अनुक्रम $\tilde{a}$ के तहत सिम्युलेटर रोलआउट द्वारा उत्पन्न किया जाता है, न कि टीचर-फोर्स्ड (teacher-forced) देखे गए प्रक्षेपवक्र द्वारा।

3. सैद्धांतिक गारंटी (Theoretical Guarantee)

मुख्य सैद्धांतिक दावा संयुक्त-अवस्था गैर-विस्मृति (joint-state non-forgetting) है। क्योंकि यूनिटरी कंजुगेशन एक आइसोमेट्री (isometry) है, यह ब्लाइंड रोलआउट के दौरान संयुक्त सिस्टम-एनवायरनमेंट डेंसिटी मैट्रिक्स के स्पेक्ट्रम (eigenvalues), प्योरिटी और वॉन न्यूमैन एंट्रॉपी को सटीक रूप से संरक्षित करता है।

सीमा (Limitation): यह गारंटी पूर्ण संयुक्त अवस्था के लिए लागू होती है, रिड्यूस्ड सिस्टम स्टेट (पार्टियल ट्रेस के माध्यम से प्राप्त) यूनिटरी नहीं है, जिसका अर्थ है कि जानकारी सिस्टम-एनवायरनमेंट सहसंबंधों में जा सकती है और रैखिक प्रोब्स के लिए अप्राप्य हो सकती है, भले ही संयुक्त अवस्था गैर-क्षयकारी (non-dissipative) बनी रहे।

मुख्य परिणाम (Key Results)

1. क्रिया संवेदनशीलता के लिए काउंटरफैक्चुअल लक्ष्य आवश्यक हैं

टीचर-फोर्स्ड विफलता (Teacher-Forced Failure): जब टीचर-फोर्स्ड लक्ष्यों (देखे गए भविष्य से मिलान करने वाले) के साथ प्रशिक्षित किया जाता है, तो क्रिया चैनल निष्क्रिय हो जाता है। बेस डायनेमिक्स टर्म के मुकाबले एक्शन-डिपेंडेंट टर्म का अनुपात $\|H_1\|/\|H_0\| \approx 0.03$ तक गिर जाता है। प्रेडिक्टर लक्ष्य से मिलान करने के लिए क्रिया की परवाह किए बिना सीख जाता है क्योंकि लक्ष्य में पहले से ही क्रिया का प्रभाव शामिल होता है।
काउंटरफैक्चुअल सफलता (Counterfactual Success): de sampled काउंटरफैक्चुअल क्रियाओं के तहत सिम्युलेटर रोलआउट के तहत लक्ष्य को बदलने से क्रिया संवेदनशीलता बहाल हो जाती है, जहाँ $\|H_1\|/\|H_0\| = 1.00 \pm 0.15$ है।
परटर्बेशन कंट्रोल्स (Perturbation Controls): काउंटरफैक्चुअल लक्ष्यों के साथ प्रशिक्षित UWM-JEPA-CF, क्रियाओं को बाधित (रिवर्स, शफल, नेगेट) करने पर भविष्यवाणी सटीकता में निरंतर गिरावट दिखाता है, जबकि एक पैरामीटर-मैच्ड LSTM-JEPA-CF सभी स्थितियों में बहुमत-वर्ग सटीकता (0.53) तक गिर जाता है।

2. ब्लाइंड रोलआउट और शॉर्ट-होराइजन रिटेंशन

हिडन-वेलोसिटी इंडिकेटर (Hidden-Velocity Indicator): एक कार्य जो छिपे हुए वेग के चिह्न की भविष्यवाणी करने के लिए 5-स्टेप फॉरवर्ड सिमुलेशन की आवश्यकता रखता है (जहाँ टारगेट ऑब्जर्वेशन मास्क किया गया है), उसमें UWM-JEPA-CF 0.77 सटीकता प्राप्त करता है। मैचड LSTM-JEPA-CF विफल रहता है, सभी उदाहरणों के लिए बहुमत वर्ग की भविष्यवाणी करता है।
सूचना प्रतिधारण ( $\Delta R^2$ ): ब्लाइंड रोलआउट के दौरान टीचर प्रोब के सापेक्ष सूचना के नुकसान को मापने पर:
- शॉर्ट होराइजन ( $k=1, 3$ ) पर, UWM-JEPA $R^2$ के 10 अंक से भी कम खोता है (0.023 और 0.069)।
- LSTM-JEPA बेसलाइन काफी अधिक खो देता है (0.413 और 0.678)।
- प्रशिक्षित होराइजन ( $k=5$ ) पर, LSTM पुनर्गठित होता है, लेकिन UWM मध्यवर्ती चरणों में बेहतर प्रदर्शन बनाए रखता है।
- लंबे होराइजन ( $k>10$ ) पर, दोनों मॉडल खराब प्रदर्शन करते हैं, जो दर्शाता है कि लॉन्ग-होराइजन रिटेंशन अभी भी एक खुला विषय है।

3. संदर्भ प्रतिनिधित्व चालक नहीं है (Context Representation is Not the Driver)

एनकोडर तुल्यता (Encoder Equivalence): फ्रीज किए गए एनकोडर रिप्रजेंटेशन पर एक होल्ड-आउट लीनियर प्रोब दिखाता है कि UWM-JEPA और LSTM-JEPA समान प्रदर्शन करते हैं ( $R^2 = 0.901 \pm 0.032$ बनाम $0.894 \pm 0.021, p=0.70$ )।
निष्कर्ष: प्रदर्शन का अंतर इसलिए नहीं है कि UWM-JEPA का संदर्भ एनकोडर बेहतर है। अलगाव पूरी तरह से प्रेडिक्टर की रोलआउट के दौरान विश्वास-अवस्था संरचना बनाए रखने की क्षमता से उत्पन्न होता है।

महत्व और दावे (Significance and Claims)

यह शोध दावा करता है कि UWM-JEPA पहला JEPA-परिवार का वर्ल्ड मॉडल है जहाँ लेटेंट को स्पष्ट रूप से एक छिपी हुई निरंतरता पर विश्वास (एक डेंसिटी मैट्रिक्स) के रूप में माना जाता है और प्रेडिक्टर को इस विश्वास को बिना संयुक्त-स्टेट स्पेक्ट्रम को क्षय किए विकसित करने के लिए बाध्य किया गया है।

सीमित दायरा (Modest Scope): लेखक स्पष्ट रूप से कहते हैं कि यह एक सामान्य-उद्देश्य वाला प्लानर, सार्वभौमिक रूप से मजबूत एनकोडर, या दीर्घकालिक योजना के लिए प्रतिस्पर्धी समाधान नहीं है। "गैर-विस्मृति" (non-forgetting) गुण केवल संयुक्त अवस्था के लिए सटीक है, न कि आवश्यक रूप से रिड्यूस्ड स्टेट के लिए।
मुख्य योगदान (Core Contribution): यह कार्य प्रदर्शित करता है कि JEPA वर्ल्ड मॉडल्स के लिए आंशिक अवलोकन के तहत कल्पना करने के लिए, लेटेंट ज्योमेट्री और प्रेडिक्टर डायनेमिक्स अकेले फ्रोजन कॉन्टेक्स्ट-एनकोडिंग क्षमता से अधिक महत्वपूर्ण होते हैं।
व्यावहारिक निहितार्थ (Practical Implication): यह अध्ययन रेखांकित करता है कि क्रिया-संवेदनशील प्रेडिक्टर्स सीखने के लिए काउंटरफैक्चुअल लक्ष्यों के विरुद्ध प्रशिक्षण आवश्यक है, एक ऐसा निष्कर्ष जो विशिष्ट यूनिटरी पैरामीट्राइजेशन से परे जाता है।

परिणामों को स्ट्रक्चर्ड पार्शली ऑब्जर्वेबल ऑसिलेटर और कार्टपोल-शैली के वातावरण पर मान्य किया गया है। लेखक स्वीकार करते हैं कि वर्तमान दृष्टिकोण के लिए काउंटरफैक्चुअल प्रशिक्षण के लिए सिम्युलेटर एक्सेस की आवश्यकता होती है और यह अभी तक अनस्ट्रक्चर्ड विजुअल प्रेडिक्शन या हिडन मार्कोव चेन तक विस्तारित नहीं हुआ है।