🤖 AI

MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models

MoP-JEPA स्टोकेस्टिक JEPA वर्ल्ड मॉडल्स में सिंगल-आउटपुट प्रेडिक्टर्स की सीमाओं को संबोधित करने के लिए $K$ हार्ड-असाइंड हेड्स वाले एक कॉन्टेक्स्ट-ओनली राउटर का उपयोग करता है ताकि कैंडिडेट सक्सेसरों का एक परिमित सेट जनरेट किया जा सके, जो ग्राफ सर्च टास्क में रॉ कवरेज और वेरिफाइड-रूट सक्सेस दोनों में स्टैंडर्ड रिग्रेशन और MDN अप्रोच की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, घुमावदार भूलभुलैया (maze) में नेविगेट करना सिखाने की कोशिश कर रहे हैं। रोबोट के पास एक "क्रिस्टल बॉल" (विश्व मॉडल) है जो यह अनुमान लगाने की कोशिश करती है कि कदम उठाने के बाद आगे क्या होगा।

समस्या: "औसत" का जाल (The "Average" Trap)
अधिकांश वर्तमान रोबbot एक ऐसी क्रिस्टल बॉल का उपयोग करते हैं जो एक बहुत ही विनम्र, अनिर्णायक लाइब्रेरियन की तरह काम करती है। यदि आप पूछते हैं, "अगर मैं यहाँ से बाईं ओर जाता हूँ, तो मैं कहाँ पहुँचूँगा?" और दो संभावित उत्तर हैं (शायद एक टेलीपोर्टर आपको किचन में भेज देता है, या एक ट्रैप आपको गार्डन में भेज देता है), तो लाइब्रेरियन आपको दो विकल्प नहीं देता। इसके बजाय, वह आपको एक उत्तर देता है: किचन और गार्डन के बीच का बिल्कुल सटीक मध्य बिंदु।

वास्तविक दुनिया में, किचन और गार्डन के बीच कोई "मध्य बिंदु" नहीं होता है। यदि रोबोट उस मध्य बिंदु तक जाने की कोशिश करता है, तो वह एक ऐसी दीवार से टकरा जाता है जो न तो किचन में है और न ही गार्डन में। यह पेपर इस "सिंगल-आउटपुट रिस्ट्रिक्शन" (single-output restriction) की चर्चा करता है। यह तर्क देता है कि जब भविष्य अव्यवस्थित हो और उसमें कई संभावनाएं हों (stochastic), तो केवल एक "औसत" भविष्य की भविष्यवाणी करने की कोशिश करना विफलता का कारण बनता है।

समाधान: "हार्ड-असाइंड" टीम (The "Hard-Assigned" Team)
लेखकों, ज़ी सोंग (Zhi Song) और उनकी टीम (Tencent और City University of Hong Kong) ने एक नई तरह की क्रिस्टल बॉल बनाई जिसे MoP-JEPA कहा जाता है। एक लाइब्रेरियन के बजाय, उन्होंने K अलग-अलग विशेषज्ञों (हेड्स) की एक टीम को काम पर रखा है।

यह इस प्रकार काम करता है:

द राउटर (The Router): एक स्मार्ट मैनेजर वर्तमान स्थिति को देखता है और तय करता है कि कौन से विशेषज्ञ सक्रिय होने की संभावना है। महत्वपूर्ण बात यह है कि यह मैनेजर केवल वर्तमान संदर्भ (context) को देख सकता है; वह भविष्य में झाँककर यह नहीं जान सकता कि वास्तव में क्या हुआ।
विशेषज्ञ (The Experts): प्रत्येक विशेषज्ञ को एक विशिष्ट प्रकार के भविष्य की भविष्यवाणी करने में बहुत कुशल होने के लिए प्रशिक्षित किया गया है।
कैंडिडेट सेट (The Candidate Set): जब कोई नई स्थिति आती है, तो सिस्टम विशेषज्ञों की राय को एक उत्तर में मिलाने के बजाय, सक्रिय विशेषज्ञों से प्राप्त विविध संभावनाओं की एक सूची आउटपुट करता है।

यह विविध, वैध संभावनाओं की एक सूची (कैंडिडेट सेट) बनाता है, न कि एक धुंधला, नकली औसत। यह एक ट्रैवल एजेंट से पेरिस और टोक्यो के बीच के किसी स्थान का नक्शा माँगने के बजाय, संभावित गंतव्यों की एक सूची माँगने जैसा है।

प्रमाण: क्या यह वास्तवक में काम करता है?
टीम ने कुछ कठिन भूलभुलैया (OGBench नामक डेटासेट से) पर इसका परीक्षण किया जहाँ रोबोट टेलीपोर्ट कर सकता था या अलग-अलग रास्तों में फंस सकता था।

पुराना तरीका: जब मानक रोबोट ने अपने "औसत" अनुमान का उपयोग करके रास्ता बनाने की कोशिश की, तो वह केवल 0.02 से 0.09 (2% से 9%) प्रश्नों में सफल रहा। वह ज्यादातर गलत अनुमान लगा रहा था।
नया तरीका: MoP-JEPA रोबोट, अपनी विविध संभावनाओं की सूची का उपयोग करके, 0.85 (85%) प्रश्नों में सफल रहा।

लेकिन लेखक सावधान थे। वे जानते थे कि केवल अनुमानों की एक लंबी सूची होना ही काफी नहीं है; आप सब कुछ अनुमान लगाकर भाग्यशाली हो सकते हैं। इसलिए, उन्होंने एक सख्त परीक्षण जोड़ा जिसे "realroute" कहा जाता है। यह जाँचता है कि क्या रोबोट की अनुमानों की सूची में वास्तव में ऐसे पथ शामिल हैं जिन्हें वास्तविक बदलावों (transitions) के माध्यम से चला जा सकता है।

परिणाम: MoP-JEPA तीनों भूलभुलैया में इस सख्त परीक्षण में सफल रहा।
तुलना: एक अन्य विधि जिसे "मिक्सचर डेंसिटी नेटवर्क" (MDN) कहा जाता है, वह बहुत सी चीजें अनुमानित कर सकती थी (उच्च कवरेज), लेकिन उनके कई अनुमान ऐसे नकली किनारे (edges) थे जो वास्तविक भूलभुलैया में मौजूद ही नहीं थे। MoP-JEPA के अनुमान उपयोगी और वास्तविक थे।

इसका क्या अर्थ है (और क्या नहीं है)
यह पेपर साबित करता है कि अनिश्चित दुनिया में नेविगेट करने वाले रोबोट के लिए, आपको एक ऐसी प्रणाली की आवश्यकता है जो कह सके, "यह A हो सकता है, या यह B हो सकता है," बजाय इसके कि "यह A और B के बीच कहीं होगा।"

यह क्या खारिज करता है: यह पेपर स्पष्ट रूप से "गेटेड" मिश्रणों (जैसे M3-JEPA) के उपयोग के विरुद्ध तर्क देता है जो विशेषज्ञों को एक एकल आउटपुट में मिला देते हैं। भले ही आपके पास अंदर कई विशेषज्ञ हों, यदि वे अपने उत्तरों को एक ही वेक्टर में मिला देते हैं, तो आप फिर से "औसत के जाल" में फंस जाते हैं।
यह क्या सुझाव देता है: लेखक सुझाव देते हैं कि वास्तविक दुनिया की योजना बनाने की जटिल प्रकृति को संभालने के लिए यह "हार्ड-असाइंड" दृष्टिकोण एक बेहतर तरीका है।
विश्वास: परिणाम विशिष्ट, होल्ड-आउट डेटासेट्स (OGB Bench) पर मापे गए हैं। पेपर दिखाता है कि इन सिमुलेशन में, नई विधि पुराने "औसत" भविष्यवक्ताओं की तुलना में बहुत बेहतर है। यह दावा नहीं करता कि इसने रोबोट प्लानिंग की सभी समस्याओं को हमेशा के लिए हल कर दिया है, लेकिन यह इन विशिष्ट भूलभुलैया परिदृश्यों में एक स्पष्ट और सटीक जीत दिखाता है।

संक्षेप में, यदि आप एक ऐसे भविष्य के लिए योजना बनाना चाहते हैं जिसमें कई संभावनाएं हैं, तो उसे औसत बताने के लिए कहना बंद करें। उसे विशेषज्ञों की एक टीम दें, उन्हें वास्तविक विकल्पों की एक सूची बनाने दें, और फिर रोबोट को उस सूची में से सबसे अच्छा रास्ता चुनने दें।

तकनीकी सारांश: MoP-JEPA

समस्या विवरण
JEPA (जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर) वर्ल्ड मॉडल आमतौर पर अगले लेटेंट स्टेट (latent state) की भविष्यवाणी करने के लिए एक एकल रिग्रेसर (regressor) का उपयोग करते हैं। नियतात्मक (deterministic) वातावरण में यह प्रभावी है, लेकिन यह दृष्टिकोण उन स्टोकेस्टिक ट्रांजिशन (stochastic transitions) में विफल हो जाता है जहाँ एक ही कॉन्टेक्स्ट (स्टेट-एक्शन पेयर) कई वैध उत्तराधिकारियों (successors) की ओर ले जा सकता है। मानक रिग्रेशन ऑब्जेक्टिव्स (जैसे स्क्वेयर्ड लॉस या कोसाइन लॉस) मॉडल को कंडीशनल मीन (conditional mean) या उस मीन की नॉर्मलाइज्ड दिशा की भविष्यवाणी करने के लिए मजबूर करते हैं। मल्टीमॉडल डिस्ट्रीबशन (multimodal distributions) में, यह "समझौता" वाला आउटपुट अक्सर एक ऐसे स्टेट के अनुरूप होता है जो अस्तित्व में ही नहीं है (उदाहरण के लिए, दो अलग-अलग गंतव्यों के बीच का अमान्य मिडपॉइंट), जिससे प्रेडिक्टर प्लानिंग कार्यों के लिए बेकार हो जाता है जिनके लिए वैध भविष्य के पथों को सूचीबद्ध करने की आवश्यकता होती है। स्टोकेस्टिसिटी (stochasticity) पेश करने के मौजूदा प्रयास, जैसे कि वेटेड सम (weighted sum) द्वारा फ्यूज किए गए गेटेड मिक्सचर-ऑफ-एक्सपर्ट्स (MoE), अभी भी प्रति कॉन्टेक्स्ट एक सिंगल आउटपुट वेक्टर पर ही सिमट जाते हैं, जो उसी मौलिक सीमा को बनाए रखते हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र MoP-JEPA (मिक्सचर-ऑफ-प्रेडिक्टर्स JEPA) का प्रस्ताव करता है, जो सिंगल-आउटपुट प्रेडिक्टर को एक ऐसी संरचना से बदल देता है जो एक ही फॉरवर्ड पास में संभावित उत्तराधिकारियों के एक परिमित सेट (finite set) को उत्पन्न करने में सक्षम है।

आर्किटेक्चर: मॉडल मानक JEPA बैकबोन ( $f_\theta$ एनकोडर और $f_\xi$ EMA टारगेट एनकोडर) को बरकरार रखता है, लेकिन सिंगल प्रेडिक्टर $g_\phi$ को $K$ समानांतर प्रेडिक्टर हेड्स $\{g_{\phi_k}\}_{k=1}^K$ से बदल देता है।
रूटर (Router): एक कॉन्टेक्स्ट-ओनली रूटर $r_\psi$ कॉन्टेक्स्ट $c = [z, a]$ (लेटेंट स्टेट और एक्शन) लेता है और $K$ हेड्स पर एक प्रोबेबिलिटी डिस्ट्रीब्यूशन $\pi$ आउटपुट करता है। महत्वपूर्ण रूप से, रूटर टारगेट फ्यूचर स्टेट $z^+$ को नहीं देखता है, जिससे यह सुनिश्चित होता है कि वह केवल वर्तमान कॉन्टेक्स्ट के आधार पर वैध उत्तराधिकारियों की भविष्यवाणी करना सीखता है।
हार्ड असाइनमेंट ऑब्जेक्टिव (Hard Assignment Objective): ट्रेनिंग के लिए "विनर-टेक-ऑल" (WTA) तंत्र का उपयोग किया जाता है जो कंडीशनल वेक्टर क्वांटाइजेशन से प्रेरित है। प्रत्येक टारगेट $z^+_i$ $z_{i}^{+}$ के लिए, निकटतम हेड $k^*_i$ $k_{i}^{*}$ की पहचान की जाती है। लॉस फंक्शन में तीन टर्म शामिल हैं:
1. प्रेडिक्शन लॉस: विनिंग हेड के आउटपुट और टारगेट के बीच की दूरी।
2. रूटर लॉस: जीतने वाले हेड के इंडेक्स को प्रेडिक्ट करने के लिए ट्रेन करने हेतु क्रॉस-एन्ट्रॉपी।
3. लोड बैलेंसिंग: रूटर को एक ही हेड पर सिमटने से रोकने के लिए एक पेनल्टी, जो सभी $K$ हेड्स के उपयोग को प्रोत्साहित करती है।
इन्फरेंस (Inference): टेस्ट के समय, मॉडल संबद्ध रूटर प्रोबेबिलिटीज $\{\pi_k\}$ के साथ $K$ कैंडिडेट लेटेंट्स $\{u_k\}$ का एक सेट आउटपुट करता है। यह परिमित सेट बिना किसी डिकोडर या मल्टीपल रोलआउट के डाउनस्ट्रीम प्लानर्स (जैसे BFS या MPC) के लिए ट्रांजिशन ग्राफ के रूप में कार्य करता है।

प्रमुख योगदान

JEPA के लिए फाइनाइट सक्सेसर इंटरफेस: यह पेपर सिंगल-आउटपुट प्रतिबंध को एक परिमित कैंडिडेट सेट में बदलने के लिए एक तंत्र पेश करता है, जिससे मॉडल मल्टीमॉडल ट्रांजिशन को स्पष्ट रूप से प्रदर्शित कर पाता है।
कोलैप्स का सैद्धांतिक लक्षण वर्णन: लेखक औपचारिक रूप से प्रदर्शित करते हैं (प्रपोजिशन 1-3 के माध्यम से) कि डिटर्मिनिस्टिक प्रेडिक्टर्स और फ्यूज्ड MoEs स्वाभाविक रूप से कंडीशनल मीन के लिए ऑप्टिमाइज़ होते हैं, जो स्टोकेस्टिक वातावरण में अक्सर एक अमान्य स्टेट होता है। वे हार्ड-असाइंड हेड्स को कंडीशनल वेक्टर क्वांटाइजेशन के एक रूप के रूप में पहचानते हैं जो अलग-अलग मोड्स को कवर कर सकता है।
वेरिफाइड-रूट इवैल्यूएशन प्रोटोकॉल: यह पहचानते हुए कि उच्च कवरेज को अंधाधुंध भविष्यवाणी (जैसे कि सभी संभावित किनारों की भविष्यवाणी करना) द्वारा प्राप्त किया जा सकता है, पेपर एक "रियलरूट" (realroute) मेट्रिक पेश करता है। यह मेट्रिक मूल्यांकन करता है कि प्रस्तावित कैंडिडेट सेट में स्टार्ट से गोल तक के वास्तविक ट्रांजिशन का एक वैध पथ मौजूद है या नहीं, जो संदर्भ-निर्भर लर्निंग को केवल कवरेज से अलग करता है।

परिणाम
लेखक OGBench डेटासेट्स (जिसमें टेलीपोर्टेशन और स्टिचिंग वाले पॉइंटमेज़ और एंटमेज़ वेरिएंट शामिल हैं, जो मल्टीमॉडल ट्रांजिशन उत्पन्न करते हैं) पर MoP-JEPA का मूल्यांकन करते हैं।

प्लानिंग परफॉरमेंस: होल्ड-आउट OGBench ट्रांजिशन्स पर, सिंगल-आउटपुट प्रेडिक्टर्स का उपयोग करके ग्राफ सर्च केवल 0.02–0.09 क्वेरीज पर सफल होता है। इसके विपरीत, MoP-JEPA 0.85 की सफलता दर प्राप्त करता है।
मोड रिकवरी (Mode Recovery): लेटेंट स्पेस में विज़ुअलाइज़ेशन (चित्र 3 और 4) दिखाते हैं कि डेंस प्रेडिक्टर्स ब्रांचों के बीच एक सिंगल अमान्य मिडपॉइंट पर कोलैप्स हो जाते हैं, जबकि MoP-JEPA प्रत्येक वैध ब्रांच के अनुरूप विशिष्ट पीक्स (peaks) को सफलतापूर्वक रिकवर करता है।
वेरिफाइड-रूट सक्सेस: MoP-JEPA तीनों मेज़ एनवायरनमेंट्स में "realroute" मेट्रिक में अग्रणी है। जबकि एक मिक्सचर डेंसिटी नेटवर्क (MDN) उच्च रॉ कवरेज प्राप्त करता है, वह कई गैर-मौजूद किनारों (edges) की भविष्यवाणी करता है, जिससे वह वेरिफाइड-रूट टेस्ट में विफल हो जाता है। MoP-JEPA उच्च कवरेज बनाए रखते हुए यह सुनिश्चित करता है कि प्रेडिक्टेड किनारे वास्तविक ट्रांजिशन के अनुरूप हों।
एब्लेशन (Ablation): दिखाया गया है कि रूटर गेटिंग मैकेनिज्म आवश्यक है; इसके बिना, मॉडल उन हेड्स को बनाए रख सकता है जो वैध कॉन्टेक्स्ट-डिपेंडेंट ट्रांजिशन के अनुरूप नहीं हैं।

महत्व और दावे
पेपर का दावा है कि स्टोकेस्टिक सेटिंग्स में वर्तमान JEPA वर्ल्ड मॉडल्स की प्राथमिक सीमा सिंगल-आउटपुट प्रतिबंध है, जो एक ऐसे समझौते के लिए मजबूर करती है जिसका प्लानिंग एल्गोरिदम उपयोग नहीं कर सकते। हार्ड-असाइंड हेड्स पेश करके, MoP-JEPA मॉडल को केवल औसत निकालने के बजाय डिस्क्रीट सक्सेसर मोड्स को "सूचीबद्ध" करने की अनुमति देता है। लेखक इस बात पर जोर देते हैं कि उनका योगदान एक नया एनकोडर या एंटी-कोलैप्स मशीनरी नहीं है, बल्कि एक विशिष्ट प्रेडिक्टर-लेवल मैकेनिज्म है जो सफलता के लिए प्लानिंग-लेवल साक्ष्य सक्षम करता है। यह कार्य इस बात का अनुभवजन्य विवरण प्रदान करता है कि कैसे सिंगल-आउटपुट प्रेडिक्शन स्टोकेस्टिसिटी के तहत प्लानिंग को खराब करता है और उपयोगी, कॉन्टेक्स्ट-डिपेंडेंट उत्तराधिकारियों और अंधाधुंध कवरेज के बीच अंतर करने के लिए एक प्रोटोकॉल प्रदान करता है।

इसी तरह के और पेपर