🤖 machine learning

EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

यह शोध पत्र प्रदर्शित करता है कि ऑपरेटर-साइड वेट मॉड्यूलेशन (EPM-JEPA), ऑपरेंड-साइड स्टेट इंजेक्शन (EI-JEPA) की तुलना में वितरण बदलावों (distribution shifts) के अनुकूल होने में JEPA-परिवार के वर्ल्ड मॉडल्स को बेहतर बनाता है, जो यह प्रकट करता है कि प्रदर्शन की प्रक्षेपवक्र (performance trajectories) इक्विलिब्रियम कन्वर्जेंस के बजाय विशिष्ट डायनेमिकल प्रक्रियाओं द्वारा संचालित होती है और एक भौतिकी-आधारित (physics-grounded) उत्तराधिकारी के विकास को प्रेरित करती है।

मूल लेखक: Vedant Pandya

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vedant Pandya

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक रोबोट को अनुकूलन करना सिखाना

कल्पना कीजिए कि आप एक रोबोट को यह भविष्यवाणी करना सिखा रहे हैं कि एक गेंद कहाँ लुढ़केगी। आप इसे एक ऐसे कमरे में प्रशिक्षित करते हैं जहाँ फर्श सपाट है (कोई गुरुत्वाकर्षण नहीं)। फिर, आप उस रोबोट को एक नए कमरे में ले जाते हैं जहाँ फर्श झुका हुआ है (गुरुत्वाकर्षण अलग है)।

मानक AI मॉडल उन छात्रों की तरह होते हैं जो सपाट कमरे के नियमों को रट लेते हैं। जब वे झुके हुए कमरे में प्रवेश करते हैं, तो वे भ्रमित हो जाते हैं क्योंकि उनका "मस्तिष्क" (आंतरिक गणित) नई वास्तविकता के साथ मेल खाने के लिए बदला नहीं है। वे भविष्यवाणी करना जारी रखते हैं कि गेंद सीधी लुढ़केगी, भले ही वह ढलान पर लुढ़क रही हो।

यह पेपर रोबोट को तुरंत सीखने (learn on the fly) के लिए सिखाने की कोशिश करता है। यह पूछता है: हम रोबोट को उसकी हालिया गलतियों की याददाश्त कैसे दे सकते हैं ताकि वह तुरंत अपने मस्तिष्क को नए झुके हुए कमरे के अनुसार ढाल सके?

परीक्षण की गई दो विधियाँ

शोधकर्ताओं ने रोबोट को यह "याददाश्त" देने के दो अलग-अलग तरीकों की तुलना की:

विधि A: "नोटबुक" दृष्टिकोण (EI-JEPA)
- उपमा: कल्पना कीजिए कि रोबोट के पास एक नोटबुक है। जब वह कुछ नया देखता है, तो वह नोटबुक में एक नोट लिखता है। जब उसे कोई भविष्यवाणी करने की आवश्यकता होती है, तो वह नोट पढ़ता है और उस जानकारी को अपनी वर्तमान विचार प्रक्रिया में जोड़ देता है।
- परिणाम: यह अच्छी तरह से काम नहीं किया। रोबोट अतिरिक्त नोट्स से भ्रमित हो गया। यह ऐसा था जैसे कोई आपके कान में संकेत फुसफुसा रहा हो और आप गणित की समस्या हल करने की कोशिश कर रहे हों; इसने रोबोट को धीमा और कम सटीक बना दिया।
विधि B: "मस्तिष्क की रीवायरिंग" दृष्टिकोण (EPM-JEPA)
- उपमा: केवल एक नोट पढ़ने के बजाय, रोबोट अपनी याददाश्त का उपयोग अपने मस्तिष्क के भीतर के कनेक्शनों को भौतिक रूप से बदलने के लिए करता है। यह एक संगीतकार की तरह है जो, नया संगीत सुनने पर, तुरंत अपने गिटार के तारों का तनाव (tension) बदल देता है ताकि वह नए संगीत के अनुकूल हो सके। रोबोट यह नहीं बदलता कि वह किस बारे में सोचता है, बल्कि यह बदलता है कि वह कैसे गणना करता है।
- परिणाम: यह बेहतर काम कर गया। रोबोट ने नए झुके हुए कमरे के अनुकूल होने के लिए अपने आंतरिक "गियर्स" को समायोजित किया और बिना किसी नोटबुक वाले रोबोट की तुलना में गेंद के पथ की अधिक सटीक भविष्यवाणी की।

मुख्य खोज: एक "शून्य परिणाम" (Null Result) भी एक जीत है

शोधकर्ताओं ने शुरू करने से पहले एक सख्त शर्त रखी थी। वे देखना चाहते थे कि क्या "रीवायरिंग" विधि "नोटबुक" विधि की तुलना में काफी बेहतर है।

शर्त: यदि "रीवायरिंग" विधि प्रदर्शन में 5% से अधिक सुधार करती है, तो वे इसे एक बड़ी जीत मानेंगे।
परिणाम: "रीवायरिंग" विधि थोड़ी बेहतर थी, लेकिन अंतर केवल लगभग 4.7% था।
निर्णय: तकनीकी रूप से, यह एक "शून्य परिणाम" (Null Result) है (जिसका अर्थ है कि दोनों विधियाँ विजेता घोषित करने के लिए सांख्यिकीय रूप से पर्याप्त भिन्न नहीं थीं)।
यह क्यों मायने रखता है: लेखक कहते हैं कि यह वास्तव में एक अच्छा वैज्ञानिक परिणाम है। यह साबित करता है कि केवल याददाश्त जोड़ना ही पर्याप्त नहीं है; आप उस याददाश्त का उपयोग कैसे करते हैं, यह मायने रखता है। "रीवायरिंग" विधि ही एकमात्र ऐसी विधि थी जिसने बिना किसी याददाश्त वाले रोबोट को वास्तव में पीछे छोड़ा।

गुप्त नुस्खा: रोबोट बेहतर क्यों हुआ (और फिर खराब क्यों हुआ)

पेपर का सबसे दिलचस्प हिस्सा केवल यह नहीं है कि रोबोट बेहतर हुआ, बल्कि यह है कि वह कैसे बेहतर हुआ। शोधकर्ताओं ने पाया कि रोबोट का प्रदर्शन एक विशिष्ट, तीन-चरणीय नृत्य का पालन करता था जो एक लहर की तरह दिखता था:

भरने का चरण (बफ़र साइकलिंग - Buffer Cycling): रोबोट यादें एकत्र करना शुरू करता है। जैसे-जैसे इसकी याददाश्त का "बकेट" भरता है और नई यादों के लिए जगह बनाने के लिए पुरानी यादों को बाहर निकालता है, रोबोट एक "स्वीट स्पॉट" पाता है जहाँ वह पूरी तरह से भविष्यवाणी करता है।
ड्रिफ्ट चरण (EMA ड्रिफ्ट - EMA Drift): उस स्वीट स्पॉट के बाद, रोबोट का "लक्ष्य" (वह लक्ष्य जिसे वह प्राप्त करने की कोशिश कर रहा है) धीरे-धीरे दूर खिसकने लगता है। यह ऐसा है जैसे फिनिश लाइन हर सेकंड थोड़ा हिल रही हो। रोबोट पुराने लक्ष्य को पाने की कोशिश करता रहता है, इसलिए इसका प्रदर्शन फिसलने लगता है।
स्थिर होने का चरण (LoRA ट्रांजिएंट - LoRA Transient): भले ही आप रोबोट को नई चीजें सीखने से रोक दें, उसके आंतरिक "गियर्स" को स्थिर होने में थोड़ा समय लगता है। प्रदर्शन में एक छोटा, अपरिहार्य उछाल आता है क्योंकि रोबोट का मस्तिष्क स्थिर होता है।

मुख्य बात: रोबोट का "सर्वश्रेष्ठ प्रदर्शन" पूर्णता की स्थायी स्थिति नहीं थी। यह याददाश्त भरने, लक्ष्य के खिसकने और आंतरिक स्थिरता के बीच के संतुलन के कारण उत्पन्न एक क्षणिक अवस्था थी।

"रस्सी पर संतुलन" (Tightrope) की समस्या

यहाँ एक पेच था। जब रोबोट अपने सर्वश्रेष्ठ प्रदर्शन कर रहा था (गेंद के पथ की सटीक भविष्यवाणी कर रहा था), तो उसकी आंतरिक "विविधता" (diversity) गिर गई।

उपमा: कल्पना कीजिए कि एक जैज़ बैंड है। जब वे एक आदर्श सोलो बजा रहे होते हैं, तो वे सभी एक ही सुर में बिल्कुल एक साथ बजने लगते हैं। यह उस एक गाने के लिए सुनने में बहुत अच्छा लगता है, लेकिन यह जोखिम भरा है क्योंकि वे सभी एक ही चीज़ कर रहे हैं।
शोधकर्ताओं ने पाया कि सर्वश्रेष्ठ भविष्यवाणी प्राप्त करने के लिए, रोबोट को थोड़ा "कठोर" (कम विविध) होना पड़ा। यदि उन्होंने इसे अधिक विविध होने के लिए मजबूर किया, तो इसकी भविष्यवाणियां खराब हो गईं। यह एक ट्रेड-ऑफ है: पूर्ण भविष्यवाणी बनाम लचीली सोच।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि:

मस्तिष्क को बदलना (weights) केवल नोट्स जोड़ने (inputs) से बेहतर है।
"परफेक्ट मोमेंट" अस्थायी है। यह याददाश्त भरने, लक्ष्य के खिसकने और आंतरिक स्थिरता के जटिल नृत्य का परिणाम है।
भविवी कार्य: लेखक एक नया संस्करण (PEM-JEPA) बनाने की योजना बना रहे हैं जो "ड्रिफ्टिंग" लक्ष्य को रोकने के लिए भौतिकी के नियमों का उपयोग करेगा, जिससे रोबोट को उस "परफेक्ट मोमेंट" में लंबे समय तक रहने में मदद मिलेगी बिना फँसे या कठोर हुए।

संक्षेप में: उन्होंने एक ऐसा रोबोट बनाया जो नए गुरुत्वाकर्षण के अनुकूल होने के लिए अपने स्वयं के मस्तिष्क को रीवायर कर सकता है। यह केवल नोटबुक देने की तुलना में बेहतर काम कर गया, लेकिन "परफेक्ट प्रदर्शन" एक क्षणिक क्षण था जो एक जटिल आंतरिक नृत्य के कारण हुआ था, न कि एक स्थायी अवस्था के कारण।

तकनीकी सारांश: EPM-JEPA – JEPA-परिवार के वर्ल्ड मॉडल्स में ऑपरेटर-साइड एक्सपीरियंस मॉड्यूलेशन

समस्या विवरण (Problem Statement)
जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) लेटेंट स्पेस में भविष्य की अवस्थाओं की भविष्यवाणी करता है ताकि अप्रासंगिक संवेदी विवरणों को मॉडल करने की जटिलता से बचा जा सके। हालाँकि, मानक JEPA प्रेडिक्टर स्थिर होते हैं; जब टेस्ट-टाइम डायनेमिक्स ट्रेनिंग डिस्ट्रीब्यूशन से विचलित होते हैं (जैसे कि गुरुत्वाकर्षण या घर्षण में परिवर्तन), तो उनके वेट्स (weights) अनुकूलित नहीं होते हैं। जबकि मौजूदा मेमोरी-ऑगमेंटेड मॉडल (जैसे कि एक्सटर्नल मेमोरी वाले ट्रांसफॉर्मर) अनुभव को अतिरिक्त इनपुट (ऑपरेंड-साइड) के रूप में इंजेक्ट करके इसे संबोधित करते हैं, वे प्रेडिक्टर के वेट्स को अपरिवर्तित छोड़ देते हैं। यह शोध जांच करता है कि क्या ऑपरेटर-साइड मॉड्यूलेशन—हालिया अनुभव का उपयोग करके प्रेडिक्टर के वेट्स को सीधे संशोधित करना—डिस्ट्रीब्यूशन शिफ्ट के अनुकूल होने के लिए एक बेहतर तंत्र प्रदान करता है।

कार्यप्रणाली (Methodology)
लेखक EPM-JEPA (एक्सपीरियंस-मॉड्यूलेटेड JEPA) प्रस्तावित करते हैं और एक ग्रेविटी शिफ्ट (0.0 से 0.5 px/frame²) वाले मूविंग MNIST कार्य पर दो बेसलाइनों के विरुद्ध इसकी तुलना करते हैं। सभी मॉडल एक एनकोडर, एक EMA टारगेट एनकोडर और एक प्रेडिक्टर बेस साझा करते हैं, जो केवल इस बात में भिन्न हैं कि अनुभव का उपयोग कैसे किया जाता है:

ट्रैक A (वैनिला JEPA): बिना किसी मेमोरी मैकेनिज्म वाला एक बेसलाइन।
ट्रैक B (EI-JEPA): एक ऑपरेंड-साइड दृष्टिकोण जहाँ एक कंप्रेस्ड एक्सपीरियंस रिप्रेजेंटेशन को प्रेडिक्टर के हिडन स्टेट में एक रेसिडुअल के रूप में जोड़ा जाता है।
ट्रैक C (EPM-JEPA): एक ऑपरेटर-साइड दृष्टिकोण जहाँ अनुभव का रिप्रेजेंटेशन LoRA (लो-रैंक अडैप्टेशन) के माध्यम से लो-रैंक वेट डेल्टा ( $\Delta W$ ) उत्पन्न करता है। ये डेल्टा प्रेडिक्टर के लीनियर लेयर्स पर लागू होते हैं, जो प्रभावी रूप से हालिया इतिहास के आधार पर गणना (computation) को ही बदल देते हैं।

मेमोरी सबसिस्टम (Memory Subsystem)
ट्रैक B और C एक साझा मेमोरी पाइपलाइन का उपयोग करते हैं:

बाउंड्री डिटेक्शन: बाउंड्री इवेंट्स (महत्वपूर्ण प्रेडिक्शन एरर) की पहचान करने के लिए बैच-मीन सरप्राइज़ल (batch-mean surprisal) की निगरानी करता है।
एक्सपीरियंस बफर: एक FIFO बफर (क्षमता 256) बाउंड्री इवेंट्स पर लेटेंट ट्रांजिशन को स्टोर करता है।
एनकोडिंग और एग्रीगेशन: एक ट्रांसफॉर्मर एनकोडर स्टोर किए गए पेयर्स को प्रोसेस करता है, और एक अटेंशन मैकेनिज्म उन्हें वर्तमान लेटेंट स्टेट पर आधारित एक सिंगल वेक्टर ( $e_{agg}$ ) में एग्रीगेट करता है।
मॉड्यूलेशन: EPM-JEPA में, $e_{agg}$ एक LoRA मॉड्यूल को संचालित करता है ताकि $\Delta W = U \cdot \text{diag}(\delta) \cdot V^\top$ उत्पन्न किया जा सके, जिसे फ्रोजन प्रेडिक्टर वेट्स में जोड़ा जाता है।

मुख्य परिणाम (Key Results)
प्रयोग तीन परिणाम वर्गों के साथ एक प्री-रजिस्टर्ड तुलना ढांचे पर किए गए थे। प्राथमिक मीट्रिक $D^{shift}_{n=50}$ है, जो शिफ्टेड डिस्ट्रीब्यूशन पर मीन नॉर्मलाइज्ड प्रेडिक्शन एरर है।

प्री-रजिस्टर्ड तुलना (ट्रैक C बनाम ट्रैक B): प्रदर्शन में अंतर $\delta = 4.74\%$ था। उनके मानदंडों ( $|\delta| < 5\%$ ) के अनुसार, यह आउटकम C: एक नल रिजल्ट (null result) है। EPM-JEPA प्राथमिक हाइपोथेसिस टेस्ट में ऑपरेंड-साइड इंजेक्शन (EI-JEPA) से सांख्यिकीय रूप से बेहतर प्रदर्शन नहीं कर सका।
द्वितीयक अवलोकन (ट्रैक C बनाम ट्रैक A): EPM-JEPA ने तीन सीड्स में लगातार नो-मेमोरी बेसलाइन (ट्रैक A) की तुलना में प्रेडिक्शन एरर में 1.90% का सुधार किया। इसके विपरीत, EI-JEPA (ट्रैक B) बेसलाइन से भी खराब प्रदर्शन कर गया, जिससे पता चलता है कि नाइव इनपुट इंजेक्शन इस सेटिंग में अप्रभावी है, जबकि वेट-लेवल मॉड्यूलेशन एक मामूली लेकिन सुसंगत लाभ प्रदान करता है।
मैकेनिज्म विश्लेषण: EPM-JEPA का प्रदर्शन प्रक्षेपवक्र (trajectory) एक स्थिर साम्यावस्था (equilibrium) की ओर अभिसरण नहीं है, बल्कि यह तीन स्वतंत्र डायनामिकल प्रक्रियाओं द्वारा नियंत्रित है:
1. बफर साइकलिंग: एक परिमित (finite) बफर संतृप्त होकर चक्रित होता है, जो पीक फॉर्मेशन को प्रभावित करता है।
2. EMA टारगेट ड्रिफ्ट: धीरे-धीरे चलते हुए EMA टारगेट एनकोडर LoRA वेट्स के सेटल होने के बाद भी प्रेडिक्शन टारगेट को शिफ्ट करता रहता है, जिससे पीक के बाद प्रदर्शन में विचलन होता है।
3. LoRA सेटलिंग ट्रांजिएंट: एक अंतर्निहित +0.021 की एरर वृद्धि होती है क्योंकि LoRA वेट्स एक घटते लर्निंग रेट के तहत सेटल होते हैं, जो फ्रीज टाइमिंग से स्वतंत्र है।

महत्व और दावे (Significance and Claims)
लेखक स्पष्ट रूप से कहते हैं कि उनका प्राथमिक वैज्ञानिक योगदान ऑपरेटर-साइड हाइपोथेसिस का खंडन करना नहीं है (जिसका परिणाम नल रिजल्ट रहा), बल्कि सिस्टम के डायनेमिक्स का मैकेनिज्म विश्लेषण है।

नल रिजल्ट्स की वैज्ञानिक वैधता: लेखक इस बात पर जोर देते हैं कि उनके प्री-रजिस्टर्ड मानदंडों के तहत आउटकम C एक वैध वैज्ञानिक परिणाम है, जो ध्यान को "जीतने" से हटाकर इस पर केंद्रित करता है कि सिस्टम व्यवहार क्यों करता है।
डायनामिकल सीमाएं: अध्ययन यह प्रकट करता है कि प्रदर्शन का शिखर (peak) बफर साइकलिंग, EMA ड्रिफ्ट और LoRA सेटलिंग के बीच परस्पर क्रिया के कारण एक क्षणिक (transient) कॉन्फ़िगरेशन है, न कि एक स्थिर इष्टतम अवस्था।
स्ट्रक्चरल टेंशन: प्रेडिक्शन इष्टतमता और रिप्रेजेंटेशन विविधता के बीच एक ट्रेड-ऑफ है। सर्वश्रेष्ठ प्रदर्शन करने वाले LoRA कॉन्फ़िगरेशन आउटपुट मैनिफोल्ड को सिकोड़ देते हैं (जिससे $\sigma_{embed}$ सुरक्षा थ्रेसहोल्ड 0.5 से नीचे चला जाता है), जबकि विविधता को बहाल करने के लिए रेगुलाइजेशन बढ़ाने से प्रेडिक्शन प्रदर्शन कम हो जाता है।
भविष्य की दिशा: ये निष्कर्ष PEM-JEPA को प्रेरित करते हैं, जो एक प्रस्तावित उत्तराधिकारी है जो टारगेट डिस्ट्रीब्यूशन को सीमित करने और पहचाने गए डायनामिकल-पीक सीमाओं को कम करने के लिए फिजिक्स-ग्राउंडेड लेटेंट स्ट्रक्चर (स्पष्ट काइनेमैटिक स्टेट्स) पेश करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि Lo-रैंक अडैप्टेशन (LoRA) के माध्यम से ऑपरेटर-साइड मॉड्यूलेशन अनुकूलन के लिए एक विशिष्ट मार्ग प्रदान करता है, वर्तमान आर्किटेक्चर इनट्रिंसिक डायनामिकल ट्रांजिएंट्स द्वारा सीमित है जिन्हें केवल ट्रेनिंग शेड्यूल समायोजन के बजाय संरचनात्मक परिवर्तनों के माध्यम से हल करने की आवश्यकता है।