=== सारांश ===

तकनीकी सारांश: SJEPA – हाइब्रिड सिम्बोलिक-न्यूरल प्रेडिक्टर्स के साथ एलिगेंट लेटेंट डायनेमिक्स सीखना

1. समस्या का निरूपण (Problem Formulation)

जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPAs) कॉन्टेक्स्ट एम्बेडिंग्स से टारगेट एम्बेडिंग्स की भविष्यवाणी करके एब्स्ट्रैक्ट स्टेट्स सीखते हैं, जो प्रेडिक्टिव सेमेंटिक्स को पिक्सेल-लेवल वेरिएबिलिटी से अलग करते हैं। हालाँकि, मानक JEPAs आमतौर पर अपारदर्शी (opaque) न्यूरल ट्रांजिशन मॉडल्स का उपयोग करते हैं। सटीक होने के बावजूद, ये मॉडल यह प्रकट नहीं करते कि कौन से वेरिएबल्स परस्पर क्रिया (interact) करते हैं, क्रियाएं भविष्य को कैसे बदलती हैं, या क्या सीखे गए कोऑर्डिनेट्स एक संक्षिप्त डायनेमिकल विवरण का समर्थन करते हैं।

यह शोध एक विशिष्ट अंतराल को संबोधित करता है: क्या एक JEPA न केवल प्रेडिक्टिव स्टेट्स, बल्कि उन स्टेट्स पर "एलिगेंट" (elegant) डायनेमिक्स भी सीख सकता है? यहाँ, "एलिगेंट" को ऑपरेशनल रूप से एक संक्षिप्त, पार्सिमोनियस (parsimonious) नियम के रूप में परिभाषित किया गया है जो भविष्यवाणी के लिए पर्याप्त बना रहता है। चुनौती एक सूचनात्मक प्रेडिक्टिव स्टेट के लिए सबसे सरल पर्याप्त शासी नियम (governing law) खोजने की है, बिना रिप्रेजेंटेशन को कोलैप्स किए (अर्थात, ट्रांजिशन को सरल बनाने के लिए जानकारी मिटाए बिना) या डायनेमिक्स को अंडरफिट किए।

2. कार्यप्रणाली: SJEPA फ्रेमवर्क

लेखक सिम्बोलिक JEPA (SJEPA) पेश करते हैं, जो एक रिकंस्ट्रक्शन-फ्री फ्रेमवर्क है जो लेटेंट ट्रांजिशन ऑपरेटर को एक सिम्बोलिक शासी नियम और एक रेगुलराइज्ड न्यूरल करेक्शन के हाइब्रिड में विभाजित करता है।

2.1 हाइब्रिड प्रेडिक्टर आर्किटेक्चर

एक कॉन्टेक्स्ट एम्बेडिंग $Z_C$ और साइड इंफॉर्मेशन $\epsilon$ (जैसे, एक्शन, टाइम ऑफसेट) दिए जाने पर, टारगेट एम्बेडिंग $\hat{Z}_T$ की भविष्यवाणी इस प्रकार की जाती है:
$$\hat{Z}_T = F_{E,\alpha}(Z_C, \epsilon) + c_\phi(Z_C, \epsilon)$$

• सिम्बोलिक लॉ ($F_{E,\alpha}$): एक कॉम्पैक्ट एक्सप्रेशन जिसकी संरचना $E$ (अंकगणित, बहुपद, ट्रांसेंडेंटल, या डोमेन-विशिष्ट प्रिमिटिव्स के व्याकरण से) और गुणांक (coefficients) $\alpha$ है। यह प्रमुख, पुन: प्रयोज्य डायनेमिक्स को कैप्चर करता है।
• न्यूरल करेक्शन ($c_\phi$): एक न्यूरल नेटवर्क जो उन प्रभावों को ठीक करता है जिन्हें चुना गया सिम्बोलिक व्याकरण पर्याप्त रूप से व्यक्त नहीं कर सकता (जैसे, घर्षण, अनसुलझी अंतःक्रियाएं, अनुमान त्रुटियां)।

2.2 कंस्ट्रेंड ऑपरेटर कम्प्रेशन (Constrained Operator Compression)

मुख्य सिद्धांत कंस्ट्रेंड ऑपरेटर कम्प्रेशन है। उद्देश्य ट्रांजिशन ऑपरेटर की जटिलता को कम करना है जबकि यह सुनिश्चित करना है कि रिप्रेजेंटेशन सूचनात्मक बना रहे और कोलैप्स न हो।

ऑप्टिमाइज़ेशन समस्या को इस प्रकार स्वरूपित किया गया है:
$$\min_{\theta, \bar{\theta}, E, \alpha, \phi} \Omega(E) + \lambda_c R_{corr}(\phi)$$
$$\text{विषय (subject to) } L_{pred}(\theta, \bar{\theta}, E, \alpha, \phi) \le \delta_{pred}, \quad (\theta, \bar{\theta}) \in \Theta_{repr}$$

• ऑब्जेक्टिव: सिम्बोलिक कॉम्प्लेक्सिटी $\Omega(E)$ और करेक्शन डिपेंडेंस $R_{corr}(\phi)$ को कम करना।
• प्रेडिक्टिव कंस्ट्रेंट ($L_{pred} \le \delta_{pred}$): अंडरफिटिंग को रोकता है; मॉडल को पर्याप्त रूप से सटीक होना चाहिए।
• रिप्रेजेंटेशन कंस्ट्रेंट ($\Theta_{repr}$): एनकोडर को ट्रांजिशन को ट्रिवियलाइज करने के लिए एक कांस्टेंट वेक्टर में कोलैप्स होने से रोकता है। इसे VICReg-शैली के वेरिएंस प्रिजर्वेशन जैसे रेगुलराइजर्स के माध्यम से लागू किया जाता है ताकि स्टेट सूचनात्मक और नॉन-कोलेप्स्ड बनी रहे।

2.3 लर्निंग स्ट्रेटेजीज

फ्रेमवर्क दो मोड का समर्थन करता है:

1. एंड-टू-एंड अल्टरनेटिंग लर्निंग: एनकोडर (रिप्रेजेंटेशन) और सिम्बोलिक/न्यूरल डायनेमिक्स को संयुक्त रूप से ऑप्टिमाइज़ करता है। यह प्रक्रिया बारी-बारी से चलती है:
   • डायनेमिक्स सर्च: वर्तमान कोऑर्डिनेट्स के लिए सरलतम सिम्बोलिक लॉ खोजने के लिए एनकोडर्स को फिक्स करना।
   • स्पेस सर्च: एनकोडर्स को अपडेट करने के लिए सिम्बोलिक स्ट्रक्चर को फिक्स करना ताकि रिप्रेजेंटेशन एक सरल ट्रांजिशन का समर्थन करे।
2. फ्रोजन एनकोडर लर्निंग: एक प्री-ट्रेन एनकोडर (जैसे, ViT, DINO, I-JEPA) का उपयोग करता है और केवल सिम्बोलिक लॉ और करेक्शन को सीखता है, जो एक डायग्नोस्टिक के रूप में कार्य करता है कि क्या मौजूदा रिप्रेजेंटेशन कॉम्पैक्ट डायनेमिक्स को उजागर करते हैं।

2.4 बेयसियन एक्सटेंशन

लेखक एक बेयसियन फॉर्मुलेशन प्रस्तावित करते हैं जहाँ सिम्बोलिक स्ट्रक्चर, कोएफिशिएंट्स और एक गॉसियन प्रोसेस (GP) करेक्शन पर अनिश्चितता (uncertainty) रखी जाती है। यह मॉडल को तब तक कई प्रतिस्पर्धी स्पष्टीकरणों को बनाए रखने की अनुमति देता है जब डेटा एक एकल नियम को निर्णायक रूप से पहचानने के लिए अपर्याप्त हो।

3. मुख्य सैद्धांतिक अंतर्दृष्टि (Key Theoretical Insights)

• प्रेडिक्टिव कोऑर्डिनेट्स की नॉन-आइडेंटिफिएबिलिटी: प्रेडिक्टिव कोऑर्डिनेट्स अद्वितीय नहीं होते; कोई भी इनवर्टिबल ट्रांसफॉर्मेशन लेटेंट स्पेस में भविष्यवाणी की सटीकता को बनाए रखता है। हालाँकि, ट्रांजिशन लॉ की सिम्बोलिक कॉम्प्लेक्सिटी विभिन्न कोऑर्डिनेट सिस्टम्स में भिन्न होती है। ऑपरेटर कम्प्रेशन एक इंडक्टिव बायस के रूप में कार्य करता है जो उन कोऑर्डिनेट्स को चुनता है जहाँ ट्रांजिशन सबसे सरल होता है।
• द कोलैप्स शॉर्टकट (The Collapse Shortcut): रिप्रेजेंटेशन कंस्ट्रेंट्स के बिना, ऑपरेटर कॉम्प्लेक्सिटी को कम करना रिप्रेजेंटेशन कोलैप्स के लिए एक सीधा शॉर्टकट बनाता है। एनकोडर सभी ऑब्जर्वेशन्स को एक कांस्टेंट वेक्टर $z_0$ में मैप कर सकता है, जिससे आइडेंटिटी प्रेडिक्टर शून्य एरर और शून्य कॉम्प्लेक्सिटी के साथ प्राप्त कर लेता है। रिप्रेजेंटेशन कंस्ट्रेंट्स इस कोलैप्स को रोकने के लिए आवश्यक हैं।
• एलोकेशन कंट्रोल: सिम्बोलिक और न्यूरल कंपोनेंट्स के बीच का विभाजन केवल प्रेडिक्शन लॉस द्वारा आइडेंटिफिएबल नहीं है। करेक्शन टर्म पर रेगुलराइजेशन ($R_{corr}$) आवश्यक है ताकि न्यूरल कंपोनेंट उन डायनेमिक्स को सोखने से रोका जा सके जिन्हें सिम्बोलिक व्याकरण व्यक्त कर सकता था, जिससे यह सुनिश्चित हो सके कि सिम्बोलिक लॉ प्रमुख तंत्र (mechanism) को बनाए रखे।

4. प्रायोगिक परिणाम (Experimental Results)

लेखक नियंत्रित पेंडुलम प्रयोगों का उपयोग करके फ्रेमवर्क को सत्यापित करते हैं।

प्रयोग 1: जॉइंट कोऑर्डिनेट और इक्वेशन लर्निंग

• सेटअप: एक पेंडुलम सिस्टम जिसमें हाई-डायमेंशनल, नॉइजी ऑब्जर्वेशन्स हैं। न्यूरल JEPA, पोस्ट-हॉक सिम्बोलिक रिग्रेशन (फ्रोजन न्यूरल JEPA कोऑर्डिनेट्स पर फिटिंग), और SJEPA (जॉइंट लर्निंग) की तुलना की गई।
• निष्कर्ष:
  • सादगी: जॉइंट SJEPA ने पोस्ट-हॉक फिटिंग की तुलना में मीन सिम्बोलिक कॉम्प्लेक्सिटी को लगभग 5.6 गुना कम कर दिया (26.0 से 4.67 तक)।
  • सटीकता: SJEPA ने पोस्ट-हक सिम्बोलिक रिग्रेशन की तुलना में काफी कम फिजिकल-स्टेट रोलआउट एरर और OOD डाइवर्जेंस हासिल किया, हालांकि फ्लेक्सिबल न्यूरल JEPA रॉ प्रेडिक्शन में सबसे सटीक रहा।
  • कोलैप्स वेरिफिकेशन: एक अनकन्स्ट्रेंड वन-स्टेप डायग्नोस्टिक (रिप्रेजेंटेशन कंस्ट्रेंट्स को हटाकर) ने लगभग कांस्टेंट एम्बेडिंग्स और एक ज़ीरो वेक्टर फील्ड का परिणाम दिया, जो सैद्धांतिक कोलैप्स शॉर्टकट की पुष्टि करता है।

प्रयोग 2: ग्रामर मिसस्पेसिफिकेशन के तहत हाइब्रिड डायनेमिक्स

• सेटअप: वास्तविक डायनेमिक्स में क्वाड्रेटिक ड्रैग ($p|p|$) शामिल था, लेकिन सिम्बोलिक व्याकरण को जानबूझकर इस टर्म को बाहर रखने के लिए प्रतिबंधित किया गया था।
• निष्कर्ष:
  • रेगुलराइजेशन प्रभाव: करेक्शन रेगुलराइजेशन के साथ, सिम्बोलिक कंपोनेंट ने रिप्रेजेंट करने योग्य टर्म्स (जैसे, $\sin(q)$) को बनाए रखा, और न्यूरल करेक्शन ने रेसिड्यूल ड्रैग पर ध्यान केंद्रित किया। नॉर्मलाइज्ड करेक्शन-एनर्जी रेश्यो कम (0.06) था।
  • रेगुलराइजेशन के बिना: अनरेगुलराइज्ड हाइब्रिड ने न्यूरल करेक्शन को रिप्रेजेंट करने योग्य डायनेमिक्स को सोखने की अनुमति दी, जिससे सिम्बोलिक कोएफिशिएंट्स कम हो गए और करेक्शन-एनर्जी रेश्यो बढ़कर 0.55 हो गया।
  • निष्कर्ष: रेगुलराइजेशन सफलतापूर्वक एलोकेशन को नियंत्रित करता है, रिप्रेजेंट करने योग्य डायनेमिक्स के लिए सिम्बोलिक मैकेनिज्म को सुरक्षित रखता है और रेसिड्यूल्स के लिए न्यूरल कंपोनेंट का उपयोग करता है।

5. महत्व और दावे

लेखक दावा करते हैं कि SJEPA, JEPA परिवार के भीतर एक पूरक दिशा (complementary direction) प्रदान करता है, जो मानक न्यूरल प्रेडिक्टर्स या पोस्ट-हॉक सिम्बोलिक फिटिंग से अलग है।

• नियंत्रणीय ट्रेड-ऑफ: SJEP का दावा फ्लेक्सिबल न्यूरल नेटवर्क्स की तुलना में रॉ प्रेडिक्टिव सटीकता पर सार्वभौमिक श्रेष्ठता का नहीं है। इसके बजाय, यह प्रेडिक्टिव फिडेलिटी, रिप्रेजेंटेशन क्वालिटी, सिम्बोलिक पार्सिमनी और सिम्बोलिक-न्यूरल एलोकेशन के बीच एक नियंत्रणीय ट्रेड-ऑफ प्रदान करता है।
• एलिगेंट डायनेमिक्स: यह प्रदर्शित करता है कि ऑपरेटर कम्प्रेशन उन प्रेडिक्टिव कोऑर्डिनेट्स को चुन सकता है जिनके प्रेरित (induced) डायनेमिक्स सरल लेकिन पर्याप्त हैं, बशर्ते रिप्रेजेंटेशन कंस्ट्रेंट्स कोलैप्स को रोकें।
• व्याख्यात्मकता (Interpretability): परिणामी मॉडल कॉम्पैक्ट, इंस्पेक्टेबल गवर्निंग लॉ (जैसे, ऑसिलेटर-लाइक क्रॉस-कपलिंग) प्रदान करते हैं जिन्हें डिफरेंशिएट, लीनियरलाइज़ और प्लानिंग के लिए उपयोग किया जा सकता है, जो अपारदर्शी न्यूरल प्रेडिक्टर्स के विपरीत है।
• मॉड्यूलरिटी: फ्रेमवर्क मॉड्यूलर है, जो अल्टरनेटिंग लर्निंग, फ्रोजन एनकोडर्स, बेयसियन अनसर्टेन्टी और एक्शन-कंडीशन्ड कंट्रोल का समर्थन करता है।

लेखक विनम्र रहते हुए नोट करते हैं कि उनके प्रयोग एक विशिष्ट सिस्टम (पेंडुलम) पर नियंत्रित डायग्नोस्टिक्स हैं, और हाई-डायमेंशनल विजुअल डेटा, वास्तविक दुनिया के वैज्ञानिक डेटासेट और जटिल कंट्रोल टास्क पर सामान्यीकरण (generalization) भविष्य का कार्य है। प्राथमिक योगदान "सरलतम पर्याप्त डायनेमिक्स सीखने" को ऑपरेटर कम्प्रेशन और रिप्रेजेंटेशन इंटीग्रिटी को संतुलित करने वाले एक कंस्ट्रेंड ऑप्टिमाइज़ेशन प्रॉब्लम के रूप में औपचारिक बनाना है।