तकनीकी सारांश: गैर-गॉसियनता (Non-Gaussianity) के बिना पहचान क्षमता (Identifiability)

समस्या विवरण

यह शोध पत्र वर्ल्ड मॉडल्स (World Models) की सामयिक निरंतरता (temporal consistency) में एक मौलिक सीमा को संबोधित करता है। जबकि जेपा (JEPAs - Joint-Embedding Predictive Architectures) ने विशिष्ट परिस्थितियों में गुप्त चरों (latent variables) को पुनः प्राप्त करने में सफलता प्रदर्शित की है, क्लिन्ट, लेकन और बालेस्ट्रिएरो [1] के हालिया कार्य ने यह स्थापित किया कि जेपा में रैखिक पहचान क्षमता (linear identifiability - वास्तविक गुप्त चरों की रैखिक रिकवरी) तभी संभव है यदि और केवल यदि विश्व की गुप्त गतिकी (latent dynamics) एक गॉसियन, स्थिर प्रक्रिया (विशेष रूप से एक ऑर्नस्टीन-उहलेनबेक ट्रांज़िशन) का पालन करती हो।

लेखक तर्क देते हैं कि यह गॉसियन सीमा भौतिक मॉडलिंग पर एक गंभीर प्रतिबंध लगाती है। वैज्ञानिक रुचि के अधिकांश भौतिक तंत्र (जैसे कि प्रक्षेप्य/projectiles, चरण परिवर्तन, अशांत प्रवाह) गैर-गॉसियन और गैर-मीन-रिवर्टिंग (non-mean-reverting) होते हैं। इन प्रणालियों के लिए, वर्तमान वर्ल्ड मॉडल्स द्वारा उपयोग किए जाने वाले सांख्यिकीय संरेखण तंत्र (statistical alignment mechanisms) एक ऐसी प्रतिनिधित्व त्रुटि (representation error) उत्पन्न करते हैं जो समय के साथ निरंतर बढ़ती है। फलस्वरूप, सांख्यिकीय वर्ल्ड मॉडल्स का एक सीमित "सामयिक क्षितिज" (temporal horizon) होता है जिसके बाद भविष्यवाणियां अविश्वसनीय हो जाती हैं, चाहे मॉडल की क्षमता या डेटा की मात्रा कितनी भी क्यों न हो। यह शोध पत्र यह निर्धारित करने का प्रयास करता है कि क्या गैर-गॉसियन प्रणालियों के लिए लगभग अनंत सामयिक निरंतरता प्राप्त करना संभव है, और यदि हाँ, तो किन वास्तुशिल्प गुणों (architectural properties) की आवश्यकता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र सांख्यिकीय संरेखण के विकल्प के रूप में फिजिक्स-ग्राउंडेड सिम्बोलिक आर्किटेक्चर (PGSA) को प्रस्तुत और औपचारिक रूप देता है। इसकी कार्यप्रणाली तीन मुख्य परिभाषाओं पर आधारित है:

1. एटम रजिस्ट्री (Atom Registry): ज्ञात भौतिक नियमों का एक परिमित सेट ($A$), जो सुपरिभाषित डोमेन वाले नियत (deterministic), निष्पादनीय कार्यों का प्रतिनिधित्व करता है।
2. स्टेट ग्राफ (State Graph): एक निर्देशित ग्राफ (directed graph) जहाँ नोड्स टाइप किए गए भौतिक चरों (द्रव्यमान, वेग, आदि) का प्रतिनिधित्व करते हैं और किनारे (edges) रजिस्ट्री से उन एटम्स द्वारा लेबल किए गए हैं जो एक चर को दूसरे से कंप्यूट करते हैं।
3. कॉज़ल बेसिस (Causal Basis): वह स्थिति जहाँ एटम रजिस्ट्री में ऐसे एटम्स का संयोजन होता है जो डोमेन के एक सघन उपसमुच्चय (dense subset) पर विश्व के वास्तविक ट्रांज़िशन फंक्शन $W$ की सटीक नकल करता है।

लेखक इनकी तुलना सांख्यिकीय वर्ल्ड मॉडल्स (पिक्सेल-स्पेस, लेटेंट-स्पेस और ट्रांसफार्मर-आधारित मॉडल सहित) से करते हैं, जो स्पेक्ट्रल एलाइनमेंट या वेरिएशनल ऑब्जेक्टिव्स के माध्यम से प्रतिनिधित्व सीखते हैं।

अपने सैद्धांतिक दावों को मान्य करने के लिए, लेखक:

• प्रमाणों को औपचारिक रूप देते हैं: प्रमेय 2, 3, 4 और 7 के बीजगणितीय कोर को Lean 4 (Mathlib4 v4.31.0) का उपयोग करके बिना किसी "sorry" प्लेसहोल्डर के औपचारिक रूप दिया गया है।
• अनुभवजन्य तुलना (Empirical Comparison): वे सात भौतिक प्रणालियों (कंजर्वेटिव हार्मोनिक ऑसिलेटर से लेकर अराजक लोरेन्ज़ अट्रैक्टर तक) और चार इंजीनियरिंग प्रणालियों (सोलेनोइड, प्लेट, कैंटिलीवर, हीट सिंक) का अनुकरण करते हैं।
• मेट्रिक्स: वे वास्तविक लेटेंट्स के विरुद्ध इष्टतम आइसोट्रोपिक-गॉसियन प्रतिनिधित्व की रैखिक पहचान क्षमता ($R^2$) को मापते हैं और उस सामयिक क्षितिज ($T^*$) की गणना करते हैं जहाँ त्रुटि एक निश्चित सहनशीलता $\delta$ से अधिक हो जाती है।

मुख्य योगदान

1. पहचान क्षमता और निरंतरता के सैद्धांतिक प्रमाण

पेपर PGSA के संबंध में तीन प्राथमिक परिणाम सिद्ध करता है:

• प्रमेय 2 (सिम्बोलिक आइडेंटिफिएबिलिटी): यदि एटम रजिस्ट्री में विश्व जनरेटर के लिए एक कॉज़ल बेसिस है, तो PGSA सभी भौतिक व्यवस्थाओं के लिए सटीक रैखिक पहचान क्षमता ($h(z)=z$) और शून्य सिंगल-स्टेप त्रुटि ($\epsilon_1=0$) प्राप्त करता है, चाहे लेटेंट वितरण $p(z)$ कुछ भी हो।
• प्रमेय 3 (लगभग अनंत सामयिक निरंतरता): एक PGSA के लिए, $t$ चरणों में संचित त्रुटि केवल मशीन प्रिसिजन ($\mu$) और सिस्टम के लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) द्वारा सीमित है: $\epsilon_t \le t \cdot \mu \cdot \|W\|_{Lip}^t$। गैर-अराजक (non-chaotic) प्रणालियों के लिए, यह त्रुटि सहनशीलता से अधिक होने से पहले अनगिनत ट्रांज़िशन की अनुमति देता है।
• प्रमेय 4 (सांख्यिकीय सामयिक सीमा): इसके विपरीत, किसी भी गैर-गॉसियन सिस्टम पर स्पेक्ट्रल एलाइनमेंट के माध्यम से प्रशिक्षित सांख्यिकीय वर्ल्ड मॉडल के लिए, एक सीमित समय $T^*$ मौजूद है जिसके बाद त्रुटि किसी भी निश्चित सहनशीलता से अधिक हो जाती है। यह क्षितिज गॉसियन प्रायर द्वारा प्रेरित प्रतिनिधित्व पूर्वाग्रह (representation bias) $\kappa(p)$ द्वारा निर्धारित होता है, न कि मॉडल क्षमता द्वारा।

2. विफलता का तंत्र: प्रतिनिधित्व पूर्वाग्रह का प्रसार (Representation Bias Propagation)

पेपर यह समझाने के लिए लेम्मा 1 (रिप्रेजेंटेशन बायस प्रोपेगेशन) पेश करता है कि सांख्यिकीय मॉडल समय के साथ क्यों विफल होते हैं। यह प्रदर्शित करता है कि गैर-पहचान योग्य प्रतिनिधित्व एक अवस्था-निर्भर पूर्वाग्रह $b(z)$ स्थापित करते हैं जिसे मॉडल हटा नहीं सकता है। क्योंकि ट्रांज़िशन ऑपरेटर हर चरण में इस पक्षपाती अवस्था ($z + b(z)$) पर कार्य करता है, इसलिए त्रुटि योगात्मक रूप से (या अराजक प्रणालियों में तेजी से) बढ़ती है। इसके विपरीत, एक PGSA $t=0$ पर एक बार का धारणात्मक (perceptual) त्रुटि चुकाता है लेकिन उसके बाद वास्तविक अवस्था पर कार्य करता है, जिससे संचित पूर्वाग्रह रुक जाता है।

3. प्रतिमानों (Paradigms) की औपचारिक तुलना

लेखक सामयिक निरंतरता क्षितिज का एक सख्त क्रम स्थापित करते हैं (प्रमेय 5):
$$T^*_{\pi} \le T^*_{stat} < T^*_{PGSA}$$

• पिक्सेल-स्पेस मॉडल नॉन-इंजेक्टिव रेंडरिंग (प्रपोजिशन 8) के कारण संरचनात्मक रूप से विफल होते हैं।
• लेटेंट-स्पेस सांख्यिकीय मॉडल (सांख्यिकीय रूप से संरेखित लेटेंट्स वाले ट्रांसफॉर्मर सहित) सांख्यिकीय सीमा $T^*_{stat} = \delta / \kappa(p)$ द्वारा सीमित हैं।
• PGSA केवल मशीन प्रिसिजन $\mu$ द्वारा सीमित है, जो सांख्यिकीय मॉडलों की तुलना में क्षितिज अनुपात $\kappa(p)/\mu$ (सामान्य प्रणालियों के लिए लगभग $10^{13}$) प्रदान करता है।

4. अनुमानित पहचान क्षमता (Approximate Identifiability)

प्रमेय 7 एक अपूर्ण एटम रजिस्ट्री के मामले को संबोधित करता है। यह सिद्ध करता है कि यदि रजिस्ट्री केवल अज्ञात गतिकी ($W_{known}$) के हिस्से को कवर करती है, तो त्रुटि अज्ञात अवशेष ($W_{unknown}$) के परिमाण द्वारा सीमित होती है। महत्वपूर्ण रूप से, रजिस्ट्री में नए एटम्स जोड़ना बिना पुन: प्रशिक्षण (retraining) के त्रुटि को एकतोरतः (monotonically) कम करता है, जो सांख्यिकीय मॉडल्स के विपरीत है जिन्हें नया भौतिक ज्ञान शामिल करने के लिए पूर्ण पुन: प्रशिक्षण की आवश्यकता होती है।

परिणाम

• रैखिक पहचान क्षमता: सात भौतिक प्रणालियों पर अनुभवजन्य माप पुष्टि करते हैं कि जैसे-जैसे सिस्टम गॉसियनता से दूर जाता है, रैखिक पहचान क्षमता कम होती जाती है। गैर-अराजक प्रणालियों ने $R^2 \approx 0.90$ दिखाया, जबकि अराजक प्रणालियाँ गॉसियन के करीब ($R^2 \approx 0.99$) थीं लेकिन लियापुनोव अस्थिरता (Lyapunov instability) द्वारा सीमित थीं।
• सामयिक क्षितिज (Temporal Horizons):
  • पाँच गैर-अराजक प्रणालियों के लिए, PGSA क्षितिज मशीन-प्रिसिजन बाउंड ($\approx 4.5 \times 10^{13}$ स्टेप्स) था।
  • दो अराजक प्रणालियों के लिए, क्षितिज लियापुनोव समय ($\approx 31$ लियापुनोव टाइम्स) द्वारा सीमित था, जो एक मौलिक भौतिक सीमा है न कि वास्तुशिल्प सीमा।
  • सांख्यिकीय मॉडल्स (पिक्सेल, लेटेंट, ट्रांसफार्मर) को उनकी गैर-गॉसियनता के कारण कई गुना कम क्षितिज वाले दिखाया गया।
• इंजीनियरिंग सत्यापन: PGSA दृष्टिकोण को चार इंजीनियरिंग प्रणालियों (मैग्नेटोस्टैटिक्स, मोडल एनालिसिस, स्टैटिक स्ट्रक्चरल, थर्मल) पर मान्य किया गया, जिसने परिमित-तत्व सहनशीलता (finite-element tolerance) के भीतर क्लोज्ड-फॉर्म समाधानों को पुनरुत्पादित किया।

महत्व और दावे

यह शोध पत्र दावा करता है कि विश्व की गतिकी के कॉज़ल जनरेटर में सिम्बोलिक ग्राउंडिंग (symbolic grounding) ही लगभग अनंत सामयिक निरंतरता प्राप्त करने के लिए पर्याप्त (और गैर-गॉसियन शासन के लिए एकमात्र) शर्त है।

मुख्य दावे शामिल हैं:

1. सांख्यिकीय संरेखण अपर्याप्त है: गैर-गॉसियन भौतिक प्रणालियों के लिए, कोई भी मॉडल क्षमता या डेटा सांख्यिकीय संरेखण उद्देश्यों द्वारा पेश किए गए संरचनात्मक पूर्वाग्रह को दूर नहीं कर सकता। "गॉसियन सीमा" सांख्यिकीय वर्ल्ड मॉडल्स के लिए एक कठोर सीमा है।
2. आर्किटेक्चर क्षितिज निर्धारित करता है: वर्ल्ड मॉडल की सामयिक निरंतरता इस बात से निर्धारित होती है कि त्रुटि सिस्टम में कहाँ प्रवेश करती है। सांख्यिकीय मॉडल हर चरण में प्रतिनिधित्व पूर्वाग्रह को फिर से लागू करते हैं; PGSA एक एकल सीमित धारणात्मक त्रुटि को अमोर्टाइज (amortize) करता है।
3. ट्रांसफॉर्मर रामबाण नहीं हैं: ट्रांसफार्मर-आधारित वर्ल्ड मॉडल्स, जब वे सांख्यिकीय रूप से संरेखित लेटेंट्स पर निर्भर होते हैं (जैसा कि सोरा, जेनी, कॉसमॉस और ड्रीमर के मामले में है), वे लेटेंट-स्पेस मॉडल्स के समान ही सांख्यिकीय सीमा के अधीन होते हैं। अटेंशन मैकेनिज्म क्षितिज में स्थिरांक (constant) को बढ़ा सकते हैं लेकिन पूर्वाग्रह $\kappa(p)$ को समाप्त नहीं कर सकते।
4. रचनात्मक मार्ग: यह कार्य निष्पादन (execution) को सांख्यिकीय धारणा (statistical perception) से अलग करके दीर्घ-क्षितिज निरंतरता (long-horizon consistency) के लिए एक रचनात्मक मार्ग प्रदान करता है, बशर्ते कि एक कॉज़ल बेसिस (एटम रजिस्ट्री) मौजूद हो।

लेखक स्पष्ट रूप से कहते हैं कि वे यह दावा नहीं करते कि सिम्बोलिक आर्किटेक्चर सभी संभावित भविष्य के मॉडलों की तुलना में सार्वभौमिक रूप से श्रेष्ठ है, बल्कि क्लिन्ट आदि द्वारा पहचाने गए अनुमानों के तहत, सांख्यिकीय पहचान क्षमता दीर्घ-क्षितज निरंतरता की गारंटी नहीं देती है, जबकि सिम्बोलिक कॉज़ल निष्पादन देता है।