तकनीकी सारांश: EM-कंप्रेसिबल ऑनलाइन अनुमान के लिए उच्च-क्रम संतुलन ट्रैकिंग (Higher-Order Equilibrium Tracking)

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र लेटेंट-वेरिएबल मॉडल्स में ऑनलाइन सांख्यिकीय अनुमान (online statistical estimation) की चुनौती को संबोधित करता है, जिसका लक्ष्य सीमित मेमोरी और कम्प्यूटेशनल बाधाओं के तहत बैच एस्टिमेटर्स (batch estimators) की दक्षता के बराबर पहुँचना है। मानक ऑनलाइन स्टोकेस्टिक एप्रोक्सिमेशन के विपरीत, जो एक निश्चित जनसंख्या पैरामीटर को लक्षित करता है, लेखक यह देखते हैं कि लेटेंट-वेरिएबल सेटिंग्स (जैसे, कोवेरियेंस एस्टीमेशन) में, "लक्ष्य" स्वयं गतिशील होता है।

$t$ अवलोकनों के बाद, रनिंग पर्याप्त सांख्यिकी (running sufficient statistic) $S_t$ एक फ्रोजन एम्पिरिकल ऑब्जेक्टिव $L_{S_t}$ को परिभाषित करती है। इस ऑब्जेक्टिव के स्थानीय मिनिमाइज़र द्वारा, जिसे $\Sigma^\circ(S_t)$ द्वारा दर्शाया गया है, एक फ्रोजन एम्पिरिकल इक्विलिब्रियम (frozen empirical equilibrium) बनता है। जैसे-जैसे डेटा स्ट्रीम विकसित होती है, $S_t$ विस्थापित (drift) होता है, जिससे इक्विलिब्रियम $\Sigma^\circ(S_t)$ एक मैनिफोल्ड पर धीरे-धीरे चलते हुए कर्व को ट्रैक करता है। ऑनलाइन अनुमान की समस्या को इस प्रकार एक चलते हुए इक्विलिब्रियम को ट्रैक करने के रूप में पुनर्गठित किया गया है।

मुख्य कठिनाई बैच एस्टिमेटर के सांख्यिकीय उतार-चढ़ाव (statistical fluctuation) को एल्गोरिथमिक ट्रैकिंग एरर से अलग करने में निहित है। मानक विश्लेषण अक्सर इन्हें मिला देते हैं, और परिमित क्षितिज (finite horizons) पर एम्पिरिकल बैच ऑप्टिमम और ऑनलाइन ट्रैकिंग लैग (tracking lag) को अलग करने में विफल रहते हैं।

कार्यप्रणाली (Methodology)

लेखक एक ढांचा प्रस्तावित करते हैं जो ऑनलाइन एस्टिमेट $\vartheta_T$ को (स्थानीय निर्देशांकों में) दो घटकों में विभाजित करता है:
$$\vartheta_T = r(S_T) + e_T$$
जहाँ $r(S_T)$ इक्विलिब्रियम ब्रांच (अंतिम सांख्यिकी पर फ्रोजन बैच टारगेट) है और $e_T$ ट्रैकिंग लैग है।

1. इक्विलिब्रियम-जेट प्रेडिक्टर-करैक्टर (Equilibrium-Jet Predictor-Corrector)

एल्गोरिदम (एल्गोरिदम 1) ट्रैकिंग लैग $e_T$ को कम करने के लिए एक दो-चरणीय तंत्र का उपयोग करता है:

• प्रेडिक्टर (Predictor): एक $m$-वें क्रम का इक्विलिब्रियम-जेट प्रेडिक्टर, रिस्पॉन्स मैप $r(S)$ के टेलर एक्सपेंशन (जेट) का उपयोग करके इक्विलिब्रियम ब्रांच के अगले विस्थापन को अनुमानित करता है। यह सांख्यिकीय इंक्रीमेंट $\Delta S_t$ के आधार पर टारगेट के ड्रिफ्ट का अनुमान लगाता है।
• करैक्टर (Corrector): एक ऑर्डर-$\nu$ फ्रोजन करैक्टर (जिसे डैम्प्ड इनएक्सैक्ट न्यूटन-कॉन्जुगेट ग्रेडिएंट स्टेप के रूप में लागू किया जाता है) अनुमानित अवस्था को नए फ्रोजन टारगेट की ओर संकुचित (contract) करता है।

सैद्धांतिक विश्लेषण से पता चलता है कि $m$-वें क्रम के प्रेडिक्टर को $\nu$-क्रम के करैक्टर के साथ संयोजित करने से $O(T^{-\nu(m+1)})$ की स्थानीय ट्रैकिंग दर प्राप्त होती है। उदाहरण के लिए, एक प्रथम-क्रम प्रेडिक्टर ($m=1$) एक न्यूटन करैक्टर ($\nu=2$) के साथ $O(T^{-2})$ की दर प्राप्त करता है।

2. EM-कंप्रेसिबिलिटी और EM-jetR-कंप्रेसिबिलिटी

इस पद्धति के लिए एक महत्वपूर्ण संरचनात्मक आवश्यकता यह है कि प्रेडिक्टर और करैक्टर को पूर्ण इतिहास के बजाय एक रिटेंड स्ट्रीमिंग स्टैटिस्टिक (retained streaming statistic) से गणना योग्य होना चाहिए। शोध पत्र दो शर्तों को औपचारिक रूप देता है:

• EM-कंप्रेसिबिलिटी: फ्रोजन स्कोर फंक्शन एक EM-शैली की पहचान के माध्यम से एक संकुचित पर्याप्त सांख्यिकी (compressed sufficient statistic) $C_t$ पर बंद होता है।
• EM-jetR-कंप्रेसिबिलिटी: एक अधिक मजबूत स्थिति जो यह सुनिश्चित करती है कि न केवल स्कोर, बल्कि स्कोर के सांख्यिकिक-दिशात्मक डेरिवेटिव (statistic-directional derivatives) भी, जो क्रम $R+1$ तक (उच्च-क्रम जेट्स और हेसियन-वेक्टर उत्पादों के लिए आवश्यक हैं), केवल संकुचित सांख्यिकी का उपयोग करके मूल्यांकित किए जा सकते हैं।

3. बैच-टू-ऑनलाइन ट्रांसफर थ्योरम (Batch-to-Online Transfer Theorem)

शोध पत्र एक ट्रांसफर थ्योरम स्थापित करता है: यदि ट्रैकिंग लैग $\|e_T\|_{L_2} = o(T^{-1/2})$ संतुष्ट करता है, तो ऑनलाइन एस्टिमेटर बैच CLT (Central Limit Theorem) और शार्प फर्स्ट-ऑर्डर रिस्क कांस्टेंट ($T^{-1} \text{tr}(V^*)$) को विरासत में प्राप्त करता है। इसका तात्पर्य यह है कि एक पर्याप्त सटीक ट्रैकर, समान डेटा पर गणना किए गए आदर्श बैच एस्टिमेटर की तुलना में कोई विषम (asymptotic) दंड नहीं उठाता है।

मुख्य योगदान (Key Contributions)

1. एम्पिरिकल-इक्विलिब्रियम फॉर्मूलेशन: लेखकों ने ऑनलाइन अनुमान को एक सांख्यिकीय-इंडेक्स्ड इक्विलिब्रियम ब्रांच को ट्रैक करने के रूप में पुनर्गठित किया, जो सांख्यिकीय उतार-चढ़ाव को एल्गोरिथमिक लैग से स्पष्ट रूप से अलग करता है।
2. उच्च-क्रम ट्रैकिंग दरें: वे प्रदर्शित करते हैं कि $m$-वें क्रम का प्रेडिक्टर $\nu$-क्रम के करैक्टर के साथ मिलकर $O(T^{-\nu(m+1)})$ की स्थानीय ट्रैकिंग दर प्राप्त करता है। विशेष रूप से, एक प्रथम-क्रम योजना $O(T^{-2})$ प्राप्त करती है।
3. संरचनात्मक स्थितियाँ (EM-कंप्रेसिबिलिटी): उन्होंने EM-कंप्रेसिबिलिटी और EM-jetR-कंप्रेसिबिलिटी को स्ट्रीमिंग सांख्यिकी से इक्विलिब्रियम रिस्पॉन्स और न्यूटन करेक्टर्स के मूल्यांकन के लिए आवश्यक संरचनात्मक स्थितियों के रूप में परिभाषित किया है।
4. ट्रांसफर थ्योरम: वे सिद्ध करते हैं कि कोई भी ऑनलाइन ट्रैकर जिसका टर्मिनल लैग $o(T^{-1/2})$ है, वह बैच CLT और इष्टतम रिस्क कांस्टेंट को विरासत में प्राप्त करता है।
5. लेटेंट लीनियर गॉसियन इंस्टेंशिएशन: सिद्धांत को लेटेंट लीनर गॉसियन कोवेरियेंस एस्टीमेशन के लिए लागू किया गया है। यहाँ, प्रथम-क्रम योजना एक संकुचित $d \times d$ सांख्यिकी पर कार्य करती है (जहाँ $d$ लेटेंट डायमेंशन है), जो अवलोकन डायमेंशन $p$ से स्वतंत्र है। लेखक स्पष्ट परिमित-नमूना रिस्क एनवेलप्स और एक प्रमाणित रीस्टार्ट नियम प्रदान करते हैं ताकि स्थानीय ट्रैकिंग रिजीम में प्रवेश सुनिश्चित हो सके।

परिणाम और सत्यापन (Results and Validation)

शोध पत्र सैद्धांतिक गारंटी और संख्यात्मक डायग्नोस्टिक्स दोनों प्रदान करता है:

• ट्रैकिंग ऑर्डर वेरिफिकेशन: स्केलर और लेटेंट गॉसियन मॉडल्स पर प्रयोग अनुमानित लॉग-लॉग स्लोप की पुष्टि करते हैं। एक प्रथम-क्रम प्रेडिक्टर न्यूटन करैक्टर के साथ $\approx -2.0$ का स्लोप देता है, जो $O(T^{-2})$ के सैद्धांतिक दर से मेल खाता है। उच्च क्रम ($m=2, \nu=3$) अनुमानित रूप से दरों में और सुधार करते हैं।
• डैम्पिंग सेंसिटिविटी: परिणाम दिखाते हैं कि फिक्स्ड डैम्पिंग ($\lambda > 0$) न्यूटन करैक्टर को ऑर्डर 2 से घटाकर ऑर्डर 1 कर देती है, जिससे ट्रैकिंग दर $T^{-2}$ से घटकर $T^{-1}$ हो जाती है।
• बैच-टू-ऑनलाइन ट्रांसफर: संख्यात्मक प्रयोग सत्यापित करते हैं कि $\sqrt{T}\|e_T\|_{L_2} \to 0$, जो ट्रांसफर कंडीशन को संतुष्ट करता है। फलस्वरूप, ऑनलाइन रिस्क $T \cdot E[d_h^2(\Sigma_T, \Sigma^*)]$ शार्प बैच कांस्टेंट $\text{tr}(J_*^{-1})$ के समान होता है, जो बैच एस्टिमेटर के प्रदर्शन से अभिन्न है।
• कम्प्यूटेशनल एफिशिएंसी: लेटेंट गॉसियन मामले में, ऑनलाइन स्टेप की लागत $O(pd + d^2 + (k_{pred} + k_{cor} + 1)d^3)$ है, जिसमें मेमोरी $O(pd + d^2)$ है, जो पिछले नमूनों के भंडारण से बचती है।

महत्व और दावे (Significance and Claims)

शोध पत्र प्रमाणित इक्विलिब्रियम रिजीम के लिए एक लोकल ट्रैकिंग और ट्रांसफर थ्योरी प्रदान करने का दावा करता है। यह मनमाने इनिशियलाइजेशन से वैश्विक अभिसरण (global convergence) का दावा नहीं करता है; बल्कि, यह एक रीस्टार्ट नियम (जैसे, लीनियर इनवर्स इनिशियलाइजेशन) पर निर्भर करता है ताकि उस स्थानीय पड़ोस में प्रवेश किया जा सके जहाँ इक्विलिब्रियम ब्रांच सुचारू (smooth) है और करैक्टर संकुचक (contractive) है।

इसका महत्व निम्नलिखित में निहित है:

• सैद्धांतिक एकीकरण: बैच एसिम्प्टोटिक्स और ऑनलाइन ट्रैकिंग के बीच के अंतर को पाटता है, बैच टारगेट को एक चलते हुए ऑब्जेक्ट के रूप में मानकर।
• संरचनात्मक अंतर्दृष्टि: यह पहचानना कि "EM-कंप्रेसिबिलिटी" केवल स्कोर के बारे में नहीं है, बल्कि स्कोर के डेरिवेटिव्स (जेट्स) की कंप्रेसिबिलिटी के बारे में भी है जो उच्च-क्रम ट्रैकिंग के लिए आवश्यक हैं।
• इष्टतमता: यह प्रदर्शित करना कि ऑनलाइन एस्टिमेटर्स, यदि उच्च-क्रम प्रेडिक्शन और करेक्शन के माध्यम से ट्रैकिंग लैग को नियंत्रित किया जाए, तो बिना पूर्ण डेटा स्टोरेज के बैच एस्टिमेटर्स के समान सटीक एसिम्प्टोटिक रिस्क कांस्टेंट प्राप्त कर सकते हैं।

लेखक इस कार्य को मेमोरी बाधाओं के तहत स्ट्रीमिंग डेटा के लिए प्रमाणित अभिसरण (certified contraction) और शार्प रिस्क गारंटी के साथ लेटेंट वेरिएबल मॉडल्स में ऑनलाइन कोवेरियेंस एस्टीमेशन के लिए एक मौलिक गणितीय सिद्धांत के रूप में प्रस्तुत करते हैं।