तकनीकी सारांश: एक पोस्टीरियर-वेटेड गाऊसी प्रोसेस द्वारा लगभग आवधिक समय श्रृंखला का जनरेटिव मॉडलिंग

1. समस्या विवरण

औद्योगिक और साइबर-फिजिकल सिस्टम (जैसे कि रोबोटिक असेंबली लाइन) में असतत स्वचालित प्रक्रियाएं अक्सर लगभग आवधिक व्यवहार (approximately periodic behavior) प्रदर्शित करती हैं। जबकि क्रमिक पुनरावृत्तियाँ (successive repetitions) एक सामान्य प्रक्षेपवक्र (trajectory) का अनुसरण करती हैं, वे शोर (noise), टूट-फूट और पर्यावरणीय उतार-चढ़ाव के कारण अवधि, आयाम और सूक्ष्म-स्तरीय गतिकी में भिन्न होती हैं।

इन प्रक्रियाओं को गाऊसी प्रोसेस (GPs) के साथ मॉडल करना एक विशिष्ट चुनौती पेश करता है:

• सख्त आवधिक मॉडल (Strictly periodic models) सटीक पुनरावृत्ति को लागू करते हैं, जिससे वास्तविक डेटा में पाई जाने वाली आवश्यक अंतर-पुनरावृत्ति परिवर्तनशीलता (inter-repetition variability) दब जाती है।
• गैर-आवधिक मॉडल (Non-periodic models) उन मजबूत संरचनात्मक नियमितताओं को पकड़ने में विफल रहते हैं जो दीर्घकालिक पीढ़ी (long-term generation) के लिए आवश्यक हैं।
• मौजूदा अर्ध-आवधिक दृष्टिकोण (Existing quasi-periodic approaches) अक्सर सटीक आवधिकता को लागू करते हैं या लंबे क्षितिज (horizons) पर माध्य ह्रास (mean decay) और विचरण वृद्धि (variance inflation) पेश करते हैं, जो एक जनरेटिव मॉडल के रूप में उनकी उपयोगिता को सीमित करते हैं।

लक्ष्य एक स्टोकेस्टिक जनरेटिव मॉडल विकसित करना है जो पुनरावृत्तियों की मनचाही लंबी श्रृंखलाओं को उत्पन्न कर सके, जो प्रक्रिया के विशिष्ट आकार को संरक्षित करते हुए प्रत्येक पुनरावृत्ति के बीच सुचारू और नियंत्रित भिन्नता की अनुमति दे।

2. कार्यप्रणाली

लेखक एक दो-चरणीय निर्माण (two-stage construction) प्रस्तावित करते हैं जो इंट्रा-रेपिटिशन संरचना को इंटर-रेपिटिशन परिवर्तनशीलता से अलग करता है। मुख्य नवाचार यह है कि यह भारित प्रायर (weighted priors) से जुड़ी दोषपूर्ण व्यवहारों से बचने के लिए प्रायर के बजाय पोस्टीरियर (posterior) को मॉड्युलेट करता है।

चरण 1: एक स्थिर पुनरावृत्ति टेम्पलेट सीखना

पहला चरण एक सख्त आवधिक GP प्रायर का उपयोग करके इंट्रा-रेपिटिशन सांख्यिकी को मॉडल करता है।

• धारणा: प्रेक्षित पुनरावृत्तियाँ $y_1, \dots, y_r$ को एक ही अंतर्निहित आवधिक प्रक्रिया के (आंशिक रूप से) स्वतंत्र यथार्थ (realizations) के रूप में माना जाता है जो सामान्य हाइपरपैरामीटर साझा करते हैं।
• कर्नेल (Kernel): एक आवधिक कर्नेल $k_\theta$ का उपयोग किया जाता है, जहाँ इनपुट को एक वृत्त (circle) पर एम्बेड किया जाता है।
• प्रशिक्षण रणनीति: इस समस्या को संबोधित करने के लिए कि फैक्टराइज्ड लाइकलीहुड के तहत स्वतंत्र पुनरावृत्तियों से शोर विचरण (noise variance) $\sigma^2_\theta$ की पहचान नहीं की जा सकती, लेखक एक मिनी-बैच प्रशिक्षण रणनीति का उपयोग करते हैं। नेगेटिव लॉग-लाइक्लीहुड (NLL) का मूल्यांकन कई पुनरावृत्तियों के छोटे बैचों पर किया जाता है। यह मॉडल को अंतर-पुनरावृत्ति विविधताओं की व्याख्या करने के लिए मजबूर करता है, जिससे शोर विचरण का अनुमान स्थिर हो जाता है।
• पोस्ट-ट्रेनिंग एडजस्टमेंट: पोस्टीरियर निर्माण के दौरान, पुनरावृत्तियों को एक ही लेटेंट फंक्शन के अवलोकनों के रूप में माना जाता है ताकि वैश्विक स्थानिक संरचना (global spatial structure) बनी रहे। अनिश्चितता के कृत्रिम क्षरण (साक्ष्य के संचय के कारण) को रोकने के लिए, शोर विचरण $\sigma^2_\theta$ को प्रभावी पुनरावृत्तियों की संख्या द्वारा रीस्केल किया जाता है।

चरण 2: पोस्टीरियर वेटिंग (Posterior Weighting)

दूसरा चरण प्रायर कर्नेल को बदलने के बजाय सीधे पोस्टीरियर कोवेरिएंस (posterior covariance) को संशोधित करके अंतर-पुनरावृत्ति सहसंबंधों को पेश करता है।

• तंत्र: एक नवीन वेट कर्नेल $w_\psi$ (एक एम्बेडिंग स्पेस में गाऊशियन कर्नेल) को चरण 1 में प्राप्त पोस्टीरियर कोवेरिएंस मैट्रिक्स $\hat{\Sigma}_\theta$ पर एलिमेंट-वाइज मल्टीप्लिकेशन (Schur product) के माध्यम से लागू किया जाता है।
  $$\Sigma_\psi := W_\psi \odot \hat{\Sigma}_\theta + \sigma^2_\psi I$$
• वेट कर्नेल डिज़ाइन: वेट कर्नेल $w_\psi$ एक विशिष्ट एम्बेडिंग $\phi(t)$ का उपयोग करता है जिसमें एक स्क्वेर्ड साइन फंक्शन का इंटीग्रल शामिल है। यह सुनिश्चित करता है कि कर्नेल के डेरिवेटिव्स पूर्णांक आवर्त (integer multiples of the period) पर शून्य हों, जिससे अनचाहे फेज शिफ्ट (phase shifts) को रोका जा सके।
• जनरेटिव मॉडल: अंतिम जनरेटिव डिस्ट्रीब्यूशन को इस प्रकार परिभाषित किया गया है:
  $$\gamma \sim \mathcal{N}(\hat{\mu}_\theta, \Sigma_\psi)$$
  जहाँ $\hat{\mu}_\theta$ चरण 1 से प्राप्त माध्य है (अपरिवर्तित), और $\Sigma_\psi$ मॉड्युलेटेड कोवेरिएंस है।
• तर्क:
  • माध्य को अपरिवर्तित रखने से यह सुनिश्चित होता है कि माध्य संरचना सभी पुनरावृत्तियों में समान है, जो संरचनात्मक निरंतरता की आवश्यकता को पूरा करती है।
  • कोवेरिएंस को मॉड्युलेट करने से स्थानीय अनिश्चितता सुरक्षित रहती है, जबकि यह सुनिश्चित होता है कि दूरस्थ पुनरावृत्तियों के बीच सहसंबंध धीरे-धीरे शून्य की ओर घटते हैं।
  • यह दृष्टिकोण एक भारित आवधिक प्रायर का उपयोग करने से होने वाले "दोषपूर्ण व्यवहार" (pathology) से बचता है, जो समय के साथ प्रेडिक्टिव मीन को शून्य की ओर ले जाता और वेरिएंस को बढ़ा देता है।

3. प्रमुख योगदान

1. नवीन जनरेटिव मॉडल: आवधिक मल्टीवेरिएट टाइम सीरीज़ के लिए आधारित एक स्टोकेस्टिक जनरेटिव मॉडल जो मनचाही कई पुनरावृत्तियों का समर्थन करता है।
2. दो-चरणीय निर्माण: एक विधि जो एक स्थिर आवधिक टेम्पलेट सीखने (चरण 1) को नियंत्रित अंतर-पुनरावृत्ति परिवर्तनशीलता (चरण 2) में डालने से अलग करती है।
3. पोस्टीरियर मॉड्यूलेशन: लॉन्ग-होरिजन स्थिरता प्राप्त करने के लिए एक कर्नेल-मॉड्यूलेटेड पोस्टीरियर (न कि भारित प्रायर) का परिचय, जो यह सुनिश्चित करता है कि माध्य सुसंगत बना रहे जबकि कोवेरिएंस समानता के स्वाभाविक क्षय को दर्शाता है।
4. मिनी-बैच प्रशिक्षण रणनीति: स्वतंत्र पुनरावृत्तियों की उपस्थिति में शोर विचरण के अनुमान को स्थिर करने के लिए एक तकनीक।
5. व्यावहारिक कार्यान्वयन: टॉय डेटासेट्स (जिसमें मल्टी-डायमेंशनल मामलों के लिए लिनियर मॉडल्स ऑफ कोरिजनिलाइजेशन (LMC) शामिल हैं) से यथार्थवादी सिंथेटिक प्रक्षेपवक्र उत्पन्न करने की क्षमता का प्रदर्शन।

4. प्रयोगात्मक परिणाम

मॉडल का मूल्यांकन वेटेड-पीरियॉडिक GPs से उत्पन्न सिंथेटिक डेटासेट्स पर किया गया, जिसमें नॉइलेस और नॉइजी परिदृश्य, साथ ही 2-डायमेंशनल डेटा शामिल था।

• बैच साइज संवेदनशीलता: प्रयोगों ने दिखाया कि चरण 1 में अनुमानित विचरण $\sigma^2_\theta$ मिनी-बैच आकार $|B|$ पर अत्यधिक निर्भर है। $|B|=1$ के साथ, विचरण शून्य की ओर गिर जाता है। जैसे-जैसे $|B|$ बढ़ता है, अनुमान स्थिर होता है, जो अंतर्निहित परिवर्तनशीलता को सही ढंग से कैप्चर करता है।
• शोर हैंडलिंग: नॉइजी सेटिंग्स में, दूसरा-चरण का शोर पैरामीटर $\sigma^2_\psi$ ऑब्जर्वेशन नॉइज़ स्तरों के साथ बढ़ता है, जबकि पहला-चरण का शोर $\sigma^2_\theta$ अपेक्षाकृत स्थिर रहता है जब तक कि शोर का स्तर बहुत अधिक न हो जाए।
• मल्टी-आउटपुट क्षमता: मॉडल ने LMC का उपयोग करके 2-डायमेंशनल डेटा के लिए सफलतापूर्वक विस्तार किया, जो विभिन्न चक्रों में परिवर्तन की डिग्री (जैसे, मूल (origin) को पार करते समय उच्च विचरण) को कैप्चर करता है।
• प्रदर्शन: मॉडल ने प्रेडिक्टिव मीन और टेस्ट मीन के बीच कम मीन स्क्वेर्ड एरर (MSE) प्राप्त किया, और पॉइंटवाइज स्टैंडर्ड डेविएशन को सटीक रूप से मॉडल किया।

5. महत्व और दावे

यह पेपर दावा करता है कि प्रायर के बजाय GP के पोस्टीरियर को संशोधित करना जनरेटिव उद्देश्यों के लिए लगभग आवधिक प्रक्रियाओं को मॉडल करने का एक सिद्धांत आधारित तरीका प्रदान करता है।

• स्थिरता: मॉडल लॉन्ग-होरजन जनरेटिव स्टेबिलिटी प्राप्त करता है, जो अन्य क्वाज़ी-पीरियडिक दृष्टिकोणों में देखे जाने वाले मीन डिके या वेरिएंस इन्फ्लेशन के बिना मनचाही लंबी श्रृंखलाएं उत्पन्न करने में सक्षम है।
• व्याख्यात्मकता (Interpretability): माध्य (स्ट्रिक्टली पीरियडिक) को कोवेरिएंस (डिकेइंग कोरिलेशन) से अलग करके, मॉडल GP की व्याख्यात्मकता और कैलिब्रेटेड अनिश्चितता को बनाए रखता है।
• अनुप्रयोग: लेखक उन विशिष्ट व्यावहारिक अनुप्रयोगों की पहचान करते हैं जहाँ यह स्थिरता और व्याख्यात्मकता महत्वपूर्ण है:
  • यूनिट टेस्टिंग के लिए यथार्थवादी सिंथेटिक डेटा का निर्माण।
  • डिजिटल ट्विन्स का निर्माण।
  • औद्योगिक प्रणालियों में हनीपॉट्स (honeypots) को पॉपुलेट करना।
  • सीखे गए सांख्यिकी से विचलन को मात्रात्मक रूप से मापकर संभावना-आधारित विसंगति का पता लगाना (anomaly detection)।

लेखक भविष्य के कार्य के संबंध में विनम्र हैं, यह नोट करते हुए कि बड़ी संख्या में पुनरावृत्तियों तक स्केल करने के लिए स्पार्स या एप्रोक्सिमेट इन्फरेंस तकनीकों की आवश्यकता होगी, और वास्तविक-वर्ल्ड इंडस्ट्रियल डेटासेट्स पर व्यवस्थित मूल्यांकन की आवश्यकता है।