तकनीकी सारांश: अनियमित बहुभिन्नरूपी समय श्रृंखला (Irregular Multivariate Time Series) के लिए लेटेंट लाप्लास डिफ्यूजन (Latent Laplace Diffusion)

1. समस्या विवरण (Problem Statement)

अनियमित बहुभिन्नरूपी समय श्रृंखला (IMTS), जो स्वास्थ्य सेवा, जलवायु विज्ञान और वित्त में आम है, दीर्घ-क्षितिज पूर्वानुमान (long-horizon forecasting) के लिए एक मौलिक द्वंद्व प्रस्तुत करती है। मौजूदा दृष्टिकोण सामान्यतः तीन श्रेणियों में आते हैं, जिनमें से प्रत्येक की महत्वपूर्ण सीमाएँ हैं:

• डिस्क्रीट-टाइम पाइपलाइन्स (Discrete-time pipelines): ये विधियाँ डेटा को नियमित संरचना में इंटरपोलेट या री-ग्रिड करती हैं। हालांकि ये कुशल हैं, लेकिन आक्रामक री-ग्रिडिंग टेम्पोरल जानकारी को विकृत कर देती है और गंभीर अनियमितता के तहत लुप्तता (missingness) के अर्थ को धुंधला कर देती है।
• कंटीन्यूअस-टाइम मॉडल (जैसे Neural ODEs/CDEs): ये टाइमस्टैम्प को स्वाभाविक रूप से शामिल करते हैं लेकिन अनुक्रमिक संख्यात्मक एकीकरण (sequential numerical integration) पर निर्भर करते हैं। इससे गणनात्मक लागत बढ़ जाती है और लंबे क्षितिज पर त्रुटि संचय (drift) होता है, विशेष रूप से जब अंतराल बड़े हों।
• डिफ्यूजन/स्कोर-आधारित मॉडल (Diffusion/Score-based models): यद्यपि वे मजबूत अनिश्चितता मात्रा निर्धारण (uncertainty quantification) प्रदान करते हैं, अधिकांश मौजूदा समय-श्रृंखला डिफ्यूजन विधियाँ सीधे अवलोकन स्थान (observation space) में शोर कम (denoising) करती हैं। उनमें अक्सर स्पष्ट गतिशील संरचना या स्थिरता नियंत्रण का अभाव होता है, जिससे अनियमित सैंपलिंग के तहत दीर्घ-क्षितिज पीढ़ी नाजुक हो जाती है।

मुख्य चुनौती IMTS को इस तरह से मॉडल करने की है जो भौतिक समय और सैंपलिंग अंतराल का सम्मान करे, बिना अनियमितता को प्रीप्रोसेसिंग आर्टिफैक्ट में बदले, जबकि यह सुनिश्चित करे कि अनुक्रमिक सॉल्वर से जुड़े 'ड्रिफ्ट' के बिना स्थिर, दीर्घ-क्षितिज प्रक्षेपवक्र (trajectory) पीढ़ी संभव हो सके।

2. कार्यप्रणाली: लेटेंट लाप्लास डिफ्यूजन (LLapDiff)

LLapDiff एक कंडीशनल जेनरेटिव फ्रेमवर्क है जो डिस्क्रीट और कंटीन्यूअस मॉडलिंग के बीच के अंतर को पाटता है। यह भौतिक समय पर अनुक्रमिक संख्यात्मक एकीकरण के बजाय, लक्ष्य को एक निम्न-आयामी लेटेंट प्रक्षेपवक्र (latent trajectory) के रूप में मॉडल करता है और लेटेंट स्पेस में डिफ्यूजन करता है।

2.1. लेटेंट प्रक्षेपवक्र प्रतिनिधित्व (Latent Trajectory Representation)

यह विधि अनियमित लक्ष्य क्षितिजों को एक मैनिफोल्ड पर निम्न-आयामी लेटेंट प्रक्षेपवक्र $z$ के रूप में प्रस्तुत करती है। एक प्री-ट्रेंड वेरिएशनल ऑटोएन्कोडर (VAE) ग्राउंड-ट्रुथ लक्ष्यों को इस लेटेंट स्पेस में एनकोड करता है। डिफ्यूजन प्रक्रिया इन लेटेंट प्रक्षेपवक्यों को दूषित और डीनॉइज़ करती है, न कि कच्चे, विरल अवलोकनों को, जिससे मास्क किए गए डेटा पर सीधा डीनॉइजिंग करने से बचा जा सके।

2.2. स्टोकैस्टिक पोर्ट-हैमिल्टोनियन डायनेमिक्स के माध्यम से स्थिरता पूर्वाग्रह (Stability Bias via Stochastic Port-Hamiltonian Dynamics)

संख्यात्मक सॉल्वर के बिना स्थिर गतिशीलता की ओर रिवर्स डिफ्यूजन प्रक्रिया को निर्देशित करने के लिए, लेखक स्टोकैस्टिक पोर्ट-हैमिल्टोनियन सिस्टम से प्रेरणा लेते हैं।

• ऊर्जा संतुलन (Energy Balance): फ्रेमवर्क एक पासिविटी-आधारित इंडक्टिव बायस लागू करता है जहाँ अपेक्षित सिस्टम ऊर्जा संदर्भ अपडेट के बीच गैर-बढ़ने वाली (non-increasing) होती है। यह पूर्वानुमान योग्य गतिशीलता को स्टोकेस्टिक अस्थिरता से अलग करता है।
• लाप्लास-डोमेन पैरामीटराइजेशन (Laplace-Domain Parameterization): टाइम-स्टेपिंग के बजाय, लेटेंट प्रक्षेपवक्र के माध्य विकास को लाप्लास डोमेन में पैरामीटराइज किया जाता है। सिस्टम को स्थिर कॉम्प्लेक्स-कंजुगेट पोल्स $(\rho_k, \omega_k)$ का उपयोग करके मॉडल किया जाता है, जहाँ $\rho_k$ क्षय दर (decay rates) और $\omega_k$ दोलन आवृत्तियों (oscillation frequencies) का प्रतिनिधित्व करता है।
• स्टेबल मोडल सिंथेसिस (Stable Modal Synthesis): डीनॉइज़र इतिहास (history) की स्थिति में इन मोडल मापदंडों (पोल्स और रेसिड्यूज़) की भविष्यवाणी करता है। लेटेंट प्रक्षेपवक्र को फिर डैम्प्ड साइनुसोइड्स के क्लोज्ड-फॉर्म योग के माध्यम से संश्लेषित किया जाता है:
  $$\hat{z}_0(\tilde{t}_r) = \sum_{k=1}^K e^{-\hat{\rho}_k \tilde{t}_r} \left( \hat{c}_k \cos(\hat{\omega}_k \tilde{t}_r) + \hat{b}_k \sin(\hat{\omega}_k \tilde{t}_r) \right)$$
  यह अनुक्रमिक एकीकरण की आवश्यकता को दरकिनार करते हुए, एक ही समानांतर योग्य पास (parallelizable pass) में क्षितिज-व्यापी पीढ़ी की अनुमति देता है।

2.3. रिन्यूअल-एवरेजिंग और गैप-अवेयर कंडीशनिंग (Renewal-Averaging and Gap-Aware Conditioning)

लेखक रिन्यूअल-एवरेजिंग विश्लेषण का उपयोग करके कंटीन्यूअस-टाइम पोल्स और रैंडम सैंपलिंग गैप्स के बीच एक सैद्धांतिक संबंध स्थापित करते हैं।

• प्रभावी पोल्स (Effective Poles): रैंडम गैप्स कंटीन्यूअस-टाइम पोल्स को प्रभावी इवेंट-डोमेन पोल्स में मैप करते हैं। गैप्स का विचरण (variance) प्रभावी डैम्पिंग और दोलन को नियंत्रित करता है।
• हिस्ट्री समराइज़र (History Summarizer): अनियमित पैटर्न के अनुकूल होने के लिए, एक "गैप-अवेयर हिस्ट्री समराइज़र" अवलोकनों, समय अंतराल और मिसिंगनेस मास्क को एकत्रित करता है। यह समराइज़र मोडल प्रेडिक्टर को कंडिशन करता है, जिससे मॉडल ऐसे कंटीन्यूअस-टाइम मापदंडों को सीख सकता है जो जटिल, गैर-रिन्यूअल सैंपलिंग पैटर्न के तहत भी सुसंगत रहते हैं।

2.4. आर्किटेक्चर (Architecture)

मॉडल के घटक हैं:

1. हिस्ट्री समराइज़र ($S_\phi$): देखे गए इतिहास को एक टोकन सीक्वेंस में एनकोड करता है जिसमें पोर्ट सिग्नल, डायनेमिक्स प्रॉक्सी, और टेम्पोरल/गैप एनकोडिंग शामिल हैं।
2. मोडल प्रेडिक्टर ($L_\theta$): नॉइजी लेटेंट स्टेट और हिस्ट्री समरी की स्थिति में कंटीन्यूअस-टाइम मोडल मापदंडों (पोल्स और रेसिड्यूज़) की भविष्यवाणी करता है।
3. मोडल सिंथेसाइज़र ($L^+_\theta$): प्रेडिक्टेड मापदंडों का उपयोग करके क्लोज्ड-फॉर्म लाप्लास-डोमेन समीकरण के माध्यम से डीनॉइज़्ड लेटेंट प्रक्षेपवक्र को पुनर्गठित करता है।

3. मुख्य योगदान (Key Contributions)

1. LLapDiff फ्रेमवर्क: IMTS के लिए एक लेटेंट डिफ्यूजन फ्रेमवर्क जो टाइमस्टैम्प फिडेलिटी को बनाए रखते हुए निम्न-आयामी लेटेंट प्रक्षेपवक्यों के रूप में विकास को मॉडल करता है, और अनुक्रमिक सॉल्वरों के ड्रिफ्ट से बचता है।
2. लाप्लास-डोमेन मोडल पैरामीटराइजेशन: स्टोकैस्टिक पोर्ट-हैमिल्टोनियन डायनेमिक्स पर आधारित एक व्युत्पत्ति जो स्थिर पोल डैम्पिंग ($\rho_k > 0$) के माध्यम से स्पष्ट स्थिरता नियंत्रण के साथ क्षितिज-व्यापी पीढ़ी को सक्षम बनाती है।
3. सैंपलिंग गैप्स के साथ सैद्धांतिक लिंक: रिन्यूअल-एवरेजिंग के माध्यम से कंटीन्यूअस-टाइम पोल्स को रैंडम सैंपलिंग गैप्स से जोड़ने वाला एक विश्लेषण, जो एक गैप-अवेयर हिस्ट्री कंडीशनिंग तंत्र को प्रेरित करता है जो दीर्घ-क्षितिज मॉडलिंग में सुधार करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने वायु गुणवत्ता, स्वास्थ्य सेवा (PhysioNet), मौसम विज्ञान (NOAA), और वित्त (Crypto, US Equity) के सात वास्तविक दुनिया के डेटासेट्स पर LLapDiff का मूल्यांकन किया।

• पूर्वानुमान प्रदर्शन (Forecasting Performance): LLapDiff ने अधिकांश डेटासेट्स पर सर्वश्रेष्ठ वितरण मेट्रिक्स (CRPS) और प्रतिस्पर्धी पॉइंट मेट्रिक्स (MAE/MSE) प्राप्त किए। लाभ सबसे अधिक दीर्घ-क्षितिज पूर्वानुमान (जैसे, 168 स्टेप्स) और अत्यधिक अनियमित डेटासेट्स (जैसे, PhysioNet, NOAA UK) पर स्पष्ट थे।
• इम्प्यूटेशन (Imputation): अपने प्रक्षेपवक्र-जेनरेशन स्वभाव के कारण, मॉडल ऐतिहासिक टाइमस्टैम्प पर क्वेरी करके मिसिंग-वैल्यू इम्प्यूटेशन का समर्थन करता है। इसने संभाव्य इम्प्यूटेशन कार्यों में CSDI जैसे बेसलाइन्स को पछाड़ दिया।
• स्थिरता और मजबूती (Stability and Robustness):
  • पोल विज़ुअलाइज़ेशन: सीखे गए पोल्स लगातार $\rho_k > 0$ को संतुष्ट करते हैं, जो घातांकीय क्षय (exponential decay) और स्थिरता सुनिश्चित करते हैं। मॉडल गैप सांख्यिकी के आधार पर क्षय दरों को अनुकूलित करता है।
  • स्ट्रेस टेस्ट: मॉडल ने प्रेरित मिसिंगनेस (induced missingness) के तहत क्रमिक गिरावट प्रदर्शित की। हालांकि प्रदर्शन में भारी कवरेज हानि के साथ गिरावट आई, लेकिन यह उन बेसलाइन्स की तुलना में मजबूत रहा जो अक्सर ड्रिफ्ट या ओवरस्मूथिंग का शिकार हो जाते हैं।
  • रेजीम शिफ्ट्स (Regime Shifts): मॉडल ने नियंत्रित स्पेक्ट्रल शिफ्ट (फ्रीक्वेंसी और डिके में बदलाव) के तहत स्थिरता बनाए रखी।
• दक्षता (Efficiency): Neural ODEs या कंटीन्यूअस-टाइम ट्रांसफॉर्मर्स के विपरीत जिन्हें अनुक्रमिक सॉल्वर स्टेप्स की आवश्यकता होती है, LLapDiff का इन्फरेंस टाइम विभिन्न फोरकास्ट हॉरिज़न्स में लगभग स्थिर रहता है। यह इन्फरेंस वॉल-क्लॉक टाइम में TimeGrad (39.8x) और ContiFormer (150.6x) की तुलना में काफी तेज़ था।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि LLapDiff एक स्थिर कंटीन्यूअस-टाइम इंडक्टिव बायस के साथ लेटेंट डिफ्यूजन को एकीकृत करके डिस्क्रीट और कंटीन्यूअस टाइम-सीरीज मॉडलिंग के बीच के अंतर को सफलतापूर्वक पाटता है।

• सॉल्वर-मुक्त पीढ़ी (Solver-Free Generation): डायनेमिक्स मॉडलिंग को लाप्लास डोमेन में ले जाकर और स्थिर मोडल पैरामीटराइजेशन का उपयोग करके, यह विधि भौतिक-समय स्टेपिंग के बिना क्षितिज-व्यापी पीढ़ी प्राप्त करती है, जो अनुक्रमिक सॉल्वरों की ड्रिफ्ट समस्या को प्रभावी ढंग से हल करती है।
• एकीकृत पूर्वानुमान और इम्प्यूटेशन: निरंतर लेटेंट प्रक्षेपवक्र दृश्यता (view) एक ही मॉडल को अलग-अलग टाइमस्टैम्प को क्वेरी करके पूर्वानुमान और मिसिंग-वैल्यू इम्प्यूटेशन दोनों करने की अनुमति देती है, जो अनियमित डेटा के लिए एक एकीकृत दृष्टिकोण प्रदान करती है।
• गैप-अवेयर अडैप्टेशन: रिन्यूअल-एवरेजिंग विश्लेषण गैप्स पर कंडीशनिंग के लिए एक सैद्धांतिक आधार प्रदान करता है, जिससे मॉडल को ऐसे डायनेमिक्स सीखने में सक्षम बनाया जाता है जो अनियमित अवलोकन पैटर्न के प्रति मजबूत होते हैं।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें प्री-ट्रेंड लेटेंट रिप्रेजेंटेशन पर निर्भरता और एक स्थानीय रैखिक मोडल सन्निकटन (locally linear modal approximation) शामिल है। वे सुझाव देते हैं कि भविष्य के कार्य समृद्ध नॉनलीन डायनेमिक्स और तेज़ रिवर्स सैंपलिंग का पता लगा सकते हैं। यह कार्य वास्तविक दुनिया की अनियमित समय श्रृंखला के लिए अधिक स्थिर और कुशल जेनरेटिव मॉडलिंग की दिशा में एक कदम के रूप में स्थित है।