Diffusion Path Samplers via Sequential Monte Carlo

तकनीकी सारांश: डिफ्यूजन पाथ सैंपलर वाया सीक्वेंशियल मोंटे कार्लो

समस्या विवरण
लक्ष्य वितरण $\pi \propto \exp(-V_\pi)$ से नमूनाकरण (sampling) करना, जिसे केवल एक सामान्यीकरण स्थिरांक (normalising constant) तक ही जाना जाता है, बेयसियन अनुमान (Bayesian inference), मशीन लर्निंग और सांख्यिकीय भौतिकी में एक मौलिक चुनौती है। जटिल, उच्च-आयामी, या बहु-मोडल लक्ष्यों से सीधा नमूनाकरण अक्सर अव्यवहार्य होता है। जबकि एक सरल आधार वितरण $\nu$ और लक्ष्य $\pi$ के बीच सेतु बनाने वाली अनुक्रमिक विधियाँ (sequential methods) एक समाधान प्रदान करती हैं, मानक ज्यामितीय पथों (geometric paths) को "मास टेलीपोर्टेशन" (mass teleportation) और क्षय होते लॉग-सोबोलेव स्थिरांकों (log-Sobolev constants) से ग्रस्त पाया गया है, जो दक्षता में बाधा डालते हैं। इसके विपरीत, डिफ्यूजन पथ (diffusion paths), जो जनरेटिव मॉडलिंग में लोकप्रिय हैं, बेहतर गणितीय नियमितता (समान रूप से बाध्य कार्यात्मक असमानताएँ और परिमित एक्शन) प्रदान करते हैं, लेकिन उन्हें पथ के साथ कुशल स्कोर अनुमान की आवश्यकता होती है, जो आमतौर पर अव्यवहार्य है।

कार्यप्रणाली
लेखक डिफ्यूजन पाथ सीक्वेंशियल मोंटे कार्लो (DPSMC) का प्रस्ताव करते हैं, जो स्कोर का अनुमान लगाने और लक्ष्य वितरणों से नमूना लेने के लिए डिफ्यूजन पथों और सीक्वेंशियल मोंटे कार्लो (SMC) को संयोजित करने वाला एक ढांचा है।

1. डिफ्यूजन पथ निर्माण:
   यह विधि एक निरंतर-समय परिवार $(\mu_t)_{t \in [0,1]}$ का उपयोग करती है जो एक सरल गाऊसी (Gaussian) $\nu$ और लक्ष्य $\pi$ के बीच मध्यस्थता करता है। यह पथ कॉन्वोल्यूशन (convolution) के माध्यम से परिभाषित किया जाता है:
   $$\mu_t(x) = \frac{1}{\sqrt{1-\lambda_t}} \nu\left(\frac{x}{\sqrt{1-\lambda_t}}\right) * \frac{1}{\sqrt{\lambda_t}} \pi\left(\frac{x}{\sqrt{\lambda_t}}\right)$$
   जहाँ $\lambda_t$ एक निरंतर बढ़ता हुआ शेड्यूल है। लेखक इस पथ को प्रेरित करने वाले तीन डायनेमिक्स का विश्लेषण करते हैं:

• एक्जैक्ट डिफ्यूजन SDE: गाऊसी आधारों के लिए पथ मार्जिनल्स को सटीक रूप से मिलाता है (टाइम-रिवर्सड ऑर्नस्टीन-उलेंबैक प्रक्रिया से संबंधित)।
• डिफ्यूजन-एनेल्ड लैंघवेन डायनेमिक्स (DALD): एक नियंत्रणीय त्रुटि पैरामीटर $\epsilon$ के साथ किसी भी आधार के लिए पथ का सन्निकटन (approximation) करता है।
• स्टोकेस्टिक इंटरपुलेंट्स (SI): एक डायनेमिक्स फॉर्मूलेशन जो परिमित समय क्षितिज (finite time horizons) के साथ पथ को सटीक रूप से प्रेरित करने की अनुमति देता है, जिससे OU प्रक्रियाओं के लिए आवश्यक महत्वपूर्ण हाइपरपैरामीटर $T$ जैसे अवरोधों से बचा जा सकता है।

2. SMC के माध्यम से स्कोर अनुमान:
   चूंकि स्कोर फंक्शन $\nabla \log \mu_t$ अव्यवहार्य है, इसलिए DPSMC एक SMC सैंपलर का उपयोग करके स्कोर का अनुमान लगाता है जो पथ के साथ सहायक चर $Y$ को कंडीशनल (पोस्टीरियर) वितरणों $\varrho_{t,x}$ से विकसित करता है। लेखक स्कोर पहचान (Denoising Score Identity और Target Score Identity) व्युत्पन्न करते हैं और स्कोर को इन सहायक चरों के एक प्रत्याशा (expectation) के रूप में व्यक्त करते हैं। एक SMC सैंपलर इन कंडीशनल वितरणों के माध्यम से कणों (particles) को प्रसारित करता है, जिससे मुख्य डिफ्यूजन प्रक्षेपवक्र (trajectory) के प्रत्येक चरण पर स्कोर का अनुमान लगाने के लिए महत्व भार (importance weights) अपडेट होते हैं।

3. कंट्रोल वेरियट शेड्यूल्स (Control Variate Schedules):
   स्कोर अनुमानों के विचरण (variance) को कम करने के लिए, लेखक कंट्रोल वेरियट (CV) शेड्यूल्स पेश करते हैं। वे एक टेस्ट फंक्शन क्लास को परिभाषित करते हैं जो मैट्रिक्स $A_t$ के माध्यम से डैनोइजिंग और टारगेट स्कोर पहचान को जोड़ता है।

• वे अपेक्षित विचरण को न्यूनतम करने के लिए इष्टतम स्केलर ($\alpha_t^*$) और मैट्रिक्स ($A_t^*$) शेड्यूल्स व्युत्पन्न करते हैं।
• इष्टतम मैट्रिक्स शेड्यूल, जिसे MMCVSI (Marginalised Matrix Control-Variate Score Identity) कहा जाता है, स्कोर घटकों के युग्मवार सह-प्रसरण (pairwise covariances) को ध्यान में रखता है, जो एनिसोट्रोपिक (anisotropic) लक्ष्यों के लिए लाभ प्रदान करता है।
• इन शेड्यूल्स का अनुमान सहायक चरों का उपयोग करके ऑनलाइन लगाया जाता है, जिसमें न्यूनतम कम्प्यूटेशनल ओवरहेड लगता है।

4. एल्गोरिदम कार्यान्वयन:
   एल्गोरिदम (एल्गोरिदम 1) इनके बीच बारी-बारी से चलता है:

• मुख्य प्रक्षेपवक्र (Main Trajectory): अनुमानित स्कोर (Euler-Maruyama या Exponential Integrator के माध्यम से) का उपयोग करके नमूनों $X_k$ को प्रसारित करना।
• सहायक SMC: कंडीशनल वितरणों $\varrho_{t_k, X_k}$ को लक्षित करने के लिए एक SMC सैंपलर चलाना, जो स्कोर अनुमान को अपडेट करने के लिए भारित कणों (weighted particles) को उत्पन्न करता है।
• आरंभीकरण (Initialization): गैर-गाऊसी स्टार्ट या विशिष्ट डायनेमिक्स के लिए, प्रक्रिया को वार्म अप करने के लिए "लैंघवेन-विदिन-लैंघवेन" (LL) आरंभीकरण का उपयोग किया जाता है।

प्रमुख योगदान

• नवीन ढांचा: एक अत्यधिक समानांतर योग्य (parallelisable) DPSMC सैंपलर का विकास जो स्कोर अनुमान के लिए डिफ्यूजन पथों के साथ SMC का उपयोग करता है, जिससे MCMC-आधारित स्कोर अनुमान के अनुक्रमिक बाधाओं से बचा जा जा सकता है।
• विचरण न्यूनीकरण (Variance Reduction): सिद्धांत आधारित, व्यावहारिक कंट्रोल वेरियट शेड्यूल्स (MCVSI और MMCVSI) का परिचय, जो अतिरिक्त ऊर्जा मूल्यांकन की आवश्यकता के बिना स्कोर अनुमान विचरण को न्यूनतम करते हैं।
• सैद्धांतिक गारंटी:
  • स्कोर अनुमान त्रुटि पर एक नया बाउंड (He et al., 2024 का विस्तार), जो यह दिखाता है कि शुरुआती चरणों में अपूर्ण सहायक सैंपलिंग के बावजूद, स्कोर एस्टीमेटर विश्वसनीय रहता है।
  • OU, SI, और DALD डायनेमिक्स के लिए लक्ष्य और अंतिम वितरण के बीच KL डाइवर्जेंस के लिए अभिसरण (convergence) गारंटी।
• पथ डिजाइन: एक इष्टतम कोसाइन शेड्यूल ($\lambda_t = \sin^2(\pi t/2)$) का व्युत्पन्न जो एक्शन फंक्शनल के ऊपरी बाउंड को न्यूनतम करता है, जिससे कुशल पथ ट्रैवर्स सुनिश्चित होता है।

परिणाम
लेखक सिंथेटिक बेंचमार्क (GMM40, Rings, Funnel) और वास्तविक डेटासेट (Ionosphere और Sonar पर बेयसियन लॉजिस्टिक रिग्रेशन) पर DPSMC का मूल्यांकन करते हैं।

• प्रदर्शन: DPSMC सभी बेंचमार्क पर अत्याधुनिक सैंपलर (AIS, SMC, RDMC, SLIPS) को लगातार पीछे छोड़ता है या उनके बराबर प्रदर्शन करता है।
• दक्षता: विधि अन्य सैंपलर की तुलना में कई आदेशों की तेजी (speed-ups) प्राप्त करती है क्योंकि यह ऊर्जा मूल्यांकन को बैच करने और समानांतर कंप्यूटिंग (GPUs) का लाभ उठाने में सक्षम है।
• एनिसोट्रॉपी (Anisotropy): मैट्रिक्स कंट्रोल वेरियट (MMCVSI) "Funnel" वितरण पर महत्वपूर्ण लाभ प्रदर्शित करता है, जो प्रभावी ढंग से एनिसोट्रॉपी को संभालता है जहाँ स्केलर शेड्यूल्स या अन्य विधियाँ संघर्ष करती हैं।
• नॉर्मलाइजिंग कांस्टेंट: ढांचे को एक नेस्टेड SMC दृष्टिकोण (RDSMC) का उपयोग करके नॉर्मलाइजिंग कांस्टेंट का अनुमान लगाने के लिए अनुकूलित किया गया है, जो सैंपल गुणवत्ता बनाए रखते हुए मौजूदा विधियों की तुलना में बेहतर अनुमान प्रदान करता है।

महत्व और दावे
यह शोध दावा करता है कि DPSMC जटिल वितरणों से नमूना लेने के लिए एक मजबूत, सैद्धांतिक रूप से सुदृढ़ और कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है। डिफ्यूजन पथों की गणितीय नियमितता और SMC की समानांतर क्षमता का लाभ उठाकर, यह विधि ज्यामितीय पथों की सीमाओं और MCMC-आधारित स्कोर अनुमान की अनुक्रमिक बाधाओं को दूर करती है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण "ट्रेनिंग-फ्री" (न्यूरल सैंपलर के विपरीत) है, और पथ घनत्वों के लिए निष्पक्ष अनुमान प्रदान करता है, जिससे व्यापक सैंपलिंग फ्रेमवर्क में लचीला एकीकरण संभव होता है। यह कार्य समानांतर कंप्यूटिंग के युग में बैच ऊर्जा मूल्यांकन (batched energy evaluations) के महत्व को रेखांकित करता है, और तर्क देता है कि इस अक्ष का लाभ उठाने में सक्षम विधियाँ श्रेष्ठ वॉल-क्लॉक समय और सैंपल गुणवत्ता प्राप्त कर सकती हैं।