📊 statistics

Proximal Diffusion Neural Sampler

यह शोध पत्र प्रॉक्सिमल डिफ्यूजन न्यूरल सैंपलर (PDNS) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो पाथ मेजर्स (path measures) पर एक प्रॉक्सिमल पॉइंट मेथड के माध्यम से हल किए जाने वाले स्टोकेस्टिक ऑप्टिमल कंट्रोल समस्या के रूप में लर्निंग टास्क को पुनर्गठित करके मल्टीमॉडल डिस्ट्रीब्यूशन से डिफ्यूजन-आधारित सैंपलिंग में होने वाले मोड कोलैप्स (mode collapse) को संबोधित करता है, जो गहन मोड एक्सप्लोरेशन सुनिश्चित करने के लिए प्रक्रिया को सरल उप-समस्याओं की एक श्रृंखला में विभाजित करता है।

मूल लेखक: Wei Guo, Jaemoo Choi, Yuchen Zhu, Molei Tao, Yongxin Chen

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei Guo, Jaemoo Choi, Yuchen Zhu, Molei Tao, Yongxin Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Proximal Diffusion Neural Sampler (PDNS)" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: घाटी में फंस जाना

कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ी क्षेत्र में कैंप लगाने के लिए सबसे अच्छी जगहों को खोजने की कोशिश कर रहे हैं। "सबसे अच्छी" जगहएँ वे घाटियाँ हैं (जो उस लक्ष्य वितरण/target distribution का प्रतिनिधित्व करती हैं जिससे आप नमूने लेना चाहते हैं)। हालाँकि, इस पहाड़ी क्षेत्र में एक पेचीदा समस्या है:

गहरी घाटियाँ: यहाँ कई गहरी घाटियाँ हैं जो बहुत ऊँचे और खड़ी पहाड़ियों द्वारा अलग की गई हैं।
धुंध: आप एक बार में पूरा नक्शा नहीं देख सकते; आप केवल अपने आस-पास थोड़ा सा ही देख सकते हैं।
हाइकर की गलती: यदि आप हाइकर (एक न्यूरल नेटवर्क) का एक समूह इन घाटियों को खोजने के लिए भेजते हैं, तो वे अक्सर केवल एक ही घाटी में फंस जाते हैं। एक बार जब कुछ हाइकर एक अच्छी जगह ढूंढ लेते हैं, तो समूह के बाकी लोग उनका अनुसरण करने लगते हैं, और अन्य घाटियों को पूरी तरह से अनदेखा कर देते हैं। शोध पत्र की भाषा में, इसे मोड कोलैप्स (mode collapse) कहा जाता है। वे अन्य वैध समाधानों को मिस कर देते हैं क्योंकि एक बड़ी छलांग लगाकर वहाँ पहुँचना बहुत कठिन होता है।

पुराना तरीका: "सब-या-कुछ-नहीं" वाली छलांग

पिछले तरीकों ने इसे इस तरह हल करने की कोशिश की कि हाइकर को, "सीधे सबसे अच्छी घाटियों पर कूद जाओ!" उन्होंने पूरी यात्रा को एक साथ अनुकूलित (optimize) करने की कोशिश की।

परिणाम: क्योंकि पहाड़ बहुत ऊँचे हैं, हाइकर भ्रमित हो जाते हैं। वे पहली घाटी में ही सिमट कर रह जाते हैं, यह सोचकर कि केवल यही जगह मायने रखती है। वे शेष मानचित्र की खोज कभी नहीं कर पाते।

नया समाधान: PDNS ("छोटे कदमों वाला" दृष्टिकोण)

लेखक एक नया ढांचा प्रस्तावित करते हैं जिसे Proxled Diffusion Neural Sampler (PDNS) कहा जाता है। हाइकर को तुरंत अंतिम गंतव्य तक कूदने के लिए कहने के बजाय, वे यात्रा को छोटे, प्रबंधनीय चरणों में विभाजित करते हैं।

इसे कुत्ते को गेंद लाना (fetch) सिखाने की तरह समझें:

पुराना तरीका: आप गेंद को 100 फीट दूर फेंकते हैं और उम्मीद करते हैं कि कुत्ता तुरंत उसे पकड़ लेगा। कुत्ता भ्रमित हो जाता है, हार मान लेता है, या बस गोल-गोल दौड़ने लगता है।
PDNS का तरीका: आप शुरुआत में गेंद को केवल 1 फुट की दूरी पर फेंकते हैं। एक बार जब कुत्ता इसे सीख जाता है, तो आप इसे 2 फीट दूर ले जाते हैं। फिर 5 फीट। फिर 10 फीट। आप धीरे-धीरे दूरी बढ़ाते हैं।
- "प्रॉक्सिमल" (Proximal) भाग: हर कदम पर, आप कुत्ते को धीरे से याद दिलाते हैं, "यह मत भूलना कि तुमने 1 फुट पर गेंद लाना कैसे सीखा था; उस कौशल को बनाए रखो, लेकिन थोड़ा और आगे पहुँचने की कोशिश करो।" यह कुत्ते को बुनियादी बातें भूलने या अभिभूत होने से रोकता है।

तकनीकी शब्दों में, PDNS एक गणितीय तकनीक का उपयोग करता है जिसे प्रॉक्सिमल पॉइंट मेथड (Proximal Point Method) कहा जाता है। यह मॉडल को उसकी सीखने की प्रक्रिया में "छोटे कदम" लेने के लिए मजबूर करता है। यह मॉडल को एक बार में बहुत अधिक बदलाव करने नहीं देता। यह सुनिश्चित करता है कि मॉडल गहरी घाटियों में बसने से पहले पूरे पहाड़ी क्षेत्र की खोज करे (सभी मोड की खोज करे)।

यह कैसे काम करता है: "भारित" (Weighted) दिशा-सूचक यंत्र

इन छोटे कदमों को कुशल बनाने के लिए, शोध पत्र एक विशिष्ट उपकरण पेश करता है जिसे Proximal Weighted Denoising Cross-Entropy (WDCE) कहा जाता है।

कल्पना कीजिए कि हाइकर एक ऐसे कंपास (compass) के साथ चल रहे हैं जो सबसे अच्छी घाटियों की ओर इशारा करता है।

समस्या: शुरुआत में, कंपास शोर (noisy) से भरा होता है। यह कुछ यादृच्छिक स्थानों की ओर इशारा करता है, और यदि आप आँख बंद करके इसका अनुसरण करते हैं, तो आप फंस जाते हैं।
PDNS का समाधान: यह तरीका कंपास में एक "डैम्पर" (दमन करने वाला यंत्र) जोड़ता है। यह कहता है, "ठीक है, वह जगह अच्छी लग रही है, लेकिन अभी उस पर बहुत अधिक भरोसा न करें। अपने विकल्प खुले रखें।"
परिणाम: हाइकर व्यापक रूप से खोज करते हैं। जैसे-जैसे वे लक्ष्य के करीब पहुँचते हैं, डैम्पर को धीरे-धीरे हटाया जाता है, और कंपास अधिक सटीक हो जाता है, जो उन्हें बिना किसी को छोड़े सटीक सही स्थानों तक निर्देशित करता है।

उन्होंने क्या परीक्षण किया (प्रमाण)

लेखकों ने इस "छोटे कदमों वाले" दृष्टिकोण का परीक्षण दो प्रकार के कठिन मानचित्रों पर किया:

निरंतर मानचित्र (अणु और भौतिकी - Continuous Maps): उन्होंने अणुओं में परमाणुओं की गति (जैसे कि एलेनिन डायपेप्टाइड नामक प्रोटीन) और भौतिकी सिमुलेशन में कणों की परस्पर क्रिया को सिम्युलेट करने का प्रयास किया। ये जटिल 3D भूलभुलैया की तरह हैं जहाँ "घाटियाँ" अणु द्वारा अपनाए जाने वाले विशिष्ट आकार हैं।
- परिणाम: PDNS ने सभी सही आकृतियों को खोज लिया, जबकि अन्य तरीकों ने केवल एक या दो में ही शरण ली।
विविक्त मानचित्र (ग्रिड और पहेलियाँ - Discrete Maps): उन्होंने ग्रिड-आधारित पहेलियों (जैसे कि आइसिंग मॉडल, जो चुंबकों के ग्रिड की तरह है जो ऊपर या नीचे की ओर इशारा कर सकते हैं) और कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन समस्याओं (जैसे कि सड़क के नेटवर्क को काटने का सबसे अच्छा तरीका खोजना) पर परीक्षण किया।
- परिणाम: PDNS ने इन पहेलियों को अधिक सटीकता से हल किया और पिछले AI सैंपलर की तुलना में बेहतर समाधान खोजे।

मुख्य निष्कर्ष

शोध पत्र का दावा है कि AI को धीरे-धीरे सीखने के लिए मजबूर करके—छोटे, सतर्क कदम उठाकर और अपने पिछले ज्ञान के विरुद्ध लगातार अपनी प्रगति की जाँच करके—यह उन जटिल सैंपलिंग समस्याओं को हल कर सकता है जिनके कारण पहले AI "हार मान लेता था" या खराब समाधानों में फंस जाता था। यह एक जटिल दुनिया को बिना खोए एक्सप्लोर करने के लिए कंप्यूटर को सिखाने का एक अधिक स्थिर और मजबूत तरीका है।

संक्षेप में: PDNS एक प्रशिक्षण रणनीति है जो कहती है, "फिनिश लाइन की ओर दौड़ो मत। छोटे कदम उठाओ, अपना संतुलन बनाए रखो, और यह सुनिश्चित करो कि रुकने का निर्णय लेने से पहले तुम मानचित्र के हर हिस्से का दौरा करो।"

तकनीकी सारांश: प्रॉक्सिमल डिफ्यूजन न्यूरल सैंपलर (PDNS)

समस्या विवरण
एक अननॉर्मलाइज्ड टार्गेट डिस्ट्रीब्यूशन (जैसे कि बोल्ट्ज़मैन डिस्ट्रीब्यूशन $\pi(x) \propto e^{-\beta E(x)}$ ) से सैंपल खींचने के लिए एक डिफ्यूजन-आधारित न्यूरल सैंपलर को सीखना, कम्प्यूटेशनल सांख्यिकी, बेयसियन इन्फरेंस और सांख्यिकीय भौतिकी में एक मौलिक कार्य है। इस समस्या को अक्सर पथ मापों (path measures) पर एक स्टोकेस्टिक ऑप्टिमल कंट्रोल (SOC) समस्या के रूप में तैयार किया जाता है, जहाँ एक न्यूरल नेटवर्क एक सरल रेफरेंस डिस्ट्रीब्यूशन को टार्गेट तक पहुँचाने के लिए एक कंट्रोल प्रोसेस को पैरामीटराइज़ करता है।

हालाँकि, इन सैंपलर्स को प्रशिक्षित करने में तब महत्वपूर्ण चुनौतियाँ आती हैं जब टार्गेट डिस्ट्रीब्यूशन मल्टीमॉडल (multimodal) हो और उच्च ऊर्जा बाधाएँ (energy barriers) विभिन्न मोड्स (modes) को अलग करती हों। ऐसे परिदृश्यों में, मानक SOC-आधारित विधियाँ (जिसमें क्रॉस-एन्ट्रॉपी और वेटेड डिनोइजिंग क्रॉस-एन्ट्रॉपी वेरिएंट शामिल हैं) अक्सर मोड कोलैप्स (mode collapse) का शिकार होती हैं। प्रशिक्षण के शुरुआती चरणों में, मॉडल केवल कुछ ही मोड्स को कैप्चर कर लेता है; इसके बाद ग्लोबल लॉस फंक्शन इन कैप्चर किए गए मोड्स को सीमित प्रक्षेपवक्रों (trajectories) के आधार पर सुदृढ़ करता है, जिससे प्रायिकता द्रव्यमान (probability mass) टार्गेट के एक उपसमुच्चय (subset) पर केंद्रित हो जाता है जबकि अन्य मोड्स की अनदेखी हो जाती है। यह अस्थिर अनुकूलन (optimization) और टार्गेट डिस्ट्रीब्यूशन के खराब कवरेज का कारण बनता है।

कार्यप्रणाली (Methodology)
लेखक प्रॉक्सिमल डिफ्यूजन न्यूरल सैंपलर (PDNS) का प्रस्ताव करते हैं, जो एक एकीकृत ढांचा है जिसे वैश्विक अनुकूलन के बजाय स्थानीय उप-समस्याओं (local sub-problems) की एक श्रृंखला के रूप में प्रशिक्षण प्रक्रिया को पुनर्गठित करके मोड कोलैप्स को संबोधित करने के लिए डिज़ाइन किया गया है।

एकीकृत ढांचा (Unified Framework): शोध पत्र पहले निरंतर (continuous) और असतत (discrete) डिफ्यूजन सैंपलर्स को एक एकल SOC ढांचे के तहत एकीकृत करता है। यह ऑप्टिमल पाथ मेजर $P^*$ को एक रेफरेंस पाथ मेजर $P_{ref}$ के सापेक्ष एंट्रॉपी ऑब्जेक्टिव को मिनिमाइज करने के समाधान के रूप में परिभाषित करता है, जो कि एक "मेमोरीलेस" स्थिति (प्रारंभिक और टर्मिनल डिस्ट्रीब्यूशन के बीच स्वतंत्रता) को संतुष्ट करता है।
प्रॉक्सिमल पॉइंट मेथड (Proximal Point Method): मोड कोलैप्स को कम करने के लिए, PDNS पाथ मेजर के स्थान पर प्रॉक्सिमल पॉइंट मेथड लागू करता है। सीधे ग्लोबल ऑब्जेक्टिव को ऑप्टिमाइज़ करने के बजाय, एल्गोरिदम चरण $k$ पर एक स्थानीय उप-समस्या को हल करता है:
$P_{\theta^*_k} = \arg\min_{P_\theta} \left( -E_{P_\theta}[r(X_T)] + KL(P_\theta \| P_{ref}) + \frac{1}{\eta_k} KL(P_\theta \| P_{\theta_{k-1}}) \right)$
यहाँ, $\eta_k$ एक प्रॉक्सिमल स्टेप साइज है, और $\frac{1}{\eta_k} KL(P_\theta \| P_{\theta_{k-1}})$ टर्म एक रेगुलराइज़र के रूप में कार्य करता है जो वर्तमान इटरेट को पिछले इटरेट के करीब रखता है।
सैद्धांतिक गुण (Theoretical Properties): लेखक सिद्ध करते हैं कि $k$ -वें प्रॉक्सिमल स्टेप का ऑप्टिमल सॉल्यूशन पिछले इटरेट और ऑप्टिमल पाथ मेजर के बीच एक ज्यामितीय इंटरपोलेशन (geometric interpolation) है। विशेष रूप से, $k$ -वें चरण का टर्मिनल डिस्ट्रीब्यूशन $P_k$ , रेफरेंस टर्मिनल डिस्ट्रीब्यूशन $\nu$ और टार्गेट $\pi$ के बीच एक ज्यामितीय इंटरपोलेशन है। जैसे-जैसे $k \to \infty$ , पाथ मेजर्स का अनुक्रम टार्गेट $P^*$ की ओर अभिसरित (converge) होता है। यह चरणबद्ध प्रक्रिया यह सुनिश्चित करती है कि मॉडल स्टेट स्पेस का क्रमिक अन्वेषण करे, जिससे समयपूर्व प्रतिबद्धता (premature commitment) को रोका जा सके।
व्यावहारिक इंस्टेंशिएशन (Proximal WDCE): दक्षता के लिए, लेखक PDNS को प्रॉक्सिमल वेटेड डिनोइजिंग क्रॉस-एन्ट्रॉपी (Proximal WDCE) ऑब्जेक्टिव का उपयोग करके क्रियान्वित करते हैं। यह दृष्टिकोण ऑनलाइन संचित महत्व भार (importance weights) का उपयोग करके पूर्ण प्रक्षेपवक्रों को स्टोर करने से बचता है।
- निरंतर मामला (Continuous Case): इसमें एक डैमेजिंग स्कोर (या ब्रिज) को प्रॉक्सिमल स्टेप साइज $\eta_k$ और एनर्जी फंक्शन से प्राप्त वेट टर्म के साथ मैच करना शामिल है।
- असतत मामला (Discrete Case): यह मास्कड डिस्क्रीट डिफ्यूजन को अनुकूलित करता है, जो पाथ मेजर्स के रेडोन-निकोडिम डेरिवेटिव पर आधारित समान वेटिंग स्कीम का उपयोग करता है।
शेड्यूलर डिज़ाइन (Scheduler Design): पेपर स्टेप साइज $\eta_k$ (या इसके समकक्ष $\lambda_k$ ) के चयन के लिए रणनीतियों पर चर्चा करता है। एक छोटा $\eta_k$ (मजबूत रेगुलाइजेशन) मोड कवरेज को बनाए रखता है लेकिन अभिसरण (convergence) को धीमा कर देता है, जबकि एक बड़ा $\eta_k$ मोड कोलैप्स का जोखिम बढ़ाता है। लेखक एक पूर्व-निर्धारित शेड्यूल (रैखिक रूप से घटते $\lambda_k$ ) और एक एडेप्टिव रणनीति दोनों का प्रस्ताव करते हैं जो वर्तमान मॉडल और अगले टार्गेट के बीच KL डाइवर्जेंस पर ट्रस्ट-रीजन बाधा के आधार पर $\eta_k$ को समायोजित करती है।

प्रमुख योगदान

एकीकृत ढांचा: शोध पत्र निरंतर और असतत SOC-आधारित सैंपलर्स को एक एकल पाथ मेजर फॉर्मूलेशन में एकीकृत करता है।
प्रॉक्सिमल डिफ्यूजन न्यूरल सैंपलर (PDNS): यह एक नया ढांचा पेश करता है जो मल्टीमॉडल सेटिंग्स में लर्निंग को स्थिर करने और मोड कोलैप्स को कम करने के लिए पाथ स्पेस में प्रॉक्सिमल पॉइंट इटरेशन का लाभ उठाता है।
प्रॉक्सिमल WDCE: यह प्रॉक्सिमल वेटेड डिनोइजिंग क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके निरंतर और असतत दोनों डोमेन के लिए PDNS के ठोस, कम्प्यूटेशनल रूप से कुशल इंस्टेंशिएशन को व्युत्पन्न करता है।
शेड्यूलर रणनीतियाँ: लेखक प्रॉक्सिमल स्टेप साइज चुनने के लिए सिद्धांत आधारित रणनीतियों को रेखांकित करते हैं, जिसमें एक एडेप्टिव शेड्यूलर शामिल है जो अभिसरण गति और स्थिरता के बीच संतुलन बनाता है।

प्रायोगिक परिणाम
लेखक विभिन्न निरंतर और असतत बेंचमार्क पर PDNS का मूल्यांकन करते हैं:

निरंतर कार्य (Continuous Tasks):
- सिंथेटिक एनर्जी फंक्शन्स: PDNS 32-वेल पोटेंशियल (MW54), फनल (Funnel), और हाई-डायमेंशनल गॉसियन मिश्रण (GMM40) जैसे मल्टीमॉडल बेंचमार्क पर मजबूत बेसलाइन्स (SMC, DDS, PIS, और AS सहित) से बेहतर प्रदर्शन करता है। यह स्टूडेंट टी-मिक्सचर (MoS) और पार्टिकल-बेस्ड पोटेंशियल (Lennard-Jones सिस्टम LJ-13 और LJ-55) पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।
- मॉलिक्यूलर डायनेमिक्स: एलेनिन डाइपेप्टाइड (AD) सिस्टम पर, PDNS ASBS विधि के समान KL डाइवर्जेंस प्राप्त करता है और रामाचंद्रन प्लॉट्स में कन्फॉर्मेशनल स्ट्रक्चर को सटीक रूप से कैप्चर करता है।
असतत कार्य (Discrete Tasks):
- सांख्यिकीय भौतिकी: PDNS लो-टेम्परेचर (क्रिटिकल पॉइंट्स के पास या नीचे) पर आइसिंग और पॉट्स मॉडल को सैंपल करने में LEAPS और मेट्रोपोलिस-हेस्टिंग्स (MH) की तुलना में काफी बेहतर प्रदर्शन करता है, जहाँ मोड सेपरेशन बहुत गंभीर होता है। यह मैग्नेटाइजेशन और 2-पॉइंट कोरिलेशन में कम त्रुटि प्राप्त करता है।
- कॉम्बिनेटरियल ऑप्टिमाइज़ेशन: बाराबेसी-अल्बर्ट और अर्डेस-रेनी (Erdős–Rényi) ग्राफ पर मैक्सिमम कट समस्या पर लागू होने पर, PDNS ग्राउंड-ट्रुथ सॉल्वर (Gurobi) के समान समाधान गुणवत्ता तक पहुँचने की क्षमता प्रदर्शित करता है।

महत्व और दावे
शोध पत्र का दावा है कि PDNS जटिल, मल्टीमॉडल डिस्ट्रीब्यूशन के लिए डिफ्यूजन-आधारित न्यूरल सैंपलर को प्रशिक्षित करने में निहित मोड कोलैप्स की समस्या के लिए एक मजबूत समाधान प्रदान करता है। ग्लोबल ऑप्टिमाइजेशन को प्रॉक्सिमल स्टेप्स की एक श्रृंखला में तोड़कर, यह विधि मोड्स के बीच गहन अन्वेषण को बढ़ावा देती है और हाई-डायमेंशनल स्पेस में अनुकूलन को स्थिर करती है।

लेखक दो मुख्य सीमाओं को नोट करते हैं:

जांच PDNS के एक एकल इंस्टेंशिएशन (प्रॉक्सिमल WDCE) पर केंद्रित है, जो अन्य प्रॉक्सिमल ऑब्जेक्टिव या प्रायर्स (priors) की खोज के लिए गुंजाइश छोड़ती है।
प्रयोग नियंत्रित बेंचमार्क पर किए गए हैं न कि बड़े पैमाने के वास्तविक दुनिया के अनुप्रयोगों पर।

भविवीष्य की दिशाओं में नॉन-मेमोरीलेस रेफरेंस डायनेमिक्स के साथ SOC समस्याओं की खोज करना, फ्रेमवर्क को अधिक सामान्य स्टेट स्पेस तक विस्तारित करना और प्रॉक्सिमल ऑब्जेक्टिव के अन्य इंस्टेंशिएशन विकसित करना शामिल है।