📊 statistics

Supervised Guidance Training for Infinite-Dimensional Diffusion Models

यह शोध पत्र डोब के $h$ -ट्रांसफॉर्म के विस्तार के माध्यम से शोर युक्त अवलोकनों (noisy observations) पर अनंत-आयामी डिफ्यूजन मॉडलों को अनुकूलित करने के लिए एक सैद्धांतिक ढांचा स्थापित करता है और बेयसियन व्युत्क्रम समस्याओं (Bayesian inverse problems) में सटीक पोस्टीरियर सैंपलिंग के लिए इन मॉडलों को कुशलतापूर्वक फाइन-ट्यून करने हेतु एक सिम्युलेशन-मुक्त "सुपरवाइज्ड गाइडेंस ट्रेनिंग" पद्धति प्रस्तुत करता है।

मूल लेखक: Elizabeth L. Baker, Alexander Denker, Jes Frellsen

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Elizabeth L. Baker, Alexander Denker, Jes Frellsen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधली पहेली (jigsaw puzzle) को सुलझाने की कोशिश कर रहे हैं। आपके पास टुकड़ों का एक डिब्बा है जो एक सुंदर परिदृश्य (landscape) जैसा दिखता है (यह आपका पूर्व ज्ञान (prior knowledge) है या आपकी अपेक्षा है कि चित्र कैसा दिखना चाहिए)। हालाँकि, आपके पास केवल कुछ ही सुराग हैं: शायद किसी ने आपसे कहा, "ऊपरी बाएँ कोने में एक पेड़ है," या "आसमान नीला है।" ये आपके अवलोकन (observations) हैं।

आपका लक्ष्य उस पूरे चित्र का पुनर्निर्माण करना है जो उस परिदृश्य की सामान्य शैली और उन विशिष्ट सुरागों दोनों में फिट बैठता हो। गणित और विज्ञान में, इसे इनवर्स प्रॉब्लम (inverse problem) कहा जाता है।

समस्या: "अनंत" पहेली

आमतौर पर, कंप्यूटर इन पहेलियों को पिक्सेल के ग्रिड में तोड़कर हल करते हैं (जैसे एक मानक फोटो)। लेकिन उन्नत विज्ञान में (जैसे मौसम मॉडलिंग या मेडिकल इमेजिंग में), "चित्र" केवल पिक्सेल का ग्रिड नहीं है; यह एक चिकना, निरंतर वक्र (smooth, continuous curve) है जो अनंत आयामों (infinite dimensions) में मौजूद है। आप जितना भी ज़ूम इन करें, हमेशा और अधिक विवरण मौजूद रहेगा।

मानक कंप्यूटर विधियाँ यहाँ संघर्ष करती हैं। यदि आप अनंत पहेली को पिक्सेल के एक निश्चित ग्रिड में जबरदस्ती फिट करने की कोशिश करते हैं, तो आप जानकारी खो देते हैं, और समाधान अव्यवस्थित हो जाता है या ज़ूम करने पर टूट जाता है।

समाधान: एक स्मार्ट गाइड (डिफ्यूजन मॉडल)

लेखक एक उपकरण का उपयोग करते हैं जिसे डिफ्यूजन मॉडल (Diffusion Model) कहा जाता है। इसे एक "रिवर्स नॉइज़ मशीन" के रूप में सोचें।

फॉरवर्ड प्रोसेस (Forward Process): कल्पना कीजिए कि आप एक स्पष्ट चित्र ले रहे हैं और धीरे-धीरे उसमें स्टैटिक (शोर/नॉइज़) जोड़ रहे हैं जब तक कि वह केवल सफेद धुंध न बन जाए।
रिवर्स प्रोसेस (Reverse Process): एक प्रशिक्षित AI यह सीखता है कि उस सफेद धुंध से शोर को धीरे-धीरे कैसे हटाया जाए ताकि मूल चित्र प्रकट हो सके।

समस्या यह है: AI जानता है कि शोर से कोई भी परिदृश्य कैसे बनाया जाए, लेकिन वह यह नहीं जानता कि ऐसा परिदृश्य कैसे बनाया जाए जिसमें विशेष रूप से ऊपरी बाएँ कोने में एक पेड़ हो (आपका सुराग)।

पुराना तरीका बनाम नया तरीका

पुराना तरीका (Heuristics):
पहले, लोग अनुमान लगाकर AI को सुरागों की ओर मोड़ने की कोशिश करते थे। उन्होंने एक "नियम" (heuristic) का उपयोग किया जो AI को सही दिशा में धकेलने के लिए प्रेरित करता था।

उपमा: यह अंधेरे जंगल में एक विशिष्ट पेड़ को खोजने के लिए चलने की कोशिश करने जैसा है। आप अंधेरे में बनाए गए अपने मानचित्र के आधार पर दिशा का अनुमान लगाते हैं। कभी-कभी आप करीब पहुँच जाते हैं, लेकिन अक्सर आप भटक जाते हैं या एक लूप में फंस जाते हैं।

नया तरीका (सुपरवाइज्ड गाइडेंस ट्रेनिंग):
यह पेपर एक नई विधि पेश करता है जिसे सुपरवाइज्ड गाइडेंस ट्रेनिंग (SGT) कहा जाता है। अनुमान लगाने के बजाय, वे AI को एक विशिष्ट "गाइड" सिखाते हैं जो ठीक से जानता है कि सुरागों की ओर कैसे मुड़ना है।

रूपक (Metaphor): कल्पना कीजिए कि AI कोहरे में एक यात्री है।
- अनकंडीशनल स्कोर (Unconditional Score) यात्री की स्वाभाविक प्रवृत्ति है कि वह एक सीधी रेखा में चले (एक यादृच्छिक परिदृश्य बनाना)।
- गाइडेंस टर्म (Guidance Term) एक GPS डिवाइस है जो कहता है, "बाएँ मुड़ें, पेड़ उस तरफ है।"
- पेपर यह सिद्ध करता है कि आप इन दोनों चीजों को गणितीय रूप से अलग कर सकते हैं। "GPS" (गाइडेंस) वह अंतर है जो "यादृच्छिक रूप से चलने" और "पेड़ की ओर चलने" के बीच का है।

उन्होंने GPS को कैसे प्रशिक्षित किया

जटिल हिस्सा यह है कि सटीक GPS दिशा की गणना करना गणितीय रूप से असंभव है (इसे "intractable" कहा जाता है)। इसके लिए यात्री द्वारा लिए जाने वाले हर संभावित पथ का अनुकरण करना होगा, जिसमें बहुत समय लगता है।

लेखकों ने एक चतुर प्रशिक्षण तकनीक का आविष्कार किया:

उन्होंने सटीक पथ की गणना करने की कोशिश नहीं की।
इसके बजाय, उन्होंने AI को कई उदाहरण दिखाए: "प्रारंभिक बिंदु (शोर) + सुराग (पेड़ का स्थान) = सही पथ।"
उन्होंने AI को यादृच्छिक चाल (random walk) और गाइडेड चाल के बीच के अंतर को सीखने के लिए प्रशिक्षित किया।
इसे सुपरवाइजिड गाइडेंस ट्रेनिंग कहा जाता है। यह एक छात्र को टेस्ट के "मोड़ने वाले" हिस्से के लिए उत्तर कुंजी दिखाने जैसा है, ताकि वह बिना पूरे जंगल का अनुकरण किए ठीक से स्टीयरिंग करना सीख सके।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

लेखकों ने तीन प्रकार की पहेलियों पर इसका परीक्षण किया:

स्पार्स डेटा (Sparse Data): कुछ बिखरे हुए बिंदुओं से एक चिकनी रेखा का पुनर्निर्माण करना।
हीट इक्वेशन (Heat Equation): यह पता लगाना कि एक धातु की प्लेट शुरुआत में कैसी दिखती थी, इस आधार पर कि वह बाद में कैसे ठंडी हुई।
शेप इनपेंटिंग (Shape Inpainting): दृश्य वक्रों (visible curves) के आधार पर एक हस्तलिखित अंक (जैसे "3") के लापता हिस्से का पुनर्निर्माण करना।

परिणाम:

बेहतर सटीकता: उनके "GPS" (SGT) ने पुराने "अनुमान लगाने" वाले तरीकों की तुलना में बहुत स्पष्ट और अधिक सटीक चित्र बनाए।
मजबूती (Robustness): भले ही AI की बुनियादी "सहज प्रवृत्ति" (unconditional model) थोड़ी कमजोर या अप्रशिक्षित थी, फिर भी SGT "GPS" उसे एक अच्छे समाधान तक ले जाने में सक्षम था। पुराने तरीके विफल हो जाते थे यदि मूल मॉडल एकदम सटीक न हो।
रेज़ोल्यूशन स्वतंत्रता (Resolution Independence): क्योंकि उन्होंने समस्या को शुरू से ही "अनंत" के रूप में माना, इसलिए उनका समाधान इस बात पर निर्भर नहीं करता कि आप कितना ज़ूम इन करते हैं। उन्हें अलग-अलग पिक्सेल आकार के लिए मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं पड़ी।

सारांश

यह पेपर एक गणितीय सिरदर्द को हल करता है: आप एक ऐसे AI को कैसे निर्देशित करते हैं जो विशिष्ट सुरागों के अनुरूप अनंत, चिकही आकृतियाँ बनाता है? उन्होंने सिद्ध किया कि आप समस्या को "एक आकृति बनाना" और "आकृति को निर्देशित करना" में विभाजित कर सकते हैं। इसके बाद, उन्होंने एक प्रशिक्षण विधि (सुपरवाइज्ड गाइडेंस ट्रेनिंग) बनाई जो AI को कुशलतापूर्वक स्टीयरिंग वाला हिस्सा सिखाती है, जिसके परिणामस्वरूप पिछले अनुमान लगाने वाले खेलों की तुलना में बहुत अधिक स्पष्ट और सटीक पुनर्निर्माण प्राप्त होता है।

तकनीकी सारांश: अनंत-आयामी डिफ्यूजन मॉडल्स के लिए सुपरवाइज्ड गाइडेंस ट्रेनिंग

समस्या विवरण (Problem Statement)

इनवर्स प्रॉब्लम्स (Inverse problems), विशेष रूप से जो आंशिक अंतर समीकरणों (PDEs) से उत्पन्न होते हैं, अक्सर उन अज्ञात मापदंडों (parameters) के अनुमान की मांग करते हैं जो अनंत-आयामी फलन स्थानों (infinite-dimensional function spaces) में मौजूद होते हैं। बेयसियन ढांचे (Bayesian framework) के भीतर, लक्ष्य इन फलनों पर एक पोस्टीरियर वितरण (posterior distribution) से नमूने (sample) लेना है, जो शोर युक्त अवलोकनों (noisy observations) पर आधारित होता है। जबकि स्कोर-आधारित डिफ्यूजन मॉडल्स (SDMs) को हाल ही में अनंत-आयामी फलन स्थानों के लिए एक्सप्रेसिव प्रायर्स (expressive priors) के रूप में विस्तारित किया गया है, इन मॉडल्स को पोस्टीरियर से नमूने लेने के लिए कंडीशन करने का सिद्धांत अभी भी एक खुला प्रश्न बना हुआ है।

मौजूदा परिमित-आयामी (finite-dimensional) कंडीशनिंग तकनीकें, जैसे कि डूब्स $h$ -ट्रांसफॉर्म (Doob's $h$ -transform), डेंसिटी डिकंपोजिशन और ट्रांजिशन ऑपरेटर्स पर निर्भर करती हैं जो अनंत आयामों में सीधे तौर पर लागू नहीं होते हैं। चुनौतियां शामिल हैं: लेबेग डेंसिटीज (Lebesgue densities) का अस्तित्व न होना, कैमरन-हैमिल्टन स्पेस (Cameron-Martin space) के बाहर गौसियन मेजर्स को शिफ्ट करने पर मेजर्स की संभावित सिंगुलैरिटी (Feldman-Hájek theorem), और हिल्बर्ट स्पेस में ट्रांजिशन ऑपरेटर्स की डिफरेंशिएबिलिटी सुनिश्चित करने में कठिनाई। इसके अलावा, फ्रेमवर्क की लचीलेपन को सीमित करने और रेजोल्यूशन-निर्भर त्रुटियां पैदा करने के कारण डेटा को तुरंत विविक्त (discretize) करना एक समस्या है।

कार्यप्रणाली (Methodology)

सैद्धांतिक आधार: अनंत-आयामी $h$ -ट्रांसफॉर्म (Theoretical Foundation: Infinite-Dimensional $h$ -Transform)

लेखक डूब्स $h$ -ट्रांसफॉर्म के विस्तार का उपयोग करके अनंत-आमामी डिफ्यूजन मॉडल्स को कंडीशन करने के लिए एक सिद्धांतवादी फ्रेमवर्क का प्रस्ताव करते हैं। वे दो सेटिंग्स के तहत एक कंडीशनल डिफ्यूजन प्रोसेस के अस्तित्व को स्थापित करते हैं:

सेटिंग 1: प्रायर डिस्ट्रीब्यूशन, डिफ्यूजन SDE में उपयोग किए जाने वाले वीनर प्रोसेस (Wiener process) के कैमरन-हैमिल्टन स्पेस के एक बॉल (ball) के भीतर समर्थित है।
सेटिंग 2: प्रायर एक गौसियन मेजर के सापेक्ष एब्सोल्यूटली कंटीन्यूअस (absolutely continuous) है, जिसमें पोटेंशियल फंक्शन और उसके ग्रेडिएंट पर विशिष्ट सीमाएं (bounds) हैं।

इन सेटिंग्स के तहत, लेखक सिद्ध करते हैं कि टाइम-रिवर्स्ड कंडीशनल प्रोसेस एक ऐसे स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) का पालन करता है जहाँ ड्रिफ्ट (drift) को एक गाइडेंस टर्म द्वारा संशोधित किया जाता है। विशेष रूप से, वे प्रदर्शित करते हैं कि कंडीशनल स्कोर फंक्शन, $s_y(t, x)$ , अनकंडीशनल स्कोर, $s(t, x)$ , और एक गाइडेंस टर्म, $C\nabla \log h_y(t, x)$ में विभाजित होता है:
$s_y(t, x) = s(t, x) + C\nabla \log h_y(t, x)$
यहाँ, $h_y$ , लाइकलीहुड पोटेंशियल के कंडीशनल एक्सपेक्टेशन के माध्यम से परिभाषित अनंत-आयामी $h$ -ट्रांसफॉर्म है।

सुपरवाइज्ड गाइडेंस ट्रेनिंग (SGT)

चूंकि गाइडेंस टर्म $C\nabla \log h_y$ अपने अनंत-आयामी प्रोसेस के पूर्ण ट्रांजिशन लॉ (transition law) पर निर्भरता के कारण अग्राह्य (intractable) है, इसलिए लेखक गाइडेंस टर्म को सीधे सीखने के लिए एक सुपरवाइज्ड गाइडेंस ट्रेनिंग (SGT) का परिचय देते हैं। यह एक सिम्युलेशन-फ्री ट्रेनिंग ऑब्जेक्टिव है।

उद्देश्य (Objective): यह विधि एक डीनॉइजिंग स्कोर मैचिंग लॉस को कम करती है। सिम्युलेशन-आधारित स्टोकेस्टिक ऑप्टिमल कंट्रोल (जो उच्च वेरिएंस से ग्रस्त है और जिसके लिए ट्रैजेक्टरीज के सैंपलिंग की आवश्यकता होती है) पर निर्भर रहने के बजाय, SGT ज्ञात अनकंडीशनल स्कोर $s(t, x)$ और डेटा एवं ऑब्जर्वेशन $(X_0, Y)$ के जॉइंट डिस्ट्रीब्यूशन का लाभ उठाता है।
लॉस फंक्शन (Loss Function): लॉस फंक्शन को सीखे गए गाइडेंस टर्म $u(t, x, y)$ और वास्तविक गाइडेंस टर्म के बीच के अंतर को कम करने के लिए तैयार किया गया है। ऑब्जेक्टिव है:
$\mathbb{E} \left[ \left\| \frac{X_t - e^{-t/2}X_0}{1 - e^{-t}} + s(t, X_t) + u(t, X_t, Y) \right\|^2_K \right]$
जहाँ $K$ एक चुना हुआ हिल्बर्ट स्पेस है (जैसे, कैमरन-हैमिल्टन स्पेस)।
पैरामीट्राइजेशन (Parametrization): गाइडेंस टर्म को एक न्यूरल नेटवर्क द्वारा पैरामीटराइज़ किया गया है। लेखक रेगुलैरिटी को लागू करने और SDE के नॉइज़ स्ट्रक्चर के साथ संरेखित करने के लिए नेटवर्क आउटपुट को कोवेरिएंस ऑपरेटर $C$ के साथ प्रीकंडीशन करने के विभिन्न स्तरों ( $k \in \{0, 1/2, 1\}$ ) का अन्वेषण करते हैं।

सन्निकटन और तुलना (Approximations and Comparisons)

पेपर मौजूदा ह्यूरिस्टिक दृष्टिकोणों का भी विश्लेषण करता है:

स्टोकेस्टिक ऑप्टिमल कंट्रोल (SOC): हालांकि सैद्धांतिक रूप से सही है, SOC के लिए सिम्युलेशन-आधारित ट्रेनिंग की आवश्यकता होती है जो कम्प्यूटेशनल रूप से महंगी और शुरुआती ट्रेनिंग चरणों में अस्थिर होती है।
ट्वीडी का सन्निकटन (FunDPS): लेखक FunDPS सन्निकटन (जो क्लीन डेटा का अनुमान लगाने के लिए ट्वीडी के फॉर्मूला का उपयोग करता है) को सेटिंग 2 (एब्सोल्यूट कंटीन्यूटी) तक विस्तारित करते हैं, जो पिछले कार्यों की प्रतिबंधात्मक धारणाओं को शिथिल करता है। हालांकि, वे नोट करते हैं कि इस दृष्टिकोण में अभी भी प्रत्येक डिस्क्रीटाइजेशन स्टेप पर स्कोर मॉडल के माध्यम से बैकप्रोपैगेशन की आवश्यकता के कारण कम्प्यूटेशनल ओवरहेड होता है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक विस्तार: यह पेपर प्रमाण देता है कि अनंत-आयामी डिफ्यूजन मॉडल्स को डूब्स $h$ -ट्रांसफॉर्म के माध्यम से सामान्य सेटिंग्स (कैमरन-हैमिल्टन सपोर्ट या एब्सोल्यूट कंटीन्यूटी) के तहत कंडीशन किया जा सकता है, जो अनकंडीशनल स्कोर और एक गाइडेंस टर्म में कंडीशनल स्कोर के विभाजन को स्थापित करता है।
सुपरवाइज्ड गाइडेंस ट्रेनिंग (SGT): लेखक अग्राह्य गाइडेंस टर्म को सीखने के लिए एक नया, सिम्युलेशन-फ्री ट्रेनिंग एल्गोरिदम प्रस्तावित करते हैं। यह दृष्टिकोण सिम्युलेशन-आधारित विधियों के उच्च वेरिएंस और ट्वीडी-आधारित सन्निकटन (जिसमें हर स्टेप पर स्कोर मॉडल को डिफरेंशिएट करने की कम्प्यूटेशनल लागत होती है) से बचता है।
रेजोल्यूशन इनवेरिएंस (Resolution Invariance): समस्या को अनंत आयामों में उपचारित करके और केवल अंतिम चरण में विविक्त (discretize) करके, यह फ्रेमवर्क कंडीशनिंग के लिए एक रेजोल्यूशन-इनवेरिएंट दृष्टिकोण प्रदान करता है, जिससे प्रदर्शन में गिरावट से बचा जा सकता है।
FunDPS का सामान्यीकरण: यह कार्य सिद्ध करता है कि ट्वीडी-आधारित सन्निकटन (FunDPS) कम प्रतिबंधात्मक सेटिंग 2 (एब्सोल्यूट कंटीन्यूटी) के तहत भी मान्य हैं, जिससे इसकी प्रयोज्यता बढ़ती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक तीन बेयसियन इनवर्स प्रॉब्लम्स पर SGT का मूल्यांकन करते हैं:

स्पार्स ऑब्जर्वेशन (Sparse Observations): शोर युक्त पॉइंट ऑब्जर्वेशन से 1D फंक्शन को रिकवर करना।
हीट इक्वेशन (Heat Equation): बाद के समय में शोर युक्त अवलोकनों से हीट इक्वेशन के प्रारंभिक तापमान वितरण को रिकवर करना।
शेप इनपेंटिंग (Shape Inpainting): आंशिक फूरियर गुणांकों (एलिप्टिक फूरियर डिस्क्रिप्टर्स) से आकृतियों (MNIST के डिजिट "3") का पुनर्निर्माण करना।

निष्कर्ष:

प्रदर्शन: SGT, RMSE और एनर्जी स्कोर (ES) के मामले में ह्यूरिस्टिक FunDPS बेसलाइन से लगातार बेहतर प्रदर्शन करता है।
तुलना: SGT "कंडीशनल डिफ्यूशन" मॉडल (जो एक अपर बाउंड के रूप में कार्य करता है) के बराबर सटीकता प्राप्त करता है, भले ही कंडीशनल मॉडल काफी बड़ा हो और अधिक स्टेप्स के लिए प्रशिक्षित किया गया हो।
मजबूती (Robustness): अपूर्ण (रैंडमली इनिशियलाइज्ड या आंशिक रूप से प्रशिक्षित) अनकंडीशनल बेस मॉडल्स के साथ प्रयोगों में, SGT बेहतर मजबूती प्रदर्शित करता है, जहाँ FunDPS पूरी तरह विफल हो जाता है।
दक्षता: SGT को स्क्रैच से एक पूर्ण कंडीशनल मॉडल को प्रशिक्षित करने की तुलना में कम पैरामीटर्स और ट्रेनिंग स्टेप्स की आवश्यकता होती है, क्योंकि यह केवल गाइडेंस नेटवर्क को प्रशिक्षित करता है और प्री-ट्रेंड अनकंडीशनल मॉडल का पुन: उपयोग करता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह प्रशिक्षित डिफ्यूजन मॉडल्स को फाइन-ट्यून करने के लिए पहला फंक्शन-स्पेस मेथड है ताकि पोस्टीरियर डिस्ट्रीब्यूशन से सटीक रूप से नमूने लिए जा सकें। इसका महत्व अनंत-आयामी बेयसियन इन्फरेंस की सैद्धांतिक आवश्यकताओं और डिफ्यूजन मॉडल्स के व्यावहारिक कार्यान्वयन के बीच के अंतर को पाटने में निहित है।

लेखक इस बात पर जोर देते हैं कि उनका फ्रेमवर्क निम्नलिखित की अनुमति देता है:

रेजोल्यूशन इनवेरिएंस: बिना प्रदर्शन में गिरावट के प्रशिक्षण डेटा के अलग-अलग रेजोल्यूशन पर नमूने बनाने की क्षमता।
स्थिरता (Stability): एक ऐसा ट्रेनिंग रिजीम जो स्थिर है, भले ही अंतर्निहित अनकंडीशनल मॉडल अपूर्ण हो।
लचीलापन: विवक्तीकरण (discretization), प्रशिक्षण और लॉस फंक्शन के वैकल्पिक विकल्प जो परिमित-आयामी डेंसिटी धारणाओं से बंधे नहीं हैं।

यह कार्य निष्कर्ष निकालता है कि स्पष्ट रूप से अनंत-आयामी गाइडेंस टर्म को सीखने से ह्यूरिस्टिक सन्निकटन की तुलना में बेहतर सटीकता प्राप्त होती है, जो विज्ञान और इंजीनियरिंग में जटिल इनवर्स प्रॉब्लम्स को लागू करने के लिए एक सिद्धांतवादी मार्ग प्रदान करता है।