📊 statistics

From Score Approximation to Distribution Approximation in Score-Based Diffusion Models

यह शोधपत्र यह सिद्ध करके कि स्कोर फंक्शन का सटीक न्यूरल नेटवर्क सन्निकटन (approximation), जनित और लक्षित वितरणों के बीच कम कुलबैक-लीब्लर (Kullback-Leibler) विचलन की गारंटी देता है, और त्रुटि को स्कोर सन्निकटन त्रुटि, शोर अनुसूची (noise schedule) और टर्मिनल प्रायोर मिसमैच द्वारा स्पष्ट रूप से सीमित करता है, स्कोर-आधारित डिफ्यूजन मॉडल में स्कोर फंक्शन सन्निकटन और वितरण निर्माण के बीच एक कठोर मात्रात्मक संबंध स्थापित करता है।

मूल लेखक: Lan V. Truong

प्रकाशित 2026-07-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lan V. Truong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक उत्कृष्ट कृति (मास्टरपीस) पेंट करना सिखाने की कोशिश कर रहे हैं, लेकिन आप उसे अंतिम चित्र दिखा नहीं सकते। इसके बजाय, आप उसे कला का एक धुंधला, शोर वाला (नोइज़ी) संस्करण देते हैं और उससे पूछते हैं कि वह इसे चरण-दर-चरण कैसे "अन-ब्लर" (स्पष्ट) करे, जब तक कि चित्र फिर से स्पष्ट न हो जाए। यही स्कोर-आधारित डिफ्यूजन मॉडल्स (score-based diffusion models) का मूल है, जो आर्टिफिशियल इंटेलिजेंस की एक अत्याधुनिक तकनीक है जिसने कंप्यूटर द्वारा चित्र, संगीत और यहाँ तक कि आणविक संरचनाओं को उत्पन्न करने के तरीके में क्रांति ला दी है। यहाँ का असली रहस्य कुछ है जिसे स्कोर फंक्शन (score function) कहा जाता है। स्कोर फंक्शन को एक जादुगत दिशा-सूचक (कम्पास) के रूप में समझें जो हमेशा रोबोट को "अधिक संभावित" या "कम शोर वाले" डेटा की दिशा में निर्देशित करता है। यदि रोबोट एक धुंधले खेत में खड़ा है, तो स्कोर फंक्शन उसे बताता है, "इस दिशा में एक कदम बढ़ाओ, और धुंध कम हो जाएगी।"

लंबे समय से, वैज्ञानिक जानते थे कि न्यूरल नेटवर्क (रोबोट का मस्तिष्क) इस दिशा-सूचक को सीखने में अविश्वसनीय रूप से कुशल होते हैं। प्रसिद्ध गणितीय प्रमेयों ने सिद्ध किया कि यदि आप एक न्यूरल नेटवर्क को पर्याप्त न्यूरॉन्स देते हैं, तो वह लगभग किसी भी फंक्शन की नकल कर सकता है, जिसमें यह स्कोर कम्पास भी शामिल है, और वह भी पूर्ण सटीकता के साथ। हालाँकि, एक बड़ा प्रश्न इस क्षेत्र पर मंडरा रहा था: केवल इसलिए कि रोबलेट ने कम्पास को पूरी तरह से सीख लिया है, क्या यह गारंटी देता है कि वह वास्तव में उत्कृष्ट कृति ही पेंट करेगा? दूसरे शब्दों में, क्या दिशा का सटीक अनुमान लगाना, अंतिम चित्र के सटीक अनुमान की गारंटी देता है? अब तक, यह कड़ी एक रहस्य बनी हुई थी, जिससे शोधकर्ता अनिश्चित थे कि क्या रोबोट का आंतरिक दिशा-सूचक वास्तव में उसके द्वारा निर्मित कला की गुणवत्ता में परिवर्तित हो रहा है।

यह शोध पत्र, जिसका शीर्षक "From Score Approximation to Distribution Approximation in Score-Based Diffusion Models" है, एक कठोर गणितीय प्रमाण के साथ इस रहस्य को सुलझाने के लिए आगे आता है। लेखक, लैन वी. ट्रुओंग (Lan V. Truong), यह प्रदर्शित करते हैं कि यदि एक न्यूरल नेटवर्क वास्तविक स्कोर फंक्शन (कम्पास) का पर्याप्त सटीक रूप से अनुमान लगाता है, तो मॉडल द्वारा उत्पन्न किए गए चित्र या डेटा का अंतिम वितरण गणितीय रूप से वास्तविक लक्ष्य डेटा के करीब होगा। वे केवल अनुमान नहीं लगाते; वे तीन गणितीय उपकरणों के चतुर संयोजन का उपयोग करके इसे सिद्ध करते हैं: एक प्रमेय कि न्यूरल नेटवर्क कार्यों की कितनी अच्छी तरह नकल कर सकते हैं, एक प्रमेय कि एक कण द्वारा लिए जाने वाले विभिन्न पथों की तुलना कैसे की जाती है (गिरसानोव का प्रमेय/Girsanov's theorem), और एक नियम कि जब आप एक प्रणाली को विभिन्न कोणों से देखते हैं तो सूचना कैसे खो जाती है या संरक्षित रहती है।

यह पत्र एक स्पष्ट, मात्रात्मक नियम स्थापित करता है: अंतिम उत्पन्न चित्र में त्रुटि सीधे कम्पास की त्रुटि से जुड़ी होती है, साथ ही एक छोटा, अपरिहार्य "बेमेल" (मिसमैच) दंड भी होता है। कल्पना कीजिए कि डिफ्यूजन प्रक्रिया एक यात्रा है। रोबोट यात्रा के अंत (यादृच्छिक शोर का ढेर) से शुरू करता है और पीछे की ओर चलकर शुरुआत (स्पष्ट चित्र) तक पहुँचता है। पेपर सिद्ध करता है कि यदि रोबोट की यात्रा के दौरान उसका कम्पास थोड़ा भी गलत है, तो अंतिम गंतव्य भी थोड़ा अलग होगा, लेकिन वह कितनी दूरी तक भटक जाएगा, यह इस बात से सख्ती से सीमित है कि उसका कम्पास कितना खराब था। महत्वपूर्ण रूप से, लेखक दिखाते हैं कि अंतिम चित्र को अपूर्ण बनाने वाली एकमात्र अन्य चीज़ यह है कि क्या रोबोट की यात्रा का "प्रारंभिक बिंदु" (यादृच्छिक शोर वितरण) फॉरवर्ड प्रोसेस के "अंतिम बिंदु" से पूरी तरह मेल नहीं खाता है। यदि यह बेमेल छोटा है, और कम्पास सटीक है, तो उत्पन्न डेटा वास्तविक चीज़ के अविश्वसनीय रूप से करीब होगा।

यह कार्य एक पहेली का आधारभूत हिस्सा है। यह यह दावा नहीं करता कि इसने चित्र उत्पन्न करने का कोई नया तरीका आविष्कार किया है या यह दावा नहीं करता कि वर्तमान सभी मॉडल पूर्ण हैं। इसके बजाय, यह उस सैद्धांतिक सुरक्षा जाल (सेफ्टी नेट) को प्रदान करता है जो समझाता है कि ये मॉडल इतने अच्छे से क्यों काम करते हैं। यह पुष्टि करता है कि न्यूरल नेटवर्क की अभिव्यंजक शक्ति—उनको एक सटीक कम्पास बनने के लिए सिखाने की हमारी क्षमता—स्वयं डिफ्यूजन मॉडल्स की अभिव्यंजक शक्ति में सीधे परिवर्तित होती है। "एक फंक्शन सीखने" और "एक वितरण उत्पन्न करने" के बीच के अंतर को पाटकर, यह पेपर शोधकर्ताओं को एक ठोस गणितीय गारंटी देता है: यदि आप अपने न्यूरल नेटवर्क को सही दिशा खोजने के लिए प्रशिक्षित कर सकते हैं, तो आप गणितीय रूप से एक अच्छा परिणाम प्राप्त करने की गारंटी रखते हैं, बशर्ते आप प्रारंभिक शोर की स्थितियों को सही ढंग से प्रबंधित करें।

तकनीकी सारांश: स्कोर-आधारित डिफ्यूजन मॉडल में स्कोर सन्निकटन से वितरण सन्निकटन तक

समस्या विवरण
स्कोर-आधारित डिफ्यूजन मॉडल ने जनरेटिव मॉडलिंग में अनुभवजन्य सफलता प्राप्त की है, फिर भी उनके सन्निकटन-सैद्धांतिक (approximation-theoretic) आधार अपूर्ण हैं। जबकि शास्त्रीय यूनिवर्सल एप्रोक्सिमेशन प्रमेय यह गारंटी देते हैं कि न्यूरल नेटवर्क स्कोर फंक्शन ( $\nabla_x \log p_t(x)$ ) को कितनी भी सटीकता से सन्निकट (approximate) कर सकते हैं, यह स्पष्ट नहीं रहा है कि क्या ऐसे फंक्शन-स्तर के आश्वासन रिवर्स डिफ्यूजन प्रक्रिया द्वारा उत्पन्न संभाव्यता वितरणों (probability distributions) के सन्निकटन के लिए गारंटी में परिवर्तित होते हैं। विशेष रूप से, सीखे गए स्कोर फंक्शन के $L^2$ त्रुटि और लक्षित डेटा वितरण तथा रिवर्स प्रक्रिया द्वारा उत्पन्न वितरण के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस के बीच एक कठोर मात्रात्मक संबंध का अभाव है।

कार्यप्रणाली
यह शोध पत्र सन्निकटन सिद्धांत (approximation theory), स्टोकेस्टिक विश्लेषण (stochastic analysis) और सूचना सिद्धांत (information theory) को संयोजित करते हुए एक तीन-चरणीय विश्लेषणात्मक ढांचे के माध्यम से स्कोर सन्निकटन और वितरण सन्निकटन के बीच एक कठोर मात्रात्मक लिंक स्थापित करता है:

गिरासोव के प्रमेय (Girsanov's Theorem) के माध्यम से पाथ मेजर विश्लेषण: लेखक वास्तविक रिवर्स-टाइम स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) और सीखे गए रिवर्स-टाइम SDE (जहाँ वास्तविक स्कोर को न्यूरल नेटवर्क सन्निकटन $s_\theta$ द्वारा प्रतिस्थापित किया गया है) के बीच संबंध का विश्लेषण करते हैं। पाथ स्पेस पर गिरासोव के प्रमेय को लागू करके, वे वास्तविक (P) और सीखे गए (Q_θ) पाथ मेजर्स के बीच KL डाइवर्जेंस के लिए एक स्पष्ट पहचान (identity) व्युत्पन्न करते हैं। यह पहचान पाथ-स्पेस डाइवर्जेंस को दो घटकों में विभाजित करती है: फॉरवर्ड प्रक्रिया के टर्मिनल वितरण ( $p_T$ ) और रिवर्स प्रक्रिया को इनिशियलाइज़ करने के लिए उपयोग किए गए प्रायर ( $p_{prior}$ ) के बीच KL डाइवर्जेंस, और एक इंटीग्रल टर्म जो डिफ्यूजन गुणांक $g(t)$ द्वारा भारित (weighted) स्कोर सन्निकटन के समय-एकीकृत (time-integrated) $L^2$ त्रुटि को दर्शाता है।
डेटा प्रोसेसिंग इनइक्वेलिटी के माध्यम से डेटा वितरण पर प्रक्षेपण (Projection): पाथ-स्पेस डाइवर्जेंस को अंतिम जनरेटेड डेटा वितरण से जोड़ने के लिए, लेखक रिलेटिव एंट्रॉपी के लिए डेटा प्रोसेसिंग इनइक्वेलिटी लागू करते हैं। वे सिद्ध करते हैं कि समय $t=0$ पर मार्जिनल डिस्ट्रीब्यूशन (लक्ष्य $\mu$ और जनरेटेड $\mu_\theta$ ) के बीच KL डाइवर्जेंस, संबंधित पाथ मेजर्स के KL डाइवर्जेंस से ऊपर सीमित (bounded) है। यह चरण रेडोन-निकोडिम डेरिवेटिव और जेन्सन की इनइक्वेलिटी का उपयोग यह दिखाने के लिए करता है कि पाथ मेजर्स को प्रारंभिक अवस्था पर प्रोजेक्ट करने से डाइवर्जेंस बढ़ता नहीं है।
यूनिवर्सल एप्रोक्सिमेशन के साथ एकीकरण: लेखक व्युत्पन्न बाउंड्स को हॉर्निक के यूनिवर्सल एप्रोक्सिमेशन प्रमेय के साथ जोड़ते हैं। वे प्रदर्शित करते हैं कि किसी भी $\epsilon > 0$ के लिए, एक ऐसा न्यूरल नेटवर्क $s_\theta$ मौजूद है (जो विशिष्ट नियमितता शर्तों जैसे ग्लोबल लिप्सचिट्ज़ निरंतरता को पूरा करता है) जो वास्तविक स्कोर फंक्शन को $\epsilon$ की $L^2(\mu)$ त्रुटि के भीतर सन्निकट करता है।

प्रमुख परिणाम
केंद्रीय परिणाम प्रमेय 1 (Theorem 1) है, जो वितरण सन्निकटन त्रुटि पर एक स्पष्ट ऊपरी सीमा (upper bound) प्रदान करता है। प्रमेय बताता है कि यदि एक न्यूरल नेटवर्क $s_\theta$ वास्तविक स्कोर $s$ को इस प्रकार सन्निकट करता है कि $\|s_\theta - s\|_{L^2(\mu)}^2 < \epsilon$ , तो लक्षित डेटा वितरण $\mu$ और जनरेटेड वितरण $\mu_\theta$ के बीच KL डाइवर्जेंस निम्नलिखित है:

$KL(\mu \| \mu_\theta) < \delta + \frac{1}{2}g_{max}^2 \epsilon$

जहाँ:

$\delta = KL(p_T \| p_{prior})$ फॉरवर्ड प्रक्रिया के टर्मिनल वितरण और रिवर्स प्रक्रिया के प्रायर के बीच अपरिहार्य बेमेल (irreducible mismatch) को मापता है।
$g_{max} = \max_{t \in [0,T]} |g(t)|$ अधिकतम डिफ्यूजन नॉइज़ शेड्यूल गुणांक है।
$\epsilon$ स्कोर फंक्शन की स्क्वेर्ड $L^2$ एप्रोक्सिमेशन एरर है।

यह परिणाम ड्रिफ्ट और स्कोर फंक्शन्स के लिए ग्लोबल लिप्सचिट्ज़ निरंतरता (जो विशिष्ट एक्टिवेशन के साथ सामान्य न्यूरल नेटवर्क आर्किटेक्चर द्वारा संतुष्ट है) और एक्सपोनेंशियल मार्टिंगेल के लिए नोविकोव स्थिति (Novikov condition) की मान्यताओं के तहत मान्य है।

महत्व और दावे
यह शोध पत्र स्कोर-आधारित डिफ्यूजन मॉडल्स की जनरेटिव क्षमता को न्यूरल नेटवर्क्स की अभिव्यंजक शक्ति (expressive power) से जोड़ने के लिए एक कठोर सैद्धांतिक आधार प्रदान करने का दावा करता है। विशेष रूप से:

यह स्थापित करता है कि $L^2$ अर्थ में स्कोर फंक्शन का अत्यंत सटीक सन्निकटन, अपरिहार्य प्रायर बेमेल तक, जनरेटेड वितरण में अत्यंत सूक्ष्म KL डाइवर्जेंस की ओर ले जाता है।
यह कार्य हाल के सांख्यिकीय लर्निंग विश्लेषणों (जैसे चेन एट अल.) का पूरक है जो परिमित-नमूना (finite-sample) सेटिंग्स और संरचनात्मक डेटा धारणाओं पर ध्यान केंद्रित करते हैं। इसके बजाय, यह शोध पत्र विशिष्ट डेटा वितरण संरचनाओं से स्वतंत्र, यूक्लिडियन स्पेस में एक सामान्य सन्निकटन-सैद्धांतिक दृष्टिकोण प्रदान करता है।
व्युत्पन्न बाउंड स्कोर-आधारित लर्निंग का एक सरल, स्पष्ट औचित्य प्रदान करता है: स्कोर नेटवर्क की सटीकता में सुधार सीधे तौर पर KL सेंस में जनरेटेड वितरण की गुणवत्ता में सुधार करता है।

लेखक नोट करते हैं कि हालांकि विश्लेषण निरंतर-समय SDEs पर केंद्रित है, यह ढांचा डिस्क्रीट-टाइम मॉडल्स (DDPMs), प्रोबेबिलिटी फ्लो ODEs, और नॉन-यूक्लिडियन डेटा स्पेस के लिए संभावित विस्तार का सुझाव देता है, जिन्हें भविष्य के कार्य के लिए छोड़ दिया गया है।

तकनीकी सारांश: स्कोर-आधारित डिफ्यूजन मॉडल में स्कोर सन्निकटन से वितरण सन्निकटन तक

इसी तरह के और पेपर