📊 statistics

Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors

यह शोध पत्र यह प्रकट करता है कि मानक $L^2$ स्कोर मैचिंग त्रुटि डिफ्यूजन मॉडल्स में वितरण संबंधी गुणवत्ता का एक अपर्याप्त माप है क्योंकि केवल इसका ग्रेडिएंट घटक ही मार्जिनल डायनेमिक्स को प्रभावित करता है, और यह इस ज्यामितीय अंतर्दृष्टि पर आधारित एक नया सैद्धांतिक ढांचा और एस्टिमेटर प्रस्तावित करता है ताकि कड़े बाउंड्स और बेहतर गुणवत्ता मूल्यांकन प्रदान किया जा सके।

मूल लेखक: Naïl B. Khelifa, Richard E. Turner, Ramji Venkataramanan

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naïl B. Khelifa, Richard E. Turner, Ramji Venkataramanan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "अदृश्य" गलती

कल्पना कीजिए कि आप एक रोबोट को बिल्ली की एक सटीक तस्वीर बनाने के लिए सिखाने की कोशिश कर रहे हैं। रोबोट बिल्ली के एक धुंधले संस्करण को देखकर और यह अनुमान लगाने की कोशिश करके सीखता है कि उसे कैसे स्पष्ट किया जाए। AI की दुनिया में, इस प्रक्रिया को डिफ्यूजन मॉडल (Diffusion Model) कहा जाता है।

रोबोट को सिखाने के लिए, वैज्ञानिक आमतौर पर यह मापते हैं कि रोबोट के अनुमान कितने गलत हैं। वे एक मानक पैमाने का उपयोग करते हैं जिसे L2 स्कोर एरर (L2 Score Error) कहा जाता है। इस पैमाने को "कुल गलती स्कोर" (Total Mistake Score) के रूप में समझें। यदि स्कोर अधिक है, तो रोबोट बुरा काम कर रहा है। यदि यह कम है, तो रोबोट अच्छा काम कर रहा है।

इस पेपर की बड़ी खोज यह है: यह "कुल गलती स्कोर" वास्तव में एक झूठा है।

हो सकता है कि आपके पास एक ऐसा रोबोट हो जिसका "कुल गलती स्कोर" बहुत अधिक हो, फिर भी वह एक सटीक बिल्ली की तस्वीर बनाए। इसके विपरीत, एक रोबोट जिसका "कुल गलती स्कोर" बहुत कम हो, एक भयानक बिल्ली की तस्वीर बना सकता है। यह पेपर सिद्ध करता है कि मानक पैमाना उन चीजों को मापता है जो अंतिम तस्वीर के लिए वास्तव में मायने नहीं रखतीं।

उपमा: नदी और भंवर

इसे समझने के लिए, कल्पना करें कि रोबोट की सीखने की प्रक्रिया एक नदी की तरह है जो एक गंतव्य (एक सटीक बिल्ली) की ओर बह रही है।

नदी में दो प्रकार की गति होती है:

प्रवाह (Gradient): यह आगे की ओर बहता पानी है, जो नदी को समुद्र की ओर ले जाता है। यह वह हिस्सा है जो वास्तव में तय करता है कि पानी अंततः कहाँ पहुँचेगा।
भंवर (Solenoidal): यह पानी है जो गोल-गोल घूम रहा है, जैसे भंवर या चक्रवात। पानी चल तो रहा है, लेकिन वह बस अपनी जगह पर घूम रहा है। यह नदी को आगे या पीछे नहीं ले जाता; यह बस घूमता रहता है।

पेपर का ज्यामितीय अंतर्दृष्टि (Geometric Insight):
"कुल गलती स्कोर" प्रवाह और भंवर दोनों को गिनता है।

यदि रोबोट ऐसी गलती करता है जो एक भंवर की तरह दिखती है (पानी को गोल घुमाना), तो स्कोर बढ़ जाता है। लेकिन क्योंकि पानी केवल घूम रहा है और गंतव्य की ओर नहीं बढ़ रहा है, इसलिए अंतिम तस्वीर (बिल्ली) सटीक रहती है। यह गलती परिणाम के लिए संरचनात्मक रूप से अदृश्य (structurally invisible) है।
यदि रोबोट ऐसी गलती करता है जो प्रवाह की तरह दिखती है (पानी को गलत दिशा में धकेलना), तो स्कोर बढ़ जाता है, और अंतिम तस्वीर खराब हो जाती है।

पेपर दिखाता है कि मानक प्रशिक्षण पद्धति (Denoising Score Matching) कुल स्कोर को कम करने की कोशिश करती है। यह "भंवरों" (जो मायने नहीं रखते) को रोकने में ऊर्जा बर्बाद करती है, बजाय इसके कि केवल "प्रवाह" (जो वास्तव में मायने रखता है) को ठीक करने पर ध्यान केंद्रित करे।

तीन मुख्य निष्कर्ष

लेखकों ने इस "नदी" वाली उपमा के आधार पर तीन विशिष्ट चीजें सिद्ध की हैं:

1. "असंभव" प्रमाण
उन्होंने सिद्ध किया कि आप यह भविष्यवाणी करने के लिए "कुल गलती स्कोर" का उपयोग नहीं कर सकते कि अंतिम तस्वीर कितनी अच्छी होगी।

उपमा: एक कार रेस की कल्पना करें। आपके पास एक ऐसी कार हो सकती जिसका इंजन टूटा हुआ है (बड़ी त्रुटि), फिर भी वह पहले स्थान पर पहुँच सकती है क्योंकि ट्रैक एक लूप (चक्र) है (त्रुटि केवल एक भंवर है)। आपके पास एक ऐसी कार भी हो सकती जिसमें मामूली खरोंच (छोटी त्रुटि) हो, लेकिन वह दुर्घटनाग्रस्त हो जाए क्योंकि वह खरोंच स्टीयरिंग व्हील पर है (त्रुटि एक प्रवाह है)।
परिणाम: आप "कुल गलती स्कोर" में चाहे कितनी भी हेरफेर कर लें, यह भरोसेमंद तरीके से यह नहीं बता सकता कि रोबोट एक अच्छी बिल्ली बनाएगा या एक बुरी।

2. एक बेहतर पैमाना (नया बाउंड/सीमा)
उन्होंने गलतियों को मापने का एक नया तरीका बनाया। "कुल गलती" को मापने के बजाय, उन्होंने एक ऐसा फिल्टर बनाया जो "भंवरों" को ब्लॉक कर देता है और केवल "प्रवाह" को मापता है।

उपमा: पूरी नदी (पानी + कीचड़ + घूमते हुए भंवर) को तौलने के बजाय, उन्होंने एक जाल बनाया जो केवल आगे की ओर बहते पानी को पकड़ता है।
परिणाम: यह नया माप बहुत अधिक सटीक और सटीक भविष्यवाणी करने वाला है कि अंतिम छवि कितनी अच्छी होगी। यह उन "अदृश्य" गलतियों को अनदेखा कर देता है जो परिणाम को नहीं बदलते।

3. एक व्यावहारिक उपकरण ("क्रिटिक")
उन्होंने यह पता लगाया कि कंप्यूटर पर इस नए "केवल-प्रवाह" (Flow-only) स्कोर की गणना वास्तव में कैसे की जाए।

उपमा: उन्होंने एक विशेष "क्रिटिक" (एक दूसरा AI) बनाया जो रोबोट को चित्र बनाते हुए देखता है। यह क्रिटिक घूमते हुए भंवरों की परवाह नहीं करता; यह केवल उन हिस्सों को देखता है जो नदी को रास्ते से भटका देते हैं।
परिgetResult: जब उन्होंने वास्तविक डेटासेट (जैसे Fashion-MNIST और CIFAR-10) पर इसका परीक्षण किया, तो उन्होंने पाया कि यह नया "केवल-प्रवाह" स्कोर, पुराने "कुल गलती" स्कोर की तुलना में छवियों की गुणवत्ता के साथ बहुत बेहतर तालमेल रखता है।

यह क्यों मायने रखता है (पेपर के अनुसार)

वर्तमान में, AI शोधकर्ता यह तय करने के लिए "कुल गलती स्कोर" देखते हैं कि उनका मॉडल अच्छी तरह से सीख रहा है या नहीं। यह पेपर कहता है: ऐसा करना बंद करें।

पेपर दिखाता है कि मानक पद्धति AI को उन गलतियों के लिए "दंडित" (penalize) कर रही है जो वास्तव में अंतिम परिणाम को नुकसान नहीं पहुँचाती हैं (भंवर)। इन अदृश्य त्रुटियों को अनदेखा करके और केवल उन त्रुटियों पर ध्यान केंद्रित करके जो वितरण को बदलते हैं (प्रवाह), हमें इस बात की बहुत स्पष्ट तस्वीर मिलती है कि मॉडल वास्तव में कितनी अच्छी तरह सीख रहा है।

संक्षेप में: यह पेपर हमें सिखाता है कि डिफ्यूजन मॉडल में, सभी त्रुटियां एक समान नहीं होती हैं। कुछ केवल शोर (भंवर) हैं जिन्हें हम सुरक्षित रूप से अनदेखा कर सकते हैं, जबकि अन्य वास्तविक महत्वपूर्ण चीजें (प्रवाह) हैं जो यह तय करती हैं कि AI सफल होगा या विफल। पुराना मापने वाला टेप दोनों को गिनता था; नया टेप केवल वही गिनता है जो मायने रखता है।

तकनीकी सारांश: डिफ्यूजन मॉडल केवल ग्रेडिएंट्स को ही देखते हैं

समस्या विवरण (Problem Statement)
स्कोर-आधारित डिफ्यूजन मॉडल आमतौर पर समय-एकीकृत (time-integrated) $L_2$ स्कोर मैचिंग एरर को कम करने के माध्यम से प्रशिक्षित किए जाते हैं। मानक सैद्धांतिक विश्लेषण इस पूर्ण $L_2$ एरर पर निर्भर करते हैं ताकि सीखे गए और लक्षित वितरणों (target distributions) के बीच सैंपलिंग विसंगति (जैसे कि कुलबैक-लीब्लर डाइवर्जेंस) को सीमित किया जा सके। हालाँकि, यह शोध पत्र इस दृष्टिकोण में एक मौलिक दोष की पहचान करता है: पूर्ण $L_2$ स्कोर एरर, मार्जिनल डिस्ट्रीब्यूशनल क्वालिटी का आंतरिक माप नहीं है। एक सीखा गया डिफ्यूजन मॉडल लक्ष्य वितरण से पूरी तरह मेल खाते हुए भी एक अत्यंत बड़ा $L_2$ स्कोर एरर उत्पन्न कर सकता है। लेखक तर्क देते हैं कि मानक $L_2$ मीट्रिक उन एरर घटकों के बीच अंतर करने में विफल रहता है जो जनरेट किए गए नमूनों (samples) को प्रभावित करते हैं और जो उन्हें प्रभावित नहीं करते हैं।

कार्यप्रणाली: ज्यामितीय अपघटन (Methodology: Geometric Decomposition)
मुख्य कार्यप्रणाली में स्कोर एस्टीमेशन एरर वेक्टर फील्ड, $e_s = \hat{s}_s - \nabla \log p^\star_s$ को लक्षित घनत्व (target density) $p^\star_s$ के सापेक्ष एक हेल्महोल्ट्ज़-हॉज अपघटन (Helmholtz-Hodge decomposition) का उपयोग करके दो ऑर्थोगोनल घटकों में विभाजित करना शामिल है:

अवलोकनीय ग्रेडिएंट घटक ( $\Pi_{G_s} e_s$ ): ग्रेडिएंट फील्ड्स के स्थान पर एरर का प्रोजेक्शन।
अदृश्य सोलेनोइडल घटक ( $\Pi_{G_s^\perp} e_s$ ): ऑर्थोगोनल कॉम्प्लीमेंट (भारित घनत्व के सापेक्ष डाइवर्जेंस-मुक्त फील्ड्स) पर प्रोजेक्शन।

लेखक प्रदर्शित करते हैं कि एक डिफ्यूजन प्रक्रिया की मार्जिनल डायनेमिक्स फॉकर-प्लैंक समीकरण (Fokker-Planck equation) द्वारा नियंत्रित होती है, जो केवल एक भारित डाइवर्जेंस (weighted divergence) पद, $\nabla \cdot (p^\star_s e_s)$ के माध्यम से स्कोर एरर पर निर्भर करती है।

ग्रेडिएंट घटक इस डाइवर्जेंस में योगदान देता है और मार्जिनल वितरणों के विकास को सीधे प्रभावित करता है।
सोलेनोइडल घटक $\nabla \cdot (p^\star_s e_{inv}) = 0$ को संतुष्ट करता है। फलस्वरूप, यह संरचनात्मक रूप से मार्जिनल फॉकर-प्लैंक डायनेमिक्स के लिए अदृश्य है; एक शुद्ध सोलेनोइडल एरर फील्ड को जोड़ने से किसी भी समय चरण पर मार्जिनल वितरण नहीं बदलता है, भले ही यह $L_2$ नॉर्म के एरर को बढ़ा देता है।

प्रमुख योगदान (Key Contributions)

असंभवता परिणाम (Theorem 3.1):
लेखक सिद्ध करते हैं कि पूर्ण $L_2$ स्कोर एरर का कोई भी मोनोटोन फंक्शन, सीखे गए और लक्षित मॉडलों के बीच किसी भी सार्थक डिस्ट्रीब्यूशनल डाइवर्जेंस (जैसे KL डाइवर्जेंस) को समान रूप से निचला स्तर (lower-bound) नहीं दे सकता है। ऐसा इसलिए है क्योंकि शुद्ध सोलेनोइडल एरर का $L_2$ नॉर्म अत्यधिक बड़ा हो सकता है जबकि मार्जिनल वितरण लक्षित के समान ही रहते हैं (अर्थात $KL=0 $)। यह स्थापित करता है कि पूर्ण$ L_2$ एरर वह अंतर्निहित मात्रा नहीं है जो सैंपलिंग गुणवत्ता को नियंत्रित करती है।
KL डाइवर्जेंस पर कड़ा ऊपरी बाउंड (Theorem 3.2):
केवल अवलोकनीय ग्रेडिएंट घटक पर ध्यान केंद्रित करते हुए, लेखक एक नया ऊपरी बाउंड (upper bound) प्राप्त करते हैं:
$KL(p^\star_{t_0} \parallel \hat{p}_{t_0}) \lesssim \frac{1}{2} \int_{t_0}^T \sigma_s^2 \|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 ds$
यह बाउंड मानक गिरसानोव-आधारित बाउंड की तुलना में काफी अधिक सटीक (tighter) है जब सोलेनोइडल घटक गैर-शून्य होता है। लेखक मानक बाउंड की ढीलेपन (looseness) को पथ-स्पेस डायनेमिक्स के बजाय मार्जिनल-स्पेस डायनेमिक्स पर कार्य करने की "लागत" के रूप में पहचानते हैं। वे आगे दिखाते हैं कि इस बाउंड को केवल अवलोकनीय ड्रिफ्ट को बनाए रखने वाले सीखे गए प्रोसेस के मार्जिनली-इक्विवेलेंट प्रतिनिधि पर लागू गिरसानोव तर्क के माध्यम से प्राप्त किया जा सकता है।
अवलोकनीय एरर के लिए सुलभ अनुमानक (Section 4):
चूंकि उच्च आयामों में एरर्स को ग्रेडिएंट फील्ड्स पर स्पष्ट रूप से प्रोजेक्ट करना गणनात्मक रूप से कठिन है, लेखक अवलोकनीय घटक के नॉर्म का अनुमान लगाने के लिए एक ड्यूल सोबोलेव आइडेंटिटी (dual Sobolev identity) प्रस्तावित करते हैं। वे इस समस्या को एक स्केलर-वैल्यूड "क्रिटिक" नेटवर्क $\phi_\psi$ पर एक अनकन्स्ट्रेंड ऑप्टिमाइजेशन के रूप में तैयार करते हैं:
$\|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 = \sup_{\phi} \left\{ 2 \mathbb{E}[\nabla \phi \cdot e_s] - \mathbb{E}[\|\nabla \phi\|^2] \right\}$
यह अनुमानक स्पष्ट प्रोजेक्शन से बचता है और इसे नॉइज़ड डेटा डिस्ट्रीब्यूशन से मानक सैंपलिंग का उपयोग करके कंप्यूट किया जा सकता है।

परिणाम (Results)
लेखक विभिन्न मॉडल क्षमताओं के तहत Fashion-MNIST और CIFAR-10 पर अपने सैद्धांतिक निष्कर्षों को अनुभवजन्य रूप से सत्यापित करते हैं:

एरर अपघटन (Error Decomposition): प्रशिक्षण के दौरान, स्कोर एरर का ग्रेडिएंट घटक महत्वपूर्ण रूप से घटता है (कई ऑर्डर्स ऑफ मैग्नीट्यूड), जबकि सोलेनोइडल घटक जल्दी बढ़ता है और स्थिर (plateau) हो जाता है, जो अंततः लगभग सभी अवशेष एरर (residual error) के लिए जिम्मेदार होता है।
बाउंड की सटीकता (Bound Tightness): मानक गिरसानोव बाउंड सोलेनोइडल एरर फ्लोर के स्तर पर संतृप्त (saturate) हो जाता है, जो सीखने में होने वाले आगे के सुधार को दर्शाने में विफल रहता है। इसके विपरीत, नया बाउंड (ग्रेडिएंट घटक पर आधारित) लगातार घटता रहता है, जो मॉडल में वास्तविक सुधार को ट्रैक करता है।
सैंपल क्वालिटी के साथ सहसंबंध (Correlation with Sample Quality): ग्रेडिएंट घटक का नॉर्म ( $\|\Pi_{G} e\|^2$ ), पूर्ण $L_2$ एरर की तुलना में फ्रेट चेन्सन इनसेप्शन डिस्टेंस (FID) के साथ काफी उच्च स्पीयरमैन सहसंबंध (Spearman correlation) प्रदर्शित करता है। यह सहसंबंध विभिन्न मॉडल क्षमताओं में बना रहता है, और छोटे मॉडलों में यह अंतर सबसे अधिक स्पष्ट होता है।

महत्व और दावे (Significance and Claims)
यह शोध पत्र स्कोर मैचिंग एरर्स पर एक ज्यामितीय परिप्रेक्ष्य (geometric perspective) प्रदान करने का दावा करता है जो यह समझाता है कि क्यों मानक प्रशिक्षण उद्देश्य (training objectives) सैंपल क्वालिटी के संबंध में अक्षम या भ्रामक हो सकते हैं।

यह स्पष्ट करता है कि मानक डिनोइजिंग स्कोर मैचिंग (DSM) पूर्ण $L_2$ एरर को कम करता है, अनजाने में उन सोलेनोइडल घटकों को दंडित करता है जो जनरेट किए गए वितरण को प्रभावित नहीं करते हैं।
प्रस्तावित अवलोकनीय एरर मीट्रिक सीखने की गुणवत्ता के लिए एक बेहतर नैदानिक (diagnostic) उपकरण के रूप में कार्य करता है, जो KL डाइवर्जेंस के लिए एक कड़ा सैद्धांतिक बाउंड प्रदान करता है और FID जैसे धारणात्मक मेट्रिक्स के साथ अधिक मजबूती से सहसंबंधित होता है।
यह कार्य यह सुझाव देता है कि मौजूदा सैद्धांतिक बाउंड्स का "ढीलापन" एक गणितीय आर्टिफैक्ट नहीं है, बल्कि पथ-स्पेस वितरणों के विश्लेषण का एक संरचनात्मक परिणाम है जब केवल मार्जिनल डायनेमिक्स ही जनरेशन के लिए मायने रखते हैं।

लेखक इस कार्य को डिफ्यूजन मॉडल्स की सैद्धांतिक समझ के परिशोधन (refinement) के रूप में प्रस्तुत करते हैं, जो एक अधिक अंतर्निहित माप प्रदान करता है जो वास्तविक तंत्र (फॉकर-प्लैंक डायनेमिक्स) के अनुरूप है जो सैंपल जनरेशन को नियंत्रित करता है। वे मानक प्रशिक्षण उद्देश्य को बदलने का प्रस्ताव नहीं देते हैं, बल्कि प्रशिक्षण डायनेमिक्स और क्षमता उपयोग (capacity utilization) को बेहतर ढंग से समझने के लिए ग्रेडिएंट-कंपोनेंट एस्टीमेटर का उपयोग करने का सुझाव देते हैं।

मुख्य विचार: "अदृश्य" गलती

उपमा: नदी और भंवर

तीन मुख्य निष्कर्ष

यह क्यों मायने रखता है (पेपर के अनुसार)

इसी तरह के और पेपर