Score Approximation for Diffusion Models on Arbitrary Low-Dimensional Structures

समस्या विवरण
स्कोर-आधारित डिफ्यूजन मॉडल के सैद्धांतिक आधार काफी हद तक अंतर्निहित डेटा वितरण के संबंध में प्रतिबंधात्मक धारणाओं पर निर्भर रहे हैं, विशेष रूप से लिप्सचिट्ज निरंतर घनत्व (Lipschitz continuous densities) या सुचारू मैनिफोल्ड सपोर्ट की आवश्यकता। हालाँकि, वास्तविक दुनिया का संवेदी डेटा (जैसे चित्र) अक्सर सिंगुलैरिटीज़ (singularities), तीक्ष्ण सीमाओं और विच्छेदित क्लस्टर्स को प्रदर्शित करता है जहाँ घनत्व असंतत (discontinuous) होते हैं या ग्रेडिएंट्स खराब व्यवहार वाले होते हैं। स्कोर फंक्शन $\nabla \log p_t(x)$ को अनुमानित करने के लिए मौजूदा जटिलता सीमाएँ आमतौर पर परिवेशी आयाम (ambient dimension) $n$ पर घातांकीय निर्भरता से ग्रस्त होती हैं, या वे उन वितरणों पर लागू होने में विफल रहती हैं जिनमें सुचारुता (smoothness) का अभाव होता है। यह एक मौलिक सैद्धांतिक प्रश्न उठाता है: क्या डिफ्यूजन मॉडल बिना किसी नियमितता या सुचारुता की धारणा के, मनमाने कॉम्पैक्ट डेटा वितरणों पर सैद्धांतिक रूप से सफल हो सकते हैं?

कार्यप्रणाली
लेखक एक सार्वभौमिक स्कोर सन्निकटन ढांचा (universal score approximation framework) प्रस्तावित करते हैं जो सभी निरंतरता और सुचारुता संबंधी धारणाओं को हटा देता है। उनका दृष्टिकोण एक नवीन डिस्क्रीट-मिक्सचर फॉर्मूलेशन और गाऊसी कर्नेल (Gaussian kernels) के स्मूथिंग प्रभावों पर केंद्रित एक विश्लेषण-प्रधान रणनीति पर आधारित है।

1. डिस्क्रीट-मिक्सचर फॉर्मूलेशन: लेखक प्रारंभिक वितरण $p_0$ को उप-वितरणों के एक परिमित मिश्रण (finite mixture) में विभाजित करते हैं, जिनमें से प्रत्येक एक छोटे बॉल $B(y_i, r)$ पर समर्थित है। वास्तविक स्कोर फंक्शन को प्रत्येक उप-वितरण पर एक इंटीग्रल के स्थान पर स्थानीय माध्य $\tilde{y}_i$ पर पॉइंट-मास इवैल्यूएशन द्वारा प्रतिस्थापित करके अनुमानित किया जाता है। यह स्कोर सन्निकटन समस्या को गाऊसी कर्नेल के भारित योग (weighted sum) को अनुमानित करने में बदल देता है।
2. डिवाइड-एंड-कॉन्कर एरर एनालिसिस: सन्निकटन त्रुटि (discretization error) को बांधने के लिए, लेखक क्वेरी पॉइंट $x$ के सापेक्ष स्थान को "निकट" (near) और "दूर" (far) समूहों में विभाजित करते हैं।
   • निकट समूह (Near Group): सपोर्ट के करीब स्थित बिंदुओं के लिए, स्थानीय माध्य के आसपास गाऊसी कर्नेल का टेलर विस्तार (Taylor expansion) यह दर्शाता है कि सन्निकटन त्रुटि कम है।
   • दूर समूह (Far Group): सपोर्ट से दूर स्थित बिंदुओं के लिए, गाऊसी भार तेजी से घटता है। लेखक सिद्ध करते हैं कि भले ही इन क्षेत्रों में स्थानीय सन्निकटन त्रुटि अधिक हो, लेकिन कर्नेल के तीव्र क्षय के कारण कुल त्रुटि में इसका योगदान नगण्य है।
3. सार्वभौमिक नियमितता (Universal Regularity): एक महत्वपूर्ण सैद्धांतिक बाधा यह सुनिश्चित करना है कि "खराब" बिंदु (जहाँ सन्निकटन विफल हो सकता है) का माप नगण्य हो। लेखक एक $C_1, C_2, r$-नियमितता स्थिति पेश करते हैं और एक "यूनिवर्सल रेगुलैरिटी" प्रमेय सिद्ध करते हैं: किसी भी कॉम्पैक्टली समर्थित वितरण के लिए, वे बिंदु जो नियमित नहीं हैं, उनका माप अनिश्चित रूप से छोटा है। यह सुनिश्चित करता है कि सन्निकटन लगभग हर जगह (almost everywhere) मान्य है।
4. न्यूरल नेटवर्क कार्यान्वयन: यह दिखाया गया है कि डिस्क्रीट मिक्सचर फॉर्मूला एक ReLU नेटवर्क द्वारा कार्यान्वित किया जा सकता है। लेखक एक ऐसा नेटवर्क निर्मित करते हैं जो नियंत्रित त्रुटि के साथ आवश्यक ऑपरेशन्स (वर्ग करना, एक्सपोनेंशियल, डिवीजन, और Softmax) का अनुमान लगाता है, जिससे यह सुनिश्चित होता है कि आउटपुट सपोर्ट के कॉनवेक्स हल (convex hull) के भीतर रहे।

प्रमुख योगदान

• यूनिवर्सल स्कोर एप्रोक्सिमेशन थ्योरम: यह शोधपत्र पहला प्रमेय स्थापित करता है जो यह सिद्ध करता है कि किसी भी वितरण (जिसका ऊपरी मिंकोव्स्की आयाम $d$ है) के लिए स्कोर फंक्शन को एक ReLU नेटवर्क द्वारा अनुमानित किया जा सकता है। यह लिप्सचिट्ज, हॉल्डर, या सोबोलेव सुचारुता धारणाओं की आवश्यकता को समाप्त करता है।
• जटिलता सीमाएँ (Complexity Bounds): लेखक सिद्ध करते हैं कि नेटवर्क जटिलता (पैरामीटर आकार) परिवेशी आयाम $n$ के साथ बहुपद (polynomially) रूप से बढ़ती है और केवल आंतरिक आयाम $d$ के साथ घातांकीय रूप से बढ़ती है। विशेष रूप से, आकार लगभग $O(n^3 d/4 (1/\epsilon)^{d/2})$ के रूप में स्केल करता है। यह उस "कर्स ऑफ एम्बिएंट डायमेंशनलिटी" को तोड़ता है जो मौजूदा सिद्धांतों को प्रभावित करती है।
• शिथिल नियमितता शर्तें (Relaxed Regularity Conditions): 'यूनिवर्सल रेगुलैरिटी' की अवधारणा पेश करके, यह कार्य प्रदर्शित करता है कि "बुरे सेट" जहाँ सन्निकटन विफल होता है, किसी भी कॉम्पैक्ट वितरण (जैसे फ्रैक्चर-लाइक मेजर्स, जैसे कैंटर मेजर्स, जिनमें प्रोबेबिलिटी डेंसिटी फंक्शन का अभाव होता है) के लिए नगण्य माप के होते हैं।

परिणाम
मुख्य परिणाम (प्रमेय 1) बताता है कि व्यास $R$ वाले कॉम्पैक्ट सपोर्ट वाले वितरण $p_0$ के लिए, वास्तविक स्कोर फंक्शन $\nabla \log p_t(x)$ को एक डेटा-प्रेडिक्शन फॉर्मूलेशन $\nabla \log p_{t,appr}(x) = s_\theta(x, t) - x/t$ द्वारा इस प्रकार अनुमानित किया जा सकता है कि मीन स्क्वेर्ड एरर सभी $t \in [t_0, T]$ के लिए $7\epsilon^2$ से बंधा हुआ है।

• अनुमानित नेटवर्क $s_\theta$ की गहराई $O(\log \omega \log \log \omega)$ है और चौड़ाई $O(C_K r^{-d} (n \log \omega + \log^2 \omega))$ है, जहाँ $\omega$ $n$ और $1/\epsilon$ के बहुपद के रूप में $n$ पर निर्भर करता है।
• त्रुटि सीमा वैश्विक (globally) रूप से मान्य है, जिसमें आउट-ऑफ-डिस्ट्रीब्यूशन बिंदुओं के लिए सन्निकटन त्रुटि $R/t$ द्वारा सीमित है, जो कि एक छोटे संभाव्यता क्षेत्र पर समाकलनीय (integrable) है।

महत्व
यह शोधपत्र दावा करता है कि यह अनियमित, गैर-सुचारू डेटा संरचनाओं पर डिफ्यूजन मॉडल्स की अनुभवजन्य सफलता के लिए एक कठोर सैद्धांतिक औचित्य प्रदान करता है। यह सिद्ध करके कि बिना सुचारुता धारणाओं के किसी भी मनमाने कॉम्पैक्ट वितरण के लिए सटीक स्कोर अनुमान संभव है, यह कार्य सैद्धांतिक गारंटी और वास्तविक दुनिया की डेटा विशेषताओं (जैसे पिक्सेल क्लिपिंग और सिंगुलैरिटीज़) के बीच के अंतर को पाटता है। लेखक उल्लेख करते हैं कि उनकी डिवाइड-एंड-कॉन्कर तकनीक और रेगुलैरिटी परिणाम उच्च-क्रम डेरिवेटिव्स (जैसे हेसियन) को बांधने के लिए अनुकूलित किए जा सकते हैं, जो भविष्य के डिफ्यूजन मॉडल कार्यों में सहायता कर सकते हैं जो वर्तमान में इन पदों के लिए बाउंडेडनेस धारणाओं पर निर्भर करते हैं। यह कार्य स्वयं को एक मौलिक कदम के रूप में स्थापित करता है, जो स्कोर सन्निकटन सिद्धांत के दायरे को सुचारू मैनिफोल्ड्स से सामान्य वर्ग के कॉम्पैक्टली समर्थित वितरणों तक विस्तारित करता है।