🤖 machine learning

Simulation-free and finite-time diffusion model

यह शोधपत्र एक नवीन ढांचे का प्रस्ताव करता है जो सुलभ समय-निर्भर सशर्त वितरणों को निर्धारित करके सिमुलेशन-मुक्त प्रशिक्षण और परिमित-समय पीढ़ी को एक साथ प्राप्त करता है, जिससे स्कोर मैचिंग प्रक्रिया के उत्क्रमण के एक स्वाभाविक परिणाम के रूप में प्रकट होती है और कंडीशनल फ्लो मैचिंग को इसके लघु-शोर सीमा (small-noise limit) के रूप में पहचानती है।

मूल लेखक: Kentaro Kaba, Masayuki Ohzeki, Yuki Sughiyama

प्रकाशित 2026-08-05

📖 3 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Kentaro Kaba, Masayuki Ohzeki, Yuki Sughiyama

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पेंटिंग करना सिखाने की कोशिश कर रहे हैं। आप उसे लाखों तैयार उत्कृष्ट कृतियाँ दिखाकर यह नहीं पूछना चाहते कि वे कैसे बनाई गईं। इसके बजाय, आप उसे एक खाली कैनवास और रंगीन शोर (noise) की एक बाल्टी देते हैं। रोबट का काम है, धीरे-धीरे, चरण-दर-चरण, उस बिखरे हुए शोर को एक सुंदर चित्र में बदलना। यही जेनरेटिव डिफ्यूजन मॉडल्स (generative diffusion models) का जादू है, जो आर्टिफिशियल इंटेलिजेंस में एक बेहद लोकप्रिय टूल है और नई छवियां, ध्वनियाँ और यहाँ तक कि टेक्स्ट भी बनाता है।

इसे काम करने के लिए, रोबट को एक "गाइड" या एक "संदर्भ प्रक्रिया" (reference process) की आवश्यकता होती है। इस गाइड को निर्देशों के एक सेट के रूप में सोचें जो रोबोट को बताता है कि शोर को स्वाभाविक रूप से अंतिम चित्र में कैसे घुलना चाहिए। लंबे समय तक, वैज्ञानिक इस गाइड को लेकर एक कठिन विकल्प का सामना करते थे। वे एक ऐसा गाइड चुन सकते थे जिसे रोबोट को सिखाना आसान हो (ताकि रोबोट बिना जटिल सिमुलेशन चलाए तेजी से सीख सके), लेकिन उस गाइड को पेंटिंग पूरी करने में बहुत समय लगता था। या, वे एक ऐसा गाइड चुन सकते थे जो पेंटिंग को जल्दी पूरा कर देता, लेकिन रोबोट को यह सिखाना कि उसका उपयोग कैसे किया जाए, एक कम्प्यूटेशनल दुःस्वप्न था, जिसके लिए अंतहीन सिमुलेशन की आवश्यकता होती थी। यह एक धीमी, आसान पैदल यात्रा या एक तेज़, खतरनाक खड़ी चढ़ाई चुनने जैसा था; किसी के पास भी दोनों नहीं हो सकते थे।

केंटारो काबा, मसायुकी ओज़ेकी और युकी सुगियामा द्वारा लिखित यह शोध पत्र, "सिमुलेशन-फ्री एंड फाइनाइट-टाइम डिफ्यूजन मॉडल" (Simulation-free and finite-time diffusion model), उस गाइड को बनाने का एक चतुर नया तरीका प्रस्तावित करता है जिससे रोबोट को दोनों तरफ के बेहतरीन लाभ मिल सकें। लेखक उस सामान्य डिजाइन प्रक्रिया को उलट देने का सुझाव देते हैं। एक जटिल नियमों के सेट से शुरू करने और यह देखने के बजाय कि वे कहाँ ले जाते हैं, वे इस बात से शुरू करते हैं कि समय के हर एक क्षण में शोर कैसा दिखना चाहिए, और फिर वे उस योजना से मेल खाने के लिए नियम बनाते हैं।

ऐसा करके, उन्होंने एक ऐसा ढांचा तैयार किया जो रोबोट को महंगे सिमुलेशन चलाए बिना सीखने (सिमुलेशन-फ्री) की अनुमति देता है और साथ ही यह गारंटी भी देता है कि पेंटिंग एक निर्धारित, कम समय में पूरी हो जाएगी (फाइनाइट-टाइम जनरेशन)। स्पाइरल और मून जैसे सरल 2D आकारों पर किए गए उनके प्रयोगों से पता चलता है कि यह नई विधि पुराने, धीमे तरीकों के समान ही प्रभावी है, लेकिन इसमें समय की सेटिंग्स के साथ छेड़छाड़ करने की आवश्यकता नहीं है। उन्होंने यह भी खोजा कि "स्कोर मैचिंग" (score matching) नामक एक लोकप्रिय तकनीक, जिसे सभी एक गुप्त मंत्र मानते थे कि यह इन मॉडल्स को प्रशिक्षित करने का आधार है, वास्तव में मौलिक नहीं है—यह केवल इसलिए दिखाई देती है क्योंकि जब आप समस्या को पुराने, उल्टे दिशा से देखते हैं तो यह स्वाभाविक रूप से सामने आती है। संक्षेप में, उन्होंने AI आर्ट जनरेशन को तेज़, सस्ता और अधिक लचीला बनाने का एक तरीका खोज लिया है, यह साबित करते हुए कि अब आपको गति और सीखने की सुगमता के बीच चुनाव करने की आवश्यकता नहीं है।

तकनीकी सारांश: सिमुलेशन-मुक्त और परिमित-समय प्रसार मॉडल (Simulation-free and Finite-time Diffusion Model)

समस्या विवरण (Problem Statement)

जेनरेटिव डिफ्यूजन मॉडल्स ने विभिन्न डोमेन में अत्याधुनिक प्रदर्शन हासिल किया है, फिर भी वे सिमुलेशन-मुक्त प्रशिक्षण (simulation-free training) और परिमित-समय पीढ़ी (finite-time generation) के बीच एक मौलिक समझौते (trade-off) का सामना करते हैं।

सिमुलेशन-मुक्त प्रशिक्षण (Simulation-free training): यह संदर्भ स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) को सिम्युलेट किए बिना प्रशिक्षण उद्देश्य (training objective) के मूल्यांकन की अनुमति देता है, जिससे कम्प्यूटेशनल लागत काफी कम हो जाती है। पारंपरिक स्कोर-आधारित मॉडल (SBMs) इसे एक ऑर्नस्टीन-उहलेनबेक (OU) प्रक्रिया का उपयोग करके प्राप्त करते हैं, जो संदर्भ के रूप में कार्य करती है। हालाँकि, OU प्रक्रिया केवल एसिम्प्टोटिक रूप से ( $T \to \infty$ ) प्रायोर वितरण (prior distribution) के करीब पहुँचती है, जिससे उच्च-आयामी डेटा के लिए परिमित-समय पीढ़ी अक्षम या सटीक नहीं रह जाती है।
परिमित-समय पीढ़ी (Finite-time generation): इसके लिए संदर्भ प्रक्रिया को एक निर्धारित परिमित समय क्षितिज (finite time horizon) के भीतर एम्पिरिकल डेटा वितरण और प्रायोर वितरण को जोड़ना आवश्यक है। श्रोडिंगर ब्रिज (Schrödinger bridge) जैसे दृष्टिकोण इसे प्राप्त करते हैं, लेकिन उन्हें आमतौर पर प्रशिक्षण के दौरान संदर्भ SDE के सिमुलेशन की आवश्यकता होती है (जैसे, इम्प्लिसिट स्कोर मैचिंग के माध्यम से), क्योंकि संबंधित फोकर-प्लांक (Fokker–Planck) समीकरण विश्लेषणात्मक रूप से अव्यवहार्य (intractable) होता है।

यह कार्य जिस मुख्य चुनौती को संबोधित करता है वह एक ऐसी संदर्भ प्रक्रिया का निर्माण करना है जो इन दोनों गुणों को एक साथ संतुष्ट करे: बिना संदर्भ SDE को सिम्युलेट किए प्रशिक्षण सक्षम बनाना और एक निश्चित, परिमित समय के भीतर प्रायोर और एम्पिरिकल वितरणों को जोड़ना सुनिश्चित करना।

कार्यप्रणाली (Methodology)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो पारंपरिक डिजाइन प्रक्रिया को उलट देता है। पहले एक संदर्भ SDE निर्दिष्ट करने और फिर उसके प्रेरित वितरणों का विश्लेषण करने के बजाय, लेखक पहले एक सुलभ समय-निर्भर सशर्त वितरणों (time-dependent conditional distributions) का परिवार $\{\rho_t\}_{t \in [0,1]}$ निर्दिष्ट करते हैं और फिर एक संदर्भ SDE का निर्माण करते हैं जो इन वितरणों को अपने मार्जिनल्स के रूप में साकार करता है।

1. संदर्भ प्रक्रिया का निर्माण (Construction of the Reference Process)

मान लीजिए कि $\mu$ एम्पिरिकल वितरण है और $\pi$ प्रायोर है। लेखक सशर्त वितरणों का एक परिवार $\rho_t(z|x)$ परिभाषित करते हैं जो निम्नलिखित को संतुष्ट करता है:

नियमितता (Regularity): $\rho_t$ , समय और स्थान के संबंध में $C^{1,2}$ है।
सुगमता (Tractability): $\rho_t(\cdot|x)$ से नमूने सीधे लिए जा सकते हैं।
सीमा स्थितियाँ (Boundary Conditions): प्रेरित मार्जिनल्स $p_t(z) = \int \rho_t(z|x)\mu(x)dx$ इस प्रकार हैं कि $p_0 = \pi$ और $p_1 = \mu$ ।

इन शर्तों को देखते हुए, लेखक गुणांक $\alpha(t, z, x)$ (सशर्त ड्रिफ्ट) और $b(t, z)$ (डिफ्यूजन गुणांक) व्युत्पन्न करते हैं ताकि $\rho_t$ फोकर-प्लांक समीकरण को संतुष्ट करे:
$\partial_t \rho_t = -\nabla_z \cdot [\alpha(t, z, x)\rho_t] + \frac{1}{2} \sum_{i,j} \partial_{z_i}\partial_{z_j} [\Gamma_{ij}(t, z)\rho_t]$
जहाँ $\Gamma = bb^\top$ है। संदर्भ प्रक्रिया $P$ को इस SDE द्वारा परिभाषित किया जाता है:
$dZ_t = a(t, Z_t)dt + b(t, Z_t)dW_t, \quad Z_0 \sim p_0$
जहाँ ड्रिफ्ट $a(t, z)$ $\rho_t$ के सापेक्ष $\alpha$ का प्रत्याशा (expectation) है।

2. सिमुलेशन-मुक्त उद्देश्य (Simulation-Free Objective)

गिरसानोव प्रमेय (Girsanov theorem) लागू करके, संदर्भ प्रक्रिया $P$ और जनरेशन प्रक्रिया $Q_\theta$ के बीच पाथ-स्पेस कुलबैक-लीब्लर (KL) डाइवर्जेंस को पुनर्गठित किया गया है। महत्वपूर्ण रूप से, क्योंकि $\rho_t$ निर्दिष्ट और सुलभ है, उद्देश्य कार्य (objective function) को संदर्भ SDE को सिम्युलेट किए बिना मूल्यांकित किया जा सकता है:
$L_{SF}(\theta) = \frac{1}{2n} \sum_{i=1}^n \int_0^1 dt \, \mathbb{E}_{Z \sim \rho_t(\cdot|x_i)} \left[ \| \alpha(t, Z, x_i) - s_\theta(t, Z) \|_{\Gamma(t, Z)^{-1}}^2 \right]$
यह उद्देश्य केवल $\rho_t$ से प्रत्यक्ष सैंपलिंग और सशर्त ड्रिफ्ट $\alpha$ पर निर्भर करता है, जिससे मार्गल $p_t$ के स्कोर की आवश्यकता नहीं होती (जिसके लिए आमतौर पर टाइम-रिवर्ज़ल की आवश्यकता होती है और जो परिमित-समय ब्रिज के लिए अव्यवहार्य है)।

3. व्यावहारिक निर्माण (Practical Constructions)

लेखक दो मामलों के लिए विशिष्ट निर्माण प्रदान करते हैं:

गौसियन प्रायोर (Gaussian Prior): $\rho_t$ को समय-निर्भर माध्य (mean) और विचरण (variance) के साथ एक गौसियन वितरण के रूप में चुना गया है। यह डिनोइजिंग स्कोर मैचिंग के समान एक रूप को रिकवर करता है, लेकिन एक परिमित-समय क्षितिज के साथ।
गैर-गौसियन प्रायर्स (Non-Gaussian Priors): एक "पुश-फॉरवर्ड" (push-forward) निर्माण का उपयोग किया जाता है। एक बेस डिफ्यूजन प्रक्रिया जिसका स्टेशनरी डिस्ट्रीब्यूशन $\pi$ है, उसे एक समय-निर्भर स्मूथ बाइजेक्शन $\phi^x_t$ के माध्यम से रूपांतरित किया जाता है। यह फ्रेमवर्क को भारी-पूंछ (heavy-tailed) या गैर-गौसियन प्रायर्स (जैसे, जॉनसन का SU वितरण) को संभालने की अनुमति देता है, जबकि सिमुलेशन-मुक्त गुण को बनाए रखता है।

मुख्य योगदान (Key Contributions)

एकीकृत ढांचा (Unified Framework): यह पेपर एक सामान्य ढांचे को पेश करता है जो एक साथ सिमुलेशन-मुक्त प्रशिक्षण और परिमित-समय पीढ़ी दोनों को प्राप्त करता है, जो पारंपरिक डिफ्यूजन मॉडल्स में निहित ट्रेड-ऑफ को हल करता है।
स्कोर मैचिंग की पुनर्व्याख्या (Reinterpretation of Score Matching): लेखक प्रदर्शित करते हैं कि स्कोर मैचिंग डिफ्यूजन मॉडल प्रशिक्षण के लिए मौलिक नहीं है। इसके बजाय, यह डेटा-टू-प्रायोर दिशा में परिभाषित एक संदर्भ प्रक्रिया के टाइम-रिवर्सल के परिणाम के रूप में स्वाभाविक रूप से उभरता है। जनरेशन की दिशा (प्रायोर-टू-डेटा) में सीधे संदर्भ प्रक्रिया का निर्माण करके, प्रशिक्षण उद्देश्य टाइम-रिवर्सल से प्राप्त स्कोर फंक्शन से स्वतंत्र हो जाता है।
फ्लो मैचिंग के साथ संबंध (Connection to Flow Matching): पेपर दिखाता है कि कंडीशनल फ्लो मैचिंग (CFM) प्रस्तावित स्टोकेस्टिक ढांचे का स्मॉल-नॉइज़ लिमिट ( $\epsilon \to 0$ ) है। यह स्टोकेस्टिक डिफ्यूजन मॉडल्स और नियतत्ववादी (deterministic) फ्लो-आधारित मॉडल्स के बीच एक सैद्धांतिक लिंक प्रदान करता है, यह स्पष्ट करते हुए कि CFM को एक पाथ-स्पेस KL ऑब्जेक्टिव के नियतत्ववादी सीमा के रूप में देखा जा सकता है।
गैर-गौसियन प्रायर्स (Non-Gaussian Priors): कार्यप्रणाली को पुश-फॉरवर्ड निर्माण के माध्यम से गैर-गौसियन प्रायर्स तक विस्तारित किया गया है, जो मानक गौसियन धारणा से परे लचीलापन प्रदर्शित करता है।

परिणाम (Results)

लेखकों ने मानक गौसियन और जॉनसन के SU (भारी-पूंछ वाले) प्रायर्स के साथ दो-आयामी टॉय डेटासेट्स (गौसियन मिक्सचर, स्पाइरल, चेकरबोर्ड, और टू मून्स) पर संख्यात्मक प्रयोग किए।

प्रदर्शन (Performance): प्रस्तावित विधि ने दोनों प्रकार के प्रायर्स के साथ सभी डेटासेट्स की गुणात्मक संरचना को सफलतापूर्वक सीखा।
दक्षता (Efficiency): SBMs के विपरीत, जिन्हें प्रायोर के अभिसरण और विविक्तकरण त्रुटियों (discretization errors) के बीच संतुलन बनाने के लिए समय क्षितिज $T$ को ट्यून करने की आवश्यकता होती है, प्रस्तावित विधि एक निश्चित अंतराल $[0, 1]$ पर कार्य करती है। प्रयोगों ने दिखाया कि प्रस्तावित विधि बिना किसी टाइम-क्षितिज ट्यूनिंग की आवश्यकता के उच्च-गुणवत्ता वाली पीढ़ी प्राप्त करती है, जबकि SBMs में $T$ के अनुपयुक्त चयन से सैंपल की गुणवत्ता खराब हो जाती है।
तुलना (Comparison): परिणाम एक बड़े समय क्षितिज ( $T=10$ ) वाले मानक वेरिएंस-प्रिजर्विंग SBM (VP-SBM) के तुलनीय थे, लेकिन बिना लंबे सिमुलेशन समय या $T$ चयन की संवेदनशीलता के कम्प्यूटेशनल ओवरहेड के।

महत्व और दावे (Significance and Claims)

यह पेपर मौजूदा डिफ्यूजन मॉडल्स की एक संरचनात्मक पुनर्व्याख्या प्रदान करने का दावा करता है। "निर्दिष्ट SDE $\to$ वितरणों का विश्लेषण करें" से "वितरण निर्दिष्ट करें $\to$ SDE व्युत्पन्न करें" की डिज़ाइन प्रक्रिया को बदलकर, लेखक प्रकट करते हैं कि:

SBMs में स्कोर मैचिंग पर निर्भरता, टाइम-रिवर्सल प्रक्रिया का एक आर्टिफैक्ट है जो जनरेशन दिशा के साथ संदर्भ प्रक्रिया को संरेखित करने के लिए आवश्यक है।
स्टोकेस्टिक डिफ्यूजन मॉडल्स और नियतत्ववादी फ्लो मैचिंग के बीच का अंतर शोर के स्तर (noise level) का मामला है, जहाँ CFM प्रस्तावित KL-आधारित स्टोकेस्टिक ऑब्जेक्टिव की स्मॉल-नॉइज़ लिमिट है।

यह कार्य सुझाव देता है कि सशर्त वितरणों $\{\rho_t\}$ का डिज़ाइन एक महत्वपूर्ण, फिर भी कम खोजा गया पहलू है जो सीधे जनरेशन की गुणवत्ता को प्रभावित करता है। लेखक निष्कर्ष निकालते हैं कि उनका निर्माण सिद्धांत पारंपरिक दृष्टिकोणों की कम्प्यूटेशनल बाधाओं के बिना कुशल, परिमित-समय डिफ्यूजन मॉडल डिजाइन करने के लिए एक मजबूत मार्ग प्रदान करता है।