📊 statistics

Simple Approximation and Derivative Free Inference-Time Scaling for Diffusion Models via Sequential Monte Carlo on Path Measures

यह शोध पत्र \texttt{URGE} को प्रस्तुत करता है, जो डिफ्यूजन मॉडल्स के लिए एक डेरिवेटिव-मुक्त इन्फरेंस-टाइम स्केलिंग एल्गोरिदम है, जो बिना स्कोर या ग्रेडिएंट मूल्यांकन की आवश्यकता के निष्पक्ष, उच्च-गुणवत्ता वाली जनरेशन प्राप्त करने के लिए गिरसानोव-आधारित पाथ-वाइज इम्पोर्टेंस रीवेटिंग और सीक्वेंशियल रीसैंपलिंग का उपयोग करता है।

मूल लेखक: Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक उत्कृष्ट कृति (masterpiece) बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक रफ स्केच है कि अंतिम चित्र कैसा दिखना चाहिए। आधुनिक AI इमेज जनरेटर (जिन्हें डिफ्यूजन मॉडल कहा जाता है) इसी तरह काम करते हैं: वे रैंडम शोर (noise) से शुरू होते हैं और धीरे-धीरे उसे एक तस्वीर में "डीनॉइज़" (denoise) करते हैं।

आमतौर पर, यदि आप चाहते हैं कि AI विशिष्ट निर्देशों का पालन करे (जैसे, "इसे और अधिक वास्तविक बनाएं" या "लाइटिंग ठीक करें"), तो आपको पेंटिंग की प्रक्रिया के दौरान ही उसमें बदलाव करना पड़ता है। इसे इन्फरेंस-टाइम स्केलिंग (inference-time scaling) कहा जाता है।

हालाँकि, प्रक्रिया को बदलने के मौजूदा तरीके एक जहाज को नियंत्रित करने जैसे हैं, जहाँ आपको हर एक सेकंड में एक जटिल मानचित्र को देखने और हवा की गति की गणना करने की आवश्यकता होती है। इनके लिए भारी गणित (ग्रेडिएंट्स और डेरिवेटिव्स) की आवश्यकता होती है, ये गणनात्मक रूप से महंगे हैं, और अक्सर त्रुटियां पैदा करते हैं क्योंकि वे केवल अनुमान (approximations) होते हैं।

यह पेपर एक नई विधि पेश करता है जिसे URGE (अनबायस्ड रीसेंपलिंग वाया गिरसानोव एस्टीमेशन) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

समस्या: "नाइव गाइड" (The Naive Guide)

कल्पना कीजिए कि आप 100 हाइकर्स (कणों/particles) के एक समूह का नेतृत्व एक जंगल के माध्यम से छिपे हुए खजाने (एक आदर्श चित्र) को खोजने के लिए कर रहे हैं।

लक्ष्य: आप चाहते हैं कि वे ठीक वहीं पहुँचें जहाँ खजाना है।
पुराना तरीका (गाइडेंस): आप उन्हें एक दिशा-सूचक यंत्र (compass) देते हैं जो मोटे तौर पर खजाने की ओर इशारा करता है। लेकिन वह कंपास एकदम सटीक नहीं है; उसमें थोड़ी त्रुटि है। यदि आप केवल उस कंपास का पालन करते हैं, तो समूह अपने रास्ते से भटक जाएगा।
पुरानी सुधार विधि: पिछले तरीकों ने हर कुछ चरणों के बाद रुककर, इलाके के सटीक गणितीय ढलान (slope) की जांच करने और हाइकर्स को यह बताने की कोशिश की कि उन्हें कैसे समायोजन करना चाहिए। इसके लिए एक विस्तृत मानचित्र (डेरिवेटिव्स) की आवश्यकता होती है जिसे पढ़ना कठिन और समय लेने वाला है।

URGE समाधान: "रीसेंपलिंग हाइक" (The Resampling Hike)

URGE रणनीति को पूरी तरह से बदल देता है। हर हाइकर के लिए ढलान की सटीक गणना करने के बजाय, यह इस आधार पर एक लॉटरी सिस्टम का उपयोग करता है कि वे कितना अच्छा प्रदर्शन कर रहे हैं।

सभी को बाहर भेजें: आप सभी 100 हाइकर्स को एक साथ भेजते हैं, जो एक ही थोड़े अपूर्ण कंपास (गाइडेड पाथ) का पालन कर रहे हैं।
"स्कोरकार्ड" (Reweighting): इलाके के मानचित्र की जांच करने के बजाय, आप बस खजाने के सापेक्ष हाइकर्स की अंतिम स्थिति देखते हैं।
- यदि कोई हाइकर खजाने के करीब है, तो उसे उच्च स्कोर मिलता है।
- यदि कोई दूर है, तो उसे कम स्कोर मिलता है।
- महत्वपूर्ण बात: आपको यह जानने की ज़रूरत नहीं है कि वे क्यों वहां हैं या ज़मीन का ढलान क्या है। आप बस परिणाम देखते हैं।
"रीसेंपलिंग" (द लॉटरी):
- आप हाइकर्स को इकट्ठा करते हैं।
- आप उच्च स्कोर वाले हाइकर्स को खुद को क्लोन करने (सबसे अच्छे रास्तों की प्रतियां बनाने) के लिए कहते हैं।
- आप कम स्कोर वाले हाइकर्स को घर जाने (बुरे रास्तों को छोड़ने) के लिए कहते हैं।
- अब, आपके पास 100 हाइकर्स का एक नया समूह है, जो सांख्यिकीय रूप से बहुत अधिक खजाने के करीब वाले रास्तों पर हैं।
दोहराएं: आप इसे केवल अंत में ही नहीं, बल्कि यात्रा के दौरान बार-बार करते हैं।

यह विशेष क्यों है?

कोई कैलकुलस आवश्यक नहीं: पुराने तरीकों को रिवॉर्ड फंक्शन के "ढलान" (डेरिवेटिव्स) को जानने की आवश्यकता थी। URGE को ढलान की परवाह नहीं है; इसे केवल अंतिम परिणाम की परवाह है। इसका मतलब है कि यह "ब्लैक बॉक्स" रिवॉर्ड्स (जैसे मानव प्राथमिकता स्कोर या एक जटिल न्यूरल नेटवर्क) के साथ भी काम कर सकता है जहाँ आप स्कोर के पीछे के गणित की गणना नहीं कर सकते।
कोई अनुमान नहीं: पेपर का दावा है कि यह विधि "अनुमान-मुक्त" (approximation-free) है। हमारी उपमा में, इसका अर्थ है कि यदि आप लगातार सबसे अच्छे रास्तों को क्लोन करते रहते हैं, तो यह गणितीय रूप से गारंटी देता है कि समूह अंततः ठीक वहीं पहुँचेगा जहाँ खजाना है, बिना उस विचलन (drift) के जो एक अपूर्ण कंपास के कारण होता है।
पाथ बनाम पार्टिकल: पिछले तरीकों ने व्यक्तिगत हाइकर्स (कणों) को देखा और उन्हें थोड़ा बदलने की कोशिश की। URGE प्रत्येक हाइकर की पूरी यात्रा (पाथ) को देखता है। यह एक धावक को केवल फिनिश लाइन पर उसकी स्थिति से नहीं, बल्कि उसके द्वारा दौड़ी गई पूरी दौड़ की गुणवत्ता से आंकने जैसा है।

परिणाम

लेखकों ने URGE का परीक्षण किया:

सिंथेटिक गणितीय समस्याओं पर: जहाँ उन्हें सटीक उत्तर पता था। URGE अन्य सभी विधियों की तुलना में सत्य के अधिक करीब पहुँचा।
इमेज रेस्टोरेशन पर: धुंधली या क्षतिग्रस्त तस्वीरों को ठीक करना। URGE ने जटिल गणितीय गणनाओं की आवश्यकता के बिना भी पिछले तरीकों की तुलना में स्पष्ट चित्र बनाए।
टेक्स्ट-टू-इमेज जनरेशन पर: टेक्स्ट प्रॉम्प्ट से चित्र बनाना। URGE ने ऐसे चित्र बनाए जो टेक्स्ट विवरण से बेहतर मेल खाते थे और दिखने में अधिक सुंदर थे, भले ही इसमें एक छोटा और कम शक्तिशाली AI मॉडल उपयोग किया गया हो।

संक्षेप में: URGE, AI इमेज जनरेटर को निर्देशित करने का एक स्मार्ट और सरल तरीका है। जहाज को मोड़ने के लिए भारी गणित करने के बजाय, यह बस सबसे अच्छे नाविकों को रखता है और बाकी को छोड़ देता है, जिससे यह सुनिश्चित होता है कि गंतव्य तक सटीक रूप से पहुँचा जा सके और इसके लिए समुद्र के विस्तृत मानचित्र की आवश्यकता न हो।

तकनीकी सारांश: URGE – डिफ्यूजन मॉडल्स के लिए Sequential Monte Carlo on Path Measures के माध्यम से एक सरल सन्निकटन और डेरिवेटिव-मुक्त इन्फरेंस-टाइम स्केलिंग

1. समस्या विवरण

आधुनिक डिफ्यूजन मॉडल्स और फ्लो-आधारित जनरेटिव विधियाँ आमतौर पर डेटा वितरण $p_{\text{data}}$ को कैप्चर करने के लिए प्रशिक्षित की जाती हैं। हालाँकि, तैनाती (deployment) के दौरान अक्सर विशिष्ट डाउनस्ट्रीम उद्देश्यों (जैसे, भौतिक वैधता, टेक्स्ट-इमेज संरेखण) की ओर जनरेशन को निर्देशित करने की आवश्यकता होती है, बिना पुन: प्रशिक्षण (retraining) के। इसे एक रिवॉर्ड-टिल्टेड पोस्टीरियर $q(x) \propto p_{\text{data}}(x)r(x)$ से सैंपलिंग के रूप में औपचारिक रूप दिया जाता है।

वर्तमान इन्फरेंस-टाइम स्केलिंग विधियाँ, विशेष रूप से गाइडेंस (guidance), एक गाइडेंस पोटेंशियल $G$ से प्राप्त ग्रेडिएंट टर्म का उपयोग करके ड्रिफ्ट को संशोधित करके इसे प्राप्त करने का प्रयास करती हैं। हालांकि यह अनुभवजन्य रूप से प्रभावी है, गाइडेंस एक मौलिक गणितीय सीमा पेश करता है: यह गारंटी नहीं देता कि टिल्टेड वितरण $q(x)$ से सटीक सैंपलिंग हो रही है। सटीक सैंपलिंग के लिए Doob's $h$ -transform की आवश्यकता होती है, जिसमें बैकवर्ड कोलमोगोरोव समीकरण (backward Kolmogorov equation) को हल करना शामिल है, जो उच्च आयामों (high dimensions) में अव्यवहार्य है।

मौजूदा विकल्प, जैसे कि FK-Corrector और AFDPS, कणों (particles) को रीवेट करने के लिए Sequential Monte Carlo (SMC) का उपयोग करके गाइडेड जनरेशन के बायस (bias) को ठीक करने का प्रयास करते हैं। हालाँकि, ये विधियाँ इन्फिनिटेसिमल जनरेटरों (infinitesimal generators) पर निर्भर करती हैं जिन्हें रिवॉर्ड फंक्शन के उच्च-क्रम के डेरिवेटिव (विशेष रूप से स्कोर $\nabla \log p_t$ , लैपलेसियन $\Delta r$ , और गाइडेंस का हेसियन) तक पहुँच की आवश्यकता होती है। ये आवश्यकताएँ महत्वपूर्ण कम्प्यूटेशनल ओवरहेड उत्पन्न करती हैं और इन विधियों को ब्लैक-बॉक्स रिवॉर्ड मॉडल्स (जैसे, टेक्स्ट-टू-इमेज जनरेशन में उपयोग किए जाने वाले न्यूरल रिवॉर्ड मॉडल्स) के लिए अनुपयुक्त बनाती हैं जहाँ डेरिवेटिव उपलब्ध नहीं होते या महंगे होते हैं।

इस कार्य द्वारा संबोधित मुख्य चुनौती यह है: क्या हम एक ऐसा सन्निकटन-मुक्त (approximation-free) इन्फरेंस-टाइम स्केलिंग प्रोसीजर डिजाइन कर सकते हैं जो रिवॉर्ड के डेरिवेटिव जानकारी की आवश्यकता के बिना, सब-ऑप्टिमल गाइडेंस के बायस को समाप्त कर सके?

2. कार्यप्रणाली: URGE

लेखक URGE (Unbiased Resampling via Girsanov Estimation) प्रस्तावित करते हैं, जो एक डेरिवेटिव-मुक्त इन्फरेंस-टाइम स्केलिंग एल्गोरिदम है जो व्यक्तिगत जनरेटेड सैंपल्स (पार्टिकल स्पेस) के बजाय जनरेशन ट्रेजेक्टरीज (पाथ स्पेस) पर रीसेंपलिंग करता है।

मुख्य तंत्र

URGE डिफ्यूजन प्रोसेस के पाथ स्पेस पर मेजर के परिवर्तन (change of measure) को निष्पादित करने के लिए गिरासोव प्रमेय (Girsanov theorem) का लाभ उठाता है।

गाइडेड जनरेशन: एक मनमाने गाइडेंस पोटेंशियल $G$ (जो अपूर्ण हो सकता है) के साथ कई ट्रेजेक्टरीज $\{X^{(i),G}_t\}$ को एक गाइडेड SDE का उपयोग करके सिम्युलेट किया जाता है:
$dX^G_t = (v(X^G_t, t) + V(t)^2 \nabla_x G(X^G_t, t))dt + V(t)dW_t$
पाथवाइज रीवेटिंग (Pathwise Reweighting): इन्फिनिटेसिमल जनरेटरों (जिनके लिए डेरिवेटिव की आवश्यकता होती है) के आधार पर वेट कंप्यूट करने के बजाय, URGE प्रत्येक पूरी ट्रेजेक्टरी को टारगेट रिवॉर्ड-टिल्टेड पाथ मेजर $Q$ और गाइडेड पाथ मेजर $P_G$ के बीच रेडोन-निकोडिम डेरिवेटिव के आधार पर एक मल्टीप्लिकेटिव वेट असाइन करता है।
$[s, t]$ पर एक ट्रेजेक्टरी के लिए इम्पोर्टेंस वेट है:
$w^{\text{URGE}}_{s,t} = \exp\left( \int_s^t -V(\tau)\nabla_x G(X^G_\tau, \tau)^\top dW_\tau - \frac{1}{2}\int_s^t V(\tau)^2 \|\nabla_x G(X^G_\tau, \tau)\|^2 d\tau + \int_s^t dr(X^G_\tau, \tau) \right)$
महत्वपूर्ण रूप से, यह फॉर्मूलेशन $\nabla r$ , $\Delta r$ , या $\nabla \log p_t$ की आवश्यकता नहीं करता है। इसे केवल रिवॉर्ड फंक्शन $r$ और गाइडेंस $G$ की आवश्यकता है।
रीसेंपलिंग (Resampling): डिस्क्रीट टाइम स्टेप्स पर, कणों को उनके पाथ वेट के अनुपात में रीसेंपल किया जाता है। यह एक "बर्थ-डेथ" तंत्र को लागू करता है जहाँ उच्च-रिवॉर्ड वाली ट्रेजेक्टरीज को रेप्लिकेट किया जाता है और कम-रिवॉर्ड वाली ट्रेजेक्टरीज को समाप्त कर दिया जाता है, जिससे एम्पिरिकल डिस्ट्रीब्यूशन वास्तविक पोस्टीरियर $q$ की ओर बढ़ता है।

सैद्धांतिक समानता

पेपर पाथ-स्पेस रीसेंपलिंग (URGE) और पार्टिकल-स्पेस रीसेंपलिंग (FK-Corrector/AFDPS) के बीच एक सैद्धांतिक समानता स्थापित करता है।

लेखक सिद्ध करते हैं कि URGE के मार्जिनलाइज्ड जनरेटर का, जब टर्मिनल स्टेट पर कंडिशन किया जाता है, वही सटीक इन्फिनिटेसिमल रीवेटिंग टर्म रिकवर करता है जो FK-Corrector और AFDPS द्वारा उपयोग किया जाता है।
यह पुष्टि करता है कि URGE सन्निकटन-मुक्त (approximation-free) है: यह डेरिवेटिव-हैवी (derivative-heavy) विधियों के समान ही लक्ष्य वितरण की ओर अभिसरण (converge) करता है, लेकिन यह पाथ स्पेस पर वेट कंस्ट्रक्शन को उठाकर, डेरिवेटिव गणनाओं की आवश्यकता को दरकिनार कर देता है।

3. प्रमुख योगदान

नया मिक्सचर-ऑफ-एक्सपर्ट्स फ्रेमवर्क: लेखक एक विधि पेश करते हैं जो SMC को जनरेटिव प्रोसेस के साथ एकीकृत करती है, जो सैंपल्स के बजाय ट्रेजेक्टरीज पर रीसेंपलिंग करती है। यह बिना रिवॉर्ड डेरिवेटिव की आवश्यकता के गिरासोव मेजर परिवर्तन के माध्यम से लचीले वेट कंस्ट्रक्शन की अनुमति देता है।
डेरिवेटिव-मुक्त कार्यान्वयन: URGE स्कोर फंक्शन्स, हेसियन या लैपलेसियन की आवश्यकता को समाप्त करता है। यह इसे ब्लैक-बॉक्स रिवॉर्ड मॉडल्स (जैसे, CLIP, ImageReward, DPO-ट्यून्ड मॉडल्स) के लिए लागू करने योग्य बनाता है जहाँ ग्रेडिएंट्स सुलभ नहीं हैं।
सैद्धांतिक समानता: पेपर सिद्ध करता है कि URGE का पाथवाइज रीवेटिंग, मार्जिनलाइज होने पर, स्टेट-ऑफ-द-आर्ट डेरिवेटिव-आधारित विधियों (FK-Corrector/AFDPS) की वेटिंग संरचना को सटीक रूप से रिकवर करता है, जो यह गारंटी देता है कि दोनों स्कीम्स समान सन्निकटन-मुक्त टर्मिनल लॉ (terminal law) उत्पन्न करती हैं।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): URGE सिंथेटिक और वास्तविक दुनिया के कार्यों में मौजूदा बेसलाइन्स (FK-Steering और AFDPS वेरिएंट सहित) की तुलना में लगातार बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

लेखक तीन बेंचमार्क पर URGE का मूल्यांकन करते हैं:

गौसियन मिक्सचर मॉडल (सिंथेटिक):
- URGE सभी मेट्रिक्स (MMD, SWD, Mean L2, Covariance Frob) में प्योर गाइडेंस, AFDPS और FK-Steering की तुलना में सबसे कम एरर प्राप्त करता है।
- यह बेहतर कन्वर्जेंस एफिशिएंसी प्रदर्शित करता है, जो बेसलाइन्स की तुलना में कम पार्टिकल्स के साथ बेहतर परिणाम प्राप्त करता है।
- URGE विभिन्न आयामों (dimensions) और डिस्क्रीटाइजेशन स्टेप्स केAcross मजबूत रहता है, जो प्रतिस्पर्धी विधियों की तुलना में स्टेप साइज के प्रति कम संवेदनशीलता दिखाता है।
इनवर्स प्रॉब्लम्स (इमेज रेस्टोरेशन):
- Gaussian Deblurring, Motion Deblurring, Super Resolution और Box Inpainting के लिए ImageNet-256 और FFHQ-256 का उपयोग करके परीक्षण किया गया।
- URGE, AFDPS (जिसके लिए डेरिवेटिव की आवश्यकता होती है) के बराबर प्रदर्शन प्राप्त करता है और PSNR और LPIPS में अन्य बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
- URGE बेहतर कम्प्यूटेशनल स्केलिंग प्रदर्शित करता है, जो उच्च रिकंस्ट्रक्शन क्वालिटी बनाए रखते हुए AFDPS-ODE से कम इन्फरेंस समय प्राप्त करता है।
टेक्स्ट-टू-इमेज जनरेशन:
- Stable Diffusion v1.5 और SDXL के DPO-ट्यून्ड वेरिएंट्स के साथ परीक्षण किया गया।
- URGE एस्थेटिक क्वालिटी (ImageReward, HPS) और प्रॉम्प्ट फिडेलिटी (GenEval, CLIP-Score) में FK-Steering और बेस मॉडल से बेहतर प्रदर्शन करता है।
- विशेष रूप से, URGE पार्टिकल स्केलिंग का उपयोग करते समय एक छोटे मॉडल (SD v1.5) को बड़े मॉडल (SDXL) के प्रदर्शन के करीब लाने की अनुमति देता है, जबकि FK-Steering में घटते रिटर्न (diminishing returns) दिखाई देते हैं।
- URGE, FK-Steering के विपरीत, बढ़ते पार्टिकल काउंट के साथ मोनोटोनिक रिवॉर्ड सुधार प्रदर्शित करता है।

5. महत्व और दावे

पेपर दावा करता है कि URGE एक ट्रेनिंग-फ्री, सन्निकटन-मुक्त एन्सेम्बल-आधारित पोस्टीरियर सैंपलिंग फ्रेमवर्क प्रदान करता है। इसका प्राथमिक महत्व पाथ-आधारित और स्टेट-आधारित वेटिंग रणनीतियों को एकीकृत करना है। पाथ स्पेस पर रीसेंपलिंग मैकेनिज्म को उठाकर, URGE:

डेरिवेटिव बॉटलनेक को हटाता है: यह जटिल, ब्लैक-बॉक्स रिवॉर्ड मॉडल्स को बिना उच्च-क्रम के डेरिवेटिव की कम्प्यूटेशनल लागत के डिफ्यूजन गाइडेंस में उपयोग करने में सक्षम बनाता है।
सैद्धांतिक शुद्धता सुनिश्चित करता है: यह वास्तविक रिवॉर्ड-टिल्टेड पोस्टीरियर की ओर अभिसरण की गारंटी देता है, जो मानक गाइडेंस विधियों के अंतर्निहित बायस को ठीक करता है।
व्यावहारिक दक्षता प्रदान करता है: यह सरल कार्यान्वयन और प्रतिस्पर्धी कम्प्यूटेशनल ओवरहेड के साथ स्टेट-ऑफ-द-आर्ट जनरेशन क्वालिटी प्राप्त करता है, जो इसे बड़े पैमाने के, वास्तविक दुनिया के जनरेटिव कार्यों के लिए उपयुक्त बनाता है।

लेखक इस बात पर जोर देते हैं कि जबकि पिछले कार्यों (FK-Corrector, AFDPS) ने गाइडेंस को ठीक करने के लिए सैद्धांतिक अंतर्दृष्टि प्रदान की थी, वे डेरिवेटिव जानकारी पर उनकी निर्भरता के कारण सीमित थे। URGE इस अंतर को पाटता है, जो एक व्यावहारिक, डेरिवेटिव-मुक्त समाधान प्रदान करता है जो सन्निकटन-मुक्त सैंपलिंग के सैद्धांतिक गारंटियों को बनाए रखता है।