🤖 machine learning

Learning To Sample From Diffusion Models Via Inverse Reinforcement Learning

यह शोध पत्र एक इनवर्स रिइन्फोर्समेंट लर्निंग फ्रेमवर्क पेश करता है जो डिफ्यूजन मॉडल सैंपलिंग को एक मार्कोव डिसीजन प्रोसेस के रूप में स्वरूपित करता है ताकि बिना डिनॉइज़र को पुन: प्रशिक्षित किए स्वचालित रूप से इष्टतम सैंपलिंग रणनीतियों को सीखा जा सके, जिससे पारंपरिक ग्रिड सर्च की तुलना में काफी कम लागत पर फाइन-ट्यून किए गए सैंपलर्स के समान प्रदर्शन प्राप्त होता है।

मूल लेखक: Constant Bourdrez, Alexandre Vérine, Olivier Cappé

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Constant Bourdrez, Alexandre Vérine, Olivier Cappé

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ (डिनोइज़र - Denoiser) है जो साधारण, बिखरे हुए अंडों (रैंडम नॉइज़) को एक बेहतरीन, शानदार स्टेक (एक उच्च गुणवत्ता वाली छवि) में बदलने में अविश्वसनीय रूप से कुशल है। इस शेफ को पहले से ही वर्षों का प्रशिक्षण मिल चुका है और वह ठीक जानता है कि कैसे खाना बनाना है।

हालाँकि, एक पेच है: शेफ को खाना पकाने के लिए निर्देशों के एक विशिष्ट सेट की आवश्यकता है। क्या आपको पैन को धीरे से चलाना चाहिए? क्या आपको शुरुआत में एक चुटकी नमक डालना चाहिए या बिल्कुल अंत में? क्या आपको विशिष्ट क्षणों पर आंच बढ़ानी चाहिए या कम करनी चाहिए?

AI इमेज जनरेशन की दुनिया में, इन निर्देशों को सैंपलिंग स्ट्रैटेजीज़ (Sampling Strategies) कहा जाता है। पारंपरिक रूप से, निर्देशों का सही सेट खोजना घास के ढेर में सुई खोजने जैसा है। शोधकर्ताओं को गर्मी, समय और मसाले के हजारों अलग-अलग संयोजनों (जिसे "ग्रिड सर्च" कहा जाता है) का मैन्युअल रूप से परीक्षण करना पड़ता है। यह प्रक्रिया अविश्वसनीय रूप से महंगी और समय लेने वाली है, जिसमें अक्सर उतनी ही ऊर्जा खर्च होती है जितनी शेफ को प्रशिक्षित करने में लगी थी।

पेपर का बड़ा विचार
इस पेपर के लेखक शेफ को फिर से प्रशिक्षित किए बिना या नया शेफ रखे बिना उसे खाना बनाना सिखाने का एक नया तरीका प्रस्तावित करते हैं। निर्देशों का अनुमान लगाने के बजाय, वे इनवर्स रीइन्फोर्समेंट लर्निंग (Inverse Reinforcement Learning - IRL) नामक एक विधि का उपयोग करते हैं।

इसे इस तरह समझें:

पुराना तरीका: आप व्यंजन के 1,000 अलग-अलग संस्करणों को चखकर सही रेसिपी का अनुमान लगाने की कोशिश करते हैं और उम्मीद करते हैं कि कोई एक अच्छा होगा।
नया तरीका: आप शेफ को कुछ बार खाना बनाते हुए देखते हैं। आप शेफ को यह नहीं बताते कि उसे क्या करना है; आप बस शेफ को अंतिम, आदर्श स्टेक दिखाते हैं। शेफ फिर सीखता है, "आह, इस तरह के परिणाम को पाने के लिए, मुझे यहाँ हिलाना होगा और वहाँ नमक डालना होगा।"

यह कैसे काम करता है (रूपक/Metaphor)
यह पेपर इमेज जनरेशन की प्रक्रिया को एक लंबी यात्रा या वीडियो गेम लेवल की तरह मानता है।

यात्रा: AI शुद्ध स्टैटिक (नॉइज़) से शुरू होता है और धीरे-धीरे इसे एक छवि में बदल देता है। यह कदम-दर-कदम होता है, जैसे गेम के लेवल से गुजरना।
खिलाड़ी: "पॉलिसी" (Policy) वह खिलाड़ी है जो गेम को नियंत्रित करता है। हर कदम पर, खिलाड़ी कुछ चीजें कर सकता है जैसे:
- थोड़ा अराजक बनाना (Stochasticity): पैन को थोड़ा हिलाएं ताकि देखें कि क्या इससे मदद मिलती है।
- एक हल्का धक्का देना (Guidance): शेफ को बताएं, "इसे कुत्ते जैसा दिखाएं," विशिष्ट क्षणों पर।
- रिवाइंड बटन दबाना (Renoising): यदि छवि अजीब दिखती है, तो कुछ कदम पीछे जाएं और फिर से प्रयास करें।
लक्ष्य: खिलाड़ी को हर चाल के लिए स्कोर नहीं मिलता है। इसके बजाय, खिलाड़ी का एकमात्र लक्ष्य यह सुनिश्चित करना है कि अंतिम मंजिल (तैयार छवि) लक्षित डेटा (वास्तविक फोटो) के बिल्कुल समान दिखे।

AI अपने स्वयं के पथ की तुलना "विशेषज्ञ" (Expert) पथ (वास्तविक डेटा) से करके निर्णय लेना सीखता है। यह अपने पथ और विशेषज्ञ के पथ के बीच अंतर को मापने के लिए एक गणितीय उपकरण (f-divergence) का उपयोग करता है और उस अंतर को कम करने के लिए अपनी रणनीति को समायोजित करता है।

उन्होंने क्या पाया
शोधकर्ताओं ने प्रसिद्ध इमेज डेटासेट्स (जैसे CIFAR-10, FFHQ, और ImageNet) पर इसका परीक्षण किया। यहाँ मुख्य निष्कर्ष दिए गए हैं:

यह मैनुअल ट्यूनिंग से अधिक स्मार्ट है: AI ने प्रक्रिया के विशिष्ट क्षणों के आधार पर अपने निर्देश बदलने के लिए सीखा। उदाहरण के लिए, इसने सीखा कि केवल तभी "अराजकता" (Chaos) जोड़नी है जब छवि धुंधली हो और जब छवि लगभग पूरी होने वाली हो तो बहुत सटीक होना है। यह पूरी प्रक्रिया के लिए एक निश्चित नियम का उपयोग करने की तुलना में बहुत बेहतर है।
यह भारी ऊर्जा बचाता है: ImageNet डेटासेट पर, सर्वोत्तम मैनुअल सेटिंग्स खोजने के लिए हजारों संयोजनों का परीक्षण करना आवश्यक था, जिसमें कंप्यूटर की बहुत अधिक शक्ति खर्च हुई। उनकी विधि ने एक ही ट्रेनिंग रन के साथ एक बेहतर समाधान खोज लिया, जिससे कंप्यूटेशनल लागत में 9 गुना तक की बचत हुई।
यह एक छोटा सा मूल्य है: एक बार जब AI इन रणनीतियों को सीख लेता है, तो छवियां उत्पन्न करने के लिए कंप्यूटर पर केवल लगभग 16% अतिरिक्त काम का भार आता है। मैनुअल टेस्टिंग की भारी लागत से बचने के लिए यह एक बहुत छोटी कीमत है।
गुणवत्ता बनाम विविधता पर नियंत्रण: यह विधि उपयोगकर्ताओं को सीखने का एक "फ्लेवर" (Flavor) चुनने की अनुमति देती है। वे इसे बहुत सटीक होने के लिए (छवियों को प्रशिक्षण डेटा के बिल्कुल समान बनाने के लिए) या बहुत विविध होने के लिए (ऐसी छवियां बनाने के लिए जो अधिक विविध हैं लेकिन शायद थोड़ी कम पूर्ण हैं) ट्यून कर सकते हैं।

सारांश में
यह पेपर AI इमेज जनरेटर्स के लिए एक "स्मार्ट कोच" पेश करता है। परफेक्ट सेटिंग्स खोजने के लिए मैन्युअल रूप से नॉब्स और डायल को घुमाने के बजाय, AI लक्षित डेटा को देखकर और वास्तविक समय में अपने व्यवहार को समायोजित करके परफेक्ट सेटिंग्स सीखता है। यह पुराने अंदाज़ में अनुमान लगाने और जांचने की तुलना में तेज़, सस्ता और बेहतर परिणाम देने वाला है।

तकनीकी सारांश: इनवर्स रिइन्फोर्समेंट लर्निंग के माध्यम से डिफ्यूजन मॉडल्स से सैंपलिंग करना सीखना

समस्या विवरण

डिफ्यूजन मॉडल्स उच्च-आयामी डेटा जनरेशन के लिए एक मानक बन गए हैं, फिर भी सैंपलिंग प्रक्रिया एक महत्वपूर्ण बाधा बनी हुई है। जबकि ट्रेनिंग के बाद डिनोइजिंग न्यूरल नेटवर्क आमतौर पर स्थिर रहता है, सैंपलिंग एल्गोरिदम को हाइपरपैरामीटर (जैसे, नॉइज़ शेड्यूल्स, गाइडेंस स्केल्स, स्टोकेस्टिसिटी प्रोफाइल्स) के सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है। वर्तमान में, यह ट्यूनिंग महंगी एम्पिरिकल ग्रिड सर्च के माध्यम से की जाती है। ImageNet-64 जैसे जटिल मॉडल्स के लिए, व्यापक हाइपरपैरामीटर खोज की कम्प्यूटेशनल लागत डैनोइज़र को प्रशिक्षित करने की लागत के बराबर या उससे अधिक हो सकती है। इसके अलावा, डिफ्यूजन मॉडल्स के लिए मौजूदा रिइन्फोर्समेंट लर्निंग (RL) या कंट्रोल दृष्टिकोण अक्सर स्पष्ट रिवॉर्ड फंक्शन या डैनोइज़र की फाइन-ट्यूनिंग की मांग करते हैं, जो प्रीट्रेंड जनरेटर को संशोधित किए बिना सैंपलर को अनुकूलित करने के लक्ष्य के विपरीत है।

कार्यप्रणाली

लेखक डिफ्यूजन सैंपलिंग को इनवर्स रिइन्फोर्समेंट लर्निंग (IRL) के माध्यम से हल की जाने वाली एक अनुक्रमिक निर्णय लेने वाली समस्या (sequential decision-making problem) के रूप में प्रस्तुत करने का प्रस्ताव देते हैं। मुख्य नवाचार एक ऐसी सैंपलिंग पॉलिसी सीखना है जो विशेषज्ञ ट्रैजेक्टरीज, स्पष्ट रिवॉर्ड्स, या डैनोइज़र को पुन: प्रशिक्षित किए बिना लक्षित स्टेट डिस्ट्रीब्यूशन से मेल खाती है।

1. MDP फॉर्मूलेशन

डिफ्यूजन सैंपलिंग प्रक्रिया को एक परिमित-क्षित (finite-horizon) मार्कोव डिसीजन प्रोसेस (MDP) के रूप में औपचारिक रूप दिया गया है:

स्टेट ( $s_t$ ): $(x_t, \sigma_t)$ के रूप में परिभाषित है, जहाँ $x_t$ वर्तमान सैंपल है और $\sigma_t$ नॉइज़ लेवल है।
एक्शन ( $a_t$ ): सैंपलिंग डायनेमिक्स पर लागू किए गए डिस्क्रीट कंट्रोल निर्णय, जैसे कि गाइडेंस स्केल्स, नॉइज़ इंजेक्शन लेवल्स का चयन करना, या पिछले नॉइज़ लेवल पर रीनोइज़ (रीस्टार्ट) करने का निर्णय लेना।
डायनेमिक्स: ट्रांजिशन कर्नेल डिस्क्रीटाइज्ड डिफ्यूजन डायनेमिक्स और चयनित कंट्रोल एक्शन द्वारा प्रेरित होता है। प्रक्रिया तब समाप्त होती है जब नॉइज़ लेवल $\Sigma_0$ (एक एब्जॉर्बिंग स्टेट) तक पहुँच जाता है।

2. स्टेट-ओनली इनवर्स रिइन्फोर्समेंट लर्निंग

पारंपरिक IRL के विपरीत, जो अक्सर विशेषज्ञ कार्यों या ट्रैजेक्टरीज को मानता है, यह विधि एक स्टेट-ओनली रिजीम के तहत कार्य करती है। "एक्सपर्ट" को केवल चयनित नॉइज़ लेवल्स पर डेटा सैंपल्स के मार्जिनल डिस्ट्रीब्यूशन द्वारा परिभाषित किया जाता है।

उद्देश्य: लक्ष्य एक ऐसी पॉलिसी $\pi_\theta$ खोजना है जिसका स्टेट ऑक्यूपेंसी मेजर $\mu_\theta$ (विजिट किए गए स्टेट्स का मार्जिनल डिस्ट्रीब्यूशन) विशेषज्ञ ऑक्यूपेंसी मेजर $\mu_E$ से मेल खाता हो।
ऑप्टिमाइज़ेशन: रिवॉर्ड फंक्शन सीखने के बजाय, लेखक विशेषज्ञ और पॉलिसी ऑक्यूपेंसी मेजर्स के बीच $f$ -डाइवर्जेंस को सीधे कम करते हैं:
$\min_\theta D_f(\mu_E \parallel \mu_\theta)$
पेपर विशेष रूप से कुलबैक-लीब्लर (KL) और रिवर्स-KL (rKL) डाइवर्जेंस का अन्वेषण करता है, यह नोट करते हुए कि $f$ -डाइवर्जेंस का चुनाव मोड-कवरिंग (विविधता) और मोड-सीकिंग (फिडेलिटी) के बीच के ट्रेड-ऑफ को निर्धारित करता है।

3. पॉलिसी ग्रेडिएंट और ऑप्टिमाइज़ेशन

लेखक $f$ -डाइवर्जेंस को सीधे कम करने के लिए एक पॉलिसी ग्रेडिएंट थ्योरम व्युत्पन्न करते हैं। ग्रेडिएंट को इस प्रकार व्यक्त किया गया है:
$\nabla_\theta L_f(\theta) = \mathbb{E}_{s_{1:T} \sim p_\theta} \left[ \frac{1}{T} \sum_{t=1}^T \nabla_\theta \log \pi_\theta(a_t|s_t) \sum_{t' \ge t} h_f\left(\frac{\mu_E(s_{t'})}{\mu_\theta(s_{t'})}\right) \right]$
जहाँ $h_f$ , $f$ -डाइवर्जेंस के जनरेटर से प्राप्त एक फंक्शन है।

डेंसिटी रेशियो एस्टीमेशन: चूंकि $\mu_E$ और $\mu_\theta$ अज्ञात हैं, इसलिए डेंसिटी रेशियो का अनुमान एक डिस्क्रिमिनेटर का उपयोग करके लगाया जाता है जो विशेषज्ञ स्टेट्स (नॉइज़्ड डेटा) और पॉलिसी-जेनरेटेड स्टेट्स के बीच अंतर करने के लिए प्रशिक्षित है।
स्टेबिलाइजेशन: ग्रेडिएंट एस्टीमेट्स में हाई वेरिएंस को संभालने के लिए, यह विधि PPO-शैली के क्लिप्ड ऑब्जेक्टिव, इम्पोर्टेंस सैंपलिंग करेक्शन और एक ग्लोबल बैच मीन बेसलाइन का उपयोग करती है।

4. मूल्यांकित सैंपलिंग रणनीतियाँ

इस फ्रेमवर्क को तीन विशिष्ट इन्फरेंस-टाइम इंटरवेंशन पर लागू किया गया है:

एडेप्टिव क्लासिफायर-फ्री गाइडेंस: एक स्टेट-डिपेंडेंट गाइडेंस स्केल $\omega(x, \sigma)$ सीखना।
स्टोकेस्टिसिटी इंजेक्शन: एक स्टेट-डिपेंडेंट नॉइज़ इंजेक्शन लेवल $\gamma_{EDM}(x, \sigma)$ सीखना।
रीनोइज़िंग (रीस्टार्ट सैंपलिंग): यह सीखना कि खराब जेनरेशन से बचने के लिए प्रक्रिया को पिछले नॉइज़ लेवल पर कब वापस जाना है।

मुख्य योगदान

सैंपलिंग के लिए MDP फॉर्मूलेशन: यह पेपर डैनोइज़र को पुन: प्रशिक्षित किए बिना इन्फरेंस टाइम पर सैंपलर को अनुकूलित करने के लिए डिफ्यूजन सैंपलिंग को एक MDP के रूप में प्रस्तुत करता है।
डायरेक्ट स्टेट-मार्जनल मैचिंग: यह एक पॉलिसी ग्रेडिएंट ऑब्जेक्टिव व्युत्पन्न करता है जो स्पष्ट रिवॉर्ड मॉडलिंग या विशेषज्ञ एक्शन डेटा की आवश्यकता के बिना, स्टेट ऑक्यूपेंसी मेजर्स के बीच $f$ -डाइवर्जेंस को कम करता है।
व्याख्यात्मक ट्रेड-ऑफ: यह फ्रेमवर्क $f$ -डाइवर्जेंस (KL बनाम rKL) के चुनाव के माध्यम से सैंपल डाइवर्सिटी (रिकॉल) और फिडेलिटी (प्रिसिजन) के बीच एक नियंत्रणीय ट्रेड-ऑफ को उजागर करता है।
स्टेट-डिपेंडेंट कंट्रोल: सीखी गई पॉलिसियाँ इन्फरेंस-टाइम कंट्रोल्स के रूप में कार्य करती हैं जो चुनिकी हस्तक्षेप (जैसे, विशिष्ट नॉइज़ लेवल्स या विशिष्ट सैंपल प्रकारों के लिए उच्च गाइडेंस लागू करना) करती हैं, न कि फिक्स्ड ग्लोबल शेड्यूल्स लागू करती हैं।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन प्रीट्रेंड EDM मॉडल्स का उपयोग करके CIFAR-10, FFHQ, और ImageNet-64 पर किया गया।

प्रदर्शन: सीखी गई पॉलिसियाँ FID, प्रिसिजन और रिकॉल मेट्रिक्स पर सर्वश्रेष्ठ हैंड-ट्यून्ड बेसलाइन्स (ग्रिड सर्च के माध्यम से पाए गए) के प्रदर्शन से मेल खाती हैं या उनसे बेहतर होती हैं।
- एडेप्टिव गाइडेंस: फिक्स्ड गाइडेंस की तुलना में क्वालिटी-डाइवर्सिटी ट्रेड-ऑफ में सुधार किया। KL डाइवर्जेंस ने रिकॉल (विविधता) में सुधार किया, जबकि rKL ने प्रिसिजन (फिडेलिटी) में सुधार किया।
- स्टोकेस्टिसिटी इंजेक्शन: सीखी गई स्टेट-डिपेंडेंट प्रोफाइल्स ने इष्टतम EDM शेड्यूल्स के गुणात्मक पैटर्न (ट्रैजेक्टरी के अंत में कम स्टोकेस्टिसिटी) को रिकवर किया और ImageNet जैसे जटिल डेटासेट्स पर फिक्स्ड बेसलाइन्स से बेहतर प्रदर्शन किया।
- रीनोइज़िंग: स्टैंडर्ड रीस्टार्ट स्ट्रैटेजी की तुलना में FID को बनाए रखते हुए या बेहतर करते हुए, फंक्शन इवैल्यूएशन की संख्या (NFE) को काफी कम कर दिया।
कम्प्यूटेशनल एफिशिएंसी:
- ट्रेनिंग: एक सिंगल ट्रेनिंग रन एक व्यापक ग्रिड सर्च को बदल देता है। ImageNet-64 पर, यह एक 3-हाइपरपैरामीटर ग्रिड सर्च (~~1437 EFLOPs) के मुकाबले IRL ट्रेनिंग (~~161 EFLOPs) के माध्यम से ऑप्टिमाइज़ेशन बजट को 9 $\times$ तक कम कर देता है।
- इन्फरेंस: पॉलिसी डैनोइज़र की तुलना में 16% से 40% का मामूली ओवरहेड जोड़ती है, जिसे मैन्युअल ट्यूनिंग के उन्मूलन को देखते हुए नगण्य माना जाता है।
एब्लेशन निष्कर्ष:
- कंडीशनिंग: पूर्ण स्टेट $(x, \sigma)$ पर कंडीशन की गई पॉलिसियाँ केवल नॉइज़ लेवल $\sigma$ पर कंडीशन की गई पॉलिसियों की तुलना में काफी बेहतर प्रदर्शन करती हैं, और स्पष्ट क्लास लेबल्स $(x, \sigma, c)$ के साथ लगभग उतना ही अच्छा प्रदर्शन करती हैं, जो यह सुझाव देता है कि पॉलिसी इमेज कंटेंट से क्लास-डिस्क्रिमिनेटिव फीचर्स को स्पष्ट रूप से सीख लेती है।
- डाइवर्जेंस चॉइस: KL और rKL को प्रिसिजन-रिकॉल ट्रेड-ऑफ को नियंत्रित करने के लिए सबसे प्रभावी दिखाया गया है, जबकि सिमेट्रिक डाइवर्जेंस (TV, Hellinger) कम व्याख्या योग्य परिणाम देते हैं।

महत्व और दावे

यह पेपर दावा करता है कि यह फ्रेमवर्क डिफ्यूजन सैंपलिंग के लिए मैन्युअल हाइपरपैरामीटर ट्यूनिंग के एक व्यवस्थित, स्वचालित विकल्प के रूप में कार्य करता है। इसे एक IRL समस्या के रूप में मानकर, यह जटिल, स्टेट-डिपेंडेंट सैंपलिंग रणनीतियों को अनुकूलित करने की अनुमति देता है जिन्हें मैन्युअल रूप से डिजाइन करना कठिन है।

लेखक इस बात पर जोर देते हैं कि यह विधि विशेष रूप से बड़े पैमाने के मॉडल्स के लिए मूल्यवान है जहाँ प्रति-ट्रायल मूल्यांकन की लागत ग्रिड सर्च के लिए निषेधात्मक है। दृष्टिकोण स्वयं जेनेरेटिव मॉडल को संशोधित नहीं करता है बल्कि इन्फरेंस ट्रैजेक्टरी के लिए एक इष्टतम "कंट्रोल पॉलिसी" सीखता है, जो पुन: प्रशिक्षण या व्यापक खोज के कम्प्यूटेशनल बोझ के बिना सैंपल क्वालिटी और विविधता में सुधार करने का एक व्यावहारिक मार्ग प्रदान करता है। पेपर विनम्र रहता है, यह नोट करते हुए कि लाभ डेटासेट-डिपेंडेंट हैं और वर्तमान फ्रेमवर्क डिस्क्रीट एक्शन स्पेस पर निर्भर करता है, जो निरंतर एक्शन स्पेस में भविष्य के कार्य और अधिक मजबूत इनिशियलाइजेशन का सुझाव देता है।