💻 computer science

DiffRGD: An Inference-Time Diffusion Guidance Through Riemannian Gradient Descent

DiffRGD एक प्लग-एंड-प्ले, इन्फरेंस-टाइम गाइडेंस फ्रेमवर्क है जो सैंपलिंग स्टेप्स को एक गोलाकार मैनिफोल्ड (spherical manifold) पर रिमानियन ग्रेडिएंट डिसेंट (Riemannian Gradient Descent) के माध्यम से हल किए जाने वाले बाधा-युक्त अनुकूलन समस्याओं (constrained optimization problems) के रूप में स्वरूपित करके प्री-ट्रेन्ड डिफ्यूजन मॉडल्स की लेटेंट गॉसियन संरचना को संरक्षित करता है, जिससे यह इमेज रेस्टोरेशन और कंडिशनल जनरेशन कार्यों में मौजूदा विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Jia-Wei Liao, Li-Xuan Peng, Mei-Heng Yueh, Min Sun, Cheng-Fu Chou, Jun-Cheng Chen

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jia-Wei Liao, Li-Xuan Peng, Mei-Heng Yueh, Min Sun, Cheng-Fu Chou, Jun-Cheng Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक उत्कृष्ट कृति (masterpiece) पेंटिंग को फिर से बनाने की कोशिश कर रहे हैं, लेकिन आपके पास शुरुआत करने के लिए केवल एक धुंधला, शोर वाला स्केच है। आपके पास एक जादुई "AI कलाकार" (डिफ्यूजन मॉडल) है जो जानता है कि उस स्केच को चरण-दर-चरण एक स्पष्ट छवि में कैसे बदलना है। हालाँकि, आप इस कलाकार को विशिष्ट परिवर्तन करने के लिए निर्देशित करना चाहते—जैसे कि दृश्य में एक बिल्ली जोड़ना या किसी धुंधले चेहरे को ठीक करना—बिना उस AI कलाकार को फिर से प्रशिक्षित (retrain) किए, जिसमें बहुत समय लगेगा और बहुत पैसा खर्च होगा।

यहीं पर DiffRGD पेपर आता है। यह एक नया तरीका प्रस्तावित करता है जिससे पेंटिंग की प्रक्रिया के दौरान AI कलाकार को "स्टीयर" (निर्देशित) किया जा सके, बिना उसकी जादुई शक्ति को तोड़े।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "ऑफ-रोड" ड्रिफ्ट (रास्ते से भटकना)

अधिकांश वर्तमान तरीके AI को केवल सही दिशा में धकेल कर गाइड करने की कोशिश करते हैं। कल्पना कीजिए कि AI एक कार चला रहा है जो एक बहुत ही विशिष्ट, चिकने, गोलाकार ट्रैक पर है (यह ट्रैक Gaussian distribution है, वह गणितीय "नियम" जिसे AI ने सीखा है)।

पुराने तरीके (जैसे DPS): वे AI को कहते हैं, "पेड़ से बचने के लिए बाईं ओर मुड़ें!" लेकिन वे बस स्टीयरिंग व्हील को जोर से खींच देते हैं। कार ट्रैक से उतर सकती है, घास पर जा सकती है, और कीचड़ में फंस सकती है। AI की भाषा में, इसे "off-manifold drift" कहा जाता है। छवि अजीब, धुंधली या विकृत दिखने लगती है क्योंकि यह उन प्राकृतिक नियमों का पालन नहीं करती जो AI ने सीखे थे।
दुविधा: यदि आप धीरे से धकेलते हैं, तो कार ट्रैक पर रहती है लेकिन पर्याप्त रूप से मुड़ नहीं पाती। यदि आप जोर से धकेलते हैं, तो वह अच्छी तरह मुड़ती है लेकिन ट्रैक से उतरकर दुर्घटनाग्रस्त हो जाती है।

2. समाधान: "गोलाकार ट्रैक" (Spherical Track - DiffRGD)

लेखकों ने महसूस किया कि AI का "ट्रैक" केवल एक सपाट सड़क नहीं है; यह वास्तव में एक गोला (sphere) है (जैसे एक गुब्बारे की सतह)। पेंटिंग की प्रक्रिया के हर चरण में, AI उम्मीद करता है कि छवि इस विशिष्ट गोले की सतह पर बनी रहे।

DiffRGD खेल के नियम बदल देता है:

बजाय इसके कि कार को ऑफ-रोड जाने दिया जाए, DiffRGD कहता है, "हम कार को केवल गोले की सतह के अनुदिश (along the surface) ही चलाएंगे।"
वे Riemannian Gradient Descent नामक एक गणितीय तकनीक का उपयोग करते हैं। इसे एक ऐसे GPS के रूप में सोचें जो जानता है कि ज़मीन घुमावदार है। सीधा रेखा में जाने के बजाय (जो आपको गोले से बाहर ले जाएगा), GPS गोले की वक्रता (curve) के साथ आपके गंतव्य तक पहुँचने का सबसे अच्छा रास्ता गणना करता है।

3. यह कैसे काम करता है: "पोलर डिकंपोजिशन" (Polar Decomposition)

इस गोलाकार ट्रैक को बनाने के लिए, लेखकों ने Polar Decomposition नामक एक ट्रिक का उपयोग किया।

कल्पना कीजिए कि AI का शोर (noise) एक लक्ष्य (bullseye) पर फेंका गया तीर है।
केंद्र से "दूरी" त्रिज्या (radius) है (कितना शोर बचा है)।
"दिशा" वह है जहाँ तीर इशारा कर रहा है।
DiffRGD कहता है: "आइए त्रिज्या को लॉक कर दें (शोर का स्तर बिल्कुल वैसा ही रखें जैसा होना चाहिए) और केवल आपकी आवश्यकता के अनुसार दिशा को समायोजित करें।"

त्रिज्या को लॉक करके और केवल सतह पर चलकर, छवि अपनी "प्राकृतिक" गुणवत्ता कभी नहीं खोती। यह ट्रैक पर बनी रहती है, लेकिन फिर भी अपने सही गंतव्य तक पहुँच जाती है।

4. परिणाम: बेहतर पेंटिंग्स, कोई री-ट्रेनिंग नहीं

पेपर का परीक्षण दो मुख्य प्रकार के कार्यों पर किया गया:

इमेज रेस्टोरेशन (Image Restoration): क्षतिग्रस्त तस्वीरों को ठीक करना (जैसे खरोंच हटाना, धुंधली तस्वीरों को स्पष्ट बनाना, या छूटे हुए हिस्सों को भरना)।
कंडीशनल जनरेशन (Conditional Generation): विशिष्ट निर्देशों के आधार पर नई छवियां बनाना (जैसे एक स्केच को फोटो में बदलना या किसी चेहरे को किसी विशिष्ट व्यक्ति जैसा दिखाने के लिए बदलना)।

परिणाम:

DiffRheid ने पिछले तरीकों की तुलना में लगातार अधिक स्पष्ट, तीक्ष्ण और सटीक छवियां बनाईं।
इसने उन "अजीब आर्टिफैक्ट्स" (ग्लिच) से बचा जो अन्य तरीके तब पैदा करते थे जब वे छवि को उसके प्राकृतिक ट्रैक से बाहर धकेल देते थे।
यह एक "प्लग-एंड-प्ले" टूल के रूप में काम करता है। आपको AI मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; आप बस DiffRGD को इसमें लगा देते हैं, और यह मौजूदा मॉडल को बेहतर ढंग से निर्देशित करता है।

सारांश उपमा

यदि पिछले तरीके किनारे से रस्सी फेंककर नाव को मोड़ने की कोशिश करने जैसे थे (जो अक्सर नाव को चट्टानों में खींच लेता है), तो DiffRGD एक कुशल कप्तान की तरह है जो धाराओं को पूरी तरह से जानता है। कप्तान नाव को पानी के प्राकृतिक प्रवाह (गोलाकार मैनिफोल्ड) के साथ चलाता है ताकि गंतव्य तक पहुँचा जा सके, यह सुनिश्चित करते हुए कि नाव कभी चट्टानों से न टकराए और यात्री (छवि के पिक्सेल) सहज और सुरक्षित रहें।

संक्षेप में: DiffRGD इमेज जेनरेटर्स को निर्देशित करने का एक स्मार्ट तरीका है जो उस गणित का सम्मान करता है जिसके आधार पर वे "सोचते" हैं, जिससे बिना महंगे री-ट्रेनिंग के उच्च-गुणवत्ता वाली छवियां प्राप्त होती हैं।

तकनीकी सारांश: DiffRGD

समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल इमेज जनरेशन के लिए आधार बन गए हैं, फिर भी विशिष्ट कार्यों (जैसे, इमेज रेस्टोरेशन, कंडीशनल जनरेशन) के लिए बिना महंगे री-ट्रेनिंग या फाइन-ट्यूनिंग के उन्हें नियंत्रित करना एक चुनौती बनी हुई है। मौजूदा इन्फरेंस-टाइम गाइडेंस विधियाँ (जैसे, DPS, FreeDoM) डिफ्यूजन प्रोसेस के लेटेंट स्पेस में एक डिफरिएबल ऑब्जेक्टिव से ग्रेडिएंट्स इंजेक्ट करके सैंपलिंग प्रक्रिया को निर्देशित करती हैं। हालाँकि, ये विधियाँ डिफ्यूजन प्रोसेस के अंतर्निहित गॉसियन स्ट्रक्चर (Gaussian structure) का सम्मान किए बिना एम्बिएंट स्पेस (ambient space) में काम करती हैं।

यह वितरण जागरूकता (distributional awareness) की कमी डिस्ट्रीब्यूशनल ड्रिफ्ट (distributional drift) की ओर ले जाती है, जहाँ लेटेंट वेरिएबल्स मूल गॉसियन मैनिफोल्ड से विचलित हो जाते हैं। जैसे-जैसे सैंपलिंग स्टेप्स जमा होते हैं, यह "ऑफ-मैनिफोल्ड" घटना अंतिम क्लीन सैंपल की गुणवत्ता को खराब कर देती है। अपडेट को बाधित करने के प्रयास, जैसे कि MPGD (लोकल लिनियरिटी मानकर) या DSG (फिक्स्ड-रेडियस हाइपरस्फीयर पर प्रोजेक्ट करके), या तो अविश्वसनीय परफेक्ट एनकोडर्स पर निर्भर करते हैं या लेटेंट डिस्ट्रीब्यूशन के विशिष्ट गॉसियन गुणों का पूरी तरह से पालन करने में विफल रहते हैं, जिससे कभी-कभी परिणाम यूनिफॉर्म डिस्ट्रीब्यूशन में गिर जाते हैं।

कार्यप्रणाली: DiffRGD (Methodology: DiffRGD)

लेखक DiffRGD का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले इन्फरेंस-टाइम गाइडेंस फ्रेमवर्क है जो स्पष्ट रूप से लेटेंट गॉसियन स्ट्रक्चर को सुरक्षित रखता है। मुख्य अंतर्दृष्टि यह है कि प्रत्येक DDIM सैंपलिंग टाइमस्टेप $t$ पर, लेटेंट डिस्ट्रीब्यूशन एक प्रेडिक्टेड मीन $\mu_t$ पर केंद्रित एक आइसोट्रोपिक गॉसियन (isotropic Gaussian) होता है।

1. पोलर डिकम्पोजिशन और मैनिफोल्ड कंस्ट्रक्शन (Polar Decomposition and Manifold Construction)

यह विधि आइसोट्रोपिक गॉसियन डिस्ट्रीब्यूशन के पोलर डिकम्पोजिशन प्रॉपर्टी का लाभ उठाती है। किसी भी टाइमस्टेप $t$ पर, एक लेटेंट सैंपल $x_t$ को एक सांख्यिकीय रूप से स्वतंत्र रेडियल कंपोनेंट $r$ और एक डायरेक्शनल कंपोनेंट $u$ में विभाजित किया जा सकता है:
$x_t = \mu_t + \sigma_t r u$
जहाँ $r$ एक स्केल्ड ची-डिस्ट्रीब्यूशन (chi-distribution) का अनुसरण करता है और $u$ एक यूनिट स्फीयर पर यूनिफॉर्मली डिस्ट्रीब्यूटेड है।

एम्बिएंट स्पेस या एक फिक्स्ड-रेडियस स्फीयर में ऑप्टिमाइज़ करने के बजाय, DiffRGD एक स्फेरिकल मैनिफोल्ड $\mathcal{S}_{t,r}$ का निर्माण करता है जो विशिष्ट लेटेंट डिस्ट्रीब्यूशन द्वारा प्रेरित है:
$\mathcal{S}_{t,r} := \{ x \in \mathbb{R}^n \mid \|x - \mu_t\|_2 = \sigma_t r \}$
यहाँ, रेडियस $\sigma_t r$ डिस्ट्रीब्यूशन के प्राकृतिक स्केल से लिया गया है, जो यह सुनिश्चित करता है कि फेसिबल सेट (feasible set) डिफ्यूजन प्रोसेस के गॉसियन गुणों का सम्मान करता है।

2. रीमानियन ग्रेडिएंट डिसेंट (Riemannian Gradient Descent - RGD)

प्रत्येक टाइमस्टेप पर गाइडेंस समस्या को एक कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या के रूप में तैयार किया गया है:
$x_{t-1} = \arg\min_{x \in \mathcal{S}_{t,r}} \mathcal{L}(\hat{x}_0(x, t-1), y)$
जहाँ $\mathcal{L}$ गाइडेंस लॉस (जैसे, रेस्टोरेशन के लिए रिकंस्ट्रक्शन लॉस या कंडीशनल जनरेशन के लिए फीचर अलाइनमेंट) है।

इसे हल करने के लिए, DiffRGD स्फेरिकल मैनिफोल्ड $\mathcal{S}_{t,r}$ पर रीमानियन ग्रेडिएंट डिसेंट का उपयोग करता है:

टैंजेंट स्पेस प्रोजेक्शन (Tangent Space Projection): लॉस के यूक्लिडियन ग्रेडिएंट को स्फीयर के टैंजेंट स्पेस पर प्रोजेक्ट किया जाता है, जिससे रेडियल कंपोनेंट हट जाता है ताकि अपडेट की दिशा मैनिफोल्ड के टैंजेंट के अनुरूप रहे।
रिट्रैक्शन (Retraction): टैंजेंट स्पेस के साथ एक स्टेप लेने के बाद, एक रिट्रैक्शन ऑपरेशन अपडेटेड पॉइंट को वापस स्फेरिकल मैनिफोल्ड $\mathcal{S}_{t,r}$ पर मैप करता है, जिससे रेडियस $\sigma_t r$ सुरक्षित रहता है।

यह प्रक्रिया प्रत्येक डिफ्यूजन टाइमस्टेप के लिए $K$ इनर इटरेशन (आमतौर पर $K=3$ ) के लिए दोहराई जाती है। लेखक सिद्ध करते हैं कि $L$ -स्मूथनेस धारणाओं के तहत, यह ऑप्टिमाइज़ेशन एक स्टेशनरी पॉइंट की ओर अभिसरित (converge) होता है।

मुख्य योगदान (Key Contributions)

डिस्ट्रीशन-अवेयर ज्योमेट्री (Distribution-Aware Geometry): लेखक एक पोलर-डिकम्पोजिशन प्रॉपर्टी की पहचान करते हैं जो डिफ्यूजन गाइडेंस के लिए एक डिस्ट्रीब्यूशन-प्रेरित ज्योमेट्री को प्रकट करती है। वे एक रीमानियन फ्रेमवर्क प्रस्तावित करते हैं जो लेटेंट डिस्ट्रीब्यूशन ज्योमेट्री का सम्मान करता है, जिससे ऑफ-मैनिफोल्ड ड्रिफ्ट के कारण होने वाली सैंपल डिग्रेडेशन को कम किया जा सके।
सैद्धांतिक विश्लेषण (Theoretical Analysis): पेपर डिस्ट्रीब्यूशन प्रिजर्वेशन का विश्लेषण प्रदान करता है और रीमानियन ऑप्टिमाइज़ेशन एल्गोरिदम के स्टेशनरी पॉइंट तक अभिसरण को सिद्ध करता है। व्यवहार में, प्रस्तावित ज्योमेट्री-अवेयर ऑप्टिमाइज़ेशन ADMM-आधारित विधियों की तुलना में तेजी से अभिसरित होता है।
प्लग-एंड-प्ले परफॉरमेंस (Plug-and-Play Performance): DiffRGD को एक प्लग-एंड-प्ले मेथड के रूप में प्रदर्शित किया गया है जिसे किसी री-ट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता नहीं है, और यह विविध कार्यों में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने एक सिंगल NVIDIA GeForce RTX 4090 GPU पर HuggingFace Diffusers फ्रेमवर्क का उपयोग करके DiffRGD का बेसलाइन्स (DPS, FreeDoM, MPGD, DSG, ADMMDiff) के विरुद्ध मूल्यांकन किया।

इमेज रेस्टोरेशन (Image Restoration)

चार कार्यों के लिए FFHQ 256×256 और ImageNet 256×256 पर मूल्यांकन किया गया: इनपेंटिंग (Inpainting), सुपर-रिज़ॉल्यूशन (4×), गॉसियन डीब्लरिंग (Gaussian Deblurring), और मोशन डीब्लरिंग (Motion Deblurring)।

मात्रात्मक (Quantitative): DiffRिड (DiffRGD) ने अधिकांश कार्यों में सभी बेसलाइन्स पर PSNR, SSIM, LPIPS और FID में सांख्यिकीय रूप से महत्वपूर्ण सुधार हासिल किया। उदाहरण के लिए, इनपेंटिंग में, DiffRGD ने 34.04 का PSNR प्राप्त किया, जबकि दूसरे सर्वश्रेष्ठ मेथड (ADMMDiff) का PSNR 32.38 था।
मजबूती (Robustness): DiffRGD ने कम सैंपलिंग स्टेप्स (100 स्टेप्स) के साथ भी मजबूत प्रदर्शन बनाए रखा, जबकि DPS और ADMMDiff जैसे मेथड्स में उल्लेखनीय गिरावट देखी गई।
गुणात्मक (Qualitative): विजुअल परिणामों ने DPS और MPGD की तुलना में कम आर्टिफैक्ट्स और बेहतर बैकग्राउंड कंसिस्टेंसी दिखाई, जो ADMMDiff के समान या उससे बेहतर गुणवत्ता के साथ कम कंप्यूटेशनल समय में प्राप्त हुआ।

कंडीशनल जनरेशन (Conditional Generation)

सेगमेंटेशन मैप, स्केच, और FaceID गाइडेंस के लिए CelebA-HQ 256×256 पर मूल्यांकन किया गया।

DiffRGD ने अलाइनमेंट मेट्रिक्स (mIoU, Sketch- $\ell_2$ , FaceID- $\ell_2$ ) और जनरेशन क्वालिटी (FID, KID) के मामले में मौजूदा इन्फरेंस-टाइम मेथड्स (FreeDoM, DSG, ADMMDiff) को लगातार पछाड़ दिया।
गुणात्मक परिणामों ने संकेत दिया कि DiffRGD ने DSG की तुलना में अधिक प्राकृतिक और विजुअली अपीलिंग परिणाम दिए, जो DSG की तुलना में बेहतर कंडीशन अलाइनमेंट के साथ थे (DSG अक्सर अस्थिर कंट्रोल से ग्रस्त रहता है)।

गाइडेंस स्ट्रेंथ (Guidance Strength)

गाइडेंस स्ट्रेंथ ( $\eta_t$ ) पर प्रयोगों ने दिखाया कि DiffRGD, DSG की तुलना में (जो सभी सेटिंग्स में खराब प्रदर्शन करता है), स्ट्रेंथ की एक विस्तृत श्रृंखला में अलाइनमेंट (mIoU) और जनरेशन क्वालिटी (FID) के बीच बेहतर संतुलन प्राप्त करता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि DiffRGD इन्फरेंस-टाइम गाइडेंस के एक महत्वपूर्ण अंतर को संबोधित करता है: मौजूदा विधियों की स्टेपवाइज गॉसियन लेटेंट स्ट्रक्चर को संरक्षित करने में विफलता। एक डिस्ट्रीब्यूशन-प्रेरित स्फेरिकल मैनिफोल्ड पर गाइडेंस को एक कंस्ट्रेंड ऑप्टिमाइज़ेशन के रूप में स्वरूपित करके, DiffRGD उस "ऑफ-मैनिफोल्ड" घटना को रोकता है जो सैंपल क्वालिटी को खराब करती है।

लेखक दावा करते हैं कि ज्योमेट्री-कंसिस्टेंट गाइडेंस एम्बिएंट स्पेस में सीधे ग्रेडिएंट्स लागू करने या प्रतिबंधात्मक, गैर-डिस्ट्रीब्यूशन-अवेयर मैनिफोल्ड का उपयोग करने के मुकाबले एक व्यवहार्य और बेहतर विकल्प है। यह विधि बिना किसी महंगी री-ट्रेनिंग के, प्री-ट्रेंड डिफ्यूजन मॉडल्स की उच्च-फिडेलिटी सैंपल क्वालिटी को बनाए रखते हुए टास्क मेट्रिक्स में सुधार करने वाला एक सरल, प्लग-एंड-प्ले समाधान प्रदान करती है।