🤖 machine learning

Stage-wise Distortion-Perception Traversal in Zero-shot Inverse Problems with Diffusion Models

यह शोध पत्र MAP-RPS और इसके लेटेंट-स्पेस विस्तार LMAP-RPS को प्रस्तुत करता है, जो एक स्टेज-वाइज़ फ्रेमवर्क है जो कम विरूपण (डिस्टॉर्शन) के लिए MAP अनुमान और बेहतर संवेदी गुणवत्ता (परसेप्चुअल क्वालिटी) के लिए री-नॉइज़्ड पोस्टीरियर सैंपलिंग को जोड़कर, ज़ीरो-शॉट इनवर्स समस्याओं में डिस्टॉर्शन-परसेप्शन ट्रेडऑफ के लचीले और सिद्धांतपूर्ण प्र्वास (ट्रैवर्सल) को सक्षम करने के लिए एक एकल डिफ्यूजन मॉडल का लाभ उठाता है।

मूल लेखक: Jiawei Zhang, Ziyuan Liu, Leon Yan, Zhenyu Xiao, Yuantao Gu

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiawei Zhang, Ziyuan Liu, Leon Yan, Zhenyu Xiao, Yuantao Gu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक धुंधली, क्षतिग्रस्त तस्वीर को ठीक करने की कोशिश कर रहे हैं। आपके पास दो मुख्य लक्ष्य हैं, जो अक्सर आपस में टकराते हैं:

सटीकता (Distortion/विकृति): आप चाहते हैं कि फोटो मूल दृश्य के बिल्कुल समान हो, पिक्सेल-दर-पिक्सेल। यदि मूल फोटो में नीला रंग एक विशिष्ट शेड का था, तो आपका परिणाम भी बिल्कुल वही नीला होना चाहिए।
यथार्थवाद (Realism/परसेप्शन): आप चाहते हैं कि फोटो मानवीय आंखों को वास्तविक लगे। इसमें प्राकृतिक बनावट (textures), तीखे किनारे होने चाहिए, और यह एक धुंधले धब्बे जैसा नहीं दिखना चाहिए, भले ही वह गणितीय रूप से मूल से 100% समान न हो।

यह पेपर इसे "डिस्टॉर्शन-परसेप्शन ट्रेडऑफ" (Distortion-Perception Tradeoff) कहता है। आमतौर पर, यदि आप फोटो को गणितीय रूप से एकदम सटीक बनाते हैं, तो वह धुंधली और नकली दिखती है। यदि आप इसे तीक्ष्ण और यथार्थवादी बनाते हैं, तो यह उन विवरणों को बना सकता है जो वहां मौजूद नहीं थे, जिससे यह गणितीय रूप से "गलत" हो जाता है।

इस पेपर के लेखकों ने, जो त्सिंगहुआ विश्वविद्यालय (Tsinghua University) में कार्यरत हैं, एक नया टूल बनाया है जिसे MAP-RPS कहा जाता है (और इसका एक तेज़ संस्करण LMAP-RPS), जो आपको एक ही AI मॉडल का उपयोग करके, हर नए कार्य के लिए उसे फिर से प्रशिक्षित किए बिना, इन दो लक्ष्यों के बीच सुचारू रूप से स्लाइड करने की अनुमति देता है।

यहाँ उनका "दो-चरणों वाला" तरीका सरल उपमाओं का उपयोग करके दिया गया है:

चरण 1: "सुरक्षित दांव" (कम विकृति/Low Distortion)

कल्पना कीजिए कि आप एक बहुत ही धुंधली सैटेलाइट इमेज के आधार पर एक घने जंगल में खोए हुए हाइकर के सटीक स्थान का अनुमान लगाने की कोशिश कर रहे हैं।

समस्या: AI कई संभावित स्थानों का अनुमान लगा सकता है।
रणनीति: उनके तरीके का पहला चरण एक सख्त जासूस की तरह कार्य करता है। यह धुंधली छवि को देखता है और पूछता है, "हाइकर के सबसे संभावित स्थान के बारे में एक ही सबसे सटीक अनुमान क्या हो सकता है?"
परिणाम: यह वह स्थान ढूंढता है जो धुंधले डेटा के गणितीय रूप से सबसे करीब है। यह आपको एक ऐसा परिणाम देता है जो इनपुट के प्रति बहुत सटीक है (कम विकृति), लेकिन यह थोड़ा "मशाल" या औसत जैसा दिख सकता है, जिसमें बारीक विवरणों की कमी हो सकती है। यह एक "सुरक्षित दांव" है।

चरण 2: "रचनात्मक पुनर्कल्पना" (उच्च परसेप्शन/High Perception)

अब, कल्पना कीजिए कि आप उस "सुरक्षित दांव" वाले स्थान को लेते हैं और कहते हैं, "ठीक है, आइए इसमें कुछ जान फूंकते हैं।"

रणनीति: दूसरा चरण उस सुरक्षित अनुमान को लेता है और जानबूझकर उसमें थोड़ा सा "शोर" (noise/यादृच्छिकता) वापस जोड़ता है, और फिर AI को उसे फिर से साफ करने के लिए कहता है। लेकिन इस बार, यह केवल धुंधले इनपुट से मेल खाने की कोशिश नहीं करता; बल्कि, यह कोशिश करता है कि परिणाम उनके प्रशिक्षण डेटा से एक वास्तविक फोटो की तरह दिखे।
जादुई नियंत्रण: लेखकों ने एक "डायल" (जिसे $t_0$ कहा जाता है) खोजा है जो यह नियंत्रित करता है कि वे कितना शोर वापस जोड़ते हैं।
- यदि आप डायल को शून्य (zero) पर रखते हैं, तो आपको "सुरक्षित दांव" (चरण 1 का परिणाम) मिलता है: बहुत सटीक, लेकिन शायद थोड़ा धुंधला।
- यदि आप डायल को ऊपर घुमाते हैं, तो AI अधिक रचनात्मक हो जाता है। यह बनावट (textures) भर देता है और किनारों को तीक्ष्ण बनाता है, जिससे छवि शानदार और यथार्थवादी दिखती है, भले ही यह मूल धुंधली फोटो में मौजूद छोटे विवरणों को खुद से बना ले।

"लेटेंट" शॉर्टकट (LMAP-RPS)

पेपर में एक तेज़ संस्करण का भी उल्लेख है जिसे LMAP-RPS कहा जाता है।

उपमा: कल्पना कीजिए कि पहला तरीका (MAP-RPS) एक विशाल, हाई-डेफिनिशन पेंटिंग को ठीक करने के लिए उसके हर एक ब्रशस्ट्रोक पर व्यक्तिगत रूप से काम करने जैसा है। यह सटीक है लेकिन धीमा है।
शॉर्टकट: "लेटेंट" संस्करण एक छोटे, अमूर्त स्केच (एक "लेटेंट स्पेस") में उस विशाल पेंटिंग को छोटा करने जैसा है, उस छोटे स्केच पर सारा सुधार करने जैसा है, और फिर उसे वापस पूरे आकार में बड़ा करने जैसा है। क्योंकि स्केच छोटा और सरल होता है, इसलिए AI यह काम बहुत तेज़ी से कर सकता है, जिससे यह वास्तविक दुनिया की बड़ी छवियों के लिए व्यावहारिक बन जाता है।

उन्होंने क्या पाया

शोधकर्ताओं ने विभिन्न इमेज समस्याओं जैसे शोर हटाना (noise removal), तस्वीर के छूटे हुए हिस्सों को भरना (inpainting), और छोटी छवियों को बड़ा करना (super-resolution) पर इनका परीक्षण किया।

वक्र (The Curve): उन्होंने दिखाया कि उनका तरीका "सुरक्षित दांव" और "रचनात्मक पुनर्कल्पना" के बीच एक सुचारू "स्लाइडिंग स्केल" (एक वक्र) बनाता है।
विजेता: उनका टूल ग्राफ के "परफेक्ट कॉर्नर" के अधिक करीब स्थित है। इसका मतलब है कि वे एक ऐसा परिणाम प्राप्त कर सकते हैं जो बहुत सटीक और बहुत यथार्थवादी दोनों है, जो मौजूदा तरीकों से बेहतर है जो आमतौर पर आपको एक को चुनने के लिए मजबूर करते हैं।
गति: "लेटेंट" संस्करण कई प्रतिस्पर्धियों की तुलना में काफी तेज़ है, जो इसे अभी वास्तविक दुनिया के अनुप्रयोगों के लिए उपयोगी बनाता है।

संक्षेप में: उन्होंने एक स्मार्ट, दो-चरणीय प्रक्रिया बनाई है जो पहले गणितीय रूप से सबसे सुरक्षित उत्तर ढूंढती है, और फिर आपको यह तय करने की अनुमति देती है कि आप कितनी "रचनात्मक यथार्थता" चाहते हैं, जबकि इस पूरी प्रक्रिया को तेज़ और कुशल बनाए रखती है।

तकनीकी सारांश: डिफ्यूजन मॉडल्स के साथ ज़ीरो-शॉट इनवर्स प्रॉब्लम्स में स्टेज-वाइज़ डिस्टॉर्शन–परसेप्शन ट्रैवर्सल

समस्या विवरण (Problem Statement)
बेशियन इनवर्स प्रॉब्लम्स (Bayesian inverse problems), जिनका लक्ष्य डिग्रेडेड ऑब्जर्वेशन से ओरिजिनल सिग्नल को पुनर्गठित करना है, मौलिक रूप से डिस्टॉर्शन–परसेप्शन (D–P) ट्रेड-ऑफ द्वारा सीमित हैं। डिस्टॉर्शन परफॉरमेंस सैंपल-वाइज़ रिकंस्ट्रक्शन फिडेलिटी (जैसे MSE या PSNR के माध्यम से) को मापता है, जबकि परसेप्शन परफॉरमेंस विजुअल क्वालिटी और रियल डेटा के साथ डिस्ट्रिब्यूशनल सिमिलैरिटी को दर्शाता है। सैद्धांतिक कार्यों ने स्थापित किया है कि ये उद्देश्य स्वाभाविक रूप से एक-दूसरे के विपरीत हैं: एक को सुधारने से अक्सर दूसरे की गुणवत्ता कम हो जाती है। डिफ्यूजन मॉडल्स ने बिना किसी टास्क-विशिष्ट रिट्रेनिंग के ज़ीरो-शॉट इनवर्स प्रॉब्लम सॉल्व करने में स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त किए हैं, फिर भी मौजूदा तरीकों में इन्फरेंस टाइम पर D–P कर्व को पार करने (traverse करने) के लिए सिद्धांतों पर आधारित और कंप्यूटेशनल रूप से कुशल रणनीतियों का अभाव है। वर्तमान दृष्टिकोण, जैसे कि सैंपलिंग स्टेप्स को एडजस्ट करना या सैंपल एवरेजिंग, अक्सर ह्यूरिस्टिक (heuristic) या कंप्यूटेशनल रूप से महंगे होते हैं, और डिफ्यूजन-आधारित ज़ीरो-शॉट एल्गोरिदम में इस ट्रेड-ऑफ को नियंत्रित करने के तंत्र अभी भी अपर्याप्त रूप से वर्णित हैं।

कार्यप्रणाली (Methodology)
लेखक एक दो-चरणीय ढांचे का प्रस्ताव करते हैं, जिसे MAP-RPS (मैक्सिमम ए पोस्टेरिओरी - री-नॉइज़्ड पोस्टीरियर सैंपलिंग) कहा जाता है, ताकि एक एकल प्रीट्रेन्ड डिफ्यूजन मॉडल का उपयोग करके लचीला D–P ट्रैवर्सल सक्षम किया जा सके। इस पद्धति को बाद में लेटेंट स्पेस में LMAP-RPS के रूप में विस्तारित किया गया है ताकि बड़े पैमाने के लेटेंट डिफ्यूजन बैकबोन का लाभ उठाया जा सके।

चरण 1: लो-डिस्टॉर्शन इनिशियलाइजेशन (MAP एस्टीमेशन)
पहला चरण मिनिमम मीन स्क्वेर्ड एरर (MMSE) समाधान का अनुमान लगाता है, जो D–P कर्व पर इष्टतम डिस्टॉर्शन पॉइंट के अनुरूप है। लेखक उन पोस्टीरियर्स का विश्लेषण करते हैं जो स्ट्रॉन्गली लॉग-कॉन्केव (strongly log-concave) हैं और यह स्थापित करते हैं कि MAP एस्टीमेट, एक बाउंडेड एप्रोक्सिमेशन एरर के साथ MMSE समाधान के लिए एक वैध सरोगेट के रूप में कार्य करता है। वे एक विशिष्ट टाइमस्टेप $t_1$ पर प्रीट्रेन्ड डिफ्यूजन मॉडल के स्कोर फंक्शन का उपयोग करके लॉग-प्रायर के लिए एक सुलभ ग्रेडिएंट (tractable gradient) निकालते हैं, जिससे स्टोकेस्टिक ग्रेडिएंट-आधारित ऑप्टिमाइजेशन के माध्यम से कुशल MAP एस्टीमेशन संभव होता है। यह एक लो-डिस्टॉर्शन स्टार्टिंग पॉइंट ( $x_{MAP}$ ) प्रदान करता है।
चरण 2: परसेप्चुअल क्वालिटी इम्प्रूवमेंट (री-नॉइज़्ड पोस्टीरियर सैंपलिंग)
दूसरा चरण परसेप्चुअल क्वालिटी में सुधार करके D–P कर्व को पार करता है। MAP एस्टीमेट को एक निर्धारित टाइमस्टेप $t_0$ तक री-नॉइज़ किया जाता है, और इस नॉइज़ी इनिशियलाइजेशन से पोस्टीरियर सैंपलिंग की जाती है। सैद्धांतिक रूप से, लेखक दिखाते हैं कि जेनरेटेड डिस्ट्रिब्यूशन और वास्तविक डेटा डिस्ट्रिब्यूशन के बीच वर्सटीन-2 ( $W_2$ ) दूरी (जो परसेप्शन एरर का एक मीट्रिक है) को री-नॉइज़िंग टाइमस्टेप $t_0$ द्वारा नियंत्रित किया जाता है। $t_0$ को बदलकर, यह विधि लो-डिस्टॉर्शन MAP सॉल्यूशन (जहाँ $t_0=0$ है) और स्टैंडर्ड पोस्टीरियर सैंपलिंग (जहाँ $t_0=T$ है) के बीच एक निरंतर इंटरपोलेशन सक्षम करती है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक ढांचा (Theoretical Framework): पेपर दोनों चरणों के लिए सैद्धांतिक विश्लेषण प्रदान करता है। यह स्ट्रॉन्गली लॉग-कॉन्केव धारणाओं के तहत MMSE समाधान को एप्रोक्सिमेट करने के लिए एक एरर बाउंड स्थापित करता है और री-नॉइज़्ड पोस्टीरियर सैंपलिंग चरण के लिए $W_2$ दूरी पर एक अपर बाउंड निकालता है, जिससे यह सिद्ध होता है कि $t_0$ को एडजस्ट करके परसेप्शन एरर को नियंत्रित किया जा सकता है।
एल्गोरिदम डिज़ाइन: MAP-RPS और इसके लेटेंट-स्पेस वेरिएंट, LMAP-RPS का परिचय, D–P ट्रैवर्सल के लिए एक कंप्यूटेशनल रूप से कुशल तंत्र प्रदान करता है। बार-बार सैंपलिंग या जटिल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता वाले तरीकों के विपरीत, इस दृष्टिकोण में केवल एक MAP एस्टीमेशन प्रक्रिया और एक पोस्टीरियर सैंपलिंग प्रक्रिया की आवश्यकता होती है।
लेटेंट स्पेस एक्सटेंशन: LMAP-RPS में फ्रेमवर्क को लेटेंट डिफ्यूजन मॉडल्स तक विस्तारित करके, लेखक व्यापक अनुप्रयोग क्षमता के लिए शक्तिशाली प्रीट्रेन्ड बैकबोन (जैसे, स्टेबल डिफ्यूजन) का लाभ उठाते हैं।

प्रायोगिक परिणाम (Experimental Results)
FFHQ डेटासेट (D–P कर्व विश्लेषण के लिए) और MS-COCO डेटासेट (नियर-रियल-वर्ल्ड इनवर्स प्रॉब्लम्स के लिए) पर व्यापक प्रयोग किए गए।

D–P ट्रैवर्सल: FFHQ कार्यों (डिनोइजिंग, सुपर-रिज़ॉल्यूशन, इनपेंटिंग, डीब्लरिंग) पर, MAP-RPS और LMAP-RPS दोनों ने VSDPS और PSCGAN जैसे मौजूदा तरीकों की तुलना में आदर्श लोअर-लेफ्ट कॉर्नर (इष्टतम डिस्टॉर्शन और परसेप्शन) के करीब कर्व हासिल किया।
रियल-वर्ल्ड परफॉरमेंस: MS-COCO पर, LMAP-RPS ने नौ हालिया लेटेंट डिफ्यूजन-आधारित बेसलाइन्स की तुलना में लगभग सभी कार्यों और मेट्रिक्स (PSNR, SSIM, LPIPS, FID) में SOTA प्रदर्शन हासिल किया।
दक्षता (Efficiency): LMAP-RPS ने महत्वपूर्ण कंप्यूटेशनल लाभ प्रदर्शित किया। $t_0=0$ पर, यह सभी बेसलाइन्स की तुलना में काफी तेज़ था। $t_0=600$ पर भी, यह कंप्यूटेशनल रूप से कुशल बना रहा, और अक्सर बेहतर रिकंस्ट्रक्शन क्वालिटी बनाए रखते हुए अन्य तरीकों की तुलना में गति में बेहतर प्रदर्शन किया।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि MAP-RPS और LMAP-RPS ज़ीरो-शॉट इनवर्स प्रॉब्लम्स में D–P ट्रैवर्सल को साकार करने के लिए एक नया दृष्टिकोण प्रदान करते हैं। लेखक इस बात पर जोर देते हैं कि उनकी विधि मौजूदा ह्यूरिस्टिक रणनीतियों के लिए एक सिद्धांत आधारित, सैद्धांतिक रूप से सुदृढ़ और कंप्यूटेशनल रूप से कुशल विकल्प प्रदान करती है। डिस्टॉर्शन और परसेप्शन उद्देश्यों को दो अलग-अलग चरणों में अलग करके, यह फ्रेमवर्क अभ्यासकर्ताओं को मॉडल को रिट्रेन किए बिना विशिष्ट एप्लिकेशन आवश्यकताओं के अनुकूल सर्वोत्तम रिकंस्ट्रक्शन चुनने की सुविधा देता है। लेखक LMAP-RPS की मजबूत व्यावहारिक क्षमता को भी रेखांकित करते हैं, जिसमें जटिल, वास्तविक दुनिया की इनवर्स प्रॉब्लम्स पर कम कंप्यूटेशनल जटिलता के साथ SOTA परिणाम देने की क्षमता है।

सीमाएं और भविष्य का कार्य (Limitations and Future Work)
लेखक स्वीकार करते हैं कि उनके सैद्धांतिक गारंटियाँ स्ट्रॉन्गली लॉग-कॉन्केव (लगभग यूनिमोडल) पोस्टीरियर्स की धारणा पर निर्भर करती हैं। हालांकि प्रायोगिक परिणाम बताते हैं कि विधि अधिक सामान्य सेटिंग्स में भी प्रभावी रहती है, लेकिन जटिल मल्टीमॉडल पोस्टीरियर्स के तहत इसके व्यवहार के लिए आगे के शोध की आवश्यकता है। इसके अतिरिक्त, वर्तमान कार्यान्वयन चरण 2 के लिए विशिष्ट पोस्टीरियर सैंपलिंग एल्गोरिदम (जैसे DPS) पर निर्भर करता है, जो एस्टीमेशन एरर पेश कर सकता है; भविष्य के कार्य में D–P ट्रैवर्सल को और अधिक रिफाइन करने के लिए एसिम्प्टोटिकली कंसिस्टेंट (asymptotically consistent) पोस्टीरियर सैंपलिंग विधियों को एकीकृत किया जा सकता है।

चरण 1: "सुरक्षित दांव" (कम विकृति/Low Distortion)

चरण 2: "रचनात्मक पुनर्कल्पना" (उच्च परसेप्शन/High Perception)

"लेटेंट" शॉर्टकट (LMAP-RPS)

उन्होंने क्या पाया

इसी तरह के और पेपर