🤖 machine learning

Outlier-robust Diffusion Posterior Sampling for Bayesian Inverse Problems

यह शोध पत्र आउटलायर-दूषित मापों के कारण बेयसियन व्युत्क्रम समस्याओं (Bayesian inverse problems) में डिफ्यूजन-आधारित सॉल्वर के प्रदर्शन में होने वाली गिरावट को संबोधित करने के लिए एक सुदृढ़ डिफ्यूजन पोस्टीरियर सैंपलिंग विधि का प्रस्ताव करता है जो रैखिक समस्याओं के लिए सैद्धांतिक रूप से स्थिर सिद्ध है और रैखिक एवं गैर-रैखिक दोनों कार्यों के लिए अनुभवजन्य रूप से प्रभावी है।

मूल लेखक: Yiming Yang, Xiaoyuan Cheng, Yi He, Kaiyu Li, Wenxuan Yuan, Zhuo Sun

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiming Yang, Xiaoyuan Cheng, Yi He, Kaiyu Li, Wenxuan Yuan, Zhuo Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: "शोर वाले" सुराग के साथ पहेली सुलझाना

कल्पना कीजिए कि आप एक जटिल जिग्सॉ पहेली (jigsaw puzzle) को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास मार्गदर्शन के लिए केवल तैयार तस्वीर की एक धुंधली और विकृत फोटो है। वैज्ञानिक इसे इन्वर्स प्रॉब्लम (Inverse Problem) कहते हैं। आपके पास परिणाम (फोटो) है, और आपको कारण (पहेली के टुकड़े) का पता लगाना है।

वास्तविक दुनिया में, ये "फोटो" (मापन) शायद ही कभी पूर्ण होती हैं। इनमें अक्सर नॉइज़ (noise) (स्थिरता या शोर) या आउटलेयर्स (outliers) (ग्लिच या त्रुटि) होते हैं।

सामान्य नॉइज़: जैसे हल्की सी धुंधलापन या दानेदार बनावट।
आउटलेयर्स: जैसे प्रकाश की एक अचानक चमक या एक डेड पिक्सेल जो फोटो के एक छोटे से हिस्से को पूरी तरह से गलत बना देता है।

लंबे समय से, कंप्यूटर इन पहेलियों को हल करने के लिए डिफ्यूजन मॉडल्स (Diffusion Models) नामक एक शक्तिशाली उपकरण का उपयोग करते रहे हैं। डिफ्यूजन मॉडल को एक अत्यधिक प्रशिक्षित कलाकार के रूप में सोचें जिसने लाखों पहेलियाँ देखी हैं। यदि आप उन्हें एक धुंधला संकेत देते हैं, तो वे अपने ज्ञान के आधार पर "कल्पना" कर सकते हैं कि बाकी की तस्वीर कैसी दिखेगी।

समस्या: ग्लिच से कलाकार भ्रमित हो जाता है

यह शोध पत्र बताता है कि इन कलाकारों के काम करने के तरीके में एक खामी है। उन्हें संकेत (मापन) पर बहुत सख्ती से भरोसा करने के लिए प्रशिक्षित किया गया है।

यदि संकेत में थोड़ा सा सामान्य धुंधलापन है, तो कलाकार बहुत अच्छा काम करता है।
लेकिन यदि संकेत में कोई ग्लिच (glitch) (त्रुटि) है, तो कलाकार घबरा जाता है। वह उस ग्लिच वाले हिस्से को फिट करने के लिए पहेली को जबरदस्ती ढालने की कोशिश करता है, जिससे एक विकृत और बदसूरत समाधान निकलता है।

लेखक इसे "लाइक्लीहुड मिसस्पेसिफिकेशन" (Likelihood Missification) कहते हैं। यह एक ऐसे कलाकार की तरह है जो मान लेता है कि संकेत एकदम सटीक है, भले ही वह स्पष्ट रूप से सही न हो।

समाधान: "स्मार्ट फ़िल्टर" (RDP)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे रोबस्ट डिफ्यूजन पोस्टीरियर सैंपलिंग (RDP) कहा जाता है।

उपमा: स्मार्ट एडिटर (Smart Editor)
कल्पना कीजिए कि कलाकार (डिफ्यूजन मॉडल) पहेली पर काम कर रहा है। पुराने तरीके में, कलाकार धुंधली फोटो से मिलने वाले हर निर्देश का अंधाधुंध पालन करता है, यहाँ तक कि अजीबोगरीब ग्लिच का भी।

नया तरीका, RDP, एक स्मार्ट एडिटर की तरह है जो कलाकार के बगल में खड़ा है।

कलाकार फोटो के आधार पर एक अनुमान लगाता है।
स्मार्ट एडिटर उस अनुमान की फोटो के साथ जाँच करता है।
जादुई कदम: यदि फोटो में कोई छोटा, अजीब सा ग्लिच (आउटलेयर) है जो बाकी तस्वीर से मेल नहीं खाता, तो एडिटर कहता है, "उस हिस्से को अनदेखा करो! वह शायद एक गलती है।"
एडिटर फोटो के प्रत्येक हिस्से के लिए कलाकार को एक "वेट" (भार) देता है।
- अच्छे हिस्से: "इस पर 100% भरोसा करें।"
- ग्लिच वाले हिस्से: "इस पर 0% भरोसा करें। इसे अनदेखा करें।"

यह कलाकार को सुराग के विश्वसनीय हिस्सों पर ध्यान केंद्रित करने और शोर (noise) को अनदेखा करने की अनुमति देता है, जिससे एक स्पष्ट और अधिक सटीक पहेली समाधान प्राप्त होता है।

इस शोध पत्र ने वास्तव में क्या पाया

शोधकर्ताओं ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने गणितीय रूप से इसे सिद्ध किया और परीक्षण भी किया।

गणित: उन्होंने सिद्ध किया कि कुछ प्रकार की पहेलियों (लीनियर प्रॉब्लम्स) के लिए, उनकी नई "स्मार्ट एडिटर" विधि स्थिर (stable) है। इसका मतलब है कि यदि आप इसमें एक बड़ा ग्लिच डालते हैं, तो अंतिम तस्वीर खराब या निरर्थक नहीं होगी। पुराने तरीके, हालांकि, उसी ग्लिच से भटक जाते थे।
परीक्षण: उन्होंने वास्तविक दुनिया के कार्यों पर इसका परीक्षण किया:
- मेडिकल/साइंटिफिक इमेजिंग: जैसे यह देखने के लिए कि अंदर क्या है, धुंधले कांच के माध्यम से देखना (इनवर्स स्कैटरिंग)।
- फोटो रेस्टोरेशन: धुंधली तस्वीरों को ठीक करना, खरोंच हटाना, या किसी छवि के छूटे हुए हिस्सों को भरना (इनपेंटिंग/डीब्लरिंग)।
- फेज रिट्रीवल (Phase Retrieval): प्रकाश के पैटर्न से छवियों का पुनर्निर्माण करना जहाँ प्रकाश की "दिशा" खो जाती है।

परिणाम:

जब फोटो साफ थी: उनकी नई विधि पुराने, मानक तरीकों की तरह ही उतनी ही अच्छी तरह काम करती थी। इसने अच्छी चीज़ों को खराब नहीं किया।
जब फोटो में ग्लिच थे: उनकी विधि कहीं अधिक बेहतर थी। इसने सफलतापूर्वक खराब डेटा को अनदेखा किया और स्पष्ट छवियां बनाईं, जबकि पुराने तरीकों ने विकृत और आर्टिफैक्ट-भरी छवियां बनाईं।

सारांश

यह शोध पत्र AI इमेज रिकंस्ट्रक्शन के लिए एक "सेफ्टी नेट" पेश करता है। जब वह डेटा जिसे हम पुनर्गठित करने की कोशिश कर रहे हैं, अजीब त्रुटियों (आउटलेयर्स) से दूषित हो जाता है, तो यह नई विधि AI को उन त्रुटियों के प्रति संशयवादी होना और विश्वसनीय जानकारी पर ध्यान केंद्रित करना सिखाती है, जिससे अंतिम परिणाम सटीक और मजबूत सुनिश्चित होता है।

तकनीकी सारांश: बेयसियन इन्वर्स प्रॉब्लम्स के लिए आउटलायर-रोबस्ट डिफ्यूजन पोस्टीरियर सैंपलिंग

1. समस्या विवरण (Problem Statement)

बेयसियन इन्वर्स प्रॉब्लम्स (BIPs) का लक्ष्य एक अज्ञात चर $x$ को शोर युक्त मापों $y = F(x) + \epsilon$ से पुन: प्राप्त करना है। जबकि डिफ्यूजन मॉडल्स (DMs) ने BIPs को हल करने के लिए शक्तिशाली डेटा-संचालित प्रायर्स (priors) के रूप में उभरकर दिखाया है, मौजूदा डिफ्यूजन-आधारित सॉल्वर एक अनुमानित लाइकलीहुड फंक्शन $p(y|x)$ पर निर्भर करते हैं जो जनरेशन प्रक्रिया को निर्देशित करता है। व्यावहारिक परिदृश्यों में, यह लाइकलीहुड अक्सर गलत (misspecified) होता है क्योंकि:

गलत शोर धारणाएं (Incorrect noise assumptions): वास्तविक दुनिया का शोर गॉसियन होने के बजाय हेवी-टेल्ड (heavy-tailed) हो सकता है।
आउटलायर संदूषण (Outlier contamination): मापों में विरल (sparse), बड़े परिमाण की त्रुटियां हो सकती हैं (जैसे ऑप्टिकल कार्यों में स्पेकल नॉइज़ या स्कैटरिंग आर्टिफैक्ट्स)।

मानक डिफ्यूजन पोस्टीरियर सैंपलिंग (DPS) विधियाँ, जो आमतौर पर टीडीज़ फॉर्मूला (Tweedie's formula) का उपयोग करके लाइकलीहुड का अनुमान लगाती हैं और गॉसियन शोर मानती हैं, मध्यम गॉसियन शोर के तहत स्थिर होती हैं लेकिन उनमें मजबूती (robustness) की कमी होती है। आउटलायर संदूषण या लाइकलीहुड मिसस्पेसिफिकेशन का सामना करने पर, ये सॉल्वर पोस्टीरियर वितरण को लक्षित वितरण से बहुत दूर ले जा सकते हैं, जिसके परिणामस्वरूप रिकवरी में महत्वपूर्ण गिरावट आती है।

2. कार्यप्रणाली: रोबस्ट डिफ्यूजन पोस्टीरियर (RDP)

लेखक रोबस्ट डिफ्यूजन पोस्टीरियर सैंपलिंग (RDP) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जिसे माप संबंधी गड़बड़ियों के तहत स्थिरता बनाए रखने और विशेष रूप से आउटलेयर्स के प्रभाव को कम करने के लिए डिज़ाइन किया गया है।

सैद्धांतिक आधार (Theoretical Foundation)

पेपर पहले लीनियर BIPs के लिए गॉसियन शोर के तहत मानक DPS सॉल्वरों की स्थिरता को स्थापित करता है, यह सिद्ध करते हुए कि शोर वाले मापों द्वारा प्रेरित पोस्टीरियर और शोर रहित पोस्टीरियर के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस शोर के परिमाण द्वारा द्विघात रूप से (quadratically) सीमित है। हालांकि, यह सीमा आउटलायर संदूषण के तहत अनबाउंड हो जाती है, जो एक भेद्यता को प्रकट करती है।

इसे संबोधित करने के लिए, RDP एक सामान्यीकृत बेयसियन इन्फरेंस (GBI) दृष्टिकोण अपनाता है। मानक नेगेटिव लॉग-लाइकलीहुड के बजाय, RDP एक रोबस्ट, वेटेड लॉस फंक्शन $\ell_y(x)$ का उपयोग करता है। सामान्यीकृत पोस्टीरियर को इस प्रकार परिभाषित किया गया है:
$p^{(\ell)}(x|y) \propto p(x) \exp\{-\tau \ell_y(x)\}$
जहाँ $\tau$ एक टेम्परेचर पैरामीटर है।

रोबस्ट गाइडेंस मैकेनिज्म (The Robust Guidance Mechanism)

RDP मानक DPS गाइडेंस टर्म को एक कंपोनेंट-वाइज वेटेड ऑब्जेक्टिव में बदल देता है। प्रत्येक डिफ्यूजन टाइम स्टेप $t$ पर, विधि:

प्री-ट्रेन्ड स्कोर नेटवर्क का उपयोग करके शोर युक्त अवस्था $x_t$ से क्लीन डेटा $\hat{x}_{0|t}$ का अनुमान लगाती है।
प्रत्येक मेजरमेंट कंपोनेंट के लिए फिटिंग रेसिडुअल्स (residuals) $r_i = y_i - [F(\hat{x}_{0|t})]_i$ की गणना करती है।
लॉग-लाइकलीहुड पर एक एडेप्टिव वेटिंग फंक्शन $w(r_i)$ लागू करती है। लॉस फंक्शन बन जाता है:
$\ell_y(x_t) = -\sum_{i=1}^{d_y} w(r_i) \log \tilde{p}(y_i | \hat{x}_{0|t})$
वेटिंग फंक्शन: पेपर इनवर्स मल्टी-क्वाड्रेटिक (IMQ) फंक्शन का उपयोग करता है: $w(r) = (1 + r^2/c^2)^{-1/2}$ $w (r) = (1 + r^{2} / c^{2})^{- 1/2}$ ।
- छोटे रेसिडुअल्स के लिए, $w(r) \approx 1$ , जो मानक गॉसियन गाइडेंस को पुनः प्राप्त करता है।
- बड़े रेसिडुअल्स (आउटलेयर्स) के लिए, $w(r)$ घटता है, जिससे पोस्टीरियर अपडेट पर उनके प्रभाव को कम (down-weight) किया जाता है।
एडेप्टिव थ्रेशोल्ड: रेसिडुअल्स की डायनेमिक प्रकृति को ध्यान में रखते हुए, थ्रेशोल्ड पैरामीटर $c$ को प्रत्येक स्टेप $t$ पर एब्सोल्यूट रेसिडुअल्स के $q$ -वें क्वांटाइल के आधार पर एडेप्टिवली कैलिब्रेट किया जाता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

लेखक सिद्ध करते हैं कि यदि वेटिंग फंक्शन $w$ विशिष्ट शर्तों ( $|r w(r)|$ और $|r^2 w'(r)|$ की बाउंडेडनेस) को पूरा करता है, तो परिणामी पोस्टीरियर आउटलायर-रोबस्ट होता है। विशेष रूप से, पोस्टीरियर इन्फ्लुएंस फंक्शन (PIF)—जो शोर रहित और संदूषित मापों के तहत पोस्टीरियर के बीच KL डाइवर्जेंस को मापता है—यूनिफॉर्मली बाउंडेड है। यह मानक DPS के विपरीत है, जहाँ आउटलायर संदूषण के तहत PIF अनबाउंड होता है।

3. मुख्य योगदान (Key Contributions)

स्थिरता विश्लेषण (Stability Analysis): पेपर लीनियर BIPs के लिए मेजरमेंट नॉइज़ के तहत डिफ्यूजन पोस्टीरियर सैंपलिंग की स्थिरता का सैद्धांतिक लक्षण वर्णन प्रदान करता है, जो पोस्टीरियर विचलन को मापता है।
रोबस्टनेस वल्नरेबिलिटी की पहचान: विश्लेषण से पता चलता है कि जबकि मानक DPS गॉसियन शोर के तहत स्थिर है, इसमें आउटलायर संदूषण के विरुद्ध मजबूती की कमी है, जिससे प्रदर्शन में भारी गिरावट आती है।
RDP फ्रेमवर्क: लेखक RDP पेश करते हैं, जो मौजूदा ग्रेडिएंट-आधारित डिफ्यूजन सैंपलर (जैसे DPS, LGD, $\Pi$ GDM, PnPDM) के साथ संगत एक प्लग-एंड-प्ले मॉड्यूल है। यह लीनियर BIPs के लिए आउटलायर रोबस्टनेस की सैद्धांतिक गारंटी प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि RDP लीनियर (इनवर्स स्कैटरिंग) और नॉनलीनियर (फेज रिट्रीवल, इमेज इनपेंटिंग, डीब्लरिंग) दोनों कार्यों में आउटलेयर्स और लाइकलीहुड मिसस्पेसिफिकेशन के प्रभाव को प्रभावी ढंग से कम करता है, जबकि प्रतिस्पर्धी प्रदर्शन बनाए रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन चार कार्यों: इनवर्स स्कैटरिंग, इमेज इनपेंटिंग, डीब्लरिंग और फेज रिट्रीवल के लिए InverseBench बेंचमार्क पर किया गया।

आउटलायर संदूषण: विरल इम्पल्सिव नॉइज़ (जैसे 1%–5% पिक्सल उच्च परिमाण के साथ दूषित) के तहत, मानक विधियाँ (DPS, LGD, आदि) महत्वपूर्ण प्रदर्शन गिरावट (जैसे PSNR/SSIM में 15%–50% गिरावट) का सामना करती हैं। RDP वेरिएंट्स बेसलाइन्स से बेहतर प्रदर्शन करते हैं, जो वेल-स्पेसिफाइड सेटिंग के करीब प्रदर्शन स्तर को पुनः प्राप्त करते हैं।
लाइकलीहुड मिसस्पेसिफिकेशन: हेवी-टेल्ड नॉइज़ (Student-t डिस्ट्रीब्यूशन) के तहत, मानक विधियों में 10%–30% की गिरावट आई। RDP ने इस गिरावट को कम किया, बेसलाइन्स पर 5%–29% का लाभ दिखाया।
वेल-स्पेसिफाइड सेटिंग्स: मानक गॉसियन नॉइज़ वाले परिदृश्यों में, RDP मानक विधियों के साथ प्रतिस्पर्धी रहा, यह दर्शाता है कि रोबस्टनेस मैकेनिज्म सही लाइकलीहुड होने पर सटीकता से समझौता नहीं करता है।
सामान्यता (Generality): दृष्टिकोण को चार अलग-अलग डिफ्यूजन सॉल्वर में सफलतापूर्वक एकीकृत किया गया, जो इसके सैंपलर-अगनोस्टिक स्वभाव की पुष्टि करता है।
दक्षता (Efficiency): RDP का कम्प्यूटेशनल ओवरहेड नगण्य है, क्योंकि यह केवल मौजूदा गाइडेंस कैलकुलेशन में एक कंपोनेंट-वाइज वेटिंग स्टेप जोड़ता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि RDP वर्तमान डिफ्यूजन-आधारित इन्वर्स प्रॉब्लम सॉल्वर्स की एक महत्वपूर्ण सीमा: लाइकलीहुड मिसस्पेसिफिकेशन और आउटलेयर्स के प्रति उनकी संवेदनशीलता का एक व्यवस्थित समाधान प्रदान करता है। अपने मेथड को जनरलाइज्ड बेयसियन इन्फरेंस में ग्राउंड करके और पोस्टीरियर इन्फ्लुएंस पर सैद्धांतिक सीमाएं प्रदान करके, लेखक रोबस्ट रिकवरी के लिए एक कठोर आधार स्थापित करते हैं।

इसका महत्व उन वास्तविक वैज्ञानिक और इमेजिंग परिदृश्यों में शक्तिशाली डिफ्यूजन प्रायर्स को लागू करने की क्षमता में निहित है जहाँ शोर मॉडल अपूर्ण हैं या डेटा दूषित है, बिना डिफ्यूजन मॉडल को फिर से प्रशिक्षित किए या जटिल आर्किटेक्चरल बदलाव किए। इसे एक "प्लग-एंड-प्ले" एन्हांसमेंट के रूप में प्रस्तुत किया गया है जो मानक सॉल्वर्स की स्थिरता को बनाए रखते हुए प्रमाणित रोबस्टनेस जोड़ता है।

स्वीकृत सीमाएं (Limitations Acknowledged):
लेखक नोट करते हैं कि उनका सैद्धांतिक विश्लेषण मुख्य रूप से लीनियर BIPs पर केंद्रित है, और इन गारंटियों को नॉनलीनियर सेटिंग्स में विस्तारित करना एक खुला विषय है। इसके अतिरिक्त, उनके प्रयोग मुख्य रूप से आइसोट्रोपिक नॉइज़ पर विचार करते हैं, जबकि स्ट्रक्चर्ड या कोरिलेटेड नॉइज़ भी व्यवहार में आम है।