📊 statistics

Beyond Accuracy: Evaluating Posterior Fidelity of Diffusion Inverse Solvers

यह शोध पत्र पोस्टीरियर फिडेलिटी (posterior fidelity) के एक व्यवस्थित अध्ययन को पेश करके और एक ग्राउंड-ट्रुथ-मुक्त मीट्रिक, स्कोर-आधारित कर्नेल स्टीन डिस्क्रीपेंसी (score-based Kernel Stein Discrepancy), का प्रस्ताव देकर मौजूदा डिफ्यूजन इनवर्स सॉल्वर बेंचमार्क की उस सीमा को संबोधित करता है जो केवल पुनर्निर्माण सटीकता (reconstruction accuracy) पर ध्यान केंद्रित करते हैं, ताकि यह मूल्यांकन किया जा सके कि उत्पन्न नमूने नियंत्रित सिमुलेशन और वास्तविक दुनिया की इनवर्स समस्याओं में लक्षित पोस्टीरियर वितरण को कितनी अच्छी तरह कैप्चर करते हैं।

मूल लेखक: Xiaoyu Qiu, Taewon Yang, Zhanhao Liu, Guanyang Wang, Liyue Shen

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaoyu Qiu, Taewon Yang, Zhanhao Liu, Guanyang Wang, Liyue Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "सटीकता का जाल" (The "Accuracy Trap")

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास जो सुराग हैं वे धुंधले और अधूरे हैं। विज्ञान और इंजीनियरिंग में, इसे इनवर्स प्रॉब्लम (Inverse Problem) कहा जाता है। आप परिणाम देखते हैं (जैसे एक धुंधली फोटो या एक शोर वाला सिग्नल) और आपको अनुमान लगाना होता है कि इसका कारण क्या था।

हाल ही में, वैज्ञानिकों ने एक नए प्रकार के AI का उपयोग करना शुरू किया है जिसे डिफ्यूजन इनवर्स सॉल्वर (Diffusion Inverse Solver - DIS) कहा जाता है। इन सॉल्वरों को जासूसों की एक टीम के रूप में समझें। जब वे धुंधले सुरागों को देखते हैं, तो वे केवल एक एकल उत्तर का अनुमान नहीं लगाते; वे अपनी अनिश्चितता दिखाने के लिए संभावित उत्तरों का एक पूरा 'बादल' (cloud) तैयार करते हैं।

जाल:
अब तक, हम इन जासूसों को केवल इस आधार पर परखते रहे हैं कि उनका एकल सबसे अच्छा अनुमान वास्तविक उत्तर के कितने करीब है। हम इसे "सटीकता" (Accuracy) कहते हैं (जैसे PSNR)।

शोध पत्र का दावा: यह एक जाल है। एक जासूस केवल भाग्यशाली होकर वास्तविक उत्तर के बहुत करीब एक बिंदु का अनुमान लगाकर उच्च सटीकता स्कोर प्राप्त कर सकता है, भले ही उसका पूरा अनुमानों का बादल गलत हो। वे वास्तविक समाधान को पूरी तरह से मिस कर सकते हैं या केवल एक छोटी सी संभावना का अनुमान लगा सकते हैं, अन्य वैध संभावनाओं को अनदेखा करते हुए।
उपमा: कल्पना कीजिए कि एक मौसम विज्ञानी (Weather Forecaster) है।
- मौसम विज्ञानी A भविष्यवाणी करता है: "ठीक दोपहर 2:00 बजे बारिश होगी।" 2:00 बजे बारिश होती है। उच्च सटीकता (High Accuracy)। लेकिन उन्होंने यह मिस कर दिया कि 3:00 या 4:00 बजे भी बारिश हो सकती थी।
- मौसम विज्ञानी B भविष्यवाणी करता है: "2:00 से 5:00 बजे के बीच कभी भी बारिश हो सकती है।" 2:00 बजे बारिश होती है। कम सटीकता (Lower Accuracy) (क्योंकि उनका एकल बिंदु अनुमान कम सटीक था), लेकिन उनकी अनिश्चितता (Uncertainty) एकदम सही थी। उन्होंने पूरे सच को पकड़ लिया।
- शोध पत्र का तर्क है कि हमें केवल मौसम विज्ञानी A की प्रशंसा करना बंद करना चाहिए और यह जांचना शुरू करना चाहिए कि क्या मौसम विज्ञानी B का "अनुमानों का बादल" वास्तव में वास्तविक मौसम के पैटर्न से मेल खाता है।

समाधान: एक नया "सत्य डिटेक्टर" (Score-KSD)

समस्या यह है: यदि आप नहीं जानते कि वास्तविक उत्तर क्या है, तो आप यह कैसे जांचें कि एक जासूस के अनुमानों का बादल सही है या नहीं? वास्तविक दुनिया के विज्ञान (जैसे मेडिकल स्कैन) में, हमारे पास तुलना करने के लिए अक्सर "ग्राउंड ट्रुथ" (वास्तविक उत्तर) नहीं होता है।

लेखकों ने एक नया टूल बनाया है जिसे Score-KSD कहा जाता है।

यह कैसे काम करता है (रूपक):
कल्पset करें कि "सत्य" एक छिपा हुआ परिदृश्य (landscape) है जिसमें पहाड़ और घाटियाँ हैं। "स्कोर" (Score) एक कंपास की तरह है जो हमेशा सबसे संभावित स्थानों की ओर, यानी ऊपर की ओर इशारा करता है।

कंपास: शोध पत्र दिखाता है कि भले ही हमें सटीक मानचित्र (वास्तविक उत्तर) न पता हो, हम समस्या के भौतिक विज्ञान (physics) और AI के प्रशिक्षण का उपयोग करके एक कंपास बना सकते हैं। यह कंपास "सही" क्षेत्रों की ओर इशारा करता है।
परीक्षण: हम AI द्वारा उत्पन्न अनुमानों के बादल को लेते हैं और जांचते हैं: "क्या ये अनुमान कंपास का अनुसरण कर रहे हैं?"
- यदि अनुमान बेतरतीब ढंग से बिखरे हुए हैं या गलत घाटी में फंसे हुए हैं, तो कंपास पागलों की तरह घूमेगा। Score-KSD संख्या उच्च होगी (खराब)।
- यदि अनुमान बिल्कुल वहीं केंद्रित होते हैं जहाँ कंपास इशारा करता है, तो Score-KSD संख्या कम होगी (अच्छा)।

मुख्य नवाचार: इस टूल को "ग्राउंड ट्रुथ" (वास्तविक उत्तर) देखने की आवश्यकता नहीं है। इसे केवल यह जांचने की आवश्यकता है कि क्या AI के अनुमान ब्रह्मांड के नियमों (भौतिकी) और AI के अपने प्रशिक्षण के साथ सुसंगत हैं।

उन्होंने क्या पाया

लेखकों ने धुंधली तस्वीरों को ठीक करने से लेकर MRI और CT स्कैन को पुनर्गठित करने जैसे कई अलग-अलग समस्याओं पर इस नए टूल का परीक्षण किया।

सटीकता $\neq$ सत्य (Accuracy $\neq$ Truth): उन्होंने पाया कि जिन AI विधियों के एकल चित्र सबसे "स्पष्ट" (उच्चतम सटीकता) थे, उनके "अनुमानों के बादल" अक्सर बहुत खराब थे। वे अनिश्चितता के बारे में आत्मविश्वासी थे लेकिन गलत थे।
"जाल" की पुष्टि: कुछ विधियों ने मानक चार्ट पर बहुत अच्छा प्रदर्शन किया लेकिन Score-KSD परीक्षण में विफल रहीं। वे "ऑफ-पोस्टीरियर" (off-posterior) नमूने बना रहे थे—ऐसे अनुमान जो दिखने में अच्छे थे लेकिन समस्या के भौतिक विज्ञान के अनुसार सांख्यिकीय रूप से असंभव थे।
एक नया मानक: Score-KSD मीट्रिक ने सफलतापूर्वक उन AI विधियों की पहचान की जो वास्तव में संभावनाओं की पूरी सीमा (वास्तविक अनिश्चितता) को पकड़ रही थीं और उन्हें भी पहचाना जो एक एकल, संभावित रूप से भ्रामक अनुमान में सिमट गई थीं।

सारांश

पुराना तरीका: "देखो, यह एकल अनुमान वास्तविक चीज़ के कितने करीब है!" (यह अनिश्चितता की बड़ी तस्वीर को मिस कर देता है)।
नया तरीका: "क्या अनुमानों का यह पूरा समूह भौतिकी और संभाव्यता के नियमों का पालन करता है, भले ही हमें वास्तविक उत्तर न पता हो?"
परिणाम: यह शोध पत्र सिद्ध करता है कि "सटीक" होने का मतलब यह नहीं है कि आप अनिश्चितता को समझते हैं। उनका नया टूल, Score-KSD, यह जांचने का एक तरीका है कि क्या एक AI इस बारे में ईमानदार है कि वह क्या जानता है और क्या नहीं जानता, और इसके लिए उसे तुलना करने के लिए किसी "चीट शीट" (ग्राउंड ट्रुथ) की आवश्यकता नहीं है।

तकनीकी सारांश: सटीकता से परे: डिफ्यूजन इनवर्स सॉल्वर्स की पोस्टीरियर फिडेलिटी का मूल्यांकन

समस्या विवरण (Problem Statement)

वैज्ञानिक और इंजीनियरिंग डोमेन (जैसे, मेडिकल इमेजिंग, जियोफिजिक्स, खगोल विज्ञान) में इनवर्स समस्याएं स्वाभाविक रूप से 'इल-पोज़्ड' (ill-posed) होती हैं, जो अक्सर माप शोर (measurement noise) और अधूरे डेटा के कारण कई भौतिक रूप से प्रशंसनीय समाधान उत्पन्न करती हैं। जबकि डिफ्यूजन इनवर्स सॉल्वर्स (DIS) प्रीट्रेन्ड डिफ्यूजन प्रायर्स (priors) का लाभ उठाकर इन समस्याओं को हल करने के लिए एक शक्तिशाली प्रतिमान (paradiment) के रूप में उभरे हैं, वर्तमान मूल्यांकन बेंचमार्क एक गंभीर सीमा से ग्रस्त हैं: वे लगभग पूरी तरह से पुनर्निर्माण सटीकता (reconstruction accuracy) (जैसे, PSNR, SSIM) पर ध्यान केंद्रित करते हैं।

यह ध्यान एक "सटीकता जाल" (Accuracy Trap) बनाता है, जहाँ विधियों का मूल्यांकन केवल पॉइंट-वाइज पुनर्निर्माण गुणवत्ता के आधार पर किया जाता है। हालाँकि, स्टोकेस्टिक DIS विधियाँ अनिश्चितता को मापने के लिए $p(x|y)$ पोस्टीरियर वितरण से नमूने (samples) लेने के लिए डिज़ाइन की गई हैं। एक विधि उच्च सटीकता प्राप्त कर सकती है यदि वह एक एकल नियतात्मक (deterministic)-समान आउटपुट उत्पन्न करती है जो संयोग से ग्राउंड ट्रुथ के करीब है, फिर भी वह वास्तविक वितरण व्यवहार (जैसे, मोड्स का गायब होना, वेरिएंस का कोलैप्स होना, या ऑफ-पोस्टीरियर सैंपल्स बनाना) को पकड़ने में विफल हो सकती है। वितरण संबंधी निष्ठा (distributional fidelity) के लिए मौजूदा मेट्रिक्स, जैसे कि वासरस्टीन डिस्टेंस (Wasserstein distance) या FID, को ग्राउंड-ट्रुथ सैंपल्स या डेंसिटीज तक पहुंच की आवश्यकता होती है, जो वास्तविक दुनिया के वैज्ञानिक अनुप्रयोगों में उपलब्ध नहीं होते हैं। फलस्वरूप, इस बात का मूल्यांकन करने के लिए कोई मजबूत, ग्राउंड-ट्रुथ-मुक्त मेट्रिक्स नहीं है कि क्या DIS विधियाँ वास्तव में लक्षित पोस्टीरियर वितरण को पुनः प्राप्त करती हैं।

कार्यप्रणाली (Methodology)

1. पोस्टीरियर फिडेलिटी का व्यवस्थित अध्ययन

लेखक ज्ञात विश्लेषणात्मक True Posteriors वाले सिंथेटिक इनवर्स समस्याओं का उपयोग करके एक नियंत्रित अध्ययन करते हैं। ग्राउंड-ट्रुथ वितरणों के विरुद्ध पोस्टीरियर सैंपल्स का दृश्यीकरण करके और उनकी तुलना करके, वे प्रदर्शित करते हैं कि विभिन्न DIS विधियाँ गुणात्मक रूप से भिन्न व्यवहार प्रदर्शित करती हैं (जैसे, मोड कोलैप्स, कमजोर मोड्स का खराब कवरेज), भले ही उनकी पुनर्निर्माण सटीकता तुलनीय हो। यह सटीकता से परे वितरण व्यवहार के मूल्यांकन की आवश्यकता को स्थापित करता है।

2. स्कोर-आधारित कर्नेल स्टाइन डिसक्रेपेंसी (Score-KSD)

वास्तविक दुनिया के सेटिंग्स में ग्राउंड-ट्रुथ सैंपल्स की कमी को दूर करने के लिए, यह शोध पत्र Score-KSD प्रस्तावित करता है, जो एक सैद्धांतिक रूप से सुदृढ़ मेट्रिक है जो वास्तविक पोस्टीरियर डेंसिटी या सैंपल्स की आवश्यकता के बिना पोस्टीरियर कंसिस्टेंसी का मूल्यांकन करता है।

पोस्टीरियर स्कोर एप्रोक्सिमेशन (Posterior Score Approximation): यह विधि बेयस के नियम (Bayes' rule) के माध्यम से पोस्टीरियर स्कोर $\nabla_x \log p(x|y)$ के अपघटन (decomposition) पर निर्भर करती है:
$\nabla_x \log p(x|y) = \nabla_x \log p(y|x) + \nabla_x \log p(x)$
- लाइक्लीहुड स्कोर (Likelihood Score): गाऊसी शोर (Gaussian noise) के लिए, लाइक्लीहुड स्कोर $\nabla_x \log p(y|x)$ फॉरवर्ड ऑपरेटर $A$ और मेजरमेंट $y$ का उपयोग करके विश्लेषणात्मक रूप से गणनीय है।
- प्रायर स्कोर (Prior Score): प्रायर स्कोर $\nabla_x \log p(x)$ को एक प्रीट्रेन्ड डिफ्यूजन मॉडल का उपयोग करके अनुमानित किया जाता है। एक क्लीन इमेज $x$ को थोड़े शोर के साथ विक्षेपित (perturb) करके और डिफ्यूजन स्कोर नेटवर्क $s_\theta$ को क्वेरी करके, लेखक प्रायर स्कोर का अनुमान लगाते हैं।
- संयुक्त स्कोर (Combined Score): लाइक्लीहुड स्कोर और अनुमानित प्रायर स्कोर का योग एक अनुमानित पोस्टीरियर स्कोर फील्ड $\hat{s}_p(x; y)$ प्रदान करता है।
कर्नेल स्टाइन डिसक्रेपेंसी (Kernel Stein Discrepancy - KSD): इस अनुमानित स्कोर फील्ड का उपयोग करते हुए, लेखक KSD लागू करते हैं ताकि एक DIS विधि द्वारा उत्पन्न सैंपल्स ( $\hat{q}_N$ ) और लक्षित पोस्टीरियर $p(x|y)$ के बीच के अंतर को मापा जा सके। KSD एक रिप्रोडसिंग कर्नेल हिलबर्ट स्पेस (RKHS) पर स्टाइन आइडेंटिटी $\mathbb{E}[T_p f(X)] = 0$ के अधिकतम उल्लंघन को मापता है।
- वर्ग KSD (squared KSD) जेनरेट किए गए सैंपल्स और कर्नेल फंक्शन के आधार पर एक क्लोज्ड-फॉर्म एम्पिरिकल एस्टिमेटर प्रदान करता है।
- एक सामान्यीकृत संस्करण, score-KSD, प्रस्तावित किया गया है जो डेटा डाइमेंशनलिटी को ध्यान में रखता है, जिससे इंट्रा-टास्क तुलना संभव होती है। एक कम Score-KSD मान, लक्षित पोस्टीरियर स्कोर फील्ड के साथ उच्च निरंतरता (consistency) को दर्शाता है।

मुख्य योगदान (Key Contributions)

"सटीकता जाल" (Accuracy Trap) की पहचान: शोध पत्र व्यवस्थित रूप से प्रदर्शित करता है कि उच्च पुनर्निर्माण सटीकता उच्च पोस्टीरियर फिडेलिटी की गारंटी नहीं देती है। विभिन्न DIS विधियाँ समान PSNR स्कोर उत्पन्न कर सकती हैं जबकि उनके अनिश्चितता व्यवहार (जैसे, नियतात्मक कोलैप्स बनाम अच्छी तरह से बिखरा हुआ सैंपलिंग) काफी भिन्न हो सकते हैं।
Score-KSD का प्रस्ताव: लेखक पोस्टीरियर कंसिस्टेंसी के मूल्यांकन के लिए एक ग्राउंड-ट्रुथ-मुक्त मेट्रिक पेश करते हैं। पिछले वितरण मेट्रिक्स के विपरीत, Score-KSD के लिए केवल फॉरवर्ड मॉडल, शोर स्तर और एक प्रीट्रेन्ड डिफ्यूजन प्रायर की आवश्यकता होती है, जो इसे वास्तविक दुनिया के इनवर्स समस्याओं के लिए लागू करने योग्य बनाता है जहाँ वास्तविक पोस्टीरियर अज्ञात होता है।
व्यापक मूल्यांकन: अध्ययन Score-KSD को निम्नलिखित के माध्यम से मान्य करता है:
- नियंत्रित सिमुलेशन: विजुअल पोस्टीरियर फिडेलिटी और ग्राउंड-ट्रुथ विश्लेषणात्मक स्कोर के विरुद्ध Score-KSD रैंकिंग की तुलना करना।
- वास्तविक दुनिया के कार्य: लीनियर इनवर्स स्कैटरिंग, अंडर-सैम्पल्ड MRI पुनर्निर्माण, और स्पार्स-व्यू CT पुनर्निर्माण (इन-डिस्ट्रीब्यूशन और आउट-ऑफ-डिस्ट्रीब्यूशन दोनों) में मेट्रिक का अनुप्रयोग।

परिणाम (Results)

सिमुलेशन अध्ययन: ज्ञात पोस्टीरियल्स वाले सिंथेटिक सेटिंग्स में, Score-KSD उन विधियों के बीच अंतर करने में सफल रहा जो पूर्ण पोस्टीरियर ज्योमेट्री (कमजोर मोड्स सहित) को पुनः प्राप्त करती हैं और वे जो मोड कोलैप्स से ग्रस्त हैं। उच्च सटीकता लेकिन खराब वितरण कवरेज वाली विधियों (जैसे, RED-Diff, FPS सिंगल-रन सेटिंग्स में) ने बेहतर पोस्टीरियर कंसिस्टेंसी वाली विधियों (जैसे, MCG-Diff, DiffPIR) की तुलना में काफी अधिक Score-KSD मान प्रदर्शित किए।
वास्तविक दुनिया के प्रयोग:
- Score-KSD प्रभावी ढंग से DIS विधियों और ट्रिवियल बेसलाइन्स (अनकंडीशनल प्रायर्स, शुद्ध शोर) के बीच अंतर करता है।
- मेट्रिक प्रकट करता है कि समान PSNR स्कोर वाली विधियों के अक्सर अलग-अलग Score-KSD मान होते हैं, जो पुष्टि करता है कि स्टोकेस्टिक सॉल्वर्स के मूल्यांकन के लिए केवल सटीकता पर्याप्त नहीं है।
- आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सेटिंग्स में (जैसे, LIDC-IDRI पर प्रशिक्षित प्रायर का उपयोग करके लंग CT का पुनर्निर्माण), Score-KL मान बढ़ जाते हैं, जो प्रायर मिसमैच के कारण डिग्रेडेड पोस्टीरियर कंसिस्टेंसी को सही ढंग से इंगित करता है।
- मेट्रिक ने एक ही कार्य के भीतर विभिन्न टेस्ट इमेजेस में स्थिरता दिखाई, जो एक मजबूत डायग्नोस्टिक टूल के रूप में इसके उपयोग का समर्थन करती है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र तर्क देता है कि जोखिम-संवेदनशील वैज्ञानिक अनुप्रयोगों में DIS विधियों को तैनात करने के लिए मजबूत अनिश्चितता मात्रा निर्धारण (uncertainty quantification) एक पूर्व शर्त है। इस कार्य का प्राथमिक महत्व पॉइंट-वाइज सटीकता से वितरण संबंधी निष्ठा (distributional fidelity) की ओर मूल्यांकन प्रतिमान को बदलने में निहित है।

लेखक दावा करते हैं कि Score-KSD एक सार्थक, सैद्धांतिक रूप से सुदृढ़ डायग्नोस्टिक प्रदान करता है जो:

छिपे हुए व्यवहारों को उजागर करता है: यह उन वितरण विफलताओं (जैसे मोड कोलैप्स) को उजागर करता है जिन्हें सटीकता मेट्रिक्स नहीं देख पाते।
ग्राउंड-ट्रुथ-मुक्त मूल्यांकन सक्षम करता है: यह वास्तविक दुनिया के परिदृश्यों में पोस्टीरियर कंसिस्टेंसी के आकलन की अनुमति देता जहाँ विश्लेषणात्मक पोस्टीरियल्स उपलब्ध नहीं होते हैं।
"सटीकता जाल" को रेखांकित करता है: यह प्रदर्शित करता है कि PSNR के लिए अनुकूलन (optimizing) आवश्यक रूप से बेहतर अनिश्चितता मात्रा निर्धारण की ओर नहीं ले जाता है, जो समुदाय को वितरण-जागरूक मूल्यांकन मानकों को अपनाने का आग्रह करता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि Score-KSD एक 'विथ-इन-टास्क' डायग्नोस्टिक है (अलग-अलग इनवर्स समस्याओं के बीच मान सीधे तुलनीय नहीं हैं क्योंकि पोस्टीरियर शार्पनेस और आयाम भिन्न होते हैं) और इसकी सटीकता शोर स्केल $\sigma_y$ के सही अनुमान पर निर्भर करती है। वे शोर के इस अनुमान की संवेदनशीलता को भविष्य के कार्य के लिए एक दिशा के रूप में पहचानते हैं।