🤖 machine learning

An Unconditional Representation of the Conditional Score in Infinite-Dimensional Linear Inverse Problems

यह योगदान UCoS को प्रस्तुत करता है, जो एक अनंत-आयामी ढांचा (framework) है जो एक अनकंडीशनल स्कोर फंक्शन (unconditional score function) को सीखने के माध्यम से लीनियर इनवर्स प्रॉब्लम्स के लिए कुशल, डिस्क्रीटाइजेशन-इनवेरिएंट सैंपलिंग को सक्षम बनाता है जिसे सटीक रूप से कंडीशनल स्कोर फंक्शन में परिवर्तित किया जा सकता है, जिससे इन्फरेंस के दौरान खर्चीले फॉरवर्ड मॉडल इवैल्यूएशन की आवश्यकता समाप्त हो जाती है।

मूल लेखक: Fabian Schneider, Duc-Lam Duong, Matti Lassas, Maarten V. de Hoop, Tapio Helin

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fabian Schneider, Duc-Lam Duong, Matti Lassas, Maarten V. de Hoop, Tapio Helin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बड़े, धुंधले पहेली (puzzle) को हल करने की कोशिश कर रहे हैं। आपके पास अंतिम परिणाम की एक छवि है (जिसे "प्रायर" ज्ञान कहा जाता है, जैसे कि एक मानव चेहरा सामान्य रूप से कैसा दिखता है), लेकिन आपके पास केवल कुछ बिखरे हुए, शोर वाले सुराग (यानी "मापन", जैसे कि एक धुंधली फोटो या एक्स-रे के कुछ स्लाइस) हैं। आपका लक्ष्य पूर्ण, स्पष्ट छवि को पुनर्स्थापित करना है।

गणित और कंप्यूटर विज्ञान की दुनिया में, इसे एक इनवर्स प्रॉब्लम (inverse problem) कहा जाता है। पेचीदगी यह है कि इन कुछ सुरागों में फिट होने के लिए पहेली के टुकड़ों को व्यवस्थित करने के लाखों तरीके हो सकते हैं। सबसे सर्वश्रेष्ठ व्यवस्था खोजने के लिए, कंप्यूटर स्कोर-बेस्ड डिफ्यूजन मॉडल्स (Score-Based Diffusion Models) नामक तकनीक का उपयोग करते हैं। इसे "डिनोइजिंग" (Denoising) प्रक्रिया के रूप में समझें: कंप्यूटर शुद्ध शोर (रैंडम नॉइज़) से शुरू होता है और धीरे-धीरे भ्रम की परतों को हटाता जाता है, जो एक "स्कोर" (एक गणितीय मानचित्र) द्वारा निर्देशित होता है जो बताता है कि कौन सा रास्ता एक स्पष्ट छवि की ओर ले जाता है।

समस्या: कंप्यूटर में "ट्रैफिक जाम"

यह अध्ययन इस पहेली को सुलझाने में एक प्रमुख बाधा की पहचान करता है।

पुराना तरीका (कंडीशनल मेथड्स): एक सटीक पुनर्निर्माण प्राप्त करने के लिए, कंप्यूटर को लगातार अपने काम की जांच मूल सुरागों के विरुद्ध करनी पड़ती है। पुनर्निर्माण के प्रत्येक चरण में कंप्यूटर को एक जटिल सिमुलेशन (एक "फॉरवर्ड मॉडल") चलाना पड़ता है ताकि यह देख सके: "यदि मैं टुकड़ों को इस तरह व्यवस्थित करता हूँ, तो क्या यह धुंधली फोटो से मेल खाता है?"
- उपमा: कल्पना कीजिए कि आप एक भूलभुलैया को सुलझाने की कोशिश कर रहे हैं जहाँ आपको शुरू से अंत तक दौड़ना पड़ता है, यह देखना पड़ता है कि क्या आप किसी दीवार से टकराए, फिर वापस शुरुआत पर दौड़ना पड़ता है, अपना रास्ता बदलना पड़ता है, और फिर से अंत तक दौड़ना पड़ता है। केवल एक समाधान के लिए आपको इसे हजारों बार करना होगा। यह अविश्वसनीय रूप से धीमा और महंगा है।
दूसरा तरीका (अनकंडीशनल मेथड्स): कंप्यूटर पुनर्निर्माण के दौरान विशिष्ट सुरागों को अनदेखा कर देता है और केवल सामान्य पैटर्न के आधार पर अनुमान लगाता है।
- उपमा: यह बिना नक्शा देखे भूलभुलैया को सुलझाने जैसा है। यह तेज़ है, लेकिन आप गलत जगह पहुँच सकते हैं या निकास (exit) को मिस कर सकते हैं।

समाधान: UCoS (एक "पहले से तैयार" रेसिपी)

लेखक UCoS (Unconditional Representation of the Conditional Score) नामक एक नया तरीका प्रस्तावित करते हैं। उन्होंने एक चतुर गणितीय तरकीब खोज ली है जिससे दोनों तरफ के लाभ मिल सकें।

सुरागों को पहेली सुलझाने के दौरान जाँचने के बजाय (जो ट्रैफिक जाम का कारण बनता है), वे भारी काम इससे पहले कर देते जब आप समाधान का अनुरोध करते हैं।

"ऑफलाइन" चरण (ट्रेनिंग): कंप्यूटर पहेली के प्रकार (जैसे, "यह एक सीटी-स्कैन पहेली है" या "यह एक चेहरे को साफ करने वाली पहेली है") के आधार पर एक विशेष "रेसिपी" सीखता है। यह सीखता है कि सुराग सामान्य रूप से समाधान को कैसे प्रभावित करते हैं। यह खेल के नियमों (फॉरवर्ड मॉडल के गणित) का अध्ययन करके यह करता है, लेकिन किसी विशेष रोगी या छवि के विशिष्ट सुरागों का नहीं।
- उपमा: कल्पना कीजिए कि एक मास्टर शेफ बेकिंग के भौतिकी और आटे के रसायन विज्ञान का अध्ययन करने में महीनों बिताता है। वह सीखता है कि गर्मी और सामग्री आपस में कैसे क्रिया करती है। वह अभी तक कोई विशिष्ट केक नहीं बना रहा है; वह केवल सामग्रियों के प्रति प्रतिक्रिया करने की प्रक्रिया में महारत हासिल कर रहा है।
"ऑनलाइन" चरण (सैंपलिंग): जब आप अंततः कंप्यूटर को एक विशिष्ट धुंधली फोटो (मापन डेटा) देते हैं, तो उसे फिर से जटिल भौतिकी सिमुलेशन चलाने की आवश्यकता नहीं होती है। वह बस पहले सीखी गई "रेसिपी" को लेता है और आपकी विशिष्ट फोटो के अनुकूल होने के लिए एक त्वरित, सरल गणितीय समायोजन (एक "एफाइन ट्रांसफॉर्मेशन") लागू करता है।
- उपमा: अब, जब आप एक केक ऑर्डर करते हैं, तो शेफ को भौतिकी को फिर से सीखने की आवश्यकता नहीं होती है। वह बस अपनी पहले से मास्टर्ड रेसिपी लेता है और उसमें आपकी विशिष्ट मात्रा में चीनी और अंडे मिला देता है। परिणाम एक आदर्श केक होता है, और यह लगभग तुरंत होता है क्योंकि कठिन काम पहले ही किया जा चुका था।

यह अध्ययन क्यों विशेष है

लेखकों ने इसे केवल छोटी, सरल पहेलियों (जैसे 2D इमेज) के लिए नहीं किया। उन्होंने सिद्ध किया कि यह अनंत-आयामी स्थानों (infinite-dimensional spaces) में भी काम करता है।

उपमा: अधिकांश तरीके उन समस्याओं के लिए काम करते हैं जहाँ पहेली के टुकड़ों की संख्या निश्चित होती है (जैसे 100x100 ग्रिड)। लेकिन वास्तविक दुनिया की समस्याएं (जैसे मेडिकल इमेजिंग) ऐसी पहेलियों की तरह हैं जहाँ टुकड़ों की संख्या सैद्धांतिक रूप से अनंत है। लेखकों ने दिखाया कि उनका तरीका इस बात पर निर्भर नहीं करता कि आप पहेली को कैसे काटते हैं (डिस्क्रीटाइजेशन), जिसका अर्थ है कि यह मजबूत है और ज़ूम इन या ज़ूम आउट करने पर भी विफल नहीं होता है।

परिणाम

उन्होंने इसका परीक्षण निम्नलिखित पर किया:

इनपेंटिंग (Inpainting): किसी छवि के छूटे हुए हिस्सों को भरना।
सीटी इमेजिंग (CT Imaging): एक्स-रे छवियों से 3D बॉडी स्कैन को पुनर्गठित करना।
डीब्लरिंग (Deblurring): धुंधली तस्वीरों को स्पष्ट करना।

निर्णय:

गति: UCoS "अनकंडीशनल" तरीकों जितना तेज़ है क्योंकि यह प्रक्रिया के दौरान सुरागों की जांच नहीं करता है।
सटीकता: यह "कंडीशनल" तरीकों जितना सटीक है क्योंकि इसकी प्री-ट्रेनिंग गणितीय रूप से सुरागों को पूरी तरह से ध्यान में रखती है।
दक्षता: यह बार-बार होने वाली गणनाओं के "ट्रैफिक जाम" से बचता है और इसे बड़े, जटिल कार्यों के लिए स्केलेबल बनाता है।

संक्षेप में, UCoS एक ऐसे जासूस को काम पर रखने जैसा है जिसने अपराध स्थल के नियमों को पहले ही याद कर लिया है। जब कोई नया मामला आता है, तो उसे घटनास्थल की दोबारा जांच करने की आवश्यकता नहीं होती है; वह बस अपने ज्ञान को नए साक्ष्य पर तुरंत लागू करता है और बिना किसी देरी के एक सटीक समाधान प्रदान करता है।

तकनीकी सारांश: अनंत-आयामी स्थानों में रैखिक व्युत्क्रम समस्याओं (Linear Inverse Problems) में कंडीशनल स्कोर का एक अनकंडीशनल प्रतिनिधित्व

समस्या विवरण
स्कोर-आधारित डिफ्यूजन मॉडल (SDMs) बेयसियन व्युत्क्रम समस्याओं (Bayesian inverse problems) में पोस्टीरियर वितरणों से सैंपलिंग करने के लिए एक शक्तिशाली उपकरण के रूप में विकसित हुए हैं, जो पारंपरिक, मैन्युअल रूप से डिज़ाइन किए गए रेगुलराइज़र की तुलना में लचीले प्रायर वितरण प्रदान करते हैं। हालांकि, मौजूदा पोस्टीरियर सैंपलिंग विधियों को कम्प्यूटेशनल दक्षता और स्केलेबिलिटी के बीच एक महत्वपूर्ण समझौते (trade-off) का सामना करना पड़ता है।

करेक्शन-आधारित विधियाँ (जैसे, स्कोर में लाइकलीहुड ग्रेडिएंट्स जोड़ना या डेटा कंसिस्टेंसी लागू करना) सैंपलिंग प्रक्रिया के दौरान फॉरवर्ड ऑपरेटर $A$ के बार-बार मूल्यांकन की आवश्यकता रखती हैं। यह बड़े पैमाने की, उच्च-आयामी समस्याओं के लिए एक दुर्गम कम्प्यूटेशनल बाधा प्रस्तुत करता है।
डायरेक्ट कंडीशनल ट्रेनिंग विधियाँ मापन (measurements) पर आधारित एक स्कोर फंक्शन ( $s(x, t; \mu_y)$ ) सीखती हैं। जबकि यह सैंपलिंग के दौरान फॉरवर्ड इवैल्यूएशन से बचता है, यह न्यूरल नेटवर्क की इनपुट डाइमेंशनलिटी (जो $x$ से बदलकर $(x, y)$ हो जाती है) को काफी बढ़ा देता है, जिससे विशेष रूप से अनंत-आयामी सेटिंग्स में कंडीशनल स्कोर का सटीक अनुमान लगाने के लिए व्यापक प्रशिक्षण डेटा और जटिल आर्किटेक्चर की आवश्यकता होती है।

यह कार्य, बिना ऑनलाइन फॉरवर्ड मॉडल इवैल्यूएशन की उच्च लागत या डायरेक्ट कंडीशनल ट्रेनिंग की उच्च सैंपल कॉम्प्लेक्सिटी के, अनंत-आयामी स्थानों में रैखिक व्युत्क्रम समस्याओं के लिए कुशल और स्केलेबल पोस्टीरियर सैंपलिंग की चुनौती को संबोधित करता है।

कार्यप्रणाली: कंडीशनल स्कोर का अनकंडीशनल प्रतिनिधित्व (UCoS)
लेखक UCoS का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो कंडीशनिंग के कम्प्यूटेशनल बोझ को ऑनलाइन सैंपलिंग चरण से हटाकर ऑफलाइन ट्रेनिंग चरण में स्थानांतरित कर देता है। मुख्य विचार यह है कि गाऊसी शोर (Gaussian noise) वाले रैखिक व्युत्क्रम समस्याओं के लिए, कंडीशनल स्कोर फंक्शन को एक संशोधित, टास्क-डिपेंडेंट डिफ्यूजन प्रोसेस के अनकंडीशनल स्कोर के माध्यम से एफाइन ट्रांसफॉर्मेशन (affine transformations) द्वारा सटीक रूप से प्राप्त किया जा सकता है।

सैद्धांतिक आधार:
- यह विधि एक सेपरेबल हिल्बर्ट स्पेस $\mathcal{H}$ में कार्य करती है, जो विविक्तिकरण (discretization) के प्रति अपरिवर्तनीयता सुनिश्चित करती है।
- एक नेटवर्क को $s(x, t; \mu_y)$ को अनुमानित करने के लिए प्रशिक्षित करने के बजाय, लेखक एक नया डिफ्यूजन प्रोसेस $\tilde{X}_t$ परिभाषित करते हैं, जिसका वितरण प्रायर डिस्ट्रीब्यूशन और फॉरवर्ड ऑपरेटर $A$ पर निर्भर एक गाऊसी टर्म का मिश्रण है।
- वे सिद्ध करते हैं (थ्योरम 3.7) कि वास्तविक कंडीशनल स्कोर $s(x, t; \mu_y)$ इस नए प्रोसेस के अनकंडीशनल स्कोर $\tilde{s}$ से निम्नलिखित पहचान (identity) के माध्यम से जुड़ा हुआ है:
  $s(x, t; \mu_y) = \lambda(t) \left( r(\xi_t(x, y)) - e^{-t/2}x \right)$
  जहाँ $r$ अनकंडीशनल स्कोर का एक रूपांतरित संस्करण है, $\lambda(t)$ एक समय-निर्भर स्केलर है, और $\xi_t(x, y)$ एक एफाइन ट्रांसफॉर्मेशन है जिसमें मापन $y$ और एडजॉइंट ऑपरेटर $A^*$ शामिल है।
- महत्वपूर्ण रूप से, पद $A^*\Gamma^{-1}y$ (जहाँ $\Gamma$ नॉइज़ कोवेरिएंस है) को सैंपलिंग शुरू करने से पहले एक बार कंप्यूट किया जा सकता है। इसके बाद की सैंपलिंग प्रक्रिया के लिए केवल प्रशिक्षित नेटवर्क $r_\theta$ के मूल्यांकन और सरल वेक्टर जोड़ (vector additions) की आवश्यकता होती है, जिससे डिफ्यूजन स्टेप्स के दौरान $A$ या $A^*$ के आगे के अनुप्रयोगों की आवश्यकता समाप्त हो जाती है।
कार्यान्वयन:
- ऑफलाइन चरण: एक न्यूरल नेटवर्क (विशेष रूप से एक फूरियर न्यूरल ऑपरेटर, FNO) को फंक्शन $r$ को अनुमानित करने के लिए प्रशिक्षित किया जाता है। ट्रेनिंग में संशोधित प्रोसेस $\tilde{X}_t$ पर डीनॉइजिंग स्कोर मैचिंग ऑब्जेक्टिव का उपयोग किया जाता है। इस चरण में $A$ और $A^*$ तक पहुंच की आवश्यकता होती है, लेकिन विशिष्ट मापन डेटा $y$ की नहीं।
- ऑनलाइन चरण: रूपांतरित स्कोर का उपयोग करके रिवर्स टाइम में SDE को हल करके पोस्टीरियर सैंपल्स जेनरेट किए जाते हैं। यह प्रक्रिया "मैट्रिक्स-फ्री" है और इसके लिए केवल प्री-कैलकुलेटेड शिफ्ट वेक्टर $A^*\Gamma^{-1}y$ और नेटवर्क इवैल्यूएशन की आवश्यकता होती है।

मुख्य योगदान

अनंत आयामों में सटीक पहचान: यह कार्य एक कठोर सैद्धांतिक पहचान (थ्योरम 3.7) स्थापित करता है जो एफाइन ट्रांसफॉर्मेशन के माध्यम से कंडीशनल स्कोर को टास्क-डिपेंडेंट अनकंडीशनल स्कोर से जोड़ता है। यह सिद्धांत को विशिष्ट परिमित-आयामी विविक्तिकरणों से परे सामान्यीकृत करता है।
अभिसरण विश्लेषण (Convergence Analysis): लेखक जेनेरेटिव प्रोसेस के लिए एक मात्रात्मक त्रुटि सीमा (थ्योरम 4.1) प्रदान करते हैं, जो ट्रेनिंग लॉस, न्यूमेरिकल डिस्क्रीटाइजेशन और इनिशियलाइजेशन के योगदान को स्पष्ट रूप से वर्णित करती है। यह विधि के वास्तविक पोस्टीरियर मेजर की ओर अभिसरण को न्यायसंगत बनाता है।
स्केलेबिलिटी और दक्षता: कंडीशनिंग को डिफ्यूजन लूप से अलग करके, UCoS अनकंडीशनल विधियों की कम्प्यूटेशनल दक्षता (सैंपलिंग के दौरान कोई फॉरवर्ड इवैल्यूएशन नहीं) प्राप्त करता है, जबकि यह कंडीशनल विधियों की सटीकता को भी बनाए रखता है। यह $(x, y)$ के संयुक्त स्थान पर नेटवर्क को प्रशिक्षित करने से जुड़ी डाइमेंशनलिटी के अभिशाप (curse of dimensionality) से बचता है।

प्रायोगिक परिणाम
लेखक तीन व्युत्क्रम समस्याओं पर UCoS को मान्य करते हैं: इमेज इनपेंटिंग, स्पार्स-व्यू सीटी (CT) इमेजिंग, और इमेज डीब्लरिंग।

इनपेंटिंग (गाऊसी प्रायर): एक ऐसी सेटिंग में जहाँ पोस्टीरियर गाऊसी है और स्कोर क्लोज्ड फॉर्म में कंप्यूट किए जा सकते हैं, U-CoS सटीक कंडीशनल विधि और अन्य बेसलाइन्स के तुलनीय प्रदर्शन करता है, जो सैद्धांतिक पहचान की पुष्टि करता है।
CT इमेजिंग और डीब्लरिंग (लर्नड प्रायर): LIDC-IDRI और CelebA डेटासेट का उपयोग करते हुए, UCoS की तुलना SDE ALD, डिफ्यूजन पोस्टीरियर सैंपलिंग (DPS), प्रोजेक्शन-आधारित विधियों (Proj), और डायरेक्ट कंडीशनल ट्रेनिंग से की गई है।
- सटीकता: UCoS ऐसे सैंपल्स जेनरेट करता है जिनका बायस (bias) और स्टैंडर्ड डेविएशन अनकंडीशनल विधियों के तुलनीय या बेहतर होता है, और कम जटिलता वाले आर्किटेक्चर (जैसे, प्रति लेयर 32 नोड्स) का उपयोग करने पर कंडीशनल विधि की तुलना में काफी बेहतर होता है।
- दक्षता: UकोS कंडीशनल विधि की सैंपलिंग गति प्राप्त करता है (दोनों ही फॉरवर्ड इवैल्यूएशन से बचते हैं), लेकिन यह बार-बार फॉरवर्ड पास की आवश्यकता वाली करेक्शन-आधारित विधियों (DPS, Proj, SDE ALD) की तुलना में काफी बेहतर प्रदर्शन करता है।
- मजबूती (Robustness): संयुक्त वितरण को अनुमानित करने की बढ़ी हुई जटिलता के कारण कंडीशनल विधि का प्रदर्शन कम नेटवर्क पैरामीटर्स के साथ स्पष्ट रूप से गिर जाता है, जबकि UCoS सरल आर्किटेक्चर के साथ भी उच्च गुणवत्ता बनाए रखता है।

महत्व और दावे
यह कार्य दावा करता है कि UCoS एक "बेस्ट-ऑफ-बौथ-वर्ल्ड्स" समाधान प्रदान करता है: यह सैंपलिंग के दौरान फॉरवर्ड मॉडल इवल्यूएशन के कम्प्यूटेशनल बॉटलनेक (करेक्शन-आधारित विधियों की एक सीमा) को समाप्त करता है और साथ ही डायरेक्ट कंडीशनल ट्रेनिंग की उच्च सैंपल कॉम्प्लेक्सिटी और आर्किटेक्चरल मांगों से भी बचता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण विविक्तिकरण-अपरिवर्तनीय (discretization-invariant) है, जो इसे उन अनंत-आयामी व्युत्क्रम समस्याओं के लिए उपयुक्त बनाता है जहाँ उच्च-आयामी परिमित-आयामी अनुमानों में प्रदर्शन गारंटी अक्सर विफल हो जाती है। वे स्वीकार करते हैं कि यह विधि टास्क-डिपेंडेंट है और यदि फॉरवर्ड ऑपरेटर $A$ बदलता है तो इसे पुनः प्रशिक्षण की आवश्यकता होती है, और सटीक पत्राचार (correspondence) रैखिक मॉडल की रैखिकता और गाऊसी लाइकलीहुड की प्रकृति पर निर्भर करता है (जो "कम्प्लीटिंग द स्क्वायर" स्टेप को सक्षम बनाता है)। यह कार्य डिफ्यूजन-आधारित सैंपलर के एक नए वर्ग के प्रमाण के रूप में प्रस्तुत किया गया है जो प्रशिक्षण चरण में कंडीशनिंग की जटिलता को बिना किसी अनुमान त्रुटि के स्थानांतरित करता है।

समस्या: कंप्यूटर में "ट्रैफिक जाम"

समाधान: UCoS (एक "पहले से तैयार" रेसिपी)

यह अध्ययन क्यों विशेष है

परिणाम

इसी तरह के और पेपर