🔢 mathematics

A Distributionally Robust Framework for Learned Reconstructions in Inverse Problems

यह शोधपत्र इनवर्स समस्याओं (inverse problems) के लिए एक संरचित वितरण रूप से सुदृढ़ अनुकूलन (distributionally robust optimization) ढांचे का प्रस्ताव करता है जो अस्पष्टता सेटों (ambiguity sets) को डेटा-अधिग्रहण प्रक्रिया के अनुरूप परिवर्तनों तक सीमित करता है, जिससे ऐसे पुनर्निर्माण ऑपरेटरों को सीखा जा सकता है जो टिखोनोव-समान (Tikhonov-like) नियमितीकरण उत्पन्न करते हुए और प्रभावी रूप से डेटा-संचालित ट्रंकेटेड-एसवीडी (truncated-SVD) व्यवहार को पुनः प्राप्त करते हुए बेहतर सुदृढ़ता, स्थिरता और व्याख्यात्मकता प्राप्त करते हैं।

मूल लेखक: Floor van Maarschalkerwaart, Subhadip Mukherjee, Christoph Brune, Marcello Carioni

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Floor van Maarschalkerwaart, Subhadip Mukherjee, Christoph Brune, Marcello Carioni

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास एक धुंधली, शोर वाली फोटो है (जिसे मापन/measurement कहा जाता है) और आप जानना चाहते हैं कि मूल, स्पष्ट वस्तु कैसी दिखती थी (जिसे सिग्नल/signal कहा जाता है)। इसे एक "इनवर्स प्रॉब्लम" (inverse problem) कहा जाता है।

अतीत में, वैज्ञानिकों ने कंप्यूटरों को धुंधली तस्वीरों को ठीक करना सीखने के लिए इस्तेमाल किया। उन्होंने कंप्यूटरों को हजारों उदाहरणों पर प्रशिक्षित किया जहाँ उन्हें पता था कि शोर (noise) कैसा दिखता है (जैसे, "यह हमेशा स्टैटिक है," या "यह हमेशा दानेदार है")। लेकिन समस्या यह है कि यदि वास्तविक दुनिया की फोटो में किसी अलग तरह का शोर होता है जिस पर कंप्यूटर को प्रशिक्षित किया गया था, तो कंप्यूटर अक्सर बुरी तरह विफल हो जाता है। वह अजीब आकृतियाँ बना सकता है या महत्वपूर्ण विवरणों को छोड़ सकता है।

यह शोध पत्र इन कंप्यूटरों को प्रशिक्षित करने का एक नया तरीका पेश करता है ताकि वे केवल एक विशिष्ट प्रकार के शोर को याद न करें, बल्कि किसी भी उचित शोर को संभालने के लिए सीखें जो सामने आ सकता है। वे इसे "स्ट्रक्चर्ड डिस्ट्रीब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन" (Structured Distributionally Robust Optimization) कहते हैं। यह सुनने में बहुत कठिन लगता है, तो आइए इसे कुछ उपमाओं (analogies) के साथ समझते हैं।

समस्या: "अति-तैयार" शेफ (The "Over-Prepared" Chef)

कल्पना कीजिए कि एक शेफ (AI) है जिसे ऐसे रसोईघर में प्रशिक्षित किया गया है जहाँ सामग्री का एकमात्र बदलाव "हल्का नमकीन" होना है। शेफ उस विशिष्ट नमक के स्तर के लिए एकदम सही सूप बनाना सीख जाता है।

मानक प्रशिक्षण (Standard Training): शेफ केवल थोड़े नमकीन सूप पर अभ्यास करता है। यदि आप उन्हें बहुत नमकीन या किसी अजीब मसाले वाले मिश्रण वाला सूप देते हैं, तो वे व्यंजन खराब कर देते हैं।
मानक "रोबस्ट" प्रशिक्षण (पुराना तरीका): सुरक्षित रहने के लिए, शेफ हर संभावित सूप के बदलाव पर अभ्यास करता है—चाहे वह जला हुआ हो, जमा हुआ हो या रेडियोधर्मी हो। हालांकि यह उन्हें सुरक्षित बनाता है, लेकिन यह इतना रूढ़िवादी है कि वे कुछ भी पकाने से डरने लगते हैं, या वे अच्छे सूप को भी खराब कर देते हैं क्योंकि उन्हें लगता है कि शायद उसमें कुछ कमी हो सकती है। वे धूल के एक छोटे से कण को भी एक बड़े तूफान के समान ही देखते हैं।

समाधान: "स्मार्ट" शेफ (The "Smart" Chef)

लेखक एक "स्ट्रक्चर्ड" (Structured) दृष्टिकोण प्रस्तावित करते हैं। वे महसूस करते हैं कि वास्तविक दुनिया में, "शोर" (गड़बड़ी) आमतौर पर विशिष्ट स्रोतों से आता है, जैसे कैमरा सेंसर या लाइटिंग, न कि स्वयं वस्तु के बदलने से।

इसे इस तरह सोचें:

वस्तु (X): फोटो में मौजूद व्यक्ति।
मापन (Y): उस व्यक्ति की ली गई धुंधली फोटो।

एक मानक "रोबस्ट" दृष्टिकोण में, कंप्यूटर कल्पना करता है कि व्यक्ति अचानक बिल्ली में बदल सकता है, या फोटो एक पेंटिंग में बदल सकती है। यह सब कुछ एक साथ बदलने के लिए तैयार होने की कोशिश करता है। यह बहुत डरावना और महंगा है।

स्ट्रक्चर्ड दृष्टिकोण कहता है: "मान लीजिए कि व्यक्ति (इनपुट) बिल्कुल वैसा ही रहता है। केवल कैमरे का दृश्य (शोर) ही बदलता है।"

हम "व्यक्ति" को स्थिर रखते हैं।
हम केवल "कैमरे" को गड़बड़ (धुंधला, दानेदार, शिफ्टेड) होने देते हैं।
हम कंप्यूटर को केवल इन विशिष्ट, यथार्थवादी स्थितियों के तहत फोटो को ठीक करने के लिए प्रशिक्षित करते हैं।

"वर्स्ट-केस" सुरक्षा जाल (The "Worst-Case" Safety Net)

शोध पत्र एक गणितीय उपकरण का उपयोग करता है जिसे "ऑप्टिमल ट्रांसपोर्ट" (Optimal Transport) कहा जाता है (इसे मिट्टी के एक ढेर से दूसरे ढेर तक मिट्टी ले जाने के लिए लागत कैलकुलेटर के रूप में सोचें)।

कंप्यूटर पूछता है: "कैमरा इस फोटो को सबसे खराब तरीके से कैसे बिगाड़ सकता है, बिना व्यक्ति को बदले?"
फिर यह उस विशिष्ट 'वर्स्ट-केस' परिदृश्य को हल करने के लिए खुद को प्रशिक्षित करता है।

ऐसा करके, कंप्यूटर एक बहुत ही विशिष्ट प्रकार की "मसल्स मेमोरी" (muscle memory) सीखता है। वह सीखता है कि यदि इमेज शोर वाली हो जाती है, तो उसे नई चीजें नहीं बनानी चाहिए (hallucinate); उसे बस चीजों को सावधानी से स्मूथ करना चाहिए।

जादुई परिणाम: "ट्रंकेटेड SVD" (The Magic Result: "Truncated SVD")

इस शोध पत्र की एक सबसे शानदार खोज यह है कि जब इस गणित को सरल, रैखिक समस्याओं (जैसे बुनियादी डी-ब्लरिंग) पर लागू किया जाता है, तो क्या होता है।

कंप्यूटर स्वाभाविक रूप से डेटा के उन "धुंधले" हिस्सों को अनदेखा करना सीख जाता है जो केवल शोर हैं।
यह प्रभावी रूप से समाधान के उन हिस्सों को काट देता है जो अस्थिर हैं।
लेखक कहते हैं कि यह "डेटा-ड्रिवन ट्रंकेटेड SVD" का एक संस्करण है।
- उपमा: कल्पना कीजिए कि आप एक भीड़ भरे कमरे में अपने दोस्त को सुनने की कोशिश कर रहे हैं। आप स्वाभाविक रूप से बैकग्राउंड के शोर को अनसुना कर देते हैं (शोर) और केवल आवाज (सिग्नल) पर ध्यान केंद्रित करते हैं। कंप्यूटर भी यही करता है, यह सीख जाता है कि उसे कितना "शोर" अनदेखा करना है, बजाय इसके कि कोई इंसान उसे बताए कि उसे कितना अनदेखा करना चाहिए।

उन्होंने क्या परीक्षण किया

लेखकों ने इस "स्मार्ट शेफ" का कई वास्तविक कार्यों पर परीक्षण किया:

डीब्लरिंग (Deblurring): एक हाथ से लिखे अंक (जैसे MNIST डेटासेट) की धुंधली तस्वीर को स्पष्ट बनाना।
डिफरेंशिएशन (Differentiation): एक चिकनी वक्र (smooth curve) को एक टेढ़ी-मेढ़ी रेखा में बदलना (गणितीय रूप से ढलान ज्ञात करना)।
CT स्कैन (CT Scans): शरीर के अंदर की 3D इमेज को X-ray स्लाइस (सिनोग्राम) से पुनर्गठित करना।

परिणाम:

बेहतर स्थिरता (Better Stability): जब उन्होंने इस कंप्यूटर का परीक्षण उस शोर पर किया जो उसने पहले कभी नहीं देखा था (जैसे कि अलग प्रकार का ब्लर या अलग स्तर का ग्रेन), तो "स्ट्रक्चर्ड" कंप्यूटर शांत और सटीक रहा। पुराने तरीके या तो विफल हो गए या अजीब आर्टिफैक्ट्स पैदा करने लगे।
बेहतर व्याख्यात्मकता (Better Interpretability): लेखकों ने "सेलियेंसी मैप्स" (हीटमैप जो दिखाते हैं कि कंप्यूटर क्या देख रहा है) का उपयोग किया। "स्ट्रक्चर्ड" कंप्यूटर ने वस्तु के वास्तविक किनारों (जैसे उंगली की रूपरेखा) पर ध्यान केंद्रित किया। पुराने कंप्यूटर शोर से विचलित हो गए और रैंडम धब्बों को देखने लगे।
फॉरवर्ड सिमुलेशन (Forward Simulation): उन्होंने इसका उपयोग स्पष्ट छवियों से यथार्थवादी धुंधली छवियां बनाने के लिए भी किया, जिससे पता चलता है कि यह विधि उलटे क्रम में भी काम करती है।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र हमें इनवर्स समस्याओं को हल करने के लिए AI को प्रशिक्षित करने का एक नया नुस्खा देता है। ब्रह्मांड की हर आपदा के लिए तैयार होने के बजाय (जो AI को बहुत सतर्क बना देता है), या केवल एक विशिष्ट आपदा को याद करने के बजाय (जो AI को बहुत नाजुक बना देता है), यह विधि AI को उन विशिष्ट, यथार्थवादी तरीकों के लिए तैयार करती है जिनसे चीजें गलत हो सकती हैं, इस आधार पर कि मापन कैसे लिया गया था।

यह एक ड्राइवर को केवल बारिश में गाड़ी चलाना सिखाने के बजाय, विशेष रूप से टायरों पर बारिश के भौतिकी (physics) को संभालने के बारे में सिखाने जैसा है। परिणाम एक ऐसा सिस्टम है जो अधिक सुरक्षित, अधिक स्थिर और समझने में आसान है।

तकनीकी सारांश: व्युत्क्रम समस्याओं (Inverse Problems) में सीखे गए पुनर्निर्माणों के लिए एक वितरण रूप से सुदृढ़ ढांचा (A Distributionally Robust Framework)

समस्या विवरण

व्युत्क्रम समस्याओं (Inverse problems) का लक्ष्य एक अज्ञात संकेत $x$ को अप्रत्यक्ष, शोरयुक्त मापों $y$ से पुन: प्राप्त करना है, जिसे आमतौर पर $y = Hx + \eta$ के रूप में मॉडल किया जाता है। जबकि सीखे गए पुनर्निर्माण ऑपरेटर (जैसे, न्यूरल नेटवर्क) लोकप्रिय हो गए हैं, वे आमतौर पर शोर मॉडल और डेटा वितरण के संबंध में निश्चित धारणाओं के तहत प्रशिक्षित होते हैं। फलस्वरूप, ये मॉडल खराब प्रदर्शन करते हैं जब परीक्षण वितरण (testing distribution) प्रशिक्षण वितरण से विचलित हो जाता है।

मानक वितरण रूप से सुदृढ़ अनुकूलन (Standard Distributional Robust Optimization - DRO) इसे एक अस्पष्टता सेट (ambiguity set - जो आमतौर पर एक वासरस्टीन बॉल होता है) के भीतर सबसे खराब स्थिति वाले वितरण के विरुद्ध अनुकूलित करके संबोधित करता है। हालाँकि, मानक वासरस्टीन DRO पूरे संयुक्त वितरण $\mu \in \mathcal{P}(X \times Y)$ को समान रूप से विचलित करता है। यह दृष्टिकोण अक्सर अत्यधिक रूढ़िवादी (overly conservative) होता है क्योंकि यह डेटा-प्राप्ति प्रक्रिया की विशिष्ट भौतिकी की अनदेखी करता है, और इनपुट वितरण तथा माप के शोर (फॉरवर्ड ऑपरेटर) में अनिश्चितताओं को अविभाज्य मानता है।

कार्यप्रणाली: संरचित DRO (Structured DRO)

लेखक संरचित DRO (Structured DRO) का प्रस्ताव करते हैं, जो अस्पष्टता सेट को डेटा-प्राप्ति प्रक्रिया के अनुरूप विचलनों तक सीमित करता है। मुख्य विचार डेटा-जनरेटिंग लॉ को $\mu = \mu_X \otimes \mu_{Y|X}$ के रूप में गुणनखंडित करना है, जहाँ $\mu_X$ इनपुट पर प्रायर (prior) को दर्शाता है और $\mu_{Y|X}$ सशर्त माप संभावना (conditional measurement likelihood) को दर्शाता है (जो फॉरवर्ड ऑपरेटर और शोर को समाहित करता है)।

ढांचा

संयुक्त वितरण को मनमाने ढंग से विचलित करने के बजाय, एडवरसरी (adversary) को एक संरचित उपसमुच्चय $\mathcal{K} \subseteq \mathcal{P}(X \times Y)$ तक सीमित किया जाता है। शोध पत्र मुख्य रूप से $Y|X$ -विचलन पर ध्यान केंद्रित करता है, जहाँ इनपुट मार्जिनल $\mu_X$ स्थिर रहता है, और केवल सशर्त वितरण $\mu_{Y|X}$ को विचलित किया जाता है। यह अनिश्चितता को माप मॉडल तक सीमित कर देता है, जो इस तथ्य के अनुरूप है कि शोर और फॉरवर्ड ऑपरेटर की कमियां $x$ के दिए होने पर $y$ को प्रभावित करती हैं, लेकिन मूल संकेत $x$ के वितरण को नहीं बदलती हैं।

अनुकूलन को इस प्रकार तैयार किया गया है:
$\inf_{G \in \mathcal{G}} \sup_{\pi_{S|S} \in \Omega_{\mathcal{K}, c, \varepsilon}} \int_S \int_S \ell(r, G) \, d\pi_{S|S=s}(r) \, d\mu^*(s)$
जहाँ $\mathcal{G}$ पुनर्निर्माण ऑपरेटरों का स्थान है, $\ell$ लॉस फंक्शन है, और $\Omega_{\mathcal{K}, c, \varepsilon}$ लागत फलन $c$ और त्रिज्या $\varepsilon$ द्वारा नियंत्रित स्वीकार्य विचलन कर्नेल का सेट है।

सैद्धांतिक योगदान

स्ट्रॉन्ग ड्युअलिटी (Strong Duality): लेखक इस सामान्य सूत्रीकरण के लिए कॉम्पैक्ट पोलिश स्पेस (compact Polish spaces) पर स्ट्रॉन्ग ड्युअलिटी स्थापित करते हैं, जो ब्लैंचेट और मूर्ति [12] और ब्लैंचेट एट अल. [9] के परिणामों को संरचित विचलन सेटों तक विस्तारित करता है।
स्पष्ट द्वैत प्रतिनिधित्व (Explicit Dual Representations): वे संयुक्त, मार्जिनल और सशर्त वितरणों में विचलन के लिए परिमित-आयामी द्वैत (finite-dimensional dual) सूत्रीकरण प्राप्त करते हैं।
- $P(Y|X)$ -विचलन के लिए, द्वैत सूत्रीकरण एक स्पष्ट सबसे खराब स्थिति वाले जोखिम बाउंड (worst-case risk bound) की ओर ले जाता है।
नियमितीकरण (Regularization) से संबंध: एक केंद्रीय परिणाम $P(Y|X)$ $P (Y ∣ X)$ -विचलन के लिए एक स्पष्ट सबसे खराब स्थिति वाले जोखिम बाउंड का व्युत्पन्न है:
$\text{Risk} \leq \left( \sqrt{\mathbb{E}[\|G(y) - x\|^2]} + L_G \sqrt{\varepsilon} \right)^2$
जहाँ $L_G$ $L_{G}$ पुनर्निर्माण ऑपरेटर $G$ $G$ का लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) है। यह बाउंड $G$ $G$ के लिप्सचिट्ज़ स्थिरांक पर एक टिखोनोव-प्रकार का नियमितीकरण (Tikhonov-type regularization) प्रेरित करता है।
- रैखिक सेटिंग में, यह नियमितीकरण $G$ के सबसे बड़े सिंगुलर मानों को दंडित करता है, जो प्रभावी रूप से डेटा-संचालित ट्रंकेटेड-SVD नियमितीकरण को पुनः प्राप्त करता है, जो डेटा के आंतरिक आयाम पर ट्रंकेट करता है।
- लेखक प्रदर्शित करते हैं कि यह संरचित बाउंड मानक संयुक्त DRO (जो $\sqrt{1 + L_G^2}$ का कारक देता है) की तुलना में काफी कम रूढ़िवादी है, क्योंकि यह इनपुट मार्जिनल को विचलित करने से जुड़े दंड को हटा देता है।

कम्प्यूटेशनल कार्यान्वयन

ढांचे को व्यावहारिक बनाने के लिए, लेखक सशर्त सिंकहॉर्न दूरी (conditional Sinkhorn distance) (एंट्रोपिकली रेगुलराइज्ड वासरस्टीन दूरी) का एक सन्निकटन (approximation) उपयोग करते हैं। वे मिन-मैक्स समस्या को हल करने के लिए बाइसैक्शन सर्च के साथ बायस्ड स्टोकेस्टिक मिरर डिसेंट (BSMD) एल्गोरिदम का उपयोग करते हैं, जिससे द्वैत चरों और पुनर्निर्माण ऑपरेटर का सन्निकटन किया जाता है।

प्रयोगात्मक परिणाम

ढांचे का मूल्यांकन कई व्युत्क्रम समस्याओं पर किया गया: डिफरेंशिएशन (differentiation), डीब्लरिंग (deblurring) (MNIST और CIFAR-10), और सिनोग्राम-टू-CT पुनर्निर्माण (sinogram-to-CT reconstruction)।

मजबूती और स्थिरता (Robustness and Stability): सभी प्रयोगों में, संरचित DRO ने मानक MSE बेसलाइन और मानक जॉइंट DRO की तुलना में वितरण संबंधी बदलावों (जैसे, अलग-अलग शोर स्तर, विभिन्न शोर प्रकार जैसे गाऊसी बनाम पॉइसन, और गलत स्पेक्सिफाइड फॉरवर्ड ऑपरेटर) के प्रति बेहतर मजबूती प्रदर्शित की।
व्याख्यात्मकता (Interpretability): सैलिएंसी मैप्स (Saliency maps) ने खुलासा किया कि DRO-प्रशिक्षित मॉडल संरचनात्मक रूप से सार्थक विशेषताओं (किनारों, स्ट्रोक) पर ध्यान केंद्रित करते हैं और बैकग्राउंड शोर को अनदेखा करते हैं, जबकि MSE बेसलाइन विसरित, असंरचित संवेदनशीलता प्रदर्शित करती है।
स्पेक्ट्रल व्यवहार (Spectral Behavior): डिफरेंशिएशन कार्य में, सीखा गया DRO इनवर्स प्रभावी रूप से लो-रैंक (low-rank) पाया गया, जो डेटा के आंतरिक आयाम से परे सिंगुलर मानों को ट्रंकेट करता है, जो ट्रंकेटेड-SVD के साथ इसके सैद्धांतिक संबंध की पुष्टि करता है।
फॉरवर्ड सिमुलेशन (Forward Simulation): ढांचे को एक "रोबस्ट सिम्युलेटर" (इनपुट परिवर्तनों के तहत स्थिर फॉरवर्ड मैप सीखने वाला) पर भी लागू किया गया था, जो व्युत्क्रम समस्याओं से परे इसकी लचीलेपन को दर्शाता है।
CT पुनर्निर्माण: लो-डोज CT पुनर्निर्माण (उच्च शोर) में, DRO-UNet ने वह छवि गुणवत्ता और संरचनात्मक अखंडता बनाए रखी जहाँ MSE-UNet आर्टिफ़ेक्ट्स के कारण काफी खराब हो गया था।

महत्व और दावे

यह शोध पत्र दावा करता है कि संरचित DRO, क्लासिकल व्युत्क्रम समस्या रेगुलेराइज़ेशन और डिस्ट्रिब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन के बीच के अंतर को पाटता है। $P(Y|X)$ में विचलन को सीमित करके, यह ढांचा:

अनिश्चितता को अधिक निष्ठा से मॉडल करता है: यह इनपुट अनिश्चितता को माप शोर से अलग करके भौतिकी का सम्मान करता है।
रूढ़िवादिता को कम करता है: यह अच्छी तरह से परिभाषित (well-posed) समस्याओं के लिए मानक DRO की तुलना में कम रूढ़िवादी जोखिम बाउंड प्रदान करता है, जिससे इनपुट वितरण से संबंधित अनावश्यक दंड से बचा जा सके।
व्याख्या योग्य नियमितीकरण प्रेरित करता है: यह स्वाभाविक रूप से लिप्सचिट्ज़ नियमितीकरण की ओर ले जाता है, जो रैखिक सेटिंग्स में डेटा-संचालित ट्रंकेटेड-SVD के रूप में प्रकट होता है, जो सीखे गए इनवर्स की स्थिरता के लिए एक सैद्धांतिक औचित्य प्रदान करता है।
सामान्यीकरण (Generalization) में सुधार करता है: यह ऐसे पुनर्निर्माण ऑपरेटर प्रदान करता है जो आउट-ऑफ-डिस्ट्रीब्यूशन स्थितियों (जैसे, बदलते शोर मॉडल और गलत स्पेक्सिफाइड फॉरवर्ड ऑपरेटर) के तहत अधिक स्थिर और व्याख्या योग्य होते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि वर्तमान कार्यान्वयन एंट्रोपिक सन्निकटन पर निर्भर करता है, फिर भी यह ढांचा एक सिद्धांतपूर्ण मार्ग प्रदान करता है जिससे ऐसे मजबूत पुनर्निर्माण ऑपरेटर सीखे जा सकते हैं जो स्वाभाविक रूप से व्युत्क्रम समस्या की संरचना के अनुरूप हों।