🤖 machine learning

Debiased neural operators for estimating functionals

यह शोधपत्र DOPE प्रस्तुत करता है, जो एक अर्ध-प्राचली (semiparametric) अनुमानक है जो आंशिक और अनियमित अवलोकनों के तहत उच्च-आयामी व्याकुल मैपिंग (nuisance mappings) के रूप में न्यूरल ऑपरेटर्स को संभालने के लिए रीज़ रिग्रेशन (Riesz regression) के साथ नेमैन-ऑर्थोगोनल (Neyman-orthogonal), वन-स्टेप दृष्टिकोण का उपयोग करके समाधान प्रक्षेप पथों (solution trajectories) के स्केलर फलन (scalar functionals) के अनुमान के लिए नैवव प्लग-इन विधियों के प्रथम-क्रम पूर्वाग्रह (first-order bias) को ठीक करता है।

मूल लेखक: Konstantin Hess, Dennis Frauen, Niki Kilbertus, Stefan Feuerriegel

प्रकाशित 2026-04-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Konstantin Hess, Dennis Frauen, Niki Kilbertus, Stefan Feuerriegel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए सूप की रेसिपी को बेहतर बनाने की कोशिश कर रहे एक शेफ हैं। आपके पास एक सुपर-स्मार्ट AI सहायक (न्यूरल ऑपरेटर) है जो यह भविष्यवाणी कर सकता है कि खाना पकाने की पूरी प्रक्रिया के दौरान हर एक सेकंड में सूप का स्वाद कैसा होगा। यह आपको मिनट-दर-मिनट फ्लेवर प्रोफाइल देता है।

हालाँकि, आपको हर सेकंड के स्वाद की परवाह नहीं है। आप केवल एक विशिष्ट संख्या जानना चाहते हैं जिससे यह तय हो सके कि सूप तैयार है या नहीं:

"कुल स्वाद स्कोर" (पूरे एक घंटे के दौरान बर्तन में कितना स्वाद था?)
"बर्न टाइम" (सूप कितने मिनट तक बहुत अधिक गर्म रहा?)
"पीक हीट" (यह अधिकतम कितने तापमान तक पहुँचा?)

ये विशिष्ट संख्याएँ फंक्शनल्स (functionals) कहलाती हैं। ये पूरी कहानी का सारांश हैं।

समस्या: "नाइव" (Naïve) गलती

आमतौर पर, वैज्ञानिक "नाइव" तरीके से ऐसा करते हैं:

वे AI को पूरे सूप के फ्लेवर कर्व की भविष्यवाणी करने के लिए कहते हैं।
वे उस भविष्यवाणी का उपयोग करके "कुल स्वाद स्कोर" की गणना करते हैं।

यहाँ एक पेंच है: भले ही AI 99% सटीक हो, वह छोटा सा 1% का एरर (त्रुटि) तब बढ़ जाता है जब आप उस सारांश स्कोर की गणना करने की कोशिश करते हैं। यह रेत के ढेर का कुल वजन मापने के लिए थोड़े गलत बाल्टी का उपयोग करने जैसा है। यदि आपकी बाल्टी थोड़ी भी गलत है, तो कुल वजन की गणना गलत होगी। गणित में, इसे प्लग-इन बायस (Plug-in Bias) कहा जाता है। त्रुटि यहाँ खत्म नहीं होती; बल्कि यह जमा होती जाती है, जिससे उत्तर व्यवस्थित रूप से गलत हो जाता है।

समाधान: DOPE (डिबायस्ड न्यूरल ऑपरेटर)

लेखकों ने एक नया टूल बनाया जिसे DOPE कहा जाता है। DOPE को केवल एक कैलकुलेटर नहीं, बल्कि एक स्मार्ट जासूस के रूप में सोचें जो AI की गलतियों को सुधारना जानता है।

DOPE कैसे काम करता है, इसके लिए एक सरल उदाहरण देखते हैं:

1. गलती की "परछाई"

कल्पना कीजिए कि AI अपनी भविष्यवाणी में गलती करता है। DOPE उस गलती को अनदेखा नहीं करता। वह पूछता है: "यदि AI यहाँ गलत था, तो उस विशिष्ट त्रुटि से मेरे अंतिम 'कुल स्वाद स्कोर' में कितना बदलाव आएगा?"

कभी-कभी, 5वें मिनट पर सूप के तापमान की एक छोटी सी त्रुटि अंतिम स्कोर के लिए बहुत महत्वपूर्ण होती है। अन्य समय में, 50वें मिनट पर होने वाली त्रुटि का कोई महत्व नहीं होता। DOPE एक "सेंसिटिविटी मैप" (गणितीय रूप से जिसे रीज़ रिप्रेजेंटर कहा जाता है) की गणना करता है। यह मैप सिस्टम को बताता है: "इन विशिष्ट स्थानों पर होने वाली त्रुटियों पर विशेष ध्यान दें; उन अन्य स्थानों की त्रुटियों को अनदेखा करें।"

2. "वेटेड करेक्शन" (Weighted Correction)

वास्तविक दुनिया में, हम अक्सर हर सेकंड सूप का स्वाद नहीं ले सकते। हमें केवल कुछ यादृच्छिक चम्मच भर सूप ही मिलता है (अनियमित अवलोकन)।

नाइव दृष्टिकोण हर चम्मच को समान मानता है।
DOPE अधिक स्मार्ट है। इसे एहसास है कि यदि आपने केवल तब सूप चखा जब वह उबल रहा था, तो आपने ठंडा होने के चरण को मिस कर दिया है। इसलिए, DOPE उन डेटा पॉइंट्स को अतिरिक्त वजन (extra weight) देता है जो दुर्लभ या प्राप्त करना कठिन हैं, और उन्हें कम वजन देता है जिन्हें प्राप्त करना आसान है।

यह AI की भविष्यवाणी को इन "करेक्शन फैक्टर्स" के साथ जोड़ता है ताकि बायस (पक्षपात/त्रुटि) को खत्म किया जा सके। यह एक ऐसे GPS की तरह है जो जानता है कि नक्शा थोड़ा विकृत है, इसलिए यह सुनिश्चित करने के लिए अपने मार्ग को स्वचालित रूप से समायोजित करता है कि आप सही गंतव्य पर पहुँचें।

3. "जादुई ट्रिक" (स्वचालित डि-बायसिंग)

इस प्रक्रिया का सबसे कठिन हिस्सा बिना वर्षों की जटिल गणितीय गणना के इस "सेंसिटिविटी मैप" को समझना है। लेखकों ने एक तरीका विकसित किया है जिससे कंप्यूटर रीज़ रिग्रेशन (Riesz Regression) नामक तकनीक का उपयोग करके इस मैप को स्वचालित रूप से सीख सकता है।

इसे इस तरह से समझें: बजाय इसके कि शेफ सूप को ठीक करने के लिए एक मैनुअल लिखे, वे बस AI से कहते हैं, "यहाँ रेसिपी है, यहाँ लक्ष्य है। तुम खुद यह पता लगाओ कि अपने लक्ष्यों को पूरी तरह से हिट करने के लिए अपनी भविष्यवाणियों को कैसे समायोजित करना है।" AI खुद के बायस को तुरंत ठीक करना सीख जाता है।

यह वास्तविक दुनिया में क्यों मायने रखता है

यह केवल सूप के बारे में नहीं है। यह पेपर कई महत्वपूर्ण क्षेत्रों में एक समस्या को हल करता है:

चिकित्सा (Medicine): डॉक्टरों को हर सेकंड मरीज के ब्लड शुगर को जानने की जरूरत नहीं होती। उन्हें "टाइम इन रेंज" (ब्लड शुगर कितनी देर तक स्वस्थ स्तर पर रहा) जानने की आवश्यकता होती है। यदि मॉडल थोड़ा भी गलत है, तो नाइव तरीका यह कह सकता है कि मरीज सुरक्षित है जबकि वास्तव में वह खतरे में हो सकता है। DOPE इसे ठीक करता है, जिससे चिकित्सा निर्णय अधिक सुरक्षित बनते हैं।
जलवायु विज्ञान (Climate Science): वैज्ञानिक एक तूफान की "कुल ऊर्जा" जानना चाहते हैं। यदि मॉडल थोड़ा भी गलत है, तो कुल ऊर्जा की गणना बहुत गलत हो सकती है, जिससे तूफान के नुकसान की गलत भविष्यवाणी हो सकती है। DOPE यह सुनिश्चित करता है कि कुल ऊर्जा का आंकड़ा सटीक हो।
इंजीनियरिंग (Engineering): इंजीनियरों को 10 वर्षों में एक पुल पर होने वाले "कुल घिसाव और टूट-फूट" को जानने की आवश्यकता होती है। DOPE उन्हें वह नंबर सही प्राप्त करने में मदद करता है, भले ही पुल का सिमुलेशन एकदम सटीक न हो।

निष्कर्ष

DOPE एक नया तरीका है जो एक शक्तिशाली लेकिन थोड़ी अपूर्ण AI भविष्यवाणी को लेता है और उसे "डि-बायस" (त्रुटि मुक्त) करता है। यह एक चतुर वेटिंग सिस्टम का उपयोग करता है ताकि यह सुनिश्चित हो सके कि जब आप एक जटिल, अव्यवस्थित प्रक्रिया को एक एकल, महत्वपूर्ण संख्या (जैसे कुल लागत, कुल समय या कुल ऊर्जा) में सारांशित करते हैं, तो वह संख्या ईमानदार और सटीक हो, भले ही अंतर्निहित AI मॉडल पूर्ण न हो।

यह एक "काफी हद तक ठीक" (good enough) भविष्यवाणी को एक "विश्वसनीय" निर्णय में बदल देता है।

यहाँ Hess et al. के शोध पत्र "Debiased neural operators for estimating functionals" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का निरूपण (Problem Formulation)

संदर्भ: न्यूरल ऑपरेटर्स (जैसे, फूरियर न्यूरल ऑपरेटर्स, DeepONet) PDE (पार्शियल डिफरेंशियल इक्वेशंस) के समाधान मानचित्रों को सीखने के लिए शक्तिशाली उपकरण हैं, जो इनपुट फलनों (सीमा स्थितियाँ, गुणांक) को समाधान प्रक्षेपवक्र (solution trajectories) में मैप करते हैं।
अंतराल (The Gap): चिकित्सा, जलवायु, इंजीनियरिंग जैसे कई वैज्ञानिक अनुप्रयोगों में, लक्ष्य पूर्ण समाधान प्रक्षेपवक्र को पुनः प्राप्त करना नहीं होता, बल्कि उस प्रक्षेपवक्र के एक स्केलर फंक्शनल $g$ का अनुमान लगाना होता है (जैसे, एरिया अंडर द कर्व (AUC), थ्रेशोल्ड से ऊपर बिताया गया समय, कुल ऊर्जा अपव्यय)।
चुनौती:

नाइव प्लग-इन बायस (Naïve Plug-in Bias): मानक दृष्टिकोण एक न्यूरल ऑपरेटर $\hat{S}$ को वास्तविक समाधान ऑपरेटर $S_0$ के सन्निकटन के रूप में प्रशिक्षित करना है, और फिर $g(\hat{S}(A))$ का फंक्शनल निकालता है। लेखक सिद्ध करते हैं कि यह "प्लग-इन" एस्टीमेटर प्रथम-क्रम के बायस (first-order bias) से ग्रस्त है। क्योंकि $g$ आमतौर पर गैर-रेखीय (non-linear) होता है, न्यूरल ऑपरेटर की सन्निकटन त्रुटियाँ औसत नहीं होती हैं; इसके बजाय, वे $g$ के फ्रेट डेरिवेटिव (Fréchet derivative) के माध्यम से रैखिक रूप से प्रसारित होती हैं, जिससे व्यवस्थित त्रुटियाँ उत्पन्न होती हैं जो वैध सांख्यिकीय अनुमान (जैसे, कॉन्फिडेंस इंटरवल) को रोकती हैं।
आंशिक/अनियमित अवलोकन (Partial/Irregular Observations): वास्तविक दुनिया के परिदृश्यों में, समाधान प्रक्षेपवक्र शायद ही कभी पूरी तरह से देखे जाते हैं। इसके बजाय, उन्हें विरल (sparse), अनियमित और अक्सर इनपुट-निर्भर स्थानों पर देखा जाता है (जैसे, प्रयोगों में एडेप्टिव सैंपलिंग)। यह अंतर्निहित फलन के अनुमान और बायस सुधार को जटिल बनाता है।

2. कार्यप्रणाली: DOPE (Debiased Neural Operator)

लेखक DOPE प्रस्तावित करते हैं, जो एक सेमीपैरामेट्रिक फ्रेमवर्क है, जिसका उद्देश्य एक फंक्शनल $\theta = \mathbb{E}[g(S_0(A))]$ के जनसंख्या औसत का अनुमान लगाना है, जबकि न्यूरल ऑपरेटर सन्निकटन द्वारा उत्पन्न बायस को ठीक करना है।

मुख्य अवधारणा: नेयमैन ऑर्थोगोनैलिटी (Neyman Orthogonality)

DOPE एक वन-स्टेप, नेयमैन-ऑर्थोगोनल एस्टीमेटर का निर्माण करता है। यह सुनिश्चित करता है कि एस्टीमेटर "न्युसेंस" घटकों (न्यूरल ऑपरेटर $\hat{S}$ और सुधार भार $\hat{\beta}$ ) की त्रुटियों के प्रति प्रथम-क्रम के प्रति असंवेदनशील है। फलस्वरूप, अंतिम अनुमान में बायस इन घटकों की केवल द्वितीय-क्रम की त्रुटियों पर निर्भर करता है, जिससे न्यूरल ऑपरेटर के पूरी तरह से सटीक न होने पर भी वैध अनुमान संभव हो पाता है।

मुख्य तकनीकी घटक:

डिबायस्ड स्कोर निर्माण (Debiasing Score Construction):
लेखक एक स्कोर फंक्शन $\psi$ व्युत्पन्न करते हैं जो प्लग-इन एस्टीमेट को ठीक करता है। सुधार पद फंक्शनल डेरिवेटिव के रीज़ रिप्रेजेंटर (Riesz representer) पर निर्भर करता है।
- मान लें कि $\Delta = S_0 - \hat{S}$ ऑपरेटर त्रुटि है।
- बायस लगभग $\mathbb{E}[Dg_{S_0(A)}(\Delta(A))]$ है।
- रीज़ रिप्रेजेंटेशन प्रमेय का उपयोग करते हुए, फंक्शनल डेरिवेटिव $Dg $को एक अद्वितीय फलन$ w_g$ के साथ आंतरिक उत्पाद (inner product) के रूप में व्यक्त किया जा सकता है।
- अनियमित सैंपलिंग को संभालने के लिए, वे एक डिज़ाइन वेट $\xi_0$ (सैंपलिंग घनत्व का व्युत्क्रम) पेश करते हैं।
- डिबायसिंग वेट $\beta_0$ को $\beta_0(a)(x) = \xi_0(a)(x) w_g(S_0(a))(x)$ के रूप में परिभाषित किया गया है।
ऑपरेटर्स के लिए ऑटोमैटिक डिबायस्ड मशीन लर्निंग (DML):
एक प्रमुख नवाचार ऑटोमैटिक DML (जो आमतौर पर फलन-मूल्य वाले न्युसेंस को संभालता है) को ऑपरेटर-मूल्य वाले न्युसेंस तक विस्तारित करना है।
- $\beta_0$ को विश्लेषणात्मक रूप से व्युत्पन्न करने या सैंपलिंग घनत्व को उलटने (जो अस्थिर है) के बजाय, DOPE सीधे रीज़ रिग्रेशन (Riesz regression) के माध्यम से $\beta_0$ को सीखता है।
- यह विधि एक प्राइमल वेरिएशनल ऑब्जेक्टिव को कम करती है:
  $\min_{\beta} \mathbb{E} \left[ \mathbb{E}[\beta(A)(X)^2 | A] - 2 Dg_{S_0(A)}(\beta(A)) \right]$
- इसे फंक्शनल डेरिवेटिव टर्म को स्पष्ट विश्लेषणात्मक व्युत्पत्ति के बिना कंप्यूट करने के लिए ऑटोमैटिक डिफरेंशिएशन (जैकोबियन-वेक्टर प्रोडक्ट्स) का उपयोग करके लागू किया जाता है।
अनुमान प्रक्रिया (Estimation Procedure):
- क्रॉस-फिटिंग (Cross-fitting): डेटा को फोल्ड्स में विभाजित किया जाता है। एक फोल्ड पर न्यूरल ऑपरेटर $\hat{S}$ को प्रशिक्षित किया जाता है और दूसरे फोल्ड पर भविष्यवाणियाँ उत्पन्न करने के लिए उपयोग किया जाता है।
- रीज़ रिग्रेशन (Riesz Regression): डिबायसिंग वेट $\hat{\beta}$ को रीज़ रिग्रेशन ऑब्जेक्टिव का उपयोग करके अनुमानित करने के लिए एक दूसरा न्यूरल ऑपरेटर प्रशिक्षित किया जाता है।
- वन-स्टेप एस्टीमेटर: अंतिम अनुमान $\hat{\theta}$ , छद्म-परिणामों (pseudo-outcomes) का सैंपल औसत है:
  $\tilde{\psi}_i = g(\hat{S}(A_i)) + \frac{1}{K_i} \sum_{k=1}^{K_i} \hat{\beta}(A_i)(X_{ik}) (Y_{ik} - \hat{S}(A_i)(X_{ik}))$
  दूसरा पद एक अवशिष्ट सुधार (residual correction) के रूप में कार्य करता है जो प्रथम-क्रम के बायस को रद्द करता है।
प्रेडिक्शन-पावर्ड इन्फरेंस (PPI):
यह फ्रेमवर्क स्वाभाविक रूप से PPI के साथ एकीकृत होता है, जो प्लग-इन घटक का लाभ उठाकर दक्षता में सुधार करने के लिए बड़ी मात्रा में बिना लेबल वाले इनपुट डेटा का उपयोग करने की अनुमति देता है, जबकि लेबल वाले उपसमूह के माध्यम से बायस सुधार बनाए रखता है।

3. मुख्य योगदान

प्लग-इन बायस का सैद्धांतिक पहचान: लेखक औपचारिक रूप से सिद्ध करते हैं कि न्यूरल ऑपरेटर्स के फंक्शनल्स के लिए नाइव प्लग-इन एस्टीमेशन प्रथम-क्रम का बायस उत्पन्न करता है, जो मानक अभिसरण दरों (convergence rates) के लिए नगण्य नहीं है।
DOPE फ्रेमवर्क: वे एक अभिनव वन-स्टेप, नेयमैन-ऑर्थोगोनल एस्टीमेटर पेश करते हैं जो इस बायस को हटा देता है। यह मॉडल-अज्ञेयवादी (model-agnostic) है (यह किसी भी न्यूरल ऑपरेटर आर्किटेक्चर के साथ काम करता है) और आंशिक/अनियमित अवलोकनों को संभालता है।
ऑटोमैटिक DML का विस्तार: वे ऑटोमैटिक डिबायसिंग को फलन-मूल्य से ऑपरेटर-मूल्य वाले न्युसेंस फंक्शन्स तक विस्तारित करते हैं। यह रीज़ रिग्रेशन और ऑटोमैटिक डिफरेंशिएशन के माध्यम से प्राप्त किया जाता है, जिससे जटिल फंक्शनल डेरिवेटिव के क्लोज्ड-फॉर्म व्युत्पत्तियों या अस्थिर घनत्व उत्क्रमण (density inversions) की आवश्यकता समाप्त हो जाती है।
सैद्धांतिक गारंटी: वे मानक नियमितता शर्तों के तहत DOPE के लिए एसिम्प्टोटिक नॉर्मैलिटी (asymptotic normality) और रूट- $n$ अभिसरण दरें स्थापित करते हैं, बशर्ते कि न्युसेंस एस्टीमेटर्स $o(n^{-1/4})$ की दर से अभिसरित हों (जो प्लग-इन एस्टीमेटर्स के लिए आवश्यक $o(n^{-1/2})$ से काफी कमजोर है)।

4. प्रयोगात्मक परिणाम

लेखकों ने दो डेटासेट पर DOPE का मूल्यांकन किया:

फार्माकोकाइनेटिक्स (PK): AUC और टाइम-एबव-थ्रेशोल्ड (TAT) का अनुमान लगाने के लिए ड्रग कंसंट्रेशन कर्व्स को मॉडल करना।
डार्सी फ्लो (Darcy Flow): स्मूथ एक्सीस-एबव-थ्रेशोल्ड फंक्शनल का अनुमान लगाने के लिए एक 2D फ्लूइड डायनेमिक्स बेंचमार्क।

मुख्य निष्कर्ष:

बेहतर सटीकता: DOPE सभी सेटिंग्स में नाइव प्लग-इन एस्टीमेटर की तुलना में काफी बेहतर प्रदर्शन करता है, जो सैंपलिंग अनियमितता के आधार पर RMSE को 10% से 43% तक कम कर देता है।
मजबूती (Robustness): DOPE न्यूरल ऑपरेटर ( $\hat{S}$ ) और सुधार भार ( $\hat{\beta}$ ) की त्रुटियों के प्रति मजबूत है। यहाँ तक कि जब न्युसेंस एस्टीमेशन त्रुटियों को कृत्रिम रूप से बढ़ाया जाता है, तब भी DOPE का RMSE, प्लग-इन एस्टीमेटर की तुलना में बहुत धीमी गति से बढ़ता है।
कवरेज (Coverage): DOPE का उपयोग करके निर्मित कॉन्फिडेंस इंटरवल लगभग नाममात्र कवरेज (लगभग 95%) प्राप्त करते हैं, जबकि प्लग-इन एस्टीमेटर वैध कवरेज प्रदान करने में विफल रहते हैं (अक्सर <50%)।
PPI लाभ: DOPE बिना लेबल वाले अतिरिक्त डेटा का प्रभावी ढंग से लाभ उठाता है ताकि विचरण (variance) को और कम किया जा सके, जो इस शासन में भी प्लग-इन विधियों से बेहतर प्रदर्शन करता है।
आर्किटेक्चर अज्ञेयवादी: परिणाम फूरियर न्यूरल ऑपरेटर्स (FNO) और DeepONet बैकबोन दोनों के लिए मान्य हैं।

5. महत्व

यह कार्य वैज्ञानिक मशीन लर्निंग (PDE समाधान सीखना) और सांख्यिकीय अनुमान (क्वांटिटी ऑफ इंटरेस्ट का अनुमान लगाना और अनिश्चितता का परिमाणन) के बीच एक महत्वपूर्ण अंतराल को पाटता है।

व्यावहारिक प्रभाव: यह वैज्ञानिकों को न्यूरल ऑपरेटर्स से प्राप्त स्केलर सारांशों पर भरोसा करने में सक्षम बनाता है, जो नैदानिक खुराक (AUC), जलवायु जोखिम मूल्यांकन (थ्रेशोल्ड एक्सीडेंस), और इंजीनियरिंग नियंत्रण जैसे क्षेत्रों में निर्णय लेने के लिए आवश्यक है।
पद्धतिगत प्रगति: जटिल, उच्च-आयामी फलन स्थानों में ऑपरेटर-मूल्य वाले न्युसेंस को हल करके, यह पारंपरिक प्लग-इन विधियों के विफल होने पर कठोर सांख्यिकीय अनुमान के द्वार खोलता है। यह प्रदर्शित करता है कि "डिबायस्ड मशीन लर्निंग" सिद्धांतों को न्यूरल ऑपरेटर्स के डोमेन में सफलतापूर्वक अनुकूलित किया जा सकता है।