🤖 machine learning

Geometry-Aware Post-Hoc Uncertainty Quantification in Operator Learning

यह शोध पत्र REEF-GP को प्रस्तुत करता है, जो एक स्केलेबल पोस्ट-हॉक अनिश्चितता परिमाणीकरण ढांचा (uncertainty quantification framework) है जो प्रेडिक्शन रेसिडुअल्स (prediction residuals) पर गाऊसी प्रोसेस (Gaussian Process) को फिट करने के लिए एक न्यूरल ऑपरेटर के अंतर्निहित ज्यामिति-जागरूक एम्बेडिंग्स (geometry-aware embeddings) का लाभ उठाता है, जिससे डीप एन्सेम्बल्स की तुलना में बहुत कम लागत पर विभिन्न PDE ज्यामितिओं में कैलिब्रेटेड और सुदृढ़ अनिश्चितता अनुमान प्राप्त होते हैं।

मूल लेखक: Oriol Vendrell-Gallart, Nima Negarandeh, Ramin Bostanabad

प्रकाशित 2026-06-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oriol Vendrell-Gallart, Nima Negarandeh, Ramin Bostanabad

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "तेज़ लेकिन अंधा" सॉल्वर (The "Fast but Blind" Solver)

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, सुपर-फास्ट रोबोट है जो यह अनुमान लगा सकता है कि कार के ऊपर से हवा कैसे बहती है, पुल के माध्यम से तनाव (stress) कैसे फैलता है, या किसी मशीन में गर्मी कैसे फैलती है। यह रोबोट एक न्यूरल ऑपरेटर (Neural Operator) है। यह अविश्वसनीय रूप से तेज़ और सटीक है, लेकिन इसमें एक बड़ी खामी है: यह डिटरमिनिस्टिक (deterministic) है।

इस रोबट को एक आत्मविश्वासी शेफ के रूप में सोचें जो हमेशा एक ही तरह का व्यंजन परोसता है। यदि आप पूछते हैं, "इस सूप का स्वाद कैसा होगा?" तो रोबोट कहता है, "इसका स्वाद बिल्कुल ऐसा ही होगा।" वह कभी नहीं कहता, "यह थोड़ा अधिक नमकीन हो सकता है," या "यदि सामग्री थोड़ी अलग होती, तो यह फीका हो सकता था।" वास्तविक दुनिया में, हमें यह जानने की आवश्यकता है कि रोबोट कितना आश्वस्त है, खासकर जब वस्तु का आकार (ज्यामिति/geometry) अजीब तरीकों से बदलता है।

समस्या: वर्तमान "कॉन्फिडेंस" चेक क्यों विफल होते हैं

वैज्ञानिकों ने इस रोबोट को सीखने के दौरान अनिश्चित होना सिखाने की कोशिश की है (Train-Time विधियाँ)। लेकिन यह एक शेफ को खाना बनाना सीखते समय ही अनिश्चित होना सिखाने जैसा है। यह धीमा है, महंगा है, और अक्सर शेफ को वास्तव में खाना पकाने में और भी खराब बना देता है।

अन्य विधियाँ यह कोशिश करती हैं कि रोबोट के प्रशिक्षित होने के बाद एक "कॉन्फिडेंस मीटर" जोड़ा जाए (Post-Hoc विधियाँ)। हालाँकि, इनमें से अधिकांश मौजूदा मीटर जेनेरिक मौसम रिपोर्ट की तरह हैं। वे कहते हैं, "बारिश हो सकती है," लेकिन वे विशिष्ट पहाड़ों के आकार या स्थानीय हवा के पैटर्न को नहीं देखते हैं। वे इस तथ्य को नजरअंदाज कर देते हैं कि अनिश्चितता अक्सर बहुत विशिष्ट, भौतिक रूप से सार्थक स्थानों पर होती है (जैसे ठीक वहीं जहाँ एक विंग पर शॉकवेव टकराती है)।

समाधान: REEF-GP (एक "स्मार्ट डिटेक्टिव")

लेखकों ने REEF-GP नामक एक नई विधि प्रस्तावित की है। REEF-GP को एक स्मार्ट डिटेक्टिव (जासूस) के रूप में सोचें जो रोबोट के काम पूरा करने के बाद उसकी गलतियों की जांच करता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "फ्रोजन" (Frozen) रोबोट

सबसे पहले, वे तेज़ और सटीक रोबोट को फ्रीज (स्थिर) कर देते हैं। वे इसके दिमाग को नहीं बदलते और न ही इसे फिर से प्रशिक्षित करते हैं। वे बस इसे अपना काम करने देते हैं और भविष्यवाणी करने देते हैं।

2. "रेसिडुअल" (The Residual - गलती)

जासूस यह देखता है कि रोबोट ने जो भविष्यवाणी की और जो वास्तव में हुआ, उनके बीच क्या अंतर है। इस अंतर को रेसिडुअल (residual) कहा जाता है।

उपमा: यदि रोबोट भविष्यवाणी करता है कि एक पुल 100 टन भार सहन करेगा, लेकिन वास्तव में वह 90 टन ही सह पाता है, तो वह गायब हुआ 10 टन "रेसिडुअल" है।

3. रोबोट के अपने "सीक्रेट नोट्स" का उपयोग करना

यही सबसे चतुर हिस्सा है। अधिकांश जासूस केवल अंतिम गलती को देखते हैं। लेकिन REEF-GP रोबोट के आंतरिक नोट्स (इसके हिडन लेयर्स) को देखता है जबकि वह समस्या को हल कर रहा था।

उपमा: कल्पना कीजिए कि रोबोट एक चित्रकार है। केवल अंतिम पेंटिंग को यह देखने के लिए देखने के बजाय कि वह कैसी है, REEF-GP उन स्केच और ब्रशस्ट्रोक को देखता है जो रोबोट ने पेंटिंग करते समय बनाए थे।
पेपर का दावा है कि इन आंतरिक नोट्स में पहले से ही ज्यामिति का एक "मानचित्र" मौजूद है। रोबोट पहले से ही सीख चुका है कि वस्तु का आकार कैसे विकृत और परिवर्तित होता है। REEF-GP इन नोट्स का पुन: उपयोग अनिश्चितता के लिए एक कस्टम मैप बनाने में करता है।

4. "ज्यामिति-जागरूक" (Geometry-Aware) मैप

चूंकि REEF-GP रोबोट के अपने आंतरिक नोट्स का उपयोग करता है, इसलिए इसे पता है कि कहाँ समस्या ढूँढनी है।

उपमा: यदि रोबोट एक विंग के ऊपर वायु प्रवाह की भविष्यवाणी कर रहा है, तो एक जेनेरिक मीटर कह सकता है, "अनिश्चितता हर जगह है।" लेकिन REEF-GP रोबोट के आंतरिक नोट्स को देखता है और कहता है, "आह, रोबोट के आंतरिक मानचित्र में शॉकवेव के ठीक पास एक दरार दिख रही है। अनिश्चितता वहीं होनी चाहिए।"
परिणाम एक कॉन्फिडेंस मैप है जो ठीक वहीं चमकता है जहाँ भौतिक विज्ञान जटिल होता है (जैसे शॉक फ्रंट), न कि केवल बेतरतीब ढंग से अनुमान लगाता है।

5. "सबसेट" ट्रिक (Scalability)

आमतौर पर, इस तरह के विस्तृत कॉन्फिडेंस की गणना करना इतना भारी होता है कि यह कंप्यूटर को क्रैश कर देता है (जैसे समुद्र तट पर रेत के हर कण को गिनने की कोशिश करना)।

उपमा: रेत के हर कण को गिनने के बजाय, REEF-GP रेत की एक रैंडम मुट्ठी चुनता है, उसका अध्ययन करता है, और उस आधार पर पूरे समुद्र तट के बारे में एक बहुत अच्छा अनुमान लगाता है। यह प्रक्रिया वह बार-बार अलग-अलग मुट्ठियों के साथ करता है। यह इसे बड़े 3D आकारों के लिए भी मानक कंप्यूटरों पर चलाने के लिए पर्याप्त तेज़ बनाता है।

परिणाम: तेज़, सस्ता और सटीक

पेपर ने पाँच अलग-अलग भौतिक समस्याओं (जैसे विंग के ऊपर हवा का प्रवाह या पाइप में पानी) पर REEF-GP का परीक्षण किया।

यह रोबोट को धीमा नहीं करता: इस कॉन्फिडेंस मीटर को जोड़ने से रोबोट की भविष्यवाणियों में कोई गिरावट नहीं आई।
यह "गोल्ड स्टैंडर्ड" के बराबर है: अनिश्चितता प्राप्त करने का सबसे सटीक तरीका 5 अलग-अलग रोबोट्स को प्रशिक्षित करना और उनकी तुलना करना है (Deep Ensembles)। यह बहुत महंगा है। REEF-GP ने इस महंगी विधि के समान सटीकता हासिल की, लेकिन बहुत कम कंप्यूटिंग पावर के साथ।
यह नए आकारों को संभालता है: जब रोबोट का परीक्षण उन आकारों पर किया गया जिन्हें उसने पहले कभी नहीं देखा था (जैसे एक अजीब आकार की कार), तो REEF-GP ने सही ढंग से पहचान लिया, "मैं इस बारे में अनिश्चित हूँ," और इसकी अनिश्चितता ठीक वहीं बढ़ी जहाँ त्रुटियां थीं। अन्य विधियां भ्रमित हो गईं और गलत आत्मविश्वास (false confidence) दिखाती रहीं।

सारांश

REEF-GP एक तरीका है जिससे किसी तेज़ AI फिजिक्स सॉल्वर को बिना फिर से प्रशिक्षित किए उसमें "कॉन्फिडेंस मीटर" जोड़ा जा सकता है। यह समस्या के आकार को समझने के लिए सॉल्वर के अपने आंतरिक "स्केच" को देखकर काम करता है, जिससे यह सटीक रूप से बता पाता है कि AI कहाँ गलत हो सकता है। यह एक तेज़, आत्मविश्वासी रोबोट को एक स्मार्ट सहायक देने जैसा है जो जानता है कि काम को कहाँ दोबारा चेक करना है, जिससे समय और पैसा बचता है और सुरक्षा भी बनी रहती है।

तकनीकी सारांश: ऑपरेटर लर्निंग में ज्योमेट्री-अवेयर पोस्ट-हॉक अनसर्टेन्टी क्वांटिफिकेशन (अनिश्चितता परिमाणीकरण)

समस्या विवरण (Problem Statement)

न्यूरल ऑपरेटर्स फ्लूइड डायनेमिक्स और सॉलिड मैकेनिक्स जैसे डोमेन में पार्शियल डिफरेंशियल इक्वेशंस (PDEs) को हल करने के लिए शक्तिशाली सरोगेट के रूप में उभरे हैं। हालाँकि, उनकी मानक नियतत्ववादी (deterministic) प्रकृति उन्हें उन वैज्ञानिक अनुप्रयोगों के लिए सीमित करती है जहाँ कठोर अनसर्टेन्टी क्वांटिफिकेशन (UQ) की आवश्यकता होती है, विशेष रूप से ज्यामितीय परिवर्तनशीलता (geometric variability) के मामले में। मौजूदा UQ दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं:

ट्रेन-टाइम विधियाँ: डीप एन्सेम्बल्स (Deep Ensembles) या बायेसियन एप्रोक्सिमेशन (जैसे MC Dropout) जैसी तकनीकें जो नेटवर्क के मापदंडों (parameters) में अनिश्चितता का मॉडल बनाती हैं। ये अनस्ट्रक्चर्ड मेश (unstructured meshes) पर बड़े पैमाने के ऑपरेटर लर्निंग के लिए अक्सर गणनात्मक रूप से अत्यधिक खर्चीली होती हैं।
पोस्ट-हॉक विधियाँ: लैप्लेस एप्रोक्सिमेशन (Laplace approximation) जैसी विधियाँ जो एक फ्रीज किए गए मॉडल में संभाव्यता घटकों को जोड़ती हैं। हालांकि ये अधिक कुशल हैं, लेकिन कई विधियाँ स्थानीय वेट-स्पेस एप्रोक्सिमेशन या जेनेरिक फीचर मैप्स पर निर्भर करती हैं जो ऑपरेटर द्वारा सीखे गए विशिष्ट ज्योमेट्री-अवेयर रिप्रेजेंटेशन को पकड़ने में विफल रहती हैं।

एक प्रीट्रेंड न्यूरल ऑपरेटर के अंतर्निहित, फिजिक्स-अवेयर लेटेंट रिप्रेजेंटेशन का उपयोग करके बिना मॉडल को फिर से प्रशिक्षित किए या अनंत-आयामी स्थानों (infinite-dimensional spaces) में गलत प्रायर (prior) थोपे बिना, ज्योमेट्री-अवेयर अनसर्टेन्टी बनाने में एक महत्वपूर्ण अंतर मौजूद है।

कार्यप्रणाली: REEF-GP

लेखक REEF-GP (रेसिडुअल ऑन एम्बेडेड फीचर्स गॉसियन प्रोसेस) प्रस्तावित करते हैं, जो एक पोस्ट-हॉक UQ फ्रेमवर्क है जो ऑपरेटर के सीखे गए फीचर स्पेस में सीधे फ्रीज्ड न्यूरल ऑपरेटर और वास्तविक समाधान के बीच के विसंगति (discrepancy) को मॉडल करता है।

मुख्य ढांचा (Core Framework)

यह विधि प्रीट्रेंड न्यूरल ऑपरेटर $G_\theta$ को एक नियतत्ववादी कंप्यूटर मॉडल के रूप में मानती है। एक क्वेरी कोऑर्डिनेट $x$ पर वास्तविक समाधान $v(x)$ इस प्रकार है:
$v(x) = G_\theta(u, a)(x) + \delta(u, x, h(u, a, x)) + \epsilon$
जहाँ $\delta$ मॉडल की अपर्याप्तता (residual) को दर्शाता है और $\epsilon$ ऑब्जर्वेशनल नॉइज़ है। मानक KOH (Kennedy–O'Hagan) फ्रेमवर्क के विपरीत, जो मॉडल को एक ब्लैक बॉक्स की तरह मानते हैं, REEF-GP $G_\theta$ की आंतरिक संरचना का लाभ उठाता है।

प्रमुख तकनीकी घटक

ज्योमेट्री-अवेयर डीप कर्नेल:
- एक नया फीचर मैप सीखने के बजाय, REEF-GP फ्रीज्ड ऑपरेटर (विशेष रूप से Transolver) की हिडन लेयर्स का उपयोग करता है जो पहले से ही इनपुट ज्योमेट्री के विकृत (deformed), फिजिक्स-अवेयर रिप्रेजेंटेशन को एनकोड करती हैं।
- यह सेंटर्ड कर्नेल एलाइनमेंट (CKA) के आधार पर सूचनात्मक लेयर्स (शुरुआती, मध्य और अंतिम) के एक उपसमूह का चयन करके एक ऑगमेंटेड स्टेट $h(u, a, x)$ का निर्माण करता है।
- एक डीप कर्नेल को स्थानिक निर्देशांकों, इनपुट फंक्शन्स और इन लेटेंट एम्बेडिंग्स के गुणनफल पर परिभाषित किया गया है: $k_\phi(\bar{z}, \bar{z}') = k_{space} \cdot k_{fun} \cdot k_{latent}$ । लेटेंट कर्नेल एम्बेडिंग्स को वार्प करने के लिए एक स्पेक्ट्रल-नॉर्मलाइज्ड MLP का उपयोग करता है, जिससे एक नॉन-स्टेशनरी प्रायर बनता है जो स्थानीय भौतिक व्यवस्थाओं (physical regimes) के अनुकूल होता है।
प्रोबेबिलिस्टिक डिस्क्रेपेंसी मॉडलिंग:
- रेसिडुअल $\delta$ को एक हेटेरोसेडास्टिक नॉइज़ टर्म के साथ एक ज़ीरो-मीन गॉसियन प्रोसेस (GP) के रूप में मॉडल किया गया है।
- नॉइज़ वेरिएंस इनपुट-डिपेंडेंट है, जिसे फीचर कोलैप्स को रोकने और स्थिरता सुनिश्चित करने के लिए एक स्पेक्ट्रल-नॉर्मलाइज्ड डेंस नेटवर्क द्वारा पैरामीटराइज़ किया गया है।
स्केलेबल ट्रेनिंग और इंफरेंस:
- सटीक GP ट्रेनिंग की $O((MN)^3)$ जटिलता (जहाँ $M$ नमूनों की संख्या है और $N$ विविक्तता बिंदुओं की संख्या है) को संभालने के लिए, REEF-GP कर्नेल फ्लोज़ (KF) से प्रेरित एक स्टोकेस्टिक सबसेट रणनीति का उपयोग करता है। यह रेसिड्यूल्स के मिनी-बैचेस का उपयोग करके हाइपरपैरामीटर्स को ऑप्टिमाइज़ करता है, जिससे मेमोरी बाधाओं को फुल मेश रेजोल्यूशन से अलग किया जा सकता है।
- जनरलाइज्ड प्रोडक्ट ऑफ एक्सपर्ट्स (gPoE): इंफरेंस के लिए, यह विधि डेटा के रैंडम सबसेट्स पर $K$ स्वतंत्र GP एक्सपर्ट्स को कंडीशन करती है। अंतिम प्रेडिक्टिव डिस्ट्रीब्यूशन को प्रिसिजन स्पेस में इन एक्सपर्ट्स को एकत्रित करके प्राप्त किया जाता है, जिससे टेस्ट-टाइम मेमोरी फुटप्रिंट को पूरे डेटासेट के आकार के बजाय प्रति एक्सपर्ट $O(N_s^2)$ तक सीमित किया जाता है।

मुख्य योगदान

ज्योमेट्री-अवेयर डीप कर्नेल: एक ऐसे कर्नेल का डिज़ाइन जो प्रीट्रेंड न्यूरल ऑपरेटर के आंतरिक, फ्रीज्ड रिप्रेजेंटेशन का लाभ उठाता है, जिससे अलग से फीचर मैप सीखने या ऑपरेटर की रेगुलैरिटी के लिए मिसस्पेसिफाइड प्रायर थोपने की आवश्यकता नहीं होती।
स्केलेबल पोस्ट-हॉक UQ: स्टोकेस्टिक सबसेट ऑप्टिमाइज़ेशन और gPoE पर आधारित ट्रेनिंग और इंफरेंस प्रक्रियाओं का विकास, जो लाखों पॉइंट्स वाले ऑपरेटर लर्निंग डेटासेट्स के लिए GP-आधारित UQ को व्यावहारिक बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): पांच 2D और 3D PDE बेंचमार्क्स (एयरफॉइल, शेपनेट कार और अहमद बॉडी सहित) पर प्रतिस्पर्धी कैलिब्रेशन का प्रदर्शन, जो ज्योमेट्रिक डिस्ट्रीब्यूशन शिफ्ट के तहत भी मजबूत है।

परिणाम

पेपर का मूल्यांकन छह बेसलाइन्स के विरुद्ध किया गया है: डीप एन्सेम्बल्स, MC Dropout, प्रोबेबिलिस्टिक न्यूरल ऑपरेटर (PNO), इनपुट पर्टरबेशन, लैप्लेस एप्रोक्सिमेशन (LUNO-LA), और डीप वेकिया एन्सेम्बल (DVE-spatial)।

प्रेडिक्टिव एक्यूरेसी: REEF-GP सभी डेटासेट्स में बेस डिटर्मिनिस्टिक ऑपरेटर (Transolver) की प्रेडिक्टिव एक्यूरेसी को बनाए रखता है, जिसमें रिलेटिव $L_2$ एरर बेसलाइन के समान है। इसके विपरीत, ट्रेन-टाइम मेथड्स (MC Dropout, PNO) और इनपुट पर्टरबेशन महत्वपूर्ण एक्यूरेसी पेनल्टी झेलते हैं।
अनसर्टेन्टी कैलिब्रेशन: 3D बेंचमार्क्स (ShapeNet Car) पर, REEF-GP डीप एन्सेम्बल्स (जैसे एन्सेम्बल्स के लिए 2.84 बनाम 4.16) के साथ प्रतिस्पर्धी नेगेटिव लॉग-लाइक्लीहुड (NLL) स्कोर प्राप्त करता है और अन्य पोस्ट-हॉक मेथड्स जैसे LUNO-LA (33.55) से काफी बेहतर प्रदर्शन करता है।
स्पेशियल कोहेरेंस (Spatial Coherence): REEF-GP द्वारा उत्पन्न अनसर्टेटी मैप्स स्थानिक रूप से सार्थक होते हैं, जो उच्च त्रुटि वाले भौतिक रूप से महत्वपूर्ण क्षेत्रों, जैसे एयरफॉइल पर शॉक फ्रंट्स और कार ज्योमेट्री के फ्रंट बंपर के आसपास केंद्रित होते हैं।
ज्यामितीय OOD मजबूती (Geometric OOD Robustness): ज्योमेट्रिक डिस्ट्रीब्यूशन शिफ्ट (मैक्सिमम मीन डिस्क्रीपेंसी द्वारा मापा गया) के तहत, REEF-GP स्थिर कैलिब्रेशन बनाए रखता है। जबकि LUNO-LA और पर्टरबेशन जैसे अन्य मेथड्स टेस्ट ज्योमेट्री के ट्रेनिंग डिस्ट्रीब्यूशन से विचलित होने पर महत्वपूर्ण NLL गिरावट दिखाते हैं, REEF-GP का NLL अपेक्षाकृत स्थिर रहता है।
कंप्यूटेशनल लागत: REEF-GP में डीप एन्सेम्बल्स की तुलना में एक ऑर्डर ऑफ मैग्नीट्यूड कम ट्रेनिंग ओवरहेड होता है। हालांकि कर्नेल मैट्रिसेस के कारण इसका इवैल्यूएशन मेमोरी कुछ बेसलाइन्स से अधिक है, फिर भी यह कमोडिटी GPU सीमाओं के भीतर रहता है।

महत्व और दावे

लेखक दावा करते हैं कि REEF-GP यह प्रदर्शित करता है कि ऑपरेटर के सीखे गए फीचर स्पेस में सीधे सटीक और स्केलेबल पोस्ट-हॉक UQ प्राप्त किया जा सकता है। अपने ज्योमेट्री-अवेयर एम्बेडिंग्स का पुन: उपयोग करके, यह विधि उन पैरामीटर-सेंट्रिक दृष्टिकोणों (जैसे डीप एन्सेम्बल्स) के लिए एक व्यावहारिक विकल्प प्रदान करती है जो बड़े पैमाने की समस्याओं के लिए बहुत महंगे हैं।

पेपर इस बात पर जोर देता है कि एक PDE को हल करते समय एक न्यूरल ऑपरेटर द्वारा सीखी गई ज्योमेट्री स्वाभाविक रूप से उस जानकारी को एनकोड करती है जिसकी आवश्यकता अपनी अनसर्टेन्टी को मापने के लिए होती है। यह दृष्टिकोण पैरामीटर-आधारित UQ के पूरक अक्ष को खोलता है, जो बिना महंगे पुन: प्रशिक्षण या एन्सेम्बल विधियों के, बढ़ते बड़े, ज्योमेट्री-अवेयर ऑपरेटर्स के लिए अनसर्टेटी क्वांटिफिकेशन का एक प्राकृतिक शुरुआती बिंदु प्रदान करता है। लेखक उन बैकबोन के संबंध में सीमाओं को भी नोट करते हैं जो पॉइंटवाइज स्पेशियल कॉरेस्पोंडेंस को सुरक्षित नहीं रखते हैं (जैसे मानक FNOs), और इन्हें भविष्य के कार्य के लिए स्वाभाविक दिशाओं के रूप में पहचानते हैं।