🔬 physics

Bayesian Reasoning for Physics Informed Neural Networks

यह शोध पत्र भौतिकी-सूचित तंत्रिका नेटवर्क (फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स) का एक साक्ष्य-संचालित बायेसियन सूत्रीकरण प्रस्तुत करता है जो मॉडल साक्ष्य (मॉडल एविडेंस) की विश्लेषणात्मक गणना के लिए लाप्लास सन्निकटन (लैपलेस एप्रोक्सिमेशन) का उपयोग करता है, जिससे विभिन्न आंशिक अवकल समीकरणों (पार्शियल डिफरेंशियल इक्वेशंस) में लॉस वेट्स और अनिश्चितता परिमाणीकरण का कुशल, सैंपलिंग-मुक्त स्वचालित अनुकूलन सक्षम होता है।

मूल लेखक: Krzysztof M. Graczyk, Kornel Witkowski

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Krzysztof M. Graczyk, Kornel Witkowski

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि एक धातु की छड़ (metal rod) के माध्यम से गर्मी कैसे फैलती है, या समुद्र तट पर एक लहर कैसे टकराती है। भौतिक विज्ञान (physics) की दुनिया में, इन घटनाओं के लिए हमारे पास "नियमों की किताबें" होती हैं जिन्हें पार्शियल डिफरेंशियल इक्वेशन्स (PDEs) कहा जाता है। आमतौर पर, इन नियमपुस्तिकाओं को हल करना एक विशाल, जटिल पहेली को हल करने जैसा है, जिसमें एक ऐसे कैलकुलेटर का उपयोग किया जाता है जिसे समय बहुत अधिक लगता है।

यहाँ आती हैं फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs)। एक PINN को एक बहुत ही बुद्धिमान छात्र के रूप में सोचें जो भौतिकी की समस्या का उत्तर सीखने की कोशिश कर रहा है। केवल उत्तर रटने के बजाय, इस छात्र को तीन प्रकार का होमवर्क दिया जाता है:

नियमों की किताब: भौतिकी के समीकरण (जैसे, "गर्मी इस तरह बहनी चाहिए")।
सीमाएँ (Boundaries): समस्या के किनारे (जैसे, "छड़ के सिरे ठंडे रखे गए हैं")।
अवलोकन (Observations): वास्तविक दुनिया के डेटा बिंदु (जैसे, "इस स्थान पर एक थर्मामीटर की रीडिंग यहाँ है")।

छात्र इन तीनों क्षेत्रों में अपनी "गलतियों" (loss) को कम करने की कोशिश करता है। लेकिन यहाँ पेचीदा बात यह है: छात्र को नियमों की किताब को बनाम थर्मामीटर की रीडिंग को कितनी अहमियत देनी चाहिए?

पारंपरिक तरीकों में, एक मानव शिक्षक को सही संतुलन का अनुमान लगाना पड़ता है। "ठीक है, शायद नियम 50% महत्वपूर्ण है और थर्मामीटर 50%।" यदि शिक्षक का अनुमान गलत होता है, तो छात्र असफल हो जाता है। यह रेडियो को उसकी फ्रीक्वेंसी के अनुसार ट्यून करने की कोशिश करने जैसा है; आप या तो शोर (static) पाएंगे, या आप स्टेशन को पूरी तरह से मिस कर देंगे।

पेपर का बड़ा विचार: "एविडेंस" डिटेक्टिव (साक्ष्य जासूस)

इस पेपर के लेखक, क्रिस्तोफ एम. ग्राज़िक और कोर्नेल विटकोव्स्की, एक नए तरीके से शिक्षक बनने का प्रस्ताव देते हैं। अनुमान लगाने के बजाय, वे गणित को स्वचालित रूप से इसे समझने देते हैं, जिसे बेयसियन रीजनिंग (Bayesian Reasoning) कहा जाता है।

यहाँ इसका सादृश्य (analogy) है:
कल्पना कीजिए कि छात्र एक अपराध को सुलझाने वाला जासूस है। उनके पास तीन सुराग हैं:

सुराग A: संदिग्ध का बहाना (भौतिकी का समीकरण)।
सुराग B: सुरक्षा कैमरे की फुटेज (बाउंड्री कंडीशंस)।
सुराग C: एक गवाह का बयान (डेटा)।

पुराने तरीके में, जासूस मैन्युअल रूप से तय करता है, "मैं बहाने पर 30% भरोसा करूँगा, कैमरे पर 30% और गवाह पर 40%।" यदि गवाह झूठ बोल रहा है, तो जासूस गलत उत्तर तक पहुँच जाएगा।

इस पेपर के नए तरीके में, जासूस एक "एविडेंस स्कोरकार्ड" का उपयोग करता है। जासूस पूछता है: "यदि मैं मान लूँ कि बहाना 90% महत्वपूर्ण है, तो पूरी कहानी कितनी सटीक बैठती है? यदि मैं मान लूँ कि गवाह 90% महत्वपूर्ण है, तो क्या कहानी बिखर जाती है?"

सिस्टम एक स्कोर की गणना करता है जिसे "मॉडल एविडेंस" कहा जाता है। यह एक "सत्य मीटर" की तरह है। सिस्टम स्वचालित रूप से बहाने, कैमरे और गवाह के महत्व (weights) को तब तक समायोजित करता है जब तक कि वह उस संयोजन को न खोज ले जो सबसे तार्किक और सुसंगत कहानी बनाता है। इसे उन नंबरों का अनुमान लगाने के लिए किसी इंसान की जरूरत नहीं है; गणित खुद वह "स्वीट स्पॉट" ढूंढ लेता है जहाँ कहानी सबसे अधिक अर्थपूर्ण होती है।

उन्होंने इसे कैसे किया (द "लैपलेस" शॉर्टकट)

आमतौर पर, इस तरह के "ट्रुथ मीटर" की गणना करने के लिए कंप्यूटर को लाखों सिमुलेशन चलाने की आवश्यकता होती है, जैसे कि यह देखने के लिए अरबों बार पासे फेंकना कि क्या होता है। यह धीमा और महंगा है।

लेखकों ने लैपलेस एप्रोक्सिमेशन (Laplace Approximation) नामक एक चतुर गणितीय शॉर्टकट का उपयोग किया।

पुराना तरीका (सैंपलिंग): कल्पना कीजिए कि आप कोहरे से भरे पहाड़ के क्षेत्र में सबसे ऊँची चोटी खोजने की कोशिश कर रहे हैं और हर एक रास्ते पर चल रहे हैं। इसमें बहुत समय लगता है।
नया तरीका (लैपलेस): कल्पना कीजिए कि आप एक पहाड़ी पर खड़े हैं। आप अपने चारों ओर देखते हैं, ढलान को महसूस करते हैं, और गणितीय रूप से गणना करते हैं कि चोटी वहीं है, बिना हर रास्ते पर चले।

यह शॉर्टकट कंप्यूटर को "एविडेंस स्कोर" को तुरंत और विश्लेषणात्मक रूप से (analytically) गणना करने की अनुमति देता है। इसका मतलब है कि वे बिना हजारों धीमे सिमुलेशन चलाए, डेटा के साथ भौतिकी के नियमों के महत्व को स्वचालित और तेज़ी से ट्यून कर सकते हैं।

उन्होंने क्या परीक्षण किया

लेखकों ने इस "एविडेंस डिटेक्टिव" का तीन क्लासिक भौतिकी समस्याओं पर परीक्षण किया:

हीट इक्वेशन (Heat Equation): गर्मी किसी सामग्री के माध्यम से कैसे चलती है।
वेव इक्वेशन (Wave Equation): तरंगें अंतरिक्ष में कैसे लहरें बनाती हैं।
बर्गर्स इक्वेशन (Burgers' Equation): तरल प्रवाह (fluid flow) से जुड़ी एक कठिन समस्या जो बहुत तीव्र और अराजक (chaotic) हो सकती है।

पहले दो के लिए, उन्होंने ज्ञात "परफेक्ट" उत्तरों के साथ तुलना की, और जासूस ने इसे सही पाया। तीसरे (बर्गर्स) के लिए, जहाँ जाँच के लिए कोई परफेक्ट उत्तर नहीं है, उन्होंने दिखाया कि सिस्टम शोर वाले, अपूर्ण डेटा के साथ भौतिकी के नियमों को मिला सकता है ताकि एक विश्वसनीय भविष्यवाणी दी जा सके, जिसमें एक "कॉन्फिडेंस इंटरवल" (यह बताना कि वह कितना आश्वस्त है) भी शामिल है।

निचोड़ (The Bottom Line)

यह पेपर AI को भौतिकी की समस्याएं सिखाने का एक तरीका पेश करता है जहाँ AI स्वचालित रूप से यह तय करता है कि उसे गणित के नियमों पर कितना भरोसा करना है और वास्तविक दुनिया के डेटा पर कितना।

अब अनुमान लगाने की ज़रूरत नहीं: आपको वेट्स (weights) को मैन्युअल रूप से ट्यून करने की आवश्यकता नहीं है।
अब धीमा सैंपलिंग नहीं: वे धीमे, रैंडम सैंपलिंग के बजाय एक तेज़ गणितीय शॉर्टकट (लैपलेस) का उपयोग करते हैं।
अंतर्निहित आत्मविश्वास: सिस्टम न केवल उत्तर देता है, बल्कि यह भी बताता है कि वह कितना अनिश्चित है।

यह एक छात्र को एक स्व-सुधार करने वाले कंपास देने जैसा है जो उसे सबसे तार्किक समाधान की ओर ले जाता है, जो भौतिकी के नियमों और डेटा की अस्त-व्यस्त वास्तविकता के बीच संतुलन बनाता है, और इसके लिए किसी इंसान को लगातार डायल बदलने की आवश्यकता नहीं होती।

तकनीकी सारांश: फिजिक्स इन्फॉर्म्ड न्यूरल नेटवर्क्स के लिए बेयसियन रीजनिंग

समस्या विवरण
फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) आंशिक अवकल समीकरणों (PDEs) को हल करने के लिए एक शक्तिशाली उपकरण के रूप में उभरे हैं, जो भौतिक नियमों को सीधे लॉस फंक्शन (loss function) में समाहित करते हैं। हालाँकि, PINN ढांचे में एक महत्वपूर्ण चुनौती विभिन्न लॉस घटकों के बीच सापेक्ष भार (relative weights) का मैन्युअल ट्यूनिंग करना है: जैसे कि PDE अवशेष (residuals), सीमा/प्रारंभिक स्थितियाँ (boundary/initial conditions), और प्रेक्षण संबंधी डेटा (observational data)। अनुचित वेटिंग से विशिष्ट लॉस टर्म्स का ग्रेडिएंट पर प्रभुत्व हो सकता है, जिससे मॉडल विफल हो सकता है या अभिसरण (convergence) खराब हो सकता है। मौजूदा बेयसियन दृष्टिकोण, जो सैंपलिंग विधियों (जैसे हैमिल्टोनियन मोंटे कार्लो) या वेरिएशनल इन्फरेंस पर निर्भर करते हैं, मध्यम आकार के नेटवर्क के लिए भी अत्यधिक गणनात्मक रूप से कठिन हो जाते हैं और पोस्टीरियर सैंपलिंग के बिना स्वचालित हाइपरपैरामीटर ट्यूनिंग के लिए कुशल तंत्र की कमी रखते हैं।

कार्यप्रणाली
लेखक PINNs के लिए एक साक्ष्य-संचालित (evidence-driven) बेयसियन फॉर्मूलेशन का प्रस्ताव करते हैं जो मॉडल साक्ष्य (model evidence) की गणना करने के लिए लाप्लास सन्निकटन (Laplace approximation) का उपयोग करता है। यह दृष्टिकोण मॉडल साक्ष्य की गणना करने के लिए सैंपलिंग-आधारित पोस्टीरियर इन्फरेंस की गणनात्मक लागत से बचता है। कार्यप्रणाली को तीन चरणों में संरचित किया गया है:

मैक्सिमम पोस्टीरियर (MP) कॉन्फ़िगरेशन: नेटवर्क वेट्स ( $w$ ) को एक कुल लॉस फंक्शन ( $E_T$ ) को कम करने के लिए अनुकूलित किया जाता है जिसमें वेट डिके (रेगुलराइजेशन), PDE अवशेष, और सीमा स्थितियों के लिए भारित पद शामिल हैं। लॉस को $E_T = \sum \alpha_i E^i_w + \beta_q E^q_D + \beta_b E^b_D$ के रूप में परिभाषित किया गया है, जहाँ $\alpha$ और $\beta$ क्रमशः रेगुलराइजेशन और डेटा बाधाओं की शक्ति को नियंत्रित करने वाले हाइपरपैरामीटर हैं।
एविडेंस सन्निकटन (Evidence Approximation): फिक्स्ड-पॉइंट समीकरणों (जो अस्थिर हो सकते हैं) के माध्यम से हाइपरपैरामीटर्स को इटरेट करने के बजाय, लेखक एक अतिरिक्त लॉस फंक्शन $E_{hyp} = -\ln p(D | \alpha, \beta, N)$ को परिभाषित करते हैं, जो लॉग-एविडेंस से प्राप्त होता है। इस $E_{hyp}$ को ग्रेडिएंट-आधारित ऑप्टिमाइजेशन (Adam) का उपयोग करके हाइपरपैरामीटर्स ( $\alpha, \beta$ ) के संबंध में कम किया जाता है। लॉग-एविडेंस में MP कॉन्फ़िगरेशन पर लॉस वैल्यू, हेसियन मैट्रिक्स का डिटर्मिनेंट ( $|A|$ ), और पैरामीटर्स एवं डेटा पॉइंट्स से संबंधित लॉगरिदमिक टर्म्स शामिल हैं। यह प्रक्रिया मॉडल साक्ष्य को अधिकतम करने के लिए विभिन्न लॉस टर्म्स के योगदान को प्रभावी ढंग से संतुलित करती है।
मॉडल तुलना और अनिश्चितता: अंतिम चरण में मॉडल साक्ष्य ( $p(D|N)$ ) की गणना करना शामिल है, जो विभिन्न नेटवर्क आर्किटेक्चर की तुलना करने के लिए एक मीट्रिक के रूप में कार्य करता है। ढांचा एपिस्टेमिक अनिश्चितता (पैरामीटर अनिश्चितता) को मात्रात्मक रूप से मापने के लिए वेट्स के पोस्टीरियर डिस्ट्रीब्यूशन को MP समाधान के इर्द-गिर्द एक गॉसियन के रूप में अनुमानित करता है, जिसका कोवेरिएंस मैट्रिक्स व्युत्क्रम हेसियन ( $A^{-1}$ ) से प्राप्त होता है।

इसका कार्यान्वयन PyTorch वातावरण का उपयोग करता है, जो नेटवर्क वेट्स और हाइपरपैरामीटर्स दोनों के डिफरेंशिएबल अपडेट की अनुमति देता है, जिससे कुशल ऑनलाइन ट्यूनिंग सुलभ होती है।

प्रमुख योगदान

एनालिटिक एविडेंस इवैल्यूएशन: यह पेपर लाप्लास सन्निकटन का उपयोग करके मॉडल साक्ष्य की गणना करने के लिए एक विधि पेश करता है, जो महंगी पोस्टीरियर सैंपलिंग की आवश्यकता के बिना कुशल हाइपरपैरामीटर ट्यूनिंग को सक्षम बनाता है।
स्वचालित लॉस वेटिंग: PDE अवशेष, सीमा स्थितियों और डेटा टर्म्स के बीच सापेक्ष भार को इन्फर करने योग्य हाइपरपैरामीटर ( $\beta$ ) के रूप में माना जाता है। ढांचा मॉडल साक्ष्य को अधिकतम करने के लिए इन भारों को स्वचालित रूप से अनुकूलित करता है, जो मानक PINNs में निहित "फिक्सिंग रिलेटिव वेट्स" की समस्या को हल करता है।
एकीकृत अनिश्चितता मात्रात्मककरण (Uncertainty Quantification): यह विधि डेटा शोर (एलेटोरिक) और मॉडल पैरामीटर विविधताओं (एपिस्टेमिक) दोनों से उत्पन्न होने वाली प्रेडिक्टिव अनिश्चितताओं का अनुमान लगाने के लिए एक एकीकृत बेयसियन सेटिंग प्रदान करती है।
आर्किटेक्चरल चयन: साक्ष्य की गणना करके, यह ढांचा "ऑकैम के रेज़र" (Occam's razor) सिद्धांत के माध्यम से अत्यधिक जटिल मॉडलों को स्वाभाविक रूप से दंडित करते हुए, इष्टतम नेटवर्क आर्किटेक्चर के वस्तुनिष्ठ चयन की अनुमति देता है।

परिणाम
लेखक तीन बेंचमार्क PDEs पर इस विधि का प्रदर्शन करते हैं: हीट इक्वेशन, वेव इक्वेशन, और बर्गर्स इक्वेशन।

हीट और वेव इक्वेशन्स: ज्ञात एनालिटिक समाधानों वाली इन समस्याओं के लिए, बेयसियन PINN ने सटीक परिणामों के अनुरूप समाधान प्राप्त किए। विधि ने सफलतापूर्वक हाइपरपैरामीटर्स को ट्यून किया और अनिश्चितता अनुमान (2 $\sigma$ इंटरवल) प्रदान किया जो वास्तविक समाधानों को कैप्चर करता है।
बर्गर्स इक्वेशन: इस नॉन-लीनियर समस्या, जिसमें एनालिटिक समाधान नहीं है, को एक गहरे नेटवर्क आर्किटेक्चर का उपयोग करके हल किया गया। ढांचे ने शोर युक्त "प्रायोगिक" डेटा के साथ गवर्निंग इक्वेशन्स को सफलतापूर्वक एकीकृत किया, और प्रेडिक्टिव अनिश्चितताएं प्रदान कीं।
तुलनात्मक प्रदर्शन:
- HMC के विरुद्ध: एक नॉन-लीनियर रिग्रेशन कार्य में, प्रस्तावित लाप्लास-आधारित दृष्टिकोण ने हाइब्रिड मोंटे कार्लो (HMC) के समान फिट और अनिश्चितताएं दीं, लेकिन काफी कम कंप्यूटेशनल ओवरहेड और बिना सैंपलिंग की आवश्यकता के।
- फिक्स्ड-वेट PINN के विरुद्ध: वेव इक्वेशन पर फिक्स्ड हाइपरपैरामीटर्स वाले मानक PINNs की तुलना में, बेयसियन दृष्टिकोण ने बेहतर प्रदर्शन दिखाया, जिससे कई रन के दौरान रिलेटिव $L_2$ एरर में लगभग 25% की कमी आई। हीट इक्वेशन के लिए, दोनों दृष्टिकोण तुलनीय प्रदर्शन करते हैं, जो सुझाव देता है कि सरल समस्याओं के लिए फिक्स्ड वेट पर्याप्त हैं।
कंप्यूटेशनल लागत: यह विधि उथले (shallow) से मध्यम आकार के नेटवर्क्स के लिए कंप्यूटेशनल रूप से कुशल है। हालांकि बर्गर्स इक्वेशन को उसकी जटिलता के कारण लंबे प्रशिक्षण समय की आवश्यकता थी, लेकिन एविडेंस-आधारित चयन ने लगातार स्थिर और सटीक समाधानों की पहचान की।

महत्व और दावे
पेपर का दावा है कि इसका प्राथमिक योगदान बिना पोस्टीरियर सैंपलिंग के PINN लॉस वेट को ट्यून करने और मॉडल आर्किटेक्चर चुनने के लिए एक सिद्धांत-आधारित, एविडेंस-ड्रिवन तंत्र प्रदान करना है। लॉस वेट्स को बेयसियन हाइपरपैरामीटर के रूप में मानकर, यह विधि अंशांकन (calibration) की प्रक्रिया को स्वचालित करती है, जो आमतौर पर ह्यूरिस्टिक और ट्रायल-एंड-एरर पर आधारित होती है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण विशेष रूप से उथले या मध्यम आकार के PINNs के लिए प्रभावी है जहाँ हेसियन-आधारित इन्फरेंस व्यवहार्य है। वे उल्लेख करते हैं कि जबकि यह विधि गवर्निंग इक्वेशन्स और शोर युक्त मापों के एकीकरण को सफलतापूर्वक संभालती है, बहुत गहरे आर्किटेक्चर तक विस्तार करने के लिए वर्तमान कार्य के दायरे से परे वैकल्पिक पोस्टीरियर सन्निकटन की आवश्यकता होगी। इस ढांचे को एक मजबूत विकल्प के रूप में प्रस्तुत किया गया है जो सैंपलिंग-आधारित बेयसियन PINNs के मुकाबले कंप्यूटेशनल दक्षता और कठोर अनिश्चितता मात्रात्मककरण के बीच संतुलन प्रदान करता है।

पेपर का बड़ा विचार: "एविडेंस" डिटेक्टिव (साक्ष्य जासूस)

उन्होंने इसे कैसे किया (द "लैपलेस" शॉर्टकट)

उन्होंने क्या परीक्षण किया

निचोड़ (The Bottom Line)

इसी तरह के और पेपर