🤖 machine learning

Enhancing Physics-Informed Neural Networks Through Feature Engineering

यह शोध पत्र SAFE-NET को प्रस्तुत करता है, जो एक एकल-परत वाली वास्तुकला है जो फूरियर फीचर्स (Fourier features) और अनुकूलित कंडीशनिंग का लाभ उठाकर आंशिक अवकल समीकरणों (partial differential equations) को मौजूदा फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स की तुलना में काफी अधिक दक्षता, कम त्रुटि और कम मापदंडों के साथ हल करता है।

मूल लेखक: Shaghayegh Fazliani, Zachary Frangella, Madeleine Udell

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaghayegh Fazliani, Zachary Frangella, Madeleine Udell

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को यह सिखाने की कोशिश कर रहे हैं कि तालाब में एक लहर कैसे चलती है, एक धातु की प्लेट के माध्यम से गर्मी कैसे फैलती है, या एक कार के पंख (विंग) के चारों ओर हवा कैसे बहती है। इन्हें जटिल गणितीय नियमों द्वारा वर्णित किया जाता है जिन्हें पार्शियल डिफरेंशियल इक्वेशंस (PDEs) कहा जाता है।

लंबे समय से, वैज्ञानिक इन समस्याओं को हल करने के लिए फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) का उपयोग करते आए हैं। एक मानक PINN को एक बहुत ही बुद्धिमान, लेकिन बहुत ही भोली छात्र के रूप में सोचें। इसके पास एक विशाल मस्तिष्क है (कई परतों वाला एक गहरा न्यूरल नेटवर्क) और इसे भौतिकी के नियम बताए गए हैं। हालाँकि, क्योंकि इसे यह नहीं पता कि उत्तर कैसा दिखेगा, इसे लाखों बार अनुमान लगाना और जांचना पड़ता है। यह एक घास के ढेर में सुई खोजने की कोशिश करने जैसा है जहाँ आप एक विशाल डंडे से घास को बेतरतीब ढंग से कुरेद रहे हैं। इसमें बहुत समय लगता है, बहुत अधिक ऊर्जा खर्च होती है, और यह अक्सर बीच में ही अटक जाता है।

हाल ही में, कुछ शोधकर्ताओं ने इस छात्र की मदद करने की कोशिश की है—उसे "फीचर इंजीनियरिंग" देकर—जो मूल रूप से उसे एक नक्शा या संकेत देने जैसा है कि उत्तर कैसा दिख सकता है। लेकिन पिछले नक्शे अक्सर कठोर थे, उन्हें ट्यून करना कठिन था, या उनका उपयोग करना बहुत महंगा था।

यह शोध पत्र एक नई विधि पेश करता है जिसे SAFE-NET कहा जाता है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. "स्मार्ट शॉर्टकट" (फीचर इंजीनियरिंग)

कंप्यूटर को सब कुछ शून्य से अनुमान लगाने देने के बजाय, SAFE-NET उसे एक अच्छी शुरुआत देता है। यह फूरियर फीचर्स (Fourier features) का उपयोग करता है, जो संगीत के सुरों की तरह हैं।

उपमा: कल्पना करें कि आप एक जटिल गाना फिर से बनाने की कोशिश कर रहे हैं। एक मानक न्यूरल नेटवर्क हर एक ध्वनि तरंग को शून्य से सीखने की कोशिश करता है। SAFE-तथापि, SAFE-NET को संगीत बनाने में अच्छे माने जाने वाले संगीत वाद्ययंत्रों (साइन और कोसाइन तरंगों) का एक सेट दिया गया है।
ट्विस्ट: पिछले तरीकों के विपरीत, जो छात्र को निश्चित वाद्ययंत्र देते थे (जो विशिष्ट गाने के लिए बेसुरा हो सकते थे), SAFE-NET छात्र को बजाते समय वाद्ययंत्रों को ट्यून करने की अनुमति देता है। यह सीखता है कि विशिष्ट समस्या के लिए किन "फ्रीक्वेंसी" (सुरों) की आवश्यकता है।

2. "एक-परत वाला जीनियस" (One-Layer Genius)

अधिकांश आधुनिक AI मॉडल गगनचुंबी इमारतों की तरह दर्जनों मंजिलों (गहरी परतों) वाले होते हैं। SAFE-NET एक एक-मंजिला घर है।

उपमा: आपको कुछ किताबें रखने के लिए 50 मंजिला इमारत की आवश्यकता नहीं है; एक छोटी, सुव्यवस्थित शेल्फ बेहतर काम करती है। SAFE-NET सिद्ध करता है कि कई भौतिकी समस्याओं के लिए, आपको एक विशाल, गहरे नेटवर्क की आवश्यकता नहीं है। सही "फीचर्स" (ट्यून किए गए संगीत के सुर) का उपयोग करके, एक सरल, एकल-परत वाला नेटवर्क समस्या को उतनी ही अच्छी तरह से, बल्कि बहुत तेज़ी से हल कर सकता है।
परिणाम: यह वर्तमान में क्षेत्र में लोकप्रिय विशाल, जटिल मॉडलों की तुलना में 70 से 100 गुना कम पैरामीटर्स (मेमोरी और मस्तिष्क कोशिकाएं) का उपयोग करता है।

3. "चिकनी सड़क" (Conditioning)

इन AI मॉडलों को प्रशिक्षित करने के साथ सबसे बड़ी समस्याओं में से एक यह है कि सही उत्तर तक पहुँचने का "रास्ता" गड्ढों और खड़ी ढलानों (गणितीय रूप से "इल-कंडीशन्ड लैंडस्केप" कहा जाता है) से भरा होता है। यह ऑप्टिमाइज़र (ड्राइवर) को क्रैश होने या फंसने के लिए मजबूर करता है।

उपमा: कल्पना करें कि आप एक गंतव्य तक कार चला रहे हैं। मानक तरीके पथरीले, ऊबड़-खाबड़ कच्चे रास्ते पर गाड़ी चलाने जैसे हैं जहाँ कार जोर-जोर से हिलती है। SAFE-NET एक सड़क बनाने वाली टीम की तरह कार्य करता है जो आपके गाड़ी शुरू करने से पहले ही सड़क को चिकना कर देता है।
परिणाम: क्योंकि सड़क चिकनी है, कार (ऑप्टिमाइज़र) बिना क्रैश हुए सीधे गंतव्य तक जा सकती है। यह मॉडल को उन शक्तिशाली, तेज़-ड्राइविंग तकनीकों (जैसे L-BFGS) का उपयोग करने की अनुमति देता है जो आमतौर पर ऊबड़-खाबड़ सड़कों पर विफल हो जाती हैं।

4. "चीट शीट" (डोमेन नॉलेज)

SAFE-NET शुरू करने से पहले खेल के विशिष्ट नियमों को भी देखता है।

उपमा: यदि आप दीवार से टकराने वाली लहर के बारे में पहेली हल कर रहे हैं, तो SAFE-NET दीवार को देखता है और कहता है, "ठीक है, दीवार पर लहर शून्य होनी चाहिए।" यह इस तथ्य को सीधे अपने शुरुआती बिंदु में शामिल करता है। यह केवल अनुमान नहीं लगाता; यह ज्ञात भौतिकी (जैसे कंटेनर का आकार या प्रारंभिक तापमान) का उपयोग करके एक बेहतर आधार बनाता है।

उन्होंने क्या पाया?

लेखकों ने आठ अलग-अलग प्रकार की भौतिकी समस्याओं (लहरें, गर्मी, तरल प्रवाह, आदि) पर SAFE-NET का परीक्षण किया।

गति: यह प्रति चरण समय के मामले में 30% तेज़ी से प्रशिक्षित हुआ और गहरे नेटवर्क की तुलना में 30% से कम प्रशिक्षण चरणों में समाधान तक पहुँच गया।
दक्षता: यह अन्य "फीचर इंजीनियरिंग" विधियों की तुलना में 53% कम पैरामीटर्स और विशाल "स्टेट-ऑफ-द-आर्ट" मॉडलों की तुलना में 70-100 गुना कम पैरामीटर्स का उपयोग करता है।
सटीकता: "स्मूथ" (चिकनी) समस्याओं (जैसे लहरें और गर्मी) के लिए, यह अक्सर सबसे सटीक था।
कमी: यह "स्मूथ" समस्याओं के लिए सबसे अच्छा काम करता है। यदि समस्या में अचानक, हिंसक झटके शामिल हैं (जैसे कि सोनिक बूम या ट्रैफिक जाम दुर्घटना), तो सरल संगीत के सुर थोड़ा संघर्ष करते हैं, हालांकि यह फिर भी सम्मानजनक प्रदर्शन करता है।

मुख्य निष्कर्ष

यह शोध पत्र AI में इस विचार को चुनौती देता है कि "बड़ा होना हमेशा बेहतर होता है।" यह सुझाव देता है कि भौतिकी समीकरणों को हल करने के लिए, स्मार्ट, सरल फीचर्स का संयोजन एक अच्छी तरह से ट्यून किए गए, उथले नेटवर्क के साथ, विशाल, गहरे और जटिल नेटवर्क की तुलना में अक्सर बेहतर होता है। यह बड़े मस्तिष्क के बारे में नहीं है; यह सही उपकरणों या उत्तर तक के एक सुचारू मार्ग के बारे में है।

तकनीकी सारांश: फीचर इंजीनियरिंग के माध्यम से फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) को उन्नत करना

समस्या विवरण
फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) डिफरेंशियल ऑपरेटर के रेसिडुअल (residual) को मिनिमाइज करके आंशिक अवकल समीकरणों (PDEs) को हल करने के लिए एक मेश-फ्री दृष्टिकोण प्रदान करते हैं। हालांकि, PINNs बुनियादी प्रशिक्षण चुनौतियों का सामना करते हैं, जो मुख्य रूप से रेसिडुअल लॉस में डिफरेंशियल ऑपरेटर्स द्वारा उत्पन्न इल-कंडीशनिंग (ill-conditioning) से उपजी हैं। यह इल-कंडीशनिंग एक खराब ऑप्टिमाइजेशन लैंडस्केप बनाती है, जिससे लोकप्रिय फर्स्ट-ऑर्डर ऑप्टिमाइजर्स जैसे Adam का अभिसरण (convergence) धीमा हो जाता है और क्वाजी-न्यूटन मेथड्स जैसे L-BFGS या तो डाइवर्ज (diverge) हो जाते हैं या रुक जाते हैं। जबकि डीप लर्निंग के हालिया रुझान जटिल, मल्टी-लेयर आर्किटेक्चर (जैसे ट्रांसफॉर्मर, बड़े पैमाने के ऑपरेटर लर्निंग मॉडल) की ओर झुकते हैं ताकि प्रासंगिक फीचर्स को स्पष्ट रूप से सीखा जा सके, इन दृष्टिकोणों के लिए अक्सर लाखों पैरामीटर्स और व्यापक कंप्यूटेशनल संसाधनों की आवश्यकता होती है। इसके विपरीत, मौजूदा फीचर इंजीनियरिंग विधियां (जैसे रैंडम फूरियर फीचर्स, रेडियल बेसिस फंक्शन्स) अक्सर फिक्स्ड या रैंडम प्रायर्स (priors) पर निर्भर करती हैं, जिनमें संवेदनशील हाइपरपैरामीटर ट्यूनिंग की आवश्यकता होती है, और ये कम्प्यूटेशनल रूप से महंगी हो सकती हैं, जो उनकी सामान्यीकरण क्षमता और स्थिरता को सीमित करती हैं।

कार्यप्रणाली: SAFE-NET
यह शोध पत्र SAFE-NET (सिंगल-लेयर्ड एडेप्टिव फीचर इंजीनियरिंग नेटवर्क) पेश करता है, जो एक फ्रेमवर्क है जिसे आर्किटेक्चरल डेप्थ के बजाय स्पष्ट, एडेप्टिव फीचर इंजीनियरिंग के माध्यम से PINN ट्रेनिंग में सुधार करने के लिए डिज़ाइन किया गया है। SAFE-NET तीन मुख्य घटकों को जोड़ता है:

एडेप्टिव फूरियर बेसिस (Adaptive Fourier Basis): मानक रैंडम फूरियर फीचर्स (RFF) के विपरीत, जो फिक्स्ड, रैंडम फ्रीक्वेंसी का उपयोग करते हैं, SAFE-NET एक सिंगल हिडन लेयर नेटवर्क का उपयोग करता है जहाँ फूरियर बेसिस टर्म्स की फ्रीक्वेंसी ( $\omega_x, \lambda_t$ ) और एम्प्लीट्यूड (amplitudes) ट्रेन करने योग्य (trainable) होते हैं। नेटवर्क 2D (स्थानिक-कालिक) स्पेक्ट्रल गुणों को कैप्चर करने के लिए साइन और कोसाइन फंक्शन के टेंसर प्रोडक्ट स्ट्रक्चर का उपयोग करता है। फ्रीक्वेंसी को हार्मोनिक एनालिसिस (जैसे $\ell\pi/k$ ) के आधार पर इनिशियलाइज किया जाता है ताकि वे PDE सॉल्यूशंस की प्राकृतिक संरचना के साथ संरेखित हो सकें, और एम्प्लीट्यूड को यूनिटी (unity) पर सेट किया जाता है।
डोमेन नॉलेज फीचर्स (Domain Knowledge Features): यह फ्रेमवर्क इनिशियल कंडीशंस (ICs) और बाउंड्री कंडीशंस (BCs) से प्राप्त डोमेन-विशिष्ट फीचर्स को स्पष्ट रूप से शामिल करता है। यदि किसी IC या BC में विशिष्ट कार्यात्मक रूप (जैसे ट्रिगोनोमेट्रिक, पॉलिनोमियल, या एक्सपोनेंशियल टर्म्स) शामिल हैं, तो उन्हें फूरियर फीचर्स के साथ निकाला और जोड़ा जाता है। होमोजेनियस डिरिचलेट कंडीशंस के लिए, उन फीचर्स को प्राथमिकता दी जाती है जो बाउंड्री कंस्ट्रेंट्स (जैसे $\sin(n\pi x/L)$ ) को संतुष्ट करते हैं।
नॉर्मलाइजेशन और ऑप्टिमाइजेशन (Normalization and Optimization): एक महत्वपूर्ण डिजाइन विकल्प नेटवर्क इनपुट से पहले संयुक्त फीचर्स का नॉर्मलाइजेशन (सेंटर्ड $L_2$ नॉर्मलाइजेशन) है। यह ऑप्टिमाइजेशन लैंडस्केप को स्थिर करता है, जिससे L-BFGS जैसे क्वाजी-न्यूटन ऑप्टिमाइजर्स के उपयोग के दौरान होने वाले डाइवर्जेंस को रोका जा सके। लेखक एक दो-चरणीय ऑप्टिमाइजेशन शेड्यूल का उपयोग करते हैं: सैडल पॉइंट्स से बचने के लिए Adam का उपयोग करके एक प्रारंभिक "वार्म-अप" चरण, उसके बाद तीव्र स्थानीय अभिसरण (local convergence) के लिए L-BFGS। वे एक रीस्टार्ट रणनीति, $(Adam + L-BFGS)_2$ भी प्रस्तावित करते हैं, जहाँ चुनौतीपूर्ण PDEs पर अभिसरण में सुधार के लिए बाधा आने पर L-BFGS को पुनः शुरू किया जाता है।

प्रमुख योगदान

कुशल आर्किटेक्चर: SAFE-NET एक सिंगल हिडन लेयर के साथ उच्च सटीकता प्राप्त करता है और इसमें प्रतिस्पर्धी फीचर इंजीनियरिंग विधियों की तुलना में औसतन 53% कम और अत्याधुनिक बड़े पैमाने के आर्किटेक्चर जैसे PINNsFormer या FNO की तुलना में 70–100 $\times$ कम पैरामीटर्स होते हैं।
इम्प्लिसिट प्रीकंडीशनिंग (Implicit Preconditioning): शोध पत्र प्रदर्शित करता है कि SAFE-NET स्पष्ट रूप से लॉस लैंडस्केप को प्रीकंडीशन करता है। हेसियन मैट्रिक्स (Hessian matrix) का स्पेक्ट्रल डेंसिटी विश्लेषण बताता है कि SAFE-NET आइजनवैल्यूज़ (eigenvalues) को 1 के करीब ले जाता है, जिससे मानक PINNs और अन्य बेसलाइन्स की तुलना में कंडीशन नंबर काफी कम हो जाता है। यह एक अधिक अनुकूल ऑप्टिमाइजेशन लैंडस्केप की ओर ले जाता है।
ऑप्टिमाइजर्स के प्रति मजबूती: फीचर्स को नॉर्मलाइज करके और एडेप्टिव फ्रीक्वेंसी का उपयोग करके, SAFE-NET उच्च-प्रदर्शन वाले ऑप्टिमाइजर्स जैसे L-BFGS के साथ संगत है, जो इल-कंडीशनिंग के कारण अन्य फीचर इंजीनियरिंग विधियों के साथ अक्सर विफल या डाइवर्ज हो जाते हैं।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): आठ विविध PDE बेंचमार्क (लीनियर, नॉन-लीनियर, टाइम-डिपेंडेंट और स्टेडी-स्टेट समस्याओं सहित) पर, SAFE-NET लगातार प्रतिस्पर्धी गहरे नेटवर्क और जटिल आर्किटेक्चर की तुलना में बेहतर या उनके बराबर प्रदर्शन करता है, जबकि यह प्रतिस्पर्धियों द्वारा आवश्यक एपॉक्स (epochs) के 30% से भी कम समय में प्रशिक्षित होता है।

परिणाम
वेव (Wave), हीट (Heat), डिफ्यूजन (Diffusion), कन्वेक्शन (Convection), बर्गर्स (Burgers), एलन-कान (Allen-Cahn), और नेवियर-स्टोक्स (Navier-Stokes) समीकरणों जैसे बेंचमार्क पर प्रयोगात्मक परिणाम दिखाते हैं:

सटीकता (Accuracy): SAFE-NET $(Adam + L-BFGS)_2$ शेड्यूलिंग का उपयोग करते समय 5 में से 8 परीक्षण किए गए PDEs पर सर्वश्रेष्ठ या तुलनीय रिलेटिव $L_2$ एरर (L2RE) प्राप्त करता है। यह स्मूथ PDEs (वेव, हीट, डिफ्यूजन) पर बेसलाइन्स को काफी पीछे छोड़ देता है।
डिस्कंटीन्यूइटी हैंडलिंग (Handling Discontinuities): हालांकि SAFE-NET को स्मूथ सॉल्यूशंस के लिए डिज़ाइन किया गया है, फिर भी यह नॉन-लीनियर समस्याओं (एलन-कान, बर्गर्स) पर प्रतिस्पर्धी प्रदर्शन करता है, हालांकि यह नोट किया गया है कि शॉक (shocks) के लिए विशेष रूप से डिज़ाइन किए गए तरीकों (जैसे RBF-P) की अत्यधिक डिस्कंटीन्यूअस समस्याओं पर बढ़त हो सकती है।
दक्षता (Efficiency): SAFE-NET प्रतिस्पर्धी फीचर इंजीनियरिंग दृष्टिकोणों की तुलना में प्रति एपोक लगभग 95% तेज़ है। यह बड़े पैमाने के ऑपरेटर लर्निंग मॉडल्स की तुलना में 70–100 $\times$ कम पैरामीटर्स के साथ तुलनीय सटीकता तक पहुँचता है।
स्पेक्ट्रल विश्लेषण (Spectral Analysis): स्पेक्ट्रल डेंसिटी प्लॉट्स पुष्टि करते हैं कि SAFE-NET हेसियन मैट्रिक्स में बड़े आइजनवैल्यूज़ के परिमाण और घनत्व को कम करता है, जो बेहतर कंडीशनिंग के दावे को प्रमाणित करता है।

महत्व और दावे
यह शोध पत्र इस प्रचलित धारणा को चुनौती देता है कि आधुनिक डीप लर्निंग को प्रभावी ढंग से PDEs को हल करने के लिए विशाल, जटिल आर्किटेक्चर पर निर्भर होना चाहिए। यह तर्क देता है कि पर्याप्त रूप से स्मूथ सॉल्यूशंस वाले PDEs के लिए, पारंपरिक तकनीकें जैसे फीचर इंजीनियरिंग—जब उन्हें एडेप्टिव और डोमेन नॉलेज के साथ एकीकृत किया जाता है—बेहतर दक्षता और सटीकता दे सकती हैं। लेखक दावा करते हैं कि SAFE-NET डीप नेटवर्क्स के "ब्लैक बॉक्स" फीचर लर्निंग के ऊपर PDE की गणितीय संरचना (फूरियर विश्लेषण, बाउंड्री कंडीशंस) से प्राप्त इंडक्टिव बायस (inductive bias) के महत्व को उजागर करता है। यह कार्य सुझाव देता है कि फीचर इंजीनियरिंग वैज्ञानिक कंप्यूटिंग में डीप लर्निंग के लिए एक स्थायी, पूरक मूल्य प्रदान करता है, जो न्यूनतम कंप्यूटेशनल ओवरहेड के साथ उच्च-सटीकता समाधानों का मार्ग प्रशस्त करता है, विशेष रूप से कम-से-मध्यम आयामी (low-to-moderate dimensional) समस्याओं के लिए। शोध पत्र विनम्रतापूर्वक नोट करता है कि वास्तव में उच्च-आयामी समस्याओं तक इन लाभों का विस्तार करना एक भविष्य की चुनौती बनी हुई है।