🔢 mathematics

Divergence-free Linearized Neural Networks: Integral Representation and Optimal Approximation Rates

यह शोध पत्र प्रति-विषम (antisymmetric) विभवों के माध्यम से एक मुख्य समाकल निरूपण (integral representation) व्युत्पन्न करके, डाइवर्जेंस-मुक्त सदिश क्षेत्रों (divergence-free vector fields) को अनुमानित करने के लिए रैखिकीकृत ReLU $^k$ न्यूरल नेटवर्क के लिए एक इष्टतम सन्निकटन सिद्धांत (approximation theory) स्थापित करता है और $L^2$ प्रोजेक्शन तथा स्थिर स्टोक्स समस्याओं (steady Stokes problems) पर संख्यात्मक प्रयोगों के माध्यम से सैद्धांतिक दरों को मान्य करता है।

मूल लेखक: Juncai He, Xinliang Liu, Zitong Tian

प्रकाशित 2026-03-31

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Juncai He, Xinliang Liu, Zitong Tian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि पाइप के माध्यम से पानी कैसे बहता है या किसी इमारत के चारों ओर हवा कैसे चलती है। वास्तविक दुनिया में, पानी और हवा का एक बहुत सख्त नियम है: वे शून्य से पैदा नहीं किए जा सकते और न ही नष्ट किए जा सकते हैं। यदि आप एक कप पानी पाइप में डालते हैं, तो दूसरी तरफ से भी ठीक उतना ही पानी बाहर आना चाहिए। भौतिकी (physics) में, इसे "डाइवर्जेंस-फ्री" (divergence-free) होना कहा जाता है।

दशकों तक, कंप्यूटर सिमुलेशन इससे संघर्ष करते रहे। वे अक्सर प्रवाह (flow) के सामान्य आकार को तो सही ढंग से दिखा देते थे, लेकिन अनजाने में वे "जादुई पानी" की छोटी जेबें बना देते थे जो अचानक प्रकट हो जाती थीं या गायब हो जाती थीं, जिससे सिमुलेशन अस्थिर या भौतिक रूप से असंभव हो जाता था।

यह शोध पत्र एक नए और चतुर तरीके को पेश करता है जिससे एक विशिष्ट प्रकार के AI (एक न्यूरल नेटवर्क) को इस नियम का सम्मान करने के लिए प्रशिक्षित किया जाता है—न कि केवल यह उम्मीद करने के लिए कि वह इसे सीख जाएगा।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "लीकी बकेट" (Leaky Bucket) AI

अधिकांश AI मॉडल एक ऐसे छात्र की तरह होते हैं जो नक्शा याद करने की कोशिश कर रहा है। वे डेटा देखते हैं और रास्ता अनुमान लगाने की कोशिश करते हैं। यदि आप उनसे कहते हैं, "ओह, और साथ ही, पानी को गायब न होने दें," तो वे आमतौर पर उनके होमवर्क ग्रेड में एक "पेनल्टी" (दंड) जोड़ देते हैं यदि वे कोई गलती करते हैं।

समस्या: AI अभी भी छोटी गलतियाँ कर सकता है क्योंकि वह "डेटा जैसा दिखने" और "गलतियाँ न करने" के बीच संतुलन बनाने की कोशिश कर रहा है। यह एक ऐसे छात्र की तरह है जो नियम जानता तो है, लेकिन बार-बार अपना काम चेक करना भूल जाता है।

2. समाधान: LEGO सेट में ही नियम को बुन देना

लेखकों ने यह तय किया कि AI को नियम सीखने के लिए कहने के बजाय, नियम को AI की मूल संरचना में ही बना दिया जाए।

कल्पना कीजिए कि आप LEGO ईंटों का उपयोग करके एक नदी का मॉडल बना रहे हैं।

पुराना तरीका: आप एक नदी बनाते हैं, फिर आप जाँचते हैं कि क्या पानी सही ढंग से बह रहा है। यदि यह लीक होता है, तो आप इसे टेप से जोड़ने की कोशिश करते हैं (एक पेनल्टी)।
नया तरीका: आप स्वयं LEGO ईंटों को इस तरह डिजाइन करते हैं कि वे केवल ऐसे तरीकों से जुड़ सकें जो एक बहती हुई नदी बनाते हों। इन विशिष्ट ईंटों के साथ एक "लीकी" (लीक होने वाली) नदी बनाना भौतिक रूप से असंभव है।

इस शोध पत्र में, "LEGO ईंटें" लीनियराइज्ड न्यूरल नेटवर्क (Linearized Neural Networks) नामक गणितीय निर्माण खंड (building blocks) हैं। लेखकों ने यह पता लगाया है कि इन ब्लॉकों को कैसे व्यवस्थित किया जाए ताकि आप उन्हें किसी भी तरह से जोड़ें, परिणाम अनिवार्य रूप से एक सटीक, बिना लीक होने वाला प्रवाह हो।

3. गुप्त मंत्र: "एंटीसिमेट्रिक" (Antisymmetric) नृत्य

उन्होंने यह कैसे बनाया कि ईंटें केवल एक ही तरीके से फिट हों? उन्होंने उन्नत गणित की एक अवधारणा का उपयोग किया जिसे एंटीसिमेट्रिक पोटेंशियल (antisymmetric potentials) कहा जाता है।

एक डांस फ्लोर के बारे में सोचें।

एक सामान्य नृत्य में, दो लोग बस इधर-उधर घूम सकते हैं।
इस विशिष्ट "डाइवर्सेंस-फ्री" नृत्य में, साथी एक विशेष चाल में बंधे होते हैं: यदि एक व्यक्ति बाईं ओर कदम रखता है, तो दूसरे को पूरी तरह से तालमेल बिठाते हुए दाईं ओर कदम रखना ही होगा। वे "एंटीसिमेट्रिक" हैं।
इस तालमेल के कारण, समूह की कुल गति कभी भी कोई जमाव (लीक) या खाली जगह पैदा नहीं करती है।

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यदि आप अपने AI को इन "तालमेल वाले नर्तकों" (गणितीय कार्यों) का उपयोग करके बनाते हैं, तो परिणामी प्रवाह हमेशा द्रव्यमान के संरक्षण (conservation of mass) का पालन करेगा। आपको लीकेज की जाँच करने की आवश्यकता नहीं है; लीकेज होना असंभव है।

4. यह एक बड़ी बात क्यों है?

गति और स्थिरता: क्योंकि AI को नियम सीखने में समय बर्बाद करने की आवश्यकता नहीं होती है, इसलिए यह वास्तविक प्रवाह पैटर्न को बहुत तेज़ी से और अधिक सटीकता से सीखता है।
"परफेक्ट" सन्निकटन (Approximation): लेखकों ने केवल यह नहीं कहा कि "यह काम करता है।" उन्होंने गणितीय रूप से सिद्ध किया कि जैसे-जैसे आप अधिक न्यूरॉन्स (अधिक नर्तक) जोड़ते हैं, यह कितनी तेज़ी से बेहतर होता है। उन्होंने दिखाया कि यह तरीका पारंपरिक गणितीय तरीकों जितना ही अच्छा है, लेकिन बिना किसी कठोर ग्रिड (जैसे शतरंज के बोर्ड) की आवश्यकता के। यह किसी भी आकार पर काम करता है।
वास्तविक दुनिया के परीक्षण: उन्होंने 2D और 3D सिमुलेशन पर इसका परीक्षण किया, जिसमें एक क्लासिक "लिड-ड्रिवन कैविटी" (lid-driven cavity) समस्या शामिल थी (कल्पना कीजिए कि पानी के एक बॉक्स में आप ऊपर के ढक्कन को खींचते हैं जिससे पानी घूमने लगता है)। AI ने घूमने वाले पैटर्न को सही ढंग से पकड़ा, यहाँ तक कि उन कठिन कोनों में भी जहाँ अन्य तरीके आमतौर पर विफल हो जाते हैं।

5. निष्कर्ष (Takeaway)

यह शोध पत्र फ्लूइड डायनेमिक्स के लिए एक नए प्रकार के स्व-सुधार करने वाले LEGO सेट के आविष्कार जैसा है।

पहले: आपको अपने मॉडल के लिए भौतिकी त्रुटियों की लगातार जाँच करनी पड़ती थी।
अब: आप मॉडल बनाते हैं, और भौतिकी उसमें "बनी-बनाई" (baked in) होती है। यदि गणित कहता है कि यह एक प्रवाह है, तो यह वास्तव में एक प्रवाह है।

यह "साइंटिफिक मशीन लर्निंग" (SciML) के लिए एक बड़ा कदम है, जो हमें AI के "अनुमान लगाने वाले" चरण से हटाकर "अंतर्निहित रूप से प्रकृति के नियमों को समझने और सम्मान करने वाले" AI की ओर ले जाता है।

यहाँ शोध पत्र "Divergence-free Linearized Neural Networks: Integral Representation and Optimal Approximation Rates" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कई भौतिक प्रणालियाँ, विशेष रूप से द्रव गतिज विज्ञान (incompressible flows), मैग्नेटोहाइड्रोडायनामिक्स (MHD), और विद्युत चुंबकत्व, डाइवर्जेंस-फ्री बाधा ( $\nabla \cdot \mathbf{u} = 0$ ) द्वारा शासित होती हैं।

चुनौती: संख्यात्मक सिमुलेशन (numerical simulations) में, विविक्तीकरण (discretization) स्तर पर इस बाधा का उल्लंघन होने से अस्थिरता, अवास्तविक बल (spurious forces) और भौतिक सटीकता की हानि हो सकती है।
मौजूदा विधियों की सीमाएँ:
- मेश-आधारित विधियाँ (जैसे Finite Elements) अक्सर जटिल सैडल-पॉइंट फॉर्मुलेशन, विशिष्ट मेश टोपोलॉजी (जैसे स्टैगरड ग्रिड), या इनकम्प्रेसिबिलिटी को लागू करने के लिए सख्त inf-sup संगतता शर्तों (LBB स्थिति) की आवश्यकता रखती हैं।
- फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) आमतौर पर लॉस फंक्शन में सॉफ्ट पेनल्टी के माध्यम से बाधाओं को लागू करते हैं, जो अनुकूलन (optimization) की कठिनाइयों को जन्म देता है और यह गारंटी नहीं देता कि बाधा का सटीक पालन होगा।
- कन्स्ट्रेंड गॉसियन प्रोसेसेज (GPs) सटीक संरचना संरक्षण प्रदान करते हैं, लेकिन घने कोवेरिएंस बीजगणित (dense covariance algebra) के कारण $O(N^3)$ की त्रि-घातीय कम्प्यूटेशनल जटिलता से ग्रस्त हैं, जिससे वे बड़े डेटासेट के लिए स्केलेबल नहीं रह जाते।

इस शोध पत्र का उद्देश्य एक मेश-मुक्त, लीनियरलाइज्ड न्यूरल नेटवर्क फ्रेमवर्क विकसित करना है जो फंक्शन स्पेस स्तर पर डाइवर्जेंस-फ्री बाधा को सटीक रूप से लागू करता है और प्रमाणित इष्टतम सन्निकटन दरें (optimal approximation rates) प्रदान करता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित विधि एक डाइवर्जेंस-फ्री फाइनाइट न्यूरॉन स्पेस (FNS), जिसे $V^k_n$ कहा जाता है, का निर्माण करती है, जो ReLU $^k$ एक्टिवेशन फंक्शनों वाले लीनियरलाइज्ड शैलो न्यूरल नेटवर्क्स का उपयोग करती है।

A. सैद्धांतिक आधार: इंटीग्रल रिप्रेजेंटेशन (Integral Representation)

मुख्य सैद्धांतिक योगदान डाइवर्जेंस-फ्री सोबोलेव वेक्टर फील्ड्स के लिए एक इंटीग्रल रिप्रेजेंटेशन प्रमेय है।

पोटेंशियल लिफ्टिंग (Potential Lifting): लेखक इस तथ्य का उपयोग करते हैं कि स्टार-शेप्ड डोमेन पर, कोई भी डाइवर्जेंस-फ्री फील्ड $\mathbf{u} \in H^r_{div}(\Omega)$ एक एंटी-सिमेट्रिक पोटेंशियल टेंसर $\mu$ के जनरलाइज्ड कर्ल (या एक्सटीरियर डेरिवेटिव) के रूप में दर्शाया जा सकता है:
$\mathbf{u} = D\mu = \nabla \times \mu \quad (\text{d आयामों के लिए सामान्यीकृत})$
स्केलर-टू-वेक्टर ब्रिज: ReLU $^k$ फीचर्स के माध्यम से स्केलर सोबोलेव स्पेस के ज्ञात इंटीग्रल रिप्रेजेंटेशन के साथ एंटी-सिमेट्रिक पोटेंशियल लिफ्टिंग को जोड़कर, वे यह सिद्ध करते हैं कि पोटेंशियल $\mu$ को एंटी-सिमेट्रिक गुणांकों को शामिल करते हुए यूनिट स्फीयर $S^d$ पर एक इंटीग्रल के रूप में दर्शाया जा सकता है।
परिणामी प्रतिनिधित्व:
$\mathbf{u}(x) = \int_{S^d} \sum_{1 \le i < j \le d} \Phi_{\theta, ij}(x) \psi_{ij}(\theta) d\theta$
जहाँ $\Phi_{\theta, ij}(x) = \partial_j \sigma_k(\theta \cdot \tilde{x})\mathbf{e}_i - \partial_i \sigma_k(\theta \cdot \tilde{x})\mathbf{e}_j$ है। यह सुनिश्चित करता है कि $\nabla \cdot \mathbf{u} = 0$ हो, जो निर्माण के समय ही निश्चित है।

B. डिस्क्रीट एप्रोक्सिमेशन स्पेस ( $V^k_n$ )

निर्माण: निरंतर इंटीग्रल को आंतरिक मापदंडों (न्यूरॉन वेट्स और बायस) $\{\theta_\ell\}_{\ell=1}^n$ को स्फीयर $S^d$ पर क्वासी-यूनिफॉर्मली डिस्ट्रीब्यूटेड रखकर विविक्त (discrete) किया जाता है।
बेसिस फंक्शन्स: यह स्पेस एंटी-सिमेट्रिक पोटेंशियल से प्राप्त वेक्टर-वैल्यूड बेसिस फंक्शन्स द्वारा स्पैन किया जाता है:
$\Phi_{\ell, ij}(x) = \partial_j \phi_\ell(x)\mathbf{e}_i - \partial_i \phi_\ell(x)\mathbf{e}_j$
जहाँ $\phi_\ell(x) = \sigma_k(\theta_\ell \cdot \tilde{x})$ है।
रैखिकता (Linearity): बाहरी गुणांकों (outer coefficients) को कन्वेक्स लीनियर लीस्ट स्क्वायर्स के माध्यम से सीखा जाता है। यह मानक डीप लर्निंग ट्रेनिंग की नॉन-कन्वेक्स ऑप्टिमाइजेशन समस्याओं से बचता है।

C. संख्यात्मक कार्यान्वयन (Numerical Implementation)

क्वाड्रचर (Quadrature): इनर प्रोडक्ट्स और बाउंड्री इंटीग्रल्स को अनुमानित करने के लिए नियत (deterministic) गॉस-लेगेंड्रे क्वाड्रचर का उपयोग किया जाता है।
सॉल्वर (Solvers): परिणामी लीनियर सिस्टम को या तो नॉर्मल इक्वेशंस या डायरेक्ट लीस्ट स्क्वायर्स (SVD/QR) का उपयोग करके हल किया जाता है। शोध पत्र नोट करता है कि उच्च आयामों या बड़े $n$ के लिए, डायरेक्ट लीस्ट स्क्वायर्स अधिक संख्यात्मक रूप से स्थिर है क्योंकि यह कंडीशन नंबर को स्क्वायर करने से बचता है।
बाउंड्री कंडीशंस: होमोजेनियस डिरिचलेट कंडीशंस को पेनल्टी टर्म के माध्यम से वीकली लागू किया जाता है, जबकि डाइवर्जेंस-फ्री बाधा को ट्रायल स्पेस में हार्ड-कोडेड किया जाता है।

3. मुख्य योगदान (Key Contributions)

सटीक डाइवर्जेंस-फ्री एंसेट (Exact Divergence-Free Ansatz): विधि एक परिमित-आयामी फंक्शन स्पेस का निर्माण करती है जहाँ बेसिस फंक्शन्स का प्रत्येक लीनियर कॉम्बिनेशन सख्ती से डाइवर्जेंस-फ्री होता है, जो इनकम्प्रेसिबिलिटी के लिए प्रेशर वेरिएबल्स या पेनल्टी टर्म्स की आवश्यकता को समाप्त कर देता है।
इंटीग्रल रिप्रेजेंटेशन प्रमेय: यह पेपर स्थापित करता है कि ReLU $^k$ नेटवर्क्स द्वारा पैरामीटराइज्ड एंटी-सिमेट्रिक पोटेंशियल का उपयोग करके $H^r_{div}(\Omega)$ के लिए एक कठोर इंटीग्रल रिप्रेजेंटेशन मौजूद है। यह स्केलर एप्रोक्सिमेशन थ्योरी को वेक्टर-वैल्यूड डाइवर्जेंस-फ्री फील्ड्स के साथ जोड़ता है।
इष्टतम सन्निकटन दरें (Optimal Approximation Rates): लेखक सिद्ध करते हैं कि आंतरिक मापदंडों के क्वासी-यूनिफॉर्म सैंपलिंग के तहत, विधि अंतर्निहित स्केलर थ्योरी के अनुरूप इष्टतम अभिसरण दर प्राप्त करती है:
$\inf_{\mathbf{u}_n \in V^k_n} \|\mathbf{u} - \mathbf{u}_n\|_{H^s} \lesssim n^{-(r-s)/d} \|\mathbf{u}\|_{H^r}$
यह पुष्टि करता है कि "कर्स ऑफ डायमेंशनलिटी" को स्केलर समस्याओं की तरह ही संभाला जाता है, और डाइवर्जेंस-फ्री बाधा अभिसरण क्रम (convergence order) को कम नहीं करती है।
स्केलेबिलिटी: कॉन्स्ट्रेंड GPs के विपरीत, यह दृष्टिकोण अनंत-आयामी कोवेरिएंस बीजगणित को एक निश्चित फीचर स्पेस में स्केलेबल, कन्वेक्स लीनियर बीजगणित से बदल देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 2D और 3D में संख्यात्मक प्रयोगों के माध्यम से अपने सिद्धांत को सत्यापित किया है:

डाइवर्जेंस-फ्री फील्ड्स का L2 एप्रोक्सिमेशन:
- विभिन्न स्मूथनेस और एक्टिवेशन पावर्स ( $k=1,2,3,4$ ) के साथ सिंथेटिक वेक्टर फील्ड्स पर परीक्षण किया गया।
- परिणाम: देखे गए एरर डिके रेट्स सैद्धांतिक भविष्यवाणियों ( $O(n^{-(r-s)/d})$ ) से मेल खाते थे।
स्टेडी स्टोक्स इक्वेशन्स (होमोजेनियस BCs):
- रिड्यूस्ड फॉर्मुलेशन (बिना प्रेशर वेरिएबल के) का उपयोग करके स्टोक्स समस्या को हल किया गया।
- परिणाम: विधि ने $L^2$ और $H^1$ सेमी-नॉर्म्स दोनों में उच्च-क्रम अभिसरण प्राप्त किया, जो विशिष्ट एक्टिवेशन ऑर्डर्स के लिए डिग्री ऑफ फ्रीडम के मामले में मानक फाइनाइट एलिमेंट बेसलाइन्स (Taylor-Hood P2/P1) से बेहतर प्रदर्शन करता है।
लिड-ड्रिवन कैविटी फ्लो (गैर-मैन्युफैक्चरड सॉल्यूशन):
- गैर-होमोजेनियस बाउंड्री कंडीशंस वाले बेंचमार्क पर परीक्षण किया गया।
- निष्कर्ष:
  - क्लासिकल केस (डिस्कंटीन्यूअस लिड वेलोसिटी) के लिए, कोनों के पास समाधान की कम रेगुलैरिटी के कारण अभिसरण सीमित था, न कि स्वयं विधि के कारण।
  - रेगुलराइज्ड केस (स्मूथ लिड वेलोसिटी) के लिए, विधि ने उच्च-क्रम अभिसरण प्राप्त किया, जो वास्तविक समस्याओं पर इसकी प्रभावशीलता को दर्शाता है।
संख्यात्मक स्थिरता (Numerical Stability): बड़े नेटवर्क के लिए, कंडीशनिंग के कारण सटीकता की हानि से बचने के लिए डायरेक्ट सॉल्वर आवश्यक है, जैसा कि नॉर्मल इक्वेशंस बनाम डायरेक्ट लीस्ट स्क्वायर्स के तुलनात्मक प्रयोगों से पता चला।

5. महत्व (Significance)

यह कार्य फ्लुइड डायनेमिक्स और वेक्टर फील्ड समस्याओं के लिए साइंटिफिक मशीन लर्निंग (SciML) में एक महत्वपूर्ण कदम है:

स्ट्रक्चर प्रिजर्वेशन: यह भौतिक संरक्षण नियमों (डाइवर्जेंस-फ्री) को सीधे न्यूरल नेटवर्क आर्किटेक्चर में शामिल करने का एक गणितीय रूप से कठोर तरीका प्रदान करता है, जो सॉफ्ट पेनल्टी के बिना भौतिक स्थिरता और निरंतरता सुनिश्चित करता है।
सैद्धांतिक गारंटी: यह केवल अनुभवजन्य सफलता से आगे बढ़कर प्रमाणित इष्टतम अभिसरण दरें प्रदान करता है, जो कि न्यूरल नेटवर्क-आधारित PDE सॉल्वर में दुर्लभ है।
दक्षता: समस्या को लीनियरलाइज करके (आंतरिक मापदंडों को फिक्स करके), यह पारंपरिक मेश-आधारित विधियों (जो जटिल ज्यामिति के साथ संघर्ष करती हैं) और कॉन्स्ट्रेंड गॉसियन प्रोसेसेज (जो कम्प्यूटेशनल रूप से महंगी हैं) दोनों के लिए एक कुशल विकल्प प्रदान करता है।
सामान्यीकरण क्षमता: यह फ्रेमवर्क डायमेंशन-इंडिपेंडेंट ( $d \ge 2$ ) है और फ्लुइड डायनेमिक्स के अलावा मैक्सवेल के समीकरणों जैसी विभिन्न वेक्टर फील्ड समस्याओं के लिए लागू किया जा सकता है।

संक्षेप में, यह शोध पत्र सफलतापूर्वक डिफरेंशियल ज्योमेट्री (एक्सटीरियर कैलकुलस), एप्रोक्सिमेशन थ्योरी (सोबोलेव इंटीग्रल रिप्रेजेंटेशन), और मशीन लर्निंग (लीनियराइज्ड न्यूरल नेटवर्क्स) को एकीकृत करता है ताकि डाइवर्जेंस-फ्री वेक्टर फील्ड्स के लिए एक शक्तिशाली, सटीक और सैद्धांतिक रूप से सुदृढ़ सॉल्वर बनाया जा सके।