💻 computer science

Domain decomposition of large neural network surrogate models

यह शोध पत्र इनपुट स्पेस को स्थानीय उप-डोमेन में विभाजित करके और लैग्रेंज या ऑगमेंटेड लैग्रेंज विधियों के माध्यम से इंटरफ़ेस बाधाओं को लागू करके बड़े न्यूरल नेटवर्क सरोगेट मॉडल को प्रशिक्षित करने के लिए एक डोमेन डिकंपोजिशन फ्रेमवर्क का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि ऑगमेंटेड लैग्रेंज दृष्टिकोण उच्च सटीकता बनाए रखते हुए बड़े पैमाने की समस्याओं के लिए बेहतर स्केलेबिलिटी और तेज़ अभिसरण (कन्वर्जेंस) प्रदान करता है।

मूल लेखक: Timm Gödde, Eisso H. Atzema, Bojana Rosić

प्रकाशित 2026-03-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Timm Gödde, Eisso H. Atzema, Bojana Rosić

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, सुपर-स्मार्ट रोबोट को यह सिखाने की कोशिश कर रहे हैं कि जब आप धातु के एक टुकड़े को दबाते हैं, तो वह कैसे मुड़ेगा और खिंचेगा। यह एक क्लासिक इंजीनियरिंग समस्या है। आमतौर पर, इसे सही ढंग से करने के लिए, आपको हजारों जटिल भौतिक सिमुलेशन (जैसे धातु के लिए एक डिजिटल विंड टनल) चलाने पड़ते हैं ताकि प्रशिक्षण डेटा तैयार किया जा सके।

समस्या यह है कि एक ही विशाल "मस्तिष्क" (एक न्यूरल नेटवर्क) को यह सब एक साथ सीखने के लिए प्रशिक्षित करना अविश्वसनीय रूप से धीमा और महंगा है। यह एक छात्र को एक ही बैठक में पूरी विश्वकोश याद करने के लिए कहने जैसा है। वे सामान्य विचार तो प्राप्त कर सकते हैं, लेकिन वे विशिष्ट अध्यायों के सूक्ष्म, पेचीदा विवरणों को छोड़ सकते हैं, या उन्हें अध्ययन करने में बहुत समय लग सकता है।

बड़ा विचार: "विशेषज्ञों की टीम" वाला दृष्टिकोण

यह पेपर एक चतुर समाधान प्रस्तावित करता है: एक विशाल मस्तिष्क बनाने के बजाय, छोटे, विशिष्ट मस्तिष्क बनाने की टीम बनाएं।

धातु की वस्तु को एक बड़े पहेली के रूप में नहीं, बल्कि एक जिग्सॉ पजल (jigsaw puzzle) के रूप में सोचें। पूरी पहेली को हल करने के बजाय एक व्यक्ति के बजाय, आप इसे छोटे हिस्सों में विभाजित करते हैं। आप केवल एक हिस्से को हल करने के लिए एक छोटा, तेज़ और सरल न्यूरल नेटवर्क असाइन करते हैं।

पुराना तरीका: एक विशाल, धीमा नेटवर्क जो सब कुछ सीखने की कोशिश कर रहा है।
नया तरीका (डोमेन डिकंपोजिशन): छोटे नेटवर्कों की एक टीम, जिनमें से प्रत्येक अपने पहेली के अपने हिस्से पर काम कर रहा है, और वे सभी एक साथ (समानांतर में) काम कर रहे हैं।

समस्या: "सीमतें" (The Seams)

यहाँ एक पेंच है: यदि आप इन छोटे नेटवर्कों को अकेले काम करने देते हैं, तो उनके किनारों पर जहाँ वे मिलते हैं, वहां चीजें अस्त-व्यस्त दिखेंगी। एक नेटवर्क कह सकता है, "इस किनारे पर, धातु 5 मिमी मुड़ती है," जबकि उसका पड़ोसी कह सकता है, "नहीं, यह 6 मिमी मुड़ती है।" परिणाम एक टूटे हुए, ऊबड़-खाबड़ धातु के टुकड़े जैसा दिखेगा।

इसे ठीक करने के लिए, लेखक इंटरफेस कंस्ट्रेंट्स (Interface Constraints) पेश करते हैं। इसे टीम के लिए एक सख्त नियम पुस्तिका के रूप में समझें। नेटवर्कों को बताया जाता है: "आप अपने हिस्से को हल कर सकते हैं, लेकिन आपको ठीक वहीं अपने पड़ोसी के साथ सहमत होना होगा जहाँ आपके हिस्से मिलते हैं।"

दो विधियाँ: "सख्त शिक्षक" बनाम "लचीला कोच"

पेपर इन नियमों को लागू करने के दो अलग-अलग तरीकों का परीक्षण करता है:

सख्त शिक्षक (लैग्रेंज मल्टीप्लायर्स - Lagrange Multipliers):
कल्पना कीजिए कि एक शिक्षक कक्षा में हर बार तब रुक जाता है जब कोई छात्र सीमा पर गलती करता है। शिक्षक कहता है, "रुको! तुम अपने पड़ोसी के उत्तर से पूरी तरह मेल खाने तक आगे नहीं बढ़ सकते।" यह पूर्ण सटीकता सुनिश्चित करता है, लेकिन यह बहुत धीमा है। शिक्षक को लगातार जांचना, पुन: जांचना और नियमों को समायोजित करना पड़ता है, जिसमें बहुत समय लगता है। यह सटीक है, लेकिन यह उलझकर रह जाता है।
लचीला कोच (ऑगमेंटेड लैग्रेंज मल्टीप्लायर्स - Augmented Lagrange Multipliers):
यह कोच अधिक स्मार्ट है। तुरंत पूर्णता की मांग करने के बजाय, वे कहते हैं, "अपने पड़ोसी से मेल बिठाने की कोशिश करें, लेकिन यदि आप थोड़े भी गलत हैं, तो मैं आपको एक हल्का दंड (जुर्माना) दूंगा ताकि अगली बार बेहतर करने के लिए प्रोत्साहित हो सकें।" जैसे-जैसे टीमें सही उत्तर के करीब पहुंचती हैं, कोच नियमों को कड़ा करता जाता है।

यह बेहतर क्यों है: यह विधि बहुत तेज़ है। यह नेटवर्कों को बिना "रुको-और-जांचो" के अंतहीन लूप में फंसे, तेज़ी से सीखने और एक अच्छा समाधान खोजने की अनुमति देती है। यह बिल्कुल किनारों पर 'सख्त शिक्षक' की तुलना में थोड़ा कम सटीक हो सकता है, लेकिन यह काम को सफलतापूर्वक पूरा करता है। यह 10 से 20 गुना तेज़ी से काम करता है।

परिणाम: यह क्यों मायने रखता है

लेखकों ने इसका परीक्षण एक 2D धातु ब्लॉक और एक 3D सिलेंडर पर किया। यहाँ उन्हें क्या मिला:

गति: समस्या को विभाजित करके, वे मॉडलों को समानांतर (parallel) में प्रशिक्षित कर सके। "लचीला कोच" (ऑगमेंटेड लैग्रेंज) स्पष्ट विजेता था, जिसने बड़े कार्यों को दिनों के बजाय घंटों में हल किया।
सटीकता: भले ही मॉडल छोटे थे, वे जटिल, गैर-रेखीय (non-linear) भागों (कोनों और किनारों) पर विशाल एकल मॉडल की तुलना में वास्तव में अधिक सटीक थे।
लुप्त डेटा को संभालना: वास्तविक दुनिया में, सेंसर अक्सर विफल हो जाते हैं या डेटा गायब होता है। टीम ने पाया कि भले ही सेक्शनों के बीच डेटा में "अंतराल" हो, फिर भी यह तरीका समाधान का पता लगा सकता है, जो ज्ञात डेटा बिंदुओं के बीच एक पुल के रूप में कार्य करता है।

निष्कर्ष

यह पेपर विशेषज्ञता के माध्यम से दक्षता के बारे में है। एक विशाल कंप्यूटर मॉडल को सब कुछ करने के लिए मजबूर करने के बजाय, हम समस्या को तोड़ते हैं, छोटे मॉडलों को समानांतर में भारी काम करने देते हैं, और एक स्मार्ट "कोच" का उपयोग करते हैं ताकि वे सीमाओं पर एकमत हो सकें।

यह एक व्यक्ति और फावड़े के साथ पहाड़ हिलाने की कोशिश करने बनाम 100 लोगों की फावड़े वाली एक टीम को व्यवस्थित करने, उन्हें एक स्पष्ट मानचित्र देने और एक फोरमैन देने के बीच का अंतर है ताकि मिट्टी के ढेर आपस में मिल सकें। परिणाम एक ऐसा काम है जो अधिक गति, बेहतर सटीकता और कम सिस्टम तनाव के साथ पूरा होता है।

यहाँ T. Gödde et al. के शोध पत्र "Domain decomposition of large neural network surrogate models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उच्च-आयामी इंजीनियरिंग समस्याओं, विशेष रूप से डिज़ाइन अनुकूलन (design optimization) और अनिश्चितता मात्रा निर्धारण (uncertainty quantification) में, न्यूरल नेटवर्क (NN) सरोगेट मॉडल को प्रशिक्षित करने से जुड़ी कम्प्यूटेशनल चुनौतियों का समाधान करता है।

चुनौती: मानक वैश्विक (global) NN को स्थानीय गैर-रैखिकता (local nonlinearities) को सटीक रूप से पकड़ने के लिए अक्सर भारी संख्या में पैरामीटर्स की आवश्यकता होती है, जिससे प्रशिक्षण का समय अत्यधिक बढ़ जाता है और ओवर-पैरामीट्राइजेशन की समस्या होती है।
मौजूदा विधियों की सीमा: हालांकि फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) ने आंशिक अंतर समीकरणों (PDEs) को हल करने के लिए डोमेन डिकम्पोजिशन (DDM) का उपयोग किया है, लेकिन अधिकांश मौजूदा DDM दृष्टिकोण या तो ओवरलैपिंग (जो कम्प्यूटेशनल रेडंडेंसी पैदा करते हैं) हैं या वे पेनल्टी-आधारित लॉस फंक्शन्स पर बहुत अधिक निर्भर करते हैं जो बाधाओं (constraints) और डेटा फिडेलिटी के बीच संतुलन बनाने में संघर्ष करते हैं।
लक्ष्य: एक गैर-ओवरलैपिंग, डेटा-संचालित डोमेन डिकम्पोजिशन फ्रेमवर्क विकसित करना जो इनपुट फीचर स्पेस को स्थानीय उप-डोमेन (subdomains) में विभाजित करता है। इस दृष्टिकोण का उद्देश्य प्रशिक्षित पैरामीटर्स की संख्या को कम करना, समानांतर प्रशिक्षण (parallel training) को सक्षम करना और उप-डोमेन के बीच इंटरफेस पर सख्त निरंतरता बाधाओं (continuity constraints) को लागू करके वैश्विक सटीकता बनाए रखना है।

2. कार्यप्रणाली (Methodology)

लेखक एक गैर-ओवरलैपिंग डोमेन डिकम्पोजिशन रणनीति प्रस्तावित करते हैं जहाँ वैश्विक डोमेन $G$ को $M$ विलगित (disjoint) उप-डोमेन $G_i$ में विभाजित किया जाता है। प्रत्येक उप-डोमेन को एक स्थानीय, सरल NN ( $\hat{u}_{\theta_i}$ ) द्वारा मॉडल किया जाता है। यह सुनिश्चित करने के लिए कि वैश्विक समाधान निरंतर और अवकलनीय ( $C^0$ और $C^1$ निरंतरता) बना रहे, आसन्न उप-डोमेन के बीच इंटरफेस बाधाओं को लागू किया जाता है।

इन बाधाओं को संभालने के लिए दो विशिष्ट एल्गोरिदम विकसित किए गए हैं:

A. लैग्रेंज मल्टीप्लायर एल्गोरिदम (LMA)

फॉर्मूलेशन: बाधित अनुकूलन समस्या को मानक लैग्रेंज मल्टीप्लायर्स ( $\lambda$ ) का उपयोग करके पुनर्गठित किया गया है। स्थानीय लॉस फंक्शन में एक पद $\lambda^T Q_i(\theta_i)$ शामिल है, जहाँ $Q_i$ इंटरफेस बाधाओं (फंक्शन मान और नॉर्मल ग्रेडिएंट निरंतरता) का प्रतिनिधित्व करता है।
रैखिकीकरण (Linearization): चूंकि NN अत्यधिक गैर-कॉन्वेक्स (non-convex) होते हैं, इसलिए बाधाओं को संदर्भ बिंदुओं के आसपास टेलर एक्सपेंशन का उपयोग करके रैखिकीकृत किया जाता है।
अनुकूलन (Optimization): यह विधि एक डुअल एसेंट (Dual Ascent) रणनीति का उपयोग करती है:
1. प्राइमल अपडेट: स्थानीय NN पैरामीटर्स ( $\theta_i$ ) को रैखिकीकृत लैग्रेंजियन को न्यूनतम करने के लिए L-BFGS ऑप्टिमाइज़र का उपयोग करके अपडेट किया जाता है।
2. डुअल अपडेट: बाधाओं को लागू करने के लिए लैग्रेंज मल्टीप्लायर्स ( $\lambda_i$ ) को ग्रेडिएंट एसेंट के माध्यम से अपडेट किया जाता है।
3. इंटरफेस ट्रेनिंग: इंटरफेस NN को आसन्न स्थानीय डोमेन के भविष्यवाणियों से मेल खाने के लिए प्रशिक्षित किया जाता है।
जटिलता: इस दृष्टिकोण के लिए पुनरावृत्त रैखिकीकरण (iterative linearization) और व्यवहार्यता जाँच (feasibility checks) की आवश्यकता होती है, जो कम्प्यूटेशनल रूप से महंगा और समस्या की गैर-रैखिकता के प्रति संवेदनशील हो सकता है।

B. ऑगमेंटेड लैग्रेंज मल्टीप्लायर एल्गोरिदम (ALMA)

फॉर्मूलेशन: यह विधि एक ऑगमेंटेड लैग्रेंजियन पद पेश करती है, जिसमें लॉस फंक्शन में एक द्विघाती दंड (quadratic penalty) $\rho \|Q_i(\theta_i)\|^2$ जोड़ा जाता है।
लाभ: दंड पद बाधाओं को नियमित (regularize) करता है, जिससे एल्गोरिदम हर चरण में बाधाओं के पुनरावृत्त रैखिकीकरण की सख्त आवश्यकता के बिना अभिसरण (converge) कर सकता है।
अनुकूलन: LMA के समान, यह एक प्रिमल-डुअल लूप का उपयोग करता है, लेकिन प्राइमल अपडेट सीधे ऑगमेंटेड लॉस को न्यूनतम करने के लिए L-BFGS का उपयोग करता है। दंड पैरामीटर $\rho$ डुअल अपडेट के लिए स्टेप साइज के रूप में कार्य करता है।
स्केलेबिलिटी: ALMA को LMA की तुलना में बड़े पैमाने की समस्याओं के लिए अधिक मजबूत और कम्प्यूटेशनल रूप से कुशल बनाने के लिए डिज़ाइन किया गया है।

3. मुख्य योगदान (Key Contributions)

सामान्य डेटा-संचालित फ्रेमवर्क: PINNs (PDEs को हल करने) पर केंद्रित पिछले कार्यों के विपरीत, यह विधि सामान्य डेटा-संचालित सरोगेट मॉडलिंग के लिए डिज़ाइन की गई है, जो स्थानीय गैर-रैखिकता के समानांतर कंप्यूटेशन की अनुमति देती है।
$C^1$ निरंतरता प्रवर्तन: यह विधि उप-डोमेन इंटरफेस के बीच फंक्शन वैल्यू और उनके नॉर्मल ग्रेडिएंट दोनों की निरंतरता को स्पष्ट रूप से लागू करती है, जिससे सुचारू भौतिक सन्निकटन (smooth physical approximations) सुनिश्चित होता है।
सॉल्वर्स का तुलनात्मक विश्लेषण: शोध पत्र NN प्रशिक्षण के संदर्भ में मानक लैग्रेंज मल्टीप्लायर्स (जिसके लिए रैखिकीकरण की आवश्यकता होती है) और ऑगमेंटेड लैग्रेंज मल्टीप्लायर्स (दंड पदों का उपयोग करने वाले) के बीच एक कठोर तुलना प्रदान करता है।
स्पार्स डेटा को संभालना: अध्ययन जांच करता है कि जब इंटरफेस के पास डेटा गायब होता है (वास्तविक दुनिया की सेंसर सीमाओं का अनुकरण करते हुए), तो यह विधि कितनी मजबूत है, यह दिखाते हुए कि हालांकि अंतराल (gaps) स्टोकेस्टिसिटी पेश करते हैं, विधि स्थिर रहती है।

4. परिणाम (Results)

विधियों को दो परिदृश्यों से प्राप्त फाइनाइट एलीमेंट मेथड (FEM) डेटा का उपयोग करके मान्य किया गया था:

A. 2D लीनियर-इलास्टिक कंप्रेशन समस्या

सेटअप: एक 2D सिलेंडर जिसे ऊर्ध्वाधर रूप से दबाया गया था, जिसे विभिन्न उप-डोमेन (2 से 10) में विभाजित किया गया था।
प्रदर्शन:
- ALMA ने बेहतर स्केलेबिलिटी प्रदर्शित की। इसने न्यूनतम प्रशिक्षण समय (2 डोमेन के लिए 5.8 घंटे) प्राप्त किया और जैसे-जैसे डोमेन बढ़े, कम्प्यूटेशनल लागत में लगभग रैखिक वृद्धि दिखाई।
- LMA को स्केलेबिलिटी समस्याओं का सामना करना पड़ा, जिसमें प्रशिक्षण का समय 140 घंटे तक पहुँच गया और उचित समय सीमा के भीतर मल्टी-डायरेक्शनल स्प्लिट्स के लिए अभिसरण करने में विफल रहा। इसका कारण अत्यधिक गैर-रैखिक क्षेत्रों के लिए व्यवहार्य रैखिकीकरण (feasible linearizations) खोजने में कठिनाई को बताया गया।
- सटीकता: दोनों विधियों ने अनियंत्रित सन्निकटन की तुलना में इंटरफेस पर विच्छेदन (discontinuities) को काफी कम कर दिया। ALMA ने 3 वर्टिकल सबडोमेन के साथ ~4% की अधिकतम सापेक्ष त्रुटि प्राप्त की, जो रनटाइम और सटीकता के बीच सबसे अच्छा संतुलन प्रदान करता है।
गैप विश्लेषण: डोमेन के बीच अंतराल (गायब डेटा) पेश करने से अनिश्चितता बढ़ गई, जिससे समाधान स्टोकेस्टिक रूप से भिन्न होने लगा, लेकिन विधि स्थिर रही।

B. अनिश्चितता प्रसार के साथ 3D सिलेंडर

सेटअप: स्टोकेस्टिक सामग्री गुणों (बल्क और शियर मॉड्युली) के साथ एक 3D सिलेंडर जिसका उपयोग अनुकूलन के लिए किया गया। डोमेन को दो हिस्सों में विभाजित किया गया था।
परिणाम:
- सरोगेट मॉडल विस्थापन क्षेत्र (displacement field) के माध्य (mean) और मानक विचलन (standard deviation) का सफलतापूर्वक अनुमान लगाने में सक्षम रहा।
- माध्य त्रुटि (Mean Error): नगण्य (< विस्थापन घटकों के लिए 2.5%)।
- विचरण त्रुटि (Variance Error): सेकंड-ऑर्डर मोमेंट्स के प्रति संवेदनशीलता के कारण थोड़ी अधिक (~मानक विचलन के लिए 10%), लेकिन अनुकूलन उद्देश्यों के लिए स्वीकार्य है।
- इंटरफेस निरंतरता: कर्नल डेंसिटी अनुमानों ने इंटरफेस पर उच्च निरंतरता की पुष्टि की, जिसमें दोनों उप-डोमेन के भविष्यवाणियाँ संदर्भ FEM डेटा के साथ निकटता से मेल खाती हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

दक्षता: प्रस्तावित ऑगमेंटेड लैग्रेज मल्टीप्लायर एल्गोरिदम (ALMA) को बड़े पैमाने के NN सरोगेट मॉडल के लिए पसंदीदा दृष्टिकोण के रूप में पहचाना गया है। यह उच्च सटीकता बनाए रखते हुए प्रशिक्षण समय को काफी कम करके ग्लोबल ट्रेनिंग और मानक लैग्रेंज विधि से बेहतर प्रदर्शन करता है।
स्केलेबिलिटी: ALALMA की स्थानीय उप-डोमेन के समानांतर प्रशिक्षण को संभालने की क्षमता इसे उच्च-आयामी समस्याओं के लिए उपयुक्त बनाती है जहाँ वैश्विक NN "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) और अत्यधिक पैरामीटर काउंट के कारण विफल हो जाते हैं।
व्यावहारिक अनुप्रयोग: यह विधि जटिल डिज़ाइन अनुकूलन और अनिश्चितता मात्रा निर्धारण कार्यों में न्यूरल नेटवर्क के उपयोग को सक्षम बनाती है जहाँ कम्प्यूटेशनल संसाधन सीमित हैं और डेटा विरल (sparse) हो सकता है।
भावी कार्य: लेखक उच्च-आयामी स्टोकेस्टिक वेरिएबल्स से जुड़े कम्प्यूटेशनल खर्च को और कम करने के लिए ALMA को और भी बड़े पैमाने की समस्याओं पर लागू करने और इंटरफेस गैप को रैंडम फील्ड के रूप में मॉडल करने का सुझाव देते हैं।

संक्षेप में, यह शोध पत्र सिद्ध करता है कि ऑगमेंटेड लैग्रेंज मल्टीप्लायर्स के साथ डोमेन डिकम्पोजिशन जटिल इंजीनियरिंग सिस्टम के लिए कुशल, उच्च-निष्ठा (high-fidelity) न्यूरल नेटवर्क सरोगेट्स को प्रशिक्षित करने के लिए एक आशाजनक और स्केलेबल रणनीति है।