🤖 machine learning

Scaling Laws and Pathologies of Single-Layer PINNs: Network Width and PDE Nonlinearity

यह शोध पत्र स्थापित करता है कि सिंगल-लेयर फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स दोहरी अनुकूलन विकृतियों (dual optimization pathologies)—स्पेक्ट्रल बायस और PDE नॉनलिनियैरिटी द्वारा संचालित बेसलाइन और कंपाउंडिंग विफलताओं—से ग्रस्त हैं, जो चौड़ाई (width) बढ़ाने के साथ त्रुटि में कमी लाने से रोकते हैं, जिससे यह प्रकट होता है कि अनुकूलन (optimization), न कि सन्निकटन क्षमता (approximation capacity), जटिल, गैर-पृथक स्केलिंग लॉ द्वारा नियंत्रित प्राथमिक बाधा है।

मूल लेखक: Faris Chaudhry

प्रकाशित 2026-03-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Faris Chaudhry

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: "चौड़ा होना बेहतर है" वाला भ्रम

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, एक लोकप्रिय नियम है: "यदि आप न्यूरल नेटवर्क को चौड़ा करते हैं (अधिक न्यूरॉन्स जोड़ते हैं), तो यह अधिक स्मार्ट हो जाता है और समस्याओं को बेहतर ढंग से हल करता है।" यह चीज़ों जैसे कि फोटो में बिल्लियों को पहचानने या भाषाओं का अनुवाद करने के लिए बहुत अच्छा काम करता है।

हालाँकि, यह शोध पत्र एक विशिष्ट प्रकार के AI की जांच करता है जिसे PINN (फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क) कहा जाता है। ये वे AI हैं जिन्हें उन जटिल गणितीय समीकरणों को हल करने के लिए प्रशिक्षित किया जाता है जो भौतिक दुनिया के काम करने के तरीके (जैसे पानी का बहना या गर्मी का फैलना) का वर्णन करते हैं।

लेखक, फारिस चौधरी ने एक चौंकाने वाला सच खोजा है: इन भौतिक समस्याओं के लिए, नेटवर्क को चौड़ा करने से अक्सर यह बदतर हो जाता है, या अधिक से अधिक, कुछ भी नहीं बदलता।

मूल समस्या: "स्पेक्ट्रल बायस" (Spectral Bias) का ट्रैफिक जाम

कल्पना कीजिए कि आप एक परिदृश्य (लैंडस्केप) की पेंटिंग बनाने की कोशिश कर रहे हैं।

आसान हिस्सा: नीला आकाश और हरी पहाड़ियाँ बनाना (लो-फ्रीक्वेंसी, चिकनी आकृतियाँ)।
कठिन हिस्सा: एक चट्टानी ढलान के छोटे, ऊबड़-खाबड़ विवरण या एक धारा की लहरें बनाना (हाई-फ्रीक्वेंसी, तीखे विवरण)।

न्यूरल नेटवर्क में एक स्वाभाविक कमी होती है जिसे स्पेक्ट्रल बायस (Spectral Bias) कहा जाता है। यह एक ऐसे कलाकार की तरह है जो बड़े, चिकने धब्बे बनाने में तो माहिर है लेकिन छोटे, तीखे विवरण बनाने में बहुत बुरा है। वे स्वाभाविक रूप से "शोर" (noise) को अनदेखा करते हैं और "चिकनापन" (smoothness) पर ध्यान केंद्रित करते हैं।

जब भौतिक समस्या सरल होती है (जैसे एक चिकनी पहाड़ी), तो AI ठीक काम करता है। लेकिन जब समस्या नॉनलीनियर (nonlinear) हो जाती है (यानी भौतिकी अराजक हो जाती है, जैसे कि एक तूफानी समुद्र या शॉकवेव), तो समाधान के लिए उन छोटे, तीखे विवरणों की आवश्यकता होती है। AI का "स्पेक्ट्रल बायस" उसे वहीं अटका देता है। वह चिकने आकाश को पेंट करता रहता है और पूरी तरह से ऊबड़-खाबड़ चट्टानों को मिस कर देता है।

दो "पैथोलॉजीज़" (दोहरी मुसीबत)

शोध पत्र दो विशिष्ट तरीकों की पहचान करता है जिनसे यह AI विफल होता है:

1. बेसलाइन पैथोलॉजी: "अधिक दिमाग, वही उलझन"

आप सोच सकते हैं, "अगर AI उलझन में है, तो चलिए इसे और अधिक न्यूरॉन्स देते हैं (नेटवर्क को चौड़ा करते हैं) ताकि इसके पास इसे समझने के लिए अधिक दिमागी शक्ति हो।"

वास्तविकता: लेखक ने पाया कि इन भौतिक समस्याओं के लिए, अधिक न्यूरॉन्स देना एक भ्रमित व्यक्ति को एक बड़ी लाइब्रेरी देने जैसा है। उन्हें अभी भी यह नहीं पता कि सही किताब कैसे पढ़नी है।
परिणाम: एक विशाल नेटवर्क के बावजूद, त्रुटि (error) कम नहीं होती है। वास्तव में, कभी-कभी यह बढ़ जाती है। AI इसलिए विफल नहीं हो रहा है क्योंकि उसमें "क्षमता" (दिमागी शक्ति) की कमी है; बल्कि इसलिए विफल हो रहा है क्योंकि प्रशिक्षण प्रक्रिया (training process) ही खराब है। वह एक स्थानीय जाल (local trap) में फंस गया है और सही रास्ता नहीं ढूंढ पा रहा है, चाहे नेट कितना भी चौड़ा क्यों न हो।

2. कंपाउंडिंग पैथोलॉजी: "अराजकता का गुणक" (The Chaos Multiplier)

यह और भी बदतर हो जाता है। लेखक ने अलग-अलग स्तर की "कठिनाई" (नॉनलिनैरिटी) वाली समस्याओं का परीक्षण किया।

उपमा: कल्पना कीजिए कि आप एक कमरे में चलने की कोशिश कर रहे हैं।
- कम कठिनाई: फर्श समतल है। आप आसानी से चल सकते हैं।
- उच्च कठिनाई: फर्श फिसलन भरी बर्फ और चलते हुए अवरोधों से ढका हुआ है।
निष्कर्ष: जैसे-जैसे समस्या "अधिक फिसलन भरी" (अधिक नॉनलीनियर) होती जाती है, AI की सीखने की क्षमता ढह जाती है। "नेटवर्क की चौड़ाई" और "सफलता" के बीच का संबंध पूरी तरह से टूट जाता है। आप केवल एक सरल सूत्र (जैसे सफलता = चौड़ाई × कठिनाई) का उपयोग करके परिणाम की भविष्यवाणी नहीं कर सकते। कठिनाई खेल के नियमों को ही बदल देती है।

प्रयोग: सीमाओं का परीक्षण

लेखक ने इसे तीन प्रसिद्ध भौतिक समीकरणों पर परखा:

KdV (पानी की लहरें): एक बड़ी लहर (सोलिटॉन) कितनी बड़ी है, इसका परीक्षण।
Sine-Gordon (एक तार में लहरें): नॉन-लीनियर खिंचाव कितना मजबूत है, इसका परीक्षण।
Allen-Cahn (फेज परिवर्तन): दो अवस्थाओं (जैसे बर्फ और पानी) के बीच की सीमा कितनी तीखी है, इसका परीक्षण।

परिणाम:

लीनियर समस्याएं (चिकनी): AI थोड़ा संघर्ष करता है, लेकिन वह सीख सकता है।
नॉनलीनियर समस्याएं (अराजक): AI बुरी तरह विफल रहा।
- ReLU (एक सामान्य एक्टिवेशन फंक्शन) का उपयोग करना एक टेढ़े रूलर से एक चिकनी वक्र (curve) बनाने की कोशिश करने जैसा था; यह पूरी तरह विफल रहा।
- Tanh (एक अधिक चिकना फंक्शन) थोड़ा बेहतर था लेकिन फिर भी वह सीखने के "ट्रैफिक जाम" को पार नहीं कर सका।
- महत्वपूर्ण बात: नेटवर्क को चौड़ा करने (16 न्यूरॉन्स से 1024 न्यूरॉन्स तक) से समस्या हल नहीं हुई। त्रुटि ऊँची बनी रही या और खराब हो गई।

निष्कर्ष: "ब्रूट-फोर्स" करना बंद करें

मुख्य निष्कर्ष शोधकर्ताओं के लिए एक चेतावनी है।

केवल बड़े, चौड़े नेटवर्क न बनाएं। भौतिक समस्याओं के लिए, एक साधारण, चौड़े, सिंगल-लेयर नेटवर्क पर अधिक कंप्यूटिंग पावर लगाना समय की बर्बादी है।
अवरोध मस्तिष्क का आकार नहीं है, बल्कि सीखने की विधि है। AI "हाई-फ्रीक्वेंसी" विवरणों (ऊबड़-खाबड़ चट्टानों) को सीखने की कोशिश कर रहा है, लेकिन उसका लर्निंग एल्गोरिदम "लो-फ्रीक्वेंसी" विवरणों (चिकने आकाश) की ओर झुका हुआ है।
भविष्य: हमें केवल नेटवर्क को चौड़ा करने के बजाय, इन नेटवर्कों को प्रशिक्षित करने के नए तरीकों (बेहतर ऑप्टिमाइज़र, अलग आर्किटेक्चर, या उन्हें हाई-फ्रीक्वेंसी विवरण देखने में मदद करने के लिए "फूरियर फीचर्स" जोड़ने) की आवश्यकता है।

संक्षेप में: यदि आप एक AI को जटिल भौतिक समीकरणों को हल करना सिखाने की कोशिश कर रहे हैं, तो केवल उसे एक बड़ा दिमाग देने से कोई फायदा नहीं होगा यदि वह गलत सीखने की रणनीति का उपयोग कर रहा है। यह इस बारे में नहीं है कि नेटवर्क कितना बड़ा है; यह इस बारे में है कि वह भौतिक दुनिया के तीखे, अराजक विवरणों को कितनी अच्छी तरह देख सकता है।

यहाँ फारिस चौधरी के शोध पत्र "Scaling Laws and Pathologies of Single-Layer PINNs: Network Width and PDE Nonlinearity" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) की सैद्धांतिक अभिव्यंजना क्षमता (theoretical expressivity) और उनके व्यावहारिक अनुकूलन प्रदर्शन (practical optimization performance) के बीच एक महत्वपूर्ण अंतर को संबोधित करता है।

सैद्धांतिक अपेक्षा: यूनिवर्सल एप्रोक्सिमेशन थ्योरम (UAT) और एप्रोक्सिमेशन थ्योरी (जैसे बैरन स्पेस) यह सुझाव देते हैं कि सिंगल-लेयर नेटवर्क (SLNs) भी नेटवर्क की चौड़ाई ( $N$ ) बढ़ने के साथ $O(N^{-1/2})$ की त्रुटि स्केलिंग के साथ निरंतर फलनों (continuous functions) का सन्निकटन कर सकते हैं।
व्यावहारिक वास्तविकता: PINNs अक्सर जटिल आंशिक अवकल समीकरणों (PDEs) को हल करने में विफल रहते हैं, विशेष रूप से उच्च गैर-रैखिकता (high nonlinearity) वाले मामलों में।
मुख्य प्रश्न: क्या नेटवर्क की चौड़ाई बढ़ाने से PINNs में समाधान की सटीकता में सुधार होता है जैसा कि सिद्धांत बताता है, या अनुकूलन संबंधी चुनौतियाँ (विशेष रूप से स्पेक्ट्रल बायस और नॉन-कॉन्वेक्स लॉस लैंडस्केप) इसे रोकती हैं? लेखक यह जांचते हैं कि क्या स्केलिंग संबंध विभाज्य (separable - चौड़ाई और गैर-रैखिकता के स्वतंत्र प्रभाव) है या गैर-विभाज्य (non-separable - जुड़े हुए प्रभाव)।

2. कार्यप्रणाली (Methodology)

लेखक कैनोनिकल नॉनलीनियर PDEs के एक समूह के लिए सिंगल-लेयर PINNs के लिए स्केलिंग लॉ प्राप्त करने हेतु एक अनुभवजन्य ढांचा प्रस्तावित करते हैं।

आर्किटेक्चर: विभिन्न चौड़ाई ( $N \in \{16, \dots, 1024\}$ ) वाले सिंगल-लेयर न्यूरल नेटवर्क (SLNs)।
एक्टिवेशन फंक्शन: स्पेक्ट्रल बायस और डेरिवेटिव प्रतिनिधित्व के प्रभाव को अलग करने के लिए Tanh (स्मूथ, $C^\infty$ ) और ReLU (नॉन-स्मूथ) दोनों का परीक्षण किया गया है।
PDE सूट और हार्डनेस पैरामीटर ( $\kappa$ ):
- पॉइसन समीकरण (रैखिक): सैद्धांतिक स्केलिंग दरों को मान्य करने के लिए बेसलाइन के रूप में उपयोग किया गया।
- कोर्टवेग-डी-वीज़ (KdV): विसरणात्मक (Dispersive); $\kappa$ सॉलिटॉन आयाम/तीक्ष्णता को नियंत्रित करता है।
- साइन-गॉर्डन (Sine-Gordon): हाइपरबोलिक/ट्रांसेंडेंटल; $\kappa$ नॉनलीनियर पोटेंशियल को स्केल करता है।
- एलन-कैहन (Allen-Cahn): रिएक्टिव/पैराबोलिक; $\kappa = 1/D$ (इनवर्स डिफ्यूजन), इंटरफेस की तीक्ष्णता को नियंत्रित करता है।
- नोट: सभी नॉनलीनियर मामलों में, $\kappa$ बढ़ाने से ग्राउंड ट्रुथ सॉल्यूशन के हाई-फ्रीक्वेंसी कंपोनेंट्स बढ़ जाते हैं, जो नेटवर्क के स्पेक्ट्रल बायस को चुनौती देते हैं।
प्रशिक्षण प्रोटोकॉल (Training Protocol):
- लॉस (Loss): PDE, बाउंड्री कंडीशन (BC), और इनिशियल कंडीशन (IC) अवशेषों का भारित योग (समान भार)।
- ऑप्टिमाइज़र: Adam ( $lr=10^{-3}$ ) 25,000 इपोक के लिए।
- मूल्यांकन: उच्च-विश्वसनीयता वाले विश्लेषणात्मक/संख्यात्मक समाधानों के विरुद्ध मीन रिलेटिव $L_2$ एरर।
स्केलिंग विश्लेषण:
1. यूनिवेरिएट (Univariate): फिक्स्ड $\kappa$ पर एरर $\approx A \cdot N^{-\alpha}$ को फिट करना ताकि चौड़ाई घातांक $\alpha(\kappa)$ निर्धारित किया जा सके।
2. मल्टीवेरिएट (Multivariate): विभाज्य पावर लॉ $Error \approx A \cdot N^{-\alpha} \cdot \kappa^{\gamma}$ को फिट करना और नॉन-सेपरेबल इंटरेक्शन मॉडल के विरुद्ध तुलना करना।

3. मुख्य योगदान (Key Contributions)

दोहरे अनुकूलन विफलता की पहचान: यह शोध पत्र स्थापित करता है कि PINN की विफलता अप्रोक्सिमेशन क्षमता की कमी के कारण नहीं, बल्कि अनुकूलन की विफलता के कारण है, जिसे दो पैथोलॉजी द्वारा पहचाना गया है:
- बेसलाइन पैथोलॉजी: फिक्स्ड नॉनलिनैरिटी पर भी एरर चौड़ाई के साथ कम नहीं होता है ( $\alpha \approx 0$ या नकारात्मक), जो सैद्धांतिक $\alpha = 0.5$ से काफी कम है।
- कंपाउंडिंग पैथोलॉजी: गैर-रैखिकता इस विफलता को और बढ़ा देती है, जिससे सरल विभाज्य स्केलिंग लॉ टूट जाता है।
गैर-विभाज्य स्केलिंग का परिमाणीकरण: लेखक प्रमाण प्रदान करते हैं कि स्केलिंग घातांक $\alpha$ , गैर-रैखिकता $\kappa$ का एक फलन है। यह संबंध गैर-विभाज्य (non-separable) है, जिसका अर्थ है कि चौड़ाई का प्रभाव समस्या की कठिनाई पर बहुत अधिक निर्भर करता है।
एक्टिवेशन फंक्शन विचलन: ReLU और Tanh नेटवर्क के बीच एक विशिष्ट यांत्रिक अंतर पाया गया है कि वे गैर-रैखिकता के साथ कैसे परस्पर क्रिया करते हैं (विशेष रूप से, ReLU सांख्यिकीय रूप से महत्वपूर्ण नॉन-सेपरेबल इंटरेक्शन दिखाता है, जबकि Tanh नहीं)।

4. मुख्य परिणाम (Key Results)

लीनियर बेंचमार्क (पॉइसन):
- Tanh: कम एरर ( $\approx 10^{-3}$ ) तक अभिसरण (converge) करता है लेकिन उच्च विचरण (variance) प्रदर्शित करता है और कोई सुसंगत स्केलिंग ट्रेंड नहीं दिखाता ( $\alpha \approx 0.06$ )।
- ReLU: विनाशकारी विफलता। चौड़ाई के बावजूद एरर उच्च ( $\approx 1.0$ ) रहता है ( $\alpha \approx 0.01$ )। इसका श्रेय स्पेक्ट्रल बायस को दिया जाता है; ReLU का दूसरा डेरिवेटिव डिरैक डेल्टा का एक स्पार्स सेट है, जो इसे PDE लॉस के लिए आवश्यक स्मूथ डेरिवेटिव के लिए अनुपयुक्त बनाता है।
नॉनलीनियर PDEs (KdV, Sine-Gordon, Allen-Cahn):
- चौड़ाई स्केलिंग ( $\alpha$ ): सभी नॉनलीनियर PDEs में लगातार शून्य के करीब या नकारात्मक है। चौड़ाई बढ़ाने से अक्सर एरर बढ़ जाता है, जो डीप लर्निंग के "वाइडर इज बेटर" (चौड़ा होना बेहतर है) नियम का खंडन करता है।
- हार्डनेस स्केलिंग ( $\gamma$ ): सामान्यतः सकारात्मक (एरर $\kappa$ के साथ बढ़ता है), सिवाय एलन-कैहन (ReLU के साथ) के, जहाँ $\gamma$ नकारात्मक है, जो एक गुणात्मक रूप से भिन्न विफलता तंत्र का सुझाव देता है।
- गैर-रैखिकता का प्रभुत्व: हार्डनेस $\kappa$ में परिवर्तन एरर को कई ऑर्डर्स (orders of magnitude) बदल देता है, जबकि चौड़ाई $N$ में परिवर्तन आमतौर पर एक ऑर्डर से भी कम का अंतर पैदा करता है।
सेपरेबिलिटी टेस्ट:
- सरल विभाज्य मॉडल ( $N^{-\alpha}\kappa^{\gamma}$ ) अपर्याप्त है।
- इंटरेक्शन: ReLU के लिए, चौड़ाई और गैर-रैखिकता के बीच इंटरेक्शन टर्म सांख्यिकीय रूप से महत्वपूर्ण है, जो एक गैर-विभाज्य संबंध की पुष्टि करता है। Tanh के लिए, उच्च गैर-रैखिकता पर चौड़ाई पूरी तरह से एक सांख्यिकीय रूप से महत्वपूर्ण कारक नहीं रह जाती है।

5. महत्व और निहितार्थ (Significance and Implications)

अनुकूलन बनाम क्षमता (Optimization vs. Capacity): PINNs के लिए प्राथमिक बाधा अनुकूलन (optimization) है, न कि अप्रोक्सिमेशन क्षमता। नॉनलीनियर PDEs द्वारा प्रेरित जटिल, नॉन-कॉन्वेक्स लॉस लैंडस्केप ग्रेडिएंट-आधारित ऑप्टिमाइज़र्स को सैद्धांतिक मिनिमा खोजने से रोकता है, चाहे नेटवर्क का आकार कुछ भी हो।
स्पेक्ट्रल बायस (Spectral Bias): परिणाम इस बात की पुष्टि करते हैं कि स्पेक्ट्रल बायस (लो-फ्रीक्वेंसी को पहले सीखने की प्रवृत्ति) एक मौलिक सीमा है। जैसे-जैसे गैर-रैखिकता बढ़ती है, समाधान के लिए हाई-फ्रीक्वेंसी कंपोनेंट्स की आवश्यकता होती है जिन्हें मानक PINNs सीखने में संघर्ष करते हैं, जिससे "पैथोलॉजिकल स्केलिंग" होती है जहाँ व्यापक नेटवर्क खराब प्रदर्शन करते हैं।
"ब्रूट फोर्स" की अक्षमता: जटिल नॉनलीनियर PDEs को हल करने के लिए केवल सिंगल-लेयर PINF की चौड़ाई बढ़ाना एक अक्षम रणनीति है।
भविष्य की दिशाएं: यह शोध पत्र उन्नत आर्किटेक्चर (मल्टी-लेयर, फूरियर फीचर्स, अटेंशन मैकेनिज्म) और ऑप्टिमाइज़र्स (एडैप्टिव वेटिंग, सेकंड-ऑर्डर मेथड्स) पर स्केलिंग अध्ययन की मांग करता है, जो स्पेक्ट्रल बायस को कम कर सकें और सैद्धांतिक एवं अनुभवजन्य स्केलिंग के बीच के अंतर को पाट सकें।

संक्षेप में, यह कार्य यह सिद्ध करने के लिए एक कठोर मात्रात्मक ढांचा प्रदान करता है कि मानक सिंगल-लेयर PINNs नॉनलीनियर समस्याओं के लिए बुनियादी अनुकूलन पैथोलॉजी से ग्रस्त हैं, जो सरल चौड़ाई-स्केलिंग को अप्रभावी बनाते हैं, जिससे वास्तुशिल्प (architectural) और प्रशिक्षण रणनीतियों में बदलाव की आवश्यकता होती है।