A Statistical Formulation Gap for Nonlinear Multiscale Physics-Informed Learning

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को यह सिखाने की कोशिश कर रहे हैं कि एक बहुत ही अजीब, ऊबड़-खाबड़ सामग्री के माध्यम से गर्मी कैसे प्रवाहित होती है। यह सामग्री केवल चिकनी नहीं है; इसमें सूक्ष्म, तीव्र उभार और लहरें हैं जो एक इंच में हजारों बार दोहराई जाती हैं। विज्ञान की दुनिया में, इसे "मल्टीस्केल फिजिक्स" (multiscale physics) कहा जाता है। रोबोट का काम ब्रह्मांड के नियमों (भौतिकी) को सीखना है, बिना किसी चीट शीट के, केवल डेटा पॉइंट्स को देखकर। यह "फिजिक्स-इन्फॉर्म्ड लर्निंग" (Physics-Informed Learning) का क्षेत्र है, जहाँ हम कृत्रिम बुद्धिमत्ता (AI) को उन जटिल समीकरणों को हल करने के लिए प्रशिक्षित करने की कोशिश करते हैं जो दुनिया के काम करने के तरीके का वर्णन करते हैं।

आमतौर पर, जब हम रोबोट को ये नियम सिखाते हैं, तो हम उसे अपना काम जाँचने के लिए "स्ट्रॉन्ग रेसिडुअल" (strong residual) देखने को कहते हैं। इसे इस तरह समझें जैसे आप रोबोट से यह जाँचने के लिए कह रहे हों कि क्या गणित हर एक बिंदु पर पूरी तरह से मेल खाता है। लेकिन यहाँ एक पेंच है: यदि सामग्री में वे सूक्ष्म, तीव्र लहरें (सूक्ष्म स्तर/microscopic scale) हैं, तो रोबोट को अपना काम जाँचने के लिए एक 'डेरिवेटिव' (derivative) लेने की आवश्यकता होती है—एक गणितीय प्रक्रिया जो यह मापती है कि चीजें कितनी तेज़ी से बदलती हैं। जब आप ऐसी सामग्री में बदलाव की गति को मापते हैं जो बहुत तेज़ी से लहरदार है, तो संख्याएँ बहुत बड़ी हो जाती हैं, और रोबोट भ्रमित हो जाता है। यह एक घोंघे की गति मापने वाले स्टॉपवॉच से हमिंगबर्ड के पंखों की गति मापने की कोशिश करने जैसा है; सूक्ष्म विवरण माप को अत्यधिक कठिन बना देते हैं।

यह शोध पत्र एक विशिष्ट पहेली को संबोधित करता है: क्या कठिनाई इसलिए है क्योंकि सामग्री को समझना वास्तव में कठिन है, या इसलिए है क्योंकि हम रोबोट को अपना काम जाँचने का गलत तरीका बता रहे हैं? लेखक, रोनाल्ड कटेंडे और उनकी टीम, यह सिद्ध करते हैं कि समस्या स्वयं सामग्री में नहीं है, बल्कि "फॉर्मूलेशन" (formulation) में है—यानी उस विशिष्ट गणितीय रेसिपी में जिसका उपयोग हम रोबोट को प्रशिक्षित करने के लिए करते हैं। वे दिखाते हैं कि यदि आप मानक "स्ट्रॉन्ग" तरीके का उपयोग करते हैं, तो रोबोट का सीखना सांख्यिकीय रूप से असंभव हो जाता है जैसे-जैसे लहरें छोटी होती जाती हैं। हालाँकि, यदि आप "वेरिएशनल" (variational) तरीके पर स्विच करते हैं (जो बिंदु-दर-बिंदु गति के बजाय सिस्टम की कुल ऊर्जा को देखता है), तो रोबोट शांत और स्थिर रहता है, चाहे लहरें कितनी भी छोटी क्यों न हों। यह पेपर गणितीय रूप से इसे सिद्ध करता है और कंप्यूटर सिमुलेशन के माध्यम से इसका समर्थन करता है, जो दिखाता है कि "खराब" तरीका लहरों के छोटा होने पर तेजी से कठिन होता जाता है, जबकि "अच्छा" तरीका स्थिर रहता है।

टेढ़े-मेढ़े दीवार और दो जांचकर्ताओं की कहानी

आइए "विगली वॉल" (Wiggly Wall - लहरदार दीवार) की कहानी में उतरें। कल्पना कीजिए कि आप एक ऐसी इमारत डिजाइन करने की कोशिश कर रहे हैं जो हवा का सामना कर सके। लेकिन यह एक सामान्य दीवार नहीं है; यह एक विशेष सामग्री से बनी है जिसमें सूक्ष्म, दोहराव वाले उभार हैं, जैसे कि एक सूक्ष्म मधुमक्खी का छत्ता। इन उभारों का आकार $\varepsilon$ (एप्सिलॉन) नामक एक बहुत छोटी संख्या द्वारा दर्शाया जाता है। जैसे-जैसे $\varepsilon$ छोटा होता है, उभार अधिक सघन और असंख्य होते जाते हैं।

इस पेपर के वैज्ञानिक एक "न्यूरल सॉल्वर" (Neural Solver)—एक प्रकार का AI मस्तिष्क—को यह समझने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं कि यह दीवार कैसे व्यवहार करती है। उनके पास AI को सिखाने के दो मुख्य तरीके हैं: स्ट्रॉन्ग रेसिडुअल (Strong Residual) विधि और वेरिएशनल (Variational) विधि।

स्ट्रॉन्ग रेसिडुअल: एक अति-उत्साही निरीक्षक
पहली विधि एक अति-उत्साही निरीक्षक की तरह है जो दीवार के पास जाता है और हर एक सूक्ष्म उभार पर हवा की सटीक गति जानने की मांग करता है। ऐसा करने के लिए, निरीक्षक को दीवार की बनावट का "डेरिवेटिव" (derivative) निकालना पड़ता है। क्योंकि दीवार बहुत तेज़ी से लहरदार है ( $\varepsilon$ के पैमाने पर), निरीक्षक को गति प्राप्त करने के लिए उस छोटी संख्या $\varepsilon$ से भाग देना पड़ता है।

• समस्या: हर बार जब उभार दोगुने सघन होते हैं ( $\varepsilon$ आधा होता है), तो निरीक्षक के लिए गति को मापना दोगुना कठिन हो जाता है। यदि निरीक्षक त्रुटि के वर्ग (square) की भी जाँच कर रहा है (जो AI प्रशिक्षण में आम है), तो कठिनाई विस्फोट की तरह बढ़ती है। पेपर सिद्ध करता है कि "सांख्यिकीय जटिलता"—कितना डेटा AI को बिना भ्रमित हुए सीखने के लिए चाहिए—स्पीड चेक के लिए $1/\varepsilon$ के कारक से, और स्क्वेयर्ड एरर चेक के लिए एक विशाल $1/\varepsilon^2$ के कारक से बढ़ जाती है।
• परिणाम: उनके सिमुलेशन में, जब उन्होंने उभारों को छोटा किया, तो स्क्वेयर्ड एरर चेक के लिए कठिनाई उभार के आकार को आधा करने पर लगभग 4 के कारक से बढ़ गई। पेपर इसे "स्टैटिस्टिकल फॉर्मूलेशन गैप" (statistical formulation gap) कहता है। यह इसलिए नहीं है कि दीवार को समझना असंभव है; बल्कि इसलिए है क्योंकि निरीक्षक एक ऐसे आवर्धक लेंस (magnifying glass) का उपयोग कर रहा है जो काम को असंभव बना देता है।

वेरिएशनल विधि: एक शांत ऊर्जा ऑडिटर
दूसरी विधि एक शांत ऊर्जा ऑडिटर (energy auditor) की तरह है। हर एक सूक्ष्म उभार पर ज़ूम करने और उसकी गति मापने के बजाय, ऑडिटर पूरी दीवार की कुल ऊर्जा को देखता है। वे पूछते हैं, "इस पूरे सिस्टम में कितनी ऊर्जा संचित है?"

• जादू: क्योंकि यह विधि कुल ऊर्जा को देखती है, इसे सूक्ष्म उभारों का डेरिवेटिव लेने की आवश्यकता नहीं होती। यह उभारों को एक सुचारू, औसत बनावट के रूप में देखती है। पेपर सिद्ध करता है कि इस विधि के लिए "सांख्यिकीय जटिलता" बिल्कुल वैसी ही रहती है, चाहे उभार कितने भी छोटे क्यों न हों।
• परिणाम: सिमुलेशन में, भले ही उभार अविश्वसनीय रूप से छोटे हो गए हों, ऊर्जा ऑडिटर के लिए कठिनाई स्थिर रही। "फिटेड एक्सपोनेंट" (fitted exponent)—एक संख्या जो बताती है कि कठिनाई कैसे बदलती है—लगतः शून्य था, जिसका अर्थ है कि यह विधि "स्केल-रोबस्ट" (scale-robust) है।

"ऑब्स्ट्रक्शन" (बाधा) और प्रमाण

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने एक गणितीय "ऑब्स्ट्रक्शन विटनेस" (obstruction witness) बनाया। इसे एक सरल एक-आयामी दुनिया (एक रेखा) में बनाया गया एक 'ट्रैपडोर' (trapdoor) समझें, जो यह सिद्ध करने के लिए है कि "स्ट्रॉन्ग रेसिडुअल" विधि विफल होनी ही चाहिए। उन्होंने एक विशिष्ट, सरल परिदृश्य बनाया जहाँ गणित कठिनाई को उच्च होने के लिए मजबूर करता है।

उन्होंने दिखाया कि एक विशिष्ट प्रकार के समीकरण (एक क्यूबिक रिएक्शन के साथ नॉनलीनियर डिफ्यूजन इक्वेशन) के लिए, "राडेमेकर कॉम्प्लेक्सिटी" (Rademacher complexity)—एक फैंसी तरीका जिससे यह मापा जाता है कि डेटा के यादृच्छिक शोर के कारण AI की भविष्यवाणियाँ कितनी लहरदार हो सकती हैं—की एक कठिन निचली सीमा है।

• स्ट्रॉन्ग रेसिडुअल के लिए, यह सीमा $1/(\varepsilon\sqrt{N})$ के समानुपाती है, जहाँ $N$ डेटा पॉइंट्स की संख्या है।
• स्क्वेयर्ड स्ट्रॉन्ग लॉस के लिए, यह $1/(\varepsilon^2\sqrt{N})$ के समानुपाती है।
• वेरिएशनल एनर्जी के लिए, यह $1/\sqrt{N}$ के समानुपाती है, जिसमें हर में $\varepsilon$ बिल्कुल भी नहीं है।

इसका अर्थ यह है कि यदि आप सूक्ष्म पैमानों वाली समस्या पर "स्ट्रॉन्ग" विधि का उपयोग करने का प्रयास करते हैं, तो आप एक सांख्यिकीय कठिन लड़ाई लड़ रहे हैं जो पैमाना छोटा होने पर और भी कठिन होती जाती है। "वेरिएशनल" विधि इस विशिष्ट सांख्यिकीय दंड को हटा देती है।

यह पेपर क्या खारिज करता है (और क्या नहीं)

यह जानना महत्वपूर्ण है कि यह पेपर क्या नहीं कह रहा है।

• यह यह नहीं कह रहा है कि समस्या हल हो गई है: पेपर सिद्ध करता है कि सांख्यिकीय हिस्सा (डेटा का शोर और सैंपलिंग) विधि बदलकर ठीक हो जाता है। हालाँकि, यह स्पष्ट रूप से बताता है कि एप्रोक्सिमेशन (approximation) की समस्या बनी रहती है। भले ही शांत ऊर्जा ऑडिटर मौजूद हो, AI को अभी भी लहरदार दीवार के समाधान का वास्तव में अनुमान लगाने के लिए पर्याप्त स्मार्ट होना चाहिए। पेपर कहता है, "वेरिएशनल फॉर्मूलेशन इस सांख्यिकीय दंड को हटा देता है लेकिन यह अलग मल्टीस्केल एप्रोक्सिमेशन समस्या को नहीं हटाता है।" आपको अभी भी लहरों को संभालने के लिए एक अच्छे न्यूरल नेटवर्क आर्किटेक्चर की आवश्यकता है; बस आप गणित से नहीं लड़ रहे होंगे।
• यह न्यूरल टेंगेंट कर्नेल (NTK) के बारे में नहीं है: पिछले शोधों ने सुझाव दिया था कि कठिनाई प्रशिक्षण की "कंडीशनिंग" (AI के आंतरिक भार कैसे चलते हैं) से आती है। यह पेपर तर्क देता है कि समस्या अधिक गहरी है: यह स्वयं "फंक्शन स्पेस" (function space) के बारे में है। कठिनाई प्रशिक्षण शुरू होने से पहले ही मौजूद होती है, केवल इस कारण से कि डेटा कैसे उतार-चढ़ाव करता है। वे इसे "एम्पिरिकल राडेमेकर कॉम्प्लेक्सिटी" का उपयोग करके सिद्ध करते हैं, जो ऑप्टिमाइज़र या AI के इनिशियलाइजेशन से स्वतंत्र है।
• यह केवल 1D के लिए नहीं है: लेखकों ने सिद्ध किया कि यह "ऑब्स्ट्रक्शन" केवल एक-आयामी रेखा का कोई इत्तेफाक नहीं है। उन्होंने एक "टेन्सर-प्रोडक्ट कंस्ट्रक्शन" का उपयोग करके दिखाया कि वही नियम 2D, 3D और किसी भी संख्या में आयामों में लागू होते हैं। यदि यह विधि एक रेखा में विफल होती है, तो यह एक घन (cube) में भी विफल होगी।

संख्याएँ झूठ नहीं बोलतीं

अपने गणित को पुख्ता करने के लिए, टीम ने कंप्यूटर सिमुलेशन चलाए। उन्होंने अलग-अलग उभारों के आकार ($\varepsilon$) के साथ "विटनेस" परिदृश्यों का परीक्षण किया, जो $2^{-3}$ से लेकर $2^{-8}$ तक थे।

• स्ट्रॉन्ग रेसिडुअल के लिए, जैसे-जैसे उन्होंने उभारों को छोटा किया, जटिलता 0.9971 के घातांक (exponent) के साथ बढ़ी। यह लगभग 1 के बराबर है, जो उनके सिद्धांत से मेल खाता है कि कठिनाई $1/\varepsilon$ के साथ बढ़ती है।
• स्क्वेयर्ड स्ट्रॉन्ग लॉस के लिए, घातांक 1.9860 था, जो लगभग 2 के बराबर है, जो $1/\varepsilon^2$ के सिद्धांत से मेल खाता है।
• वेरिएशनल एनर्जी के लिए, घातांक -0.0028 था, जो अनिवार्य रूप से 0 है। यह पुष्टि करता है कि पैमाना छोटा होने पर कठिनाई नहीं बदलती है।

निष्कर्ष

पेपर निष्कर्ष निकालता है कि "फॉर्मूलेशन गैप" वास्तविक है। हम AI को अपना काम कैसे जाँचने के लिए कहते हैं, यह तय करता है कि समस्या हल करने योग्य है या नहीं। यदि हम "स्ट्रॉन्ग रेसिडुअल" का उपयोग करते हैं, तो हम एक सूक्ष्म गुणांक (coefficient) का डेरिवेटिव लेने की मांग कर रहे हैं, जो एक सांख्यिकीय दुःस्वप्न पैदा करता है। यदि हम "वेरिएशनल" दृष्टिकोण का उपयोग करते हैं, तो हम उस गुणांक का डेरिवेटिव लेने से बच जाते हैं, जिससे समस्या स्थिर और मजबूत बनी रहती है।

इसलिए, अगली बार जब आप किसी वैज्ञानिक को जटिल, लहरदार सामग्री पर AI को प्रशिक्षित करने के लिए संघर्ष करते देखें, तो पेपर सुझाव देता है कि उन्हें शायद बड़े कंप्यूटर या अधिक डेटा की आवश्यकता नहीं है। उन्हें बस उस सवाल को बदलने की आवश्यकता हो सकती है जो वे AI से पूछ रहे हैं। बिंदु-दर-बिंदु गति की जाँच करने के बजाय, उन्हें कुल ऊर्जा के बारे में पूछना चाहिए। यह एक याद दिलाता है कि विज्ञान में, कभी-कभी पहेली का सबसे कठिन हिस्सा पहेली खुद नहीं होती, बल्कि वह लेंस होता है जिससे हम उसे देखते हैं।