🤖 machine learning

From Non-Convex Self-Concordant Regularization to Scalable Quasi-Newton Training of PINNs

यह शोध पत्र SCORE को प्रस्तुत करता है, जो एक नवीन सेल्फ-कन्कॉर्डेंस-प्रेरित क्वासी-न्यूटन विधि है जो बिना स्पष्ट हेसियन निर्माण के जटिल आंशिक अवकल समीकरणों पर प्रशिक्षण को स्थिर करने और कम त्रुटियां प्राप्त करने के लिए एक डिक्रीमेंट-कपल्ड शिफ्टेड सेकेंट ज्योमेट्री का उपयोग करता है।

मूल लेखक: Chenhao Si, Kang An, Shiqian Ma, Ming Yan

प्रकाशित 2026-08-06

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenhao Si, Kang An, Shiqian Ma, Ming Yan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कंप्यूटर को प्रकृति की पहेलियों को हल करना सिखाने की कला

कल्पना कीजिए कि आप एक कंप्यूटर को यह सिखाने की कोशिश कर रहे हैं कि पानी में स्याही की एक बूंद कैसे फैलती है, या गैस में एक शॉकवेव (shockwave) कैसे लहरें पैदा करती है। विज्ञान की दुनिया में, इन्हें आंशिक अवकल समीकरण (Partial Differential Equations - PDEs) कहा जाता है, और ये वे गणितीय नियम पुस्तिकाएं हैं जिनका उपयोग प्रकृति ब्रह्मांड को चलाने के लिए करती है। दशकों से, वैज्ञानिक इन पहेलियों को हल करने के लिए "फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स" (PINNs) का उपयोग करते रहे हैं। एक PINN को एक अत्यंत बुद्धिमान छात्र के रूप में समझें जिसने न केवल उत्तर रटे हैं, बल्कि उसे उत्तर का अनुमान लगाते समय नियम पुस्तिका (भौतिकी के समीकरणों) को पढ़ने के लिए मजबूर किया गया है। छात्र को इस आधार पर ग्रेड दिया जाता है कि उसका अनुमान नियमों के साथ कितनी अच्छी तरह फिट बैठता है।

हालाँकि, इसमें एक पेच है। जैसे-जैसे छात्र एक आदर्श उत्तर के करीब पहुँचता है, ग्रेडिंग अविश्वसनीय रूप से कठिन होती जाती है। "नियम" इतने संवेदनशील हो जाते हैं कि छात्र के अनुमान में छोटी सी गलती भी स्कोर में बड़े, भ्रमित करने वाले उतार-चढ़ाव पैदा कर देती है। यह एक हिलती हुई नाव पर खड़े होकर पेंसिल को उसकी नोक पर संतुलित करने की कोशिश करने जैसा है; मानक अध्ययन विधियाँ (ऑप्टिमाइज़र) अक्सर अटक जाती हैं या हार मान लेती हैं, क्योंकि वे उस अंतिम, पूर्ण संतुलन को खोजने में असमर्थ होती हैं। एक वास्तव में सटीक समाधान प्राप्त करने के लिए, कंप्यूटर को समस्या की कठिनाई के "आकार" को समझने की आवश्यकता है, न कि केवल आगे बढ़ने की दिशा को। यहीं पर "वक्रता" (curvature) की अवधारणा आती है—समस्या के परिदृश्य को एक ऊबड़-खाबड़ इलाके के रूप में कल्पना करना जहाँ कुछ पहाड़ियाँ खड़ी हैं और कुछ समतल हैं, और कंप्यूटर को यह जानने की आवश्यकता है कि बिना गिरे बिल्कुल सटीक कदम कैसे रखा जाए।

शोध पत्र की कहानी: रस्सी पर चलने का एक नया तरीका

इस शोध पत्र में, लेखक एक नई प्रशिक्षण विधि पेश करते हैं जिसे SCORE (Shifted Secant Geometry के साथ Self-Concordant Quasi-Newton method) कहा जाता है। उनका मुख्य निष्कर्ष यह है कि समस्या के परिदृश्य की "ऊबड़-खाबड़ता" को मापने के तरीके को बदलकर, वे न्यूरल नेटवर्क को पहले की तुलना में बहुत अधिक सटीकता तक ले जा सकते हैं, विशेष रूप से तब जब समाधान पहले से ही बहुत सटीक होने के करीब हो।

लेखक तर्क देते हैं कि मानक विधियाँ प्रशिक्षण के अंतिम चरणों में अक्सर विफल हो जाती हैं क्योंकि वे कच्चे, अनफ़िल्टर्ड डेटा का उपयोग करके परिदृश्य को मापने की कोशिश करती हैं जो "अनिश्चित" (भ्रमित करने वाला सपाट या उल्टा भी) या "लगभग सिंगुलर" (इतना सपाट कि वह एक ढलान जैसा दिखे) हो सकता है। वे स्पष्ट रूप रूप से इस विचार को खारिज करते हैं कि केवल कदमों को छोटा करना या मानक "सेकंड-ऑर्डर" ट्रिक्स का उपयोग करना ही इसे ठीक करने के लिए पर्याप्त है। इसके बजाय, वे सुझाव देते हैं कि कंप्यूटर को एक "शिफ्टेड" (स्थानांतरित) दृष्टिकोण की आवश्यकता है।

SCORE कैसे काम करता है, इसे एक मनोरंजक उपमा के माध्यम से समझते हैं:

कल्पना कीजिए कि कंप्यूटर एक हाइकर (पर्वतारोही) है जो एक धुंधली, घुमावदार घाटी (पूर्ण समाधान) के बिल्कुल निचले हिस्से को खोजने की कोशिश कर रहा है।

पुराना तरीका (BFGS/SSBroyden): हाइकर ढलान का अनुमान लगाने के लिए अपने पैरों के नीचे की जमीन और उस स्थान को देखता है जिसे वह अभी छोड़कर आया है। लेकिन कभी-कभी, जमीन इतनी अजीब तरह से आकार लेती है (जटिल भौतिकी के कारण) कि यह अनुमान गलत हो जाता है, या जमीन इतनी सपाट होती है कि हाइकर को समझ नहीं आता कि नीचे की ओर कौन सा रास्ता है। हाइकर एक छोटा, सुरक्षित कदम उठा सकता है या भ्रमित होकर रुक सकता है।
SCORE का तरीका: लेखक एक चतुर ट्रिक प्रस्तावित करते हैं। हाइकर कदम उठाने से पहले, वह कल्पना करता है कि जमीन को एक छोटे, समायोज्य (adjustable) हिस्से से थोड़ा "लिफ्ट" या "शिफ्ट" किया गया है। यह हाइकर के पैरों के नीचे एक पतले, अदृश्य गद्दे (mattress) को रखने जैसा है। यह "शिफ्ट" गारंटी देता है कि जमीन हमेशा एक सौम्य, नीचे की ओर जाने वाली ढलान की तरह दिखेगी, भले ही वास्तविक जमीन भ्रमित करने वाली तरह सपाट क्यों न हो।
जादुई संबंध: इस "गद्दे" का आकार यादृच्छिक (random) नहीं है। यह एक विशिष्ट "डिक्रीमेंट" (decrement) संख्या के आधार पर स्वचालित रूप से समायोजित किया जाता है जिसे कंप्यूटर गणना करता है। यह संख्या कंप्यूटर को बताती है कि वह अपने वर्तमान मानचित्र के बारे में कितना आश्वस्त है।
- यदि मानचित्र डगमगा रहा है (उच्च डिक्रीमेंट), तो गद्दा मोटा हो जाता है, जिससे रास्ता सुरक्षित हो जाता है और कदम छोटे हो जाते हैं।
- यदि मानचित्र स्पष्ट है (कम डिक्रीमेंट), तो गद्दा पतला हो जाता है, जिससे हाइकर को बड़े, अधिक आत्मविश्वासी कदम उठाने की अनुमति मिलती है।

शोध पत्र दिखाता है कि यह "शिफ्टेड" दृश्य कंप्यूटर को तब भी अपने उत्तर को और बेहतर बनाने की अनुमति देता है जब मानक विधियाँ अटक जाती हैं। उन्होंने चार अलग-अलग "प्रकृति पहेलियों" पर इसका परीक्षण किया:

विस्कस बर्गर्स इक्वेशन (Viscous Burgers Equation): तरल पदार्थ कैसे बहते हैं और मिश्रित होते हैं, इसके बारे में एक समस्या।
कुरामोटो-शिवाश्की समीकरण (Kuramoto–Sivashinsky Equation): एक अराजक प्रणाली (chaotic system) जो पैटर्न कैसे बनते हैं और टूटते हैं, इसका मॉडल बनाती है, जैसे कि ज्वाला या रासायनिक प्रतिक्रियाएं।
कोर्टeweg–डे वी (KdV) समीकरण: एक समस्या कि तरंगें कैसे चलती हैं और परस्पर क्रिया करती हैं, जैसे सुनामी या पानी की लहरें।
कॉम्प्लेक्स गिंजबर्ग-लैंडौ समीकरण (Complex Ginzburg–Landau Equation): एक 2D समस्या जिसमें जटिल, दोलनशील पैटर्न शामिल हैं, जिसका उपयोग अक्सर सुपरकंडक्टर्स या तरल टर्बुलेंस को मॉडल करने के लिए किया जाता है।

इन सभी परीक्षणों में, SCORE ने मानक विधियों (BFGS और self-scaled Broyden) की तुलना में लगातार कम त्रुटि दर (error rate) प्राप्त की। उदाहरण के लिए, बर्गर्स समीकरण पर, मानक विधियों ने लगभग $1.40 \times 10^{-8}$ की त्रुटि की, जबकि SCORE ने इसे $2.25 \times 10^{-9}$ तक कम कर दिया—जो कि सटीकता में एक महत्वपूर्ण सुधार है। लेखक नोट करते हैं कि यह सुधार कंप्यूटर की गति को धीमा किए बिना होता है; "गद्दे" वाली ट्रिक गणना में लगभग कोई अतिरिक्त समय नहीं जोड़ती है।

शोध पत्र सुझाव देता है कि इस सफलता का रहस्य यह है कि SCORE केवल कच्चे डेटा को नहीं देखता है; यह एक "कर्वेचर-रिलेटिव" (वक्रता-सापेक्ष) दृष्टिकोण का उपयोग करता है। यह प्रशिक्षण प्रक्रिया के विशिष्ट क्षण के लिए समस्या के आकार की अपनी समझ को अनुकूलित करता है। "शिफ्ट" (सुरक्षा गद्दा) को "डिक्रीमेंट" (विश्वास मीटर) से सीधे जोड़कर, यह विधि एक स्व-सुधारात्मक लूप बनाती है। लेखक इन सिमुलेशन के माध्यम से प्रदर्शित करते हैं कि यह दृष्टिकोण न्यूरल नेटवर्क को उन अंतिम अंशों को निकालने की अनुमति देता है जिन्हें अन्य विधियाँ छोड़ देती हैं, जिससे एक "काफी हद तक सही" समाधान एक अत्यधिक सटीक समाधान में बदल जाता है।

संक्षेप में, शोध पत्र कहता है कि जब कंप्यूटर को प्रकृति की सबसे कठिन गणितीय समस्याओं को हल करना सिखाया जाता है, तो आपको केवल उसे सावधानी से चलने के लिए बताने की आवश्यकता नहीं है; आपको उसे जमीन को स्पष्ट रूप से देखने का एक तरीका देने की आवश्यकता है, भले ही जमीन खुद उसे धोखा देने की कोशिश कर रही हो। SCORE वह स्पष्ट दृश्य प्रदान करता है, यह सुनिश्चित करता है कि कंप्यूटर केवल "लगभग सही" पर न रुके, बल्कि "पूर्ण" होने तक चलता रहे।

तकनीकी सारांश: नॉन-कॉन्वेक्स सेल्फ-कॉन्कॉर्डेंट रेगुलराइजेशन से स्केलेबल क्वासी-न्यूटन ट्रेनिंग (PINNs के लिए) तक

1. समस्या विवरण

फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) आंशिक अंतर समीकरणों (PDEs) को हल करने के लिए एक मेश-फ्री फ्रेमवर्क हैं, जो PDE, बाउंड्री और इनिशियल कंडीशन टर्म्स से बने रेसिडुअल ऑब्जेक्टिव को मिनिमाइज करते हैं। जबकि एडम (Adam) जैसे फर्स्ट-ऑर्डर मेथड्स शुरुआती ट्रेनिंग चरणों के लिए मजबूत होते हैं, वे अक्सर तब रुक जाते हैं जब उच्च-सटीकता वाले समाधानों की आवश्यकता होती है। इस चरण में, रेसिडुअल ऑब्जेक्टिव आमतौर पर अनिश्चित (indefinite), लगभग सिंगुलर और खराब रूप से स्केल किए गए स्थानीय कर्वेचर (local curvature) को प्रदर्शित करता है।

यह इल-कंडीशनिंग इसलिए उत्पन्न होती है क्योंकि PINN हेसियन (Hessian), एक नॉन-नेगेटिव गॉस-न्यूटन टर्म और एक रेसिड्यूल-डिपेंडेंट टर्म का योग है, जिसका चिन्ह कुछ भी हो सकता है। मानक क्वासी-न्यूटन मेथड्स (जैसे BFGS, सेल्फ-स्केल्ड ब्रॉयडेन) क्रमिक ग्रेडिएंट अंतरों से कर्वेचर का अनुमान लगाते हैं। जब देखा गया सेकेंट कर्वेचर कमजोर या अनिश्चित होता है, तो सीखा गया मेट्रिक अविश्वसनीय हो जाता है, जिससे ऑप्टिमाइज़र को रूढ़िवादी लाइन सर्च, डैम्पिंग, या अपडेट स्किपिंग पर निर्भर रहने के लिए मजबूर होना पड़ता है। यह उस "स्मॉल-रेसिड्यूल" रिजीम में प्राप्त होने वाली सटीकता को सीमित करता है जहाँ आगे की प्रगति मोटे तौर पर डिसेंट (descent) के बजाय स्थिर कर्वेचर जानकारी निकालने पर निर्भर करती है।

2. कार्यप्रणाली: SCORE एल्गोरिदम

लेखक SCORE (सेल्फ-कॉन्कॉर्डेंस-प्रेरित क्वासी-न्यूटन मेथड विद डिक्रीमेंट-कपल्ड शिफ्टेड सेकेंट ज्योमेट्री) का प्रस्ताव करते हैं, जो लेट-स्टेज PINN रिफाइनमेंट को स्थिर करने के लिए डिज़ाइन किया गया एक हेसियन-फ्री ऑप्टिमाइज़र है। यह विधि तीन मुख्य अवधारणाओं को एकीकृत करती है:

2.1. वीक सेल्फ-कॉन्कॉर्डेंस और शिफ्टेड मेट्रिक्स

PINN हेसियन की अनिश्चितता को संबोधित करने के लिए, यह विधि एक वीक सेल्फ-कॉन्कॉर्डेंस परिप्रेक्ष्य अपनाती है। कच्चे हेसियन पर निर्भर रहने के बजाय, यह एक शिफ्टेड लोकल मेट्रिक $M_\mu(\theta) = \nabla^2 f(\theta) + \mu I$ का उपयोग करती है, जहाँ $\mu \geq 0$ एक पॉजिटिव कर्वेचर फ्लोर के रूप में कार्य करता है। यह शिफ्ट यह सुनिश्चित करता है कि स्थानीय मेट्रिक पॉजिटिव डेफिनेट हो, बिना अंतर्निहित ऑप्टिमाइज़ेशन ऑब्जेक्टिव को बदले।

2.2. शिफ्टेड सेकेंट ज्योमेट्री

SCORE इस पॉजिटिव शिफ्टेड मेट्रिक को सेल्फ-स्केल्ड ब्रॉयडेन (SSBroyden) मेथड्स के सेकेंट अपडेट मैकेनिज्म के माध्यम से प्रदर्शित करता है।

मान लीजिए $s_k = \theta_{k+1} - \theta_k$ और $y_k = \nabla f(\theta_{k+1}) - \nabla f(\theta_k)$ मानक स्टेप और ग्रेडिएंट डिस्प्लेसमेंट हैं।
विधि एक शिफ्टेड ग्रेडिएंट डिस्प्लेसमेंट $\tilde{y}_k = y_k + \mu_k s_k$ पेश करती है।
जोड़ी $(s_k, \tilde{y}_k)$ स्वीकृत स्टेप के साथ औसत शिफ्टेड मेट्रिक की क्रिया का प्रतिनिधित्व करती है।
इनवर्स हेसियन एप्रोक्सिमेशन $H_{k+1}$ को $y_k$ के बजाय $\tilde{y}_k$ का उपयोग करके अपडेट किया जाता है। यह ऑप्टिमाइज़र को हेसियन या हेसियन-वेक्टर प्रोडक्ट को स्पष्ट रूप से निर्मित किए बिना एक पॉजिटिव लोकल ज्योमेट्री सीखने की अनुमति देता है।

2.3. डिक्रीमेंट-कपल्ड कंट्रोल

SCORE की एक विशिष्ट विशेषता यह है कि एक एकल क्वासी-न्यूटन डिक्रीमेंट ( $\lambda_k$ ) स्टेप सिलेक्शन और कर्वेचर शिफ्ट दोनों को संयुक्त रूप से नियंत्रित करता है:

डिक्रीमेंट गणना: $\lambda_k = \sqrt{\max\{g_k^\top H_k g_k, 0\}}$ , जो सीखे गए मेट्रिक में प्रस्तावित स्टेप साइज को मापता है।
एडेप्टिव शिफ्ट: शिफ्ट का परिमाण $\mu_k = \text{clip}(\eta \lambda_k, [\mu_{\min}, \mu_{\max}])$ द्वारा निर्धारित किया जाता है। एक बड़ा डिक्रीमेंट (जो वर्तमान मेट्रिक में एक बड़े स्टेप को दर्शाता है) अगले अपडेट को स्थिर करने के लिए एक मजबूत कर्वेचर शिफ्ट को ट्रिगर करता है।
कैंडिडेट स्टेप: एक कैंडिडेट स्टेप लेंथ $\alpha_k^{sc} = (1 + \lambda_k)^{-1}$ के रूप में प्रस्तावित की जाती है, जो सेल्फ-कॉन्कॉर्डेंट डैम्प्ड स्टेप रूल से प्रेरित है।
स्वीकृति तर्क (Acceptance Logic): कैंडिडेट को तब स्वीकार किया जाता है यदि वह स्ट्रॉन्ग वोल्फ कंडीशंस (strong Wolfe conditions) को संतुष्ट करता है। यदि अस्वीकृत किया जाता है, तो विधि एक मानक वोल्फ लाइन सर्च पर वापस जाती है।

यह कपलिंग सुनिश्चित करती है कि अगले मेट्रिक के निर्माण के लिए उपयोग किया जाने वाला स्थिरीकरण (stabilization), वर्तमान मेट्रिक के साथ लिए गए स्टेप से सीधे जुड़ा हुआ है।

3. प्रमुख योगदान

ज्यामितीय व्याख्या: पेपर PINNs की रेसिडुअल लीस्ट-स्क्वायर्स ज्योमेट्री और सेल्फ-स्क्लेड ब्रॉयडेन रिफाइनमेंट के दौरान सीखे गए कर्वेचर के बीच एक संबंध स्थापित करता है, जो सेकेंट अपडेट द्वारा प्रतिनिधित्व किए गए स्थानीय मेट्रिक को स्थिर करने की आवश्यकता की पहचान करता है।
वीक सेल्फ-कॉन्कॉर्डेंस फ्रेमवर्क: यह उच्च-सटीकता वाले PINN रिफाइनमेंट के लिए एक वीक-सेल्फ-कॉन्कॉर्डेंस-आधारित लोकल-मेट्रिक परिप्रेक्ष्य पेश करता है, जो नॉन-कॉन्वेक्स ऑब्जेक्टिव्स के लिए कर्वेचर स्टेबलाइजेशन और डिक्रीमेंट-डिपेंडेंट स्टेप कंट्रोल के लिए एक एकीकृत आधार प्रदान करता है।
SCORE एल्गोरिदम: यह SSBroyden के भीतर इस परिप्रेक्ष्य का एक स्केलेबल, हेसियन-फ्री कार्यान्वयन विकसित करता है। यह पॉजिटिव लोकल ज्योमेट्री को प्रदर्शित करने के लिए शिफ्टेड सेकेंट डिस्प्लेसमेंट्स का उपयोग करता है और शिफ्ट मैग्नीट्यूड को क्वासी-न्यूटन डिक्रीमेंट के साथ जोड़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि का मूल्यांकन चार नॉनलीन PDE बेंचमार्क (विसकस बर्गर्स, कुरामोटो-सिवाशिंस्की, कोर्टेवेर-डी-व्रीस, और कॉम्प्लेक्स गिंज़बर्ग-लैंडौ समीकरणों) पर किया गया है।

4. प्रयोगात्मक परिणाम

लेखकों ने समान नेटवर्क आर्किटेक्चर, इनिशियलाइजेशन और ट्रेनिंग प्रोटोकॉल (एडम वार्म-स्टार्ट के बाद क्वासी-न्यूटन रिफाइनमेंट) का उपयोग करते हुए चार PDE बेंचमार्क पर मानक BFGS और सेल्फ-स्केल्ड ब्रॉयडेन (SSBroyden) बेसलाइन्स के विरुद्ध SCORE का मूल्यांकन किया।

विसकस बर्गर्स समीकरण (Viscous Burgers Equation): SCORE ने $2.25 \times 10^{-9}$ की रिलेटिव $L_2$ एरर हासिल की, जो SSBroyden ( $1.40 \times 10^{-8}$ ) और BFGS ( $1.56 \times 10^{-8}$ ) से काफी बेहतर प्रदर्शन करती है। एक एब्लेशन स्टडी ने पुष्टि की कि शिफ्टेड सेकेंट डिस्प्लेसमेंट और सेल्फ-कॉन्कॉर्डेंट कैंडिडेट-स्टेप टेस्ट दोनों ही इस सुधार में पूरक योगदान देते हैं।
कुरामोटो-सिवाशिंस्की समीकरण (Kuramoto–Sivashinsky Equation): इस अराजक (chaotic), समय-निर्भर समस्या में, SCORE ने बाद के समय अंतराल में एरर रिडक्शन बनाए रखा जहाँ बेसलाइन्स रुक गए थे, और $5.59 \times 10^{-4}$ (BFGS) तथा $7.95 \times 10^{-4}$ (SSBroyden) की तुलना में $1.84 \times 10^{-4}$ की रिलेटिव $L_2$ एरर प्राप्त की।
कोर्टेवेर-डी-व्रीस (KdV) समीकरण: SCORE ने जटिल वेव इंटरैक्शन वाले क्षेत्रों में रेसिडुअल एरर्स पर बेहतर नियंत्रण दिखाया, और BFGS के $1.49 \times 10^{-6}$ के मुकाबले $3.57 \times 10^{-7}$ की अंतिम एरर तक पहुँचा।
कॉम्प्लेक्स गिंज़बर्ग-लैंडौ समीकरण (Complex Ginzburg–Landau Equation): 2D कॉम्प्लेक्स-वैल्यूड सेटिंग में, SCORE ने रियल और इमेजिनरी दोनों घटकों के लिए सबसे कम एरर हासिल किया, जिसमें रियल पार्ट के लिए $8.42 \times 10^{-4}$ की रिलेटिव $L_2$ एरर मिली, जबकि बेसलाइन्स के लिए यह $2.1 \times 10^{-3}$ से अधिक थी।

सभी बेंचमार्क्स में, SCORE ने बेसलाइन्स के समान कम्प्यूटेशनल ओवरहेड (प्रति रिफाइनमेंट ब्लॉक वॉल-क्लॉक टाइम) बनाए रखते हुए लगातार कम अंतिम एरर प्राप्त की।

5. महत्व और दावे

पेपर का दावा है कि SCORE, PINN ट्रेनिंग की अंतिम सटीकता में सुधार करता है क्योंकि यह विशेष रूप से एक स्मॉल-रेसिड्यूल, अत्यधिक इल-कंडीशन्ड रिजीम में अनुकूलन की चुनौती को संबोधित करता है।

कर्वेचर-रिलेटिव ऑप्टिमाइजेशन: लेखक तर्क देते हैं कि PINN ऑप्टिमाइजेशन के अंतिम चरणों में, प्रगति मोटे तौर पर डिसेंट से नहीं, बल्कि एक नाजुक स्थानीय लॉस ज्योमेट्री से विश्वसनीय कर्वेचर जानकारी निकालने की क्षमता से सीमित होती है। SCORE इसे वर्स्ट-केस लिप्सचिट्ज़ धारणाओं के बजाय एक कर्वेचर-रिलेटिव दृश्य (वीक सेल्फ-कॉन्कॉर्डेंस) का उपयोग करके संबोधित करता है।
ऑब्जेक्टिव संशोधन के बिना स्थिरीकरण: यह विधि अंतर्निहित PINN ऑब्जेक्टिव को बदले बिना या बाहरी पेनल्टी टर्म्स पेश किए बिना, शिफ्टेड सेकेंट ज्योमेट्री के माध्यम से सीखे गए कर्वेचर मॉडल को स्थिर करती है।
स्केलेबिलिटी: स्पष्ट हेसियन निर्माण से बचकर और स्टेप सिलेक्शन एवं मेट्रिक स्टेबलाइजेशन को समन्वयित करने के लिए एक एकल डिक्रीमेंट का उपयोग करके, SCORE उच्च-सटीकता वाले रिफाइनमेंट के लिए एक स्केलेबल पथ प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि यह कार्य विशेष रूप से फिजिक्स-इन्फॉर्म्ड ऑब्जेक्टिव्स के लिए डिज़ाइन किए गए दूसरा वर्ग के मेथड्स की ओर संकेत करता है, जहाँ स्टेप साइज़ और मेट्रिक अपडेट्स स्वयं PDE लॉस की ज्योमेट्री द्वारा नियंत्रित होते हैं।