💻 computer science

OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems

यह शोध पत्र OrthoReg को प्रस्तुत करता है, जो एक ऑर्थोगोनल रेगुलराइजेशन विधि है जो हाइब्रिड सिम्बोलिक-न्यूरल डायनेमिकल सिस्टम में न्यूरल नेटवर्क को प्रतीकात्मक संरचनाओं (symbolic structures) को पुनरावृत्ति से फिर से सीखने से रोकता है, जिससे एक पूरक अपघटन (complementary decomposition) सुनिश्चित होता है जो सिम्बोलिक रिकवरी और आउट-ऑफ-डिस्ट्रीब्यूशन प्रदर्शन में सुधार करता है।

मूल लेखक: Till Richter, Niki Kilbertus

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Till Richter, Niki Kilbertus

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "OrthoReg" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "ज़रूरत से ज़्यादा समझाने वाला" छात्र

कल्पना कीजिए कि आप एक रोबोट को मौसम की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। आपके पास दो उपकरण हैं:

नियम पुस्तिका (सिंबोलिक मॉडल): यह ज्ञात भौतिकी के नियमों (जैसे "गर्म हवा ऊपर उठती है") का एक समूह है। इसे समझना आसान है, लेकिन यह अक्सर वास्तविक तूफान के हर छोटे विवरण को पकड़ने के लिए बहुत सरल होता है।
प्रतिभाशाली छात्र (न्यूरल नेटवर्क): यह एक सुपर-स्मार्ट AI है जो डेटा से कुछ भी सीख सकता है। यह जटिल पैटर्न को समझने में माहिर है, लेकिन यह एक "ब्लैक बॉक्स" है—आप आसानी से यह नहीं देख सकते कि इसने चीज़ों को कैसे समझा, और इसकी एक बुरी आदत है कि यह अपने स्वयं के नियम बनाने के लिए 'नियम पुस्तिका' को अनदेखा कर देता है।

हाइब्रिड दृष्टिकोण: वैज्ञानिक उन्हें मिलाने की कोशिश करते हैं। वे कहते हैं, "नियम पुस्तिका को बुनियादी भौतिकी संभालने दें, और प्रतिभाशाली छात्र को उन अजीब चीज़ों के लिए खाली जगह भरने दें जिन्हें हम अभी तक नहीं समझते।"

खामी (The Glitch): पेपर बताता है कि इसे आमतौर पर करने के तरीके में एक बड़ी कमी है। क्योंकि प्रतिभाशाली छात्र बहुत लचीला होता है, इसलिए वह अक्सर उस बुनियादी भौतिकी को फिर से सीखने का निर्णय लेता है जिसे नियम पुस्तिका पहले से ही जानती है।

उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है। शिक्षक कहता है, "पहले भाग के लिए सूत्र $x + y$ का उपयोग करें, और बाकी के लिए आप अपने स्वयं के तर्क का उपयोग कर सकते हैं।" लेकिन छात्र सूत्र को अनदेखा कर देता है और $x + y$ वाले हिस्से के लिए भी अपने स्वयं के तर्क का उपयोग करके पूरा उत्तर लिख देता है।
परिणाम: अंतिम मॉडल एक अस्त-व्यस्त मिश्रण बन जाता है। आप यह नहीं बता सकते कि क्या "वास्तविक भौतिकी" है और क्या केवल AI का अनुमान है। "नियम पुस्तिका" वाला हिस्सा दब जाता है और बेकार हो जाता है।

समाधान: OrthoReg ( "कोई ओवरलैप नहीं" का नियम)

लेखक एक नया तरीका पेश करते हैं जिसे OrthoReg कहा जाता है। इसे एक सख्त शिक्षक के रूप में समझें जो नियम पुस्तिका और छात्र के बीच "कोई ओवरलैप नहीं" (No Overlap) के नियम को लागू करता है।

यह कैसे काम करता है:

नियम पुस्तिका अपने ज्ञात सूत्रों के पुस्तकालय का उपयोग करके जितना हो सके उतना समझाने की कोशिश करती है।
छात्र को बाकी चीज़ें सीखने की अनुमति है, लेकिन एक शर्त के साथ: उसे उन किसी भी "दिशाओं" या पैटर्न का उपयोग करने से रोका जाता है जिनका उपयोग नियम पुस्तिका करती है।
यदि नियम पुस्तिका "गुरुत्वाकर्षण" को समझाती है, तो छात्र को गणितीय रूप से कुछ बिल्कुल अलग (जैसे "हवा का घर्षण") खोजने के लिए मजबूर किया जाता है ताकि शेष त्रुटियों को समझाया जा सके।

रचनात्मक रूपक: दो चित्रकार
कल्पना कीजिए कि दो चित्रकार एक परिदृश्य (landscape) बनाने के लिए एक ही कैनवास पर काम कर रहे हैं।

चित्रकार A (सिंबोलिक मॉडल) के पास केवल पहले से बने हुए स्टैम्प (stamps) हैं: पेड़, बादल और पहाड़। वे इन स्टैम्पों को कैनवास पर लगाते हैं।
चित्रकार B (न्यूरल नेटवर्क) के पास एक ब्रश है और वह कुछ भी पेंट कर सकता है।
पुराना तरीका: चित्रकार B सब कुछ पेंट कर देता है, जिसमें पेड़ और पहाड़ भी शामिल हैं, क्योंकि वह इसमें कुशल है। अब आप यह नहीं बता सकते कि कौन सा हिस्सा स्टैम्प किया गया था और कौन सा पेंट किया गया था। "स्टैम्प" खो जाते हैं।
OrthoReg का तरीका: शिक्षक कहता है, "चित्रकार B, आपको केवल स्टैम्प के बीच के खाली स्थानों को पेंट करने की अनुमति है। यदि आप पेड़ पेंट करने की कोशिश करते हैं, तो आपको दंड (penalty) मिलेगा।"
परिणाम: आपको एक आदर्श चित्र मिलता है जहाँ आप स्पष्ट रूप से स्टैम्प किए गए पेड़ों (ज्ञात भौतिकी) और हाथ से पेंट किए गए आकाश (अज्ञात जटिलता) को देख सकते हैं। वे ओवरलैप नहीं होते; वे एक-दूसरे के पूरक होते हैं।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

शोधकर्ताओं ने इसका परीक्षण कई सिम्युलेटेड सिस्टम (जैसे झूलता हुआ पेंडुलम, शिकारी-शिकार जानवर आबादी, और बीमारी फैलने के मॉडल) पर किया। यहाँ उन्होंने क्या पाया:

बेहतर "खोज" (Discovery): जब वैज्ञानिकों को सिस्टम के एक हिस्से के लिए सटीक सूत्र नहीं पता था, तब OrthoReg ने उन्हें उन हिस्सों के लिए सही सरल सूत्र खोजने में मदद की जिन्हें वे जानते थे। पुराने तरीके अक्सर भ्रमित हो जाते थे और गलत सूत्र चुन लेते थे क्योंकि AI बहुत अधिक काम कर रहा था।
बेहतर "अनुमान" (Out-of-Distribution): जब सिस्टम का परीक्षण नई, अनदेखी स्थितियों (जैसे पेंडुलम का पहले की तुलना में बहुत तेज़ी से झूलना) पर किया गया, तो OrthoReg ने बेहतर भविष्यवाणी की।
- क्यों? क्योंकि AI ने केवल विशिष्ट डेटा बिंदुओं को याद नहीं किया; इसने पहेली के वास्तविक गायब हिस्से को सीखा। चूंकि नियम पुस्तिका ने ज्ञात भौतिकी को सही ढंग से संभाला, इसलिए AI को केवल अज्ञात चीज़ों पर ध्यान केंद्रित करना था, जिससे यह बदलाव होने पर अधिक विश्वसनीय बना।
ट्रेड-ऑफ (The Trade-off): कभी-कभी, OrthoReg उन सटीक डेटा बिंदुओं की भविष्यवाणी करने में उन अस्त-व्यस्त ओवरलैपिंग तरीकों की तुलना में थोड़ा कम सटीक था जिन पर इसे प्रशिक्षित किया गया था। हालांकि, पेपर का तर्क है कि यह एक अच्छा ट्रेड-ऑफ है: ज्ञात डेटा पर थोड़ा कम सटीक होना बेहतर है, लेकिन नए डेटा पर बहुत अधिक विश्वसनीय और समझने योग्य होना बेहतर है।

एक वाक्य में सारांश

OrthoReg एक नया प्रशिक्षण नियम है जो AI को ज्ञात भौतिकी के काम को "चुराने" से रोकता है, यह सुनिश्चित करता है कि AI केवल वास्तव में अज्ञात हिस्सों को सीखे, जिससे ऐसे मॉडल बनते हैं जो सटीक भी होते हैं और मनुष्यों के लिए समझने में भी आसान होते हैं।

तकनीकी सारांश: हाइब्रिड सिम्बोलिक-न्यूरल डायनेमिकल सिस्टम्स के लिए OrthoReg

1. समस्या विवरण (Problem Statement)

डायनेमिकल सिस्टम मॉडलिंगिंग (Dynamical systems modeling) व्याख्यात्मकता (interpretability) और अभिव्यक्त क्षमता (expressiveness) के बीच एक मौलिक द्वंद्व का सामना करती है। हस्तचालित रूप से निर्धारित यांत्रिक (सिम्बोलिक) मॉडल व्याख्यात्मक होते हैं लेकिन अक्सर जटिल प्राकृतिक घटनाओं के लिए अपर्याप्त या अत्यधिक सरल होते हैं। इसके विपरीत, लचीले डेटा-संचालित न्यूरल तरीके डेटा को फिट करने में उत्कृष्ट होते हैं लेकिन उनमें भौतिक अंतर्दृष्टि (physical insight) का अभाव होता है। हाइब्रिड मॉडलिंग इस अंतर को पाटने का प्रयास करती है, जो एक निर्धारित या सिम्बोलिक भौतिक घटक ( $f_{phy}$ ) को एक लचीले न्यूरल अवशेष (neural residual, $f_{aug}$ ) के साथ जोड़ती है।

एक महत्वपूर्ण चुनौती तब उत्पन्न होती है जब सिम्बोलिक घटक पूर्व-निर्धारित नहीं होता, बल्कि स्पार्स लाइब्रेरी-आधारित विधियों (जैसे SINDy-शैली के दृष्टिकोण) के माध्यम से डेटा से खोजा (discovered) जाता है। इस स्थिति में, मानक हाइब्रिड दृष्टिकोण अक्सर कार्यों के स्पष्ट विभाजन को बनाए रखने में विफल रहते हैं। विशेष रूप से, न्यूरल ऑग्मेंटेशन (neural augmentation) सिम्बोलिक संरचना को फिर से सीख सकता है या उसके साथ ओवरलैप हो सकता है, जिससे रेडंडेंट (redundant) और व्याख्याहीन मॉडल बन जाते हैं।

यह शोध पत्र पहचानता है कि मानक $L_2$ रेगुलराइजेशन (जैसे APHYNITY फ्रेमवर्क) पर निर्भर मौजूदा विधियाँ एक प्रोजेक्शन तर्क पर आधारित हैं जो एक निश्चित सिम्बोलिक सबस्पेस की धारणा रखती हैं। जब सिम्बोलिक घटक को स्पारसीटी बाधाओं (जैसे $L_1$ रेगुलराइजेशन) के साथ संयुक्त रूप से सीखा जाता है, तो गुणांकों का श्रिंकज (shrinkage) सिम्बोलिक लाइब्रेरी के दायरे के भीतर भी अवशेष संरचना छोड़ देता है। फलस्वरूप, भले ही कुल नॉर्म (norm) छोटा हो, न्यूरल ऑग्मेंटेशन सिम्बोलिक भाग के साथ ओवरलैप कर सकता है, जिससे वह ऑर्थोगोनैलिटी गारंटी टूट जाती है जो फिक्स्ड-क्लास सेटिंग्स में $L_2$ रेगुलराइजेशन प्रदान करता है।

2. कार्यप्रणाली: OrthoReg

लेखक OrthoReg (ऑर्थोगोनल रेगुलराइजेशन) प्रस्तावित करते हैं, जो संयुक्त प्रशिक्षण के दौरान सिम्बोलिक और न्यूरल घटकों के बीच एक पूरक अपघटन (complementary decomposition) लागू करने के लिए डिज़ाइन किया गया है।

मुख्य उद्देश्य

OrthoReg प्रशिक्षण उद्देश्य को संशोधित करता है ताकि न्यूरल ऑग्मेंटेशन और सिम्बोलिक लाइब्रेरी के बीच अनुभवजन्य ओवरलैप (empirical overlap) को स्पष्ट रूप से दंडित (penalize) किया जा सके। दिए गए डेटासेट $D = \{x_i\}_{i=1}^N$ , एक फिक्स्ड सिम्बोलिक लाइब्रेरी $\{\phi_j\}_{j=1}^M$ , और एक न्यूरल ऑग्मेंटेशन $\hat{f}_{aug}(\cdot; \vartheta)$ के लिए, उद्देश्य है:

$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$

जहाँ:

$\mathcal{L}_{fit}$ डेटा-फिट लॉस (वेक्टर-फील्ड रिग्रेशन या वन-स्टेप प्रेडिक्शन) है।
$\mu \|w\|_1$ सिम्बोलिक गुणांकों $w$ पर स्पार्सिटी लागू करता है।
तीसरा पद ऑर्थोगोनैलिटी पेनल्टी (Orthogonality Penalty) है, जहाँ $\langle \cdot, \cdot \rangle_D$ प्रेक्षित अवस्थाओं पर अनुभवजन्य आंतरिक उत्पाद (empirical inner product) को दर्शाता है।
$\lambda$ ऑर्थोगोनैलिटी बाधा की शक्ति को नियंत्रित करता है।

सैद्धांतिक तंत्र (Theoretical Mechanism)

$L_2$ रेगुलराइजेशन के विपरीत, जो ऑग्मेंटेशन के कुल नॉर्म ( $\|\hat{f}_{aug}\|_D^2$ ) को दंडित करता है, OrthoReg प्रत्येक लाइब्रेरी फंक्शन के साथ ऑग्मेंटेशन के स्क्वेर्ड इनर प्रोडक्ट को दंडित करता है।

सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि जैसे-जैसे $\lambda \to \infty$ होता है, अनुभवजन्य ऑर्थोगोनैलिटी उल्लंघन शून्य की ओर अभिसरित (converge) होते हैं।
त्रुटि अपघटन (Error Decomposition): अनुभवजन्य आंतरिक उत्पाद के तहत, ऑर्थोगोनैलिटी लागू करने से एक स्पष्ट त्रुटि अपघटन प्राप्त होता है:
$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$
यह सुनिश्चित करता है कि सिम्बोलिक भाग वह कैप्चर करे जिसे लाइब्रेरी व्यक्त कर सकती है (इन-लाइब्रेरी प्रोजेक्शन), जबकि न्यूरल भाग ऑर्थोगोनल कॉम्प्लीमेंट (अवशेष) को कैप्चर करे।

3. प्रमुख योगदान

ओवरलैप का सैद्धांतिक विश्लेषण: यह शोध पत्र प्रदर्शित करता है कि जब सिम्बोलिक घटक को स्पार्स डिस्कवरी के माध्यम से सीखा जाता है, तो $L_2$ रेगुलराइजेशन सिम्बोलिक-न्यूरल ओवरलैप को रोकने में विफल रहता है (थ्योरम A.2)। एक काउंटर-एग्जांपल दिखाता है कि स्पार्सिटी अवशेष को सिम्बोलिक स्पैन के भीतर ही रहने के लिए मजबूर करती है, जिससे न्यूरल नेटवर्क द्वारा सिम्बोलिक दिशाओं को फिर से सीखने की संभावना बढ़ जाती है।
OrthoReg एल्गोरिदम: लेखक एक एल्गोरिथम समाधान पेश करते हैं जो संयुक्त स्पार्स-डिस्कवरी उद्देश्य में सीधे एक ऑर्थोगोनैलिटी पेनल्टी को एकीकृत करता है, यह सुनिश्चित करता है कि न्यूरल अवशेष अनुभवजन्य आंतरिक उत्पाद के तहत सिम्बोलिक लाइब्रेरी के प्रति ऑर्थोगोनल रहे।
अनुभवजन्य सत्यापन: बेंचमार्क डायनेमिकल सिस्टम (Damped Pendulum, Lotka-Volterra, SIR, Duffing oscillator) पर व्यापक प्रयोगों से पता चलता है कि OrthoReg, शुद्ध सिम्बोलिक, शुद्ध न्यूरल और $L_2$ -रेगुलराइज्ड हाइब्रिड बेसलाइन्स की तुलना में बेहतर सिम्बोलिक रिकवरी (उच्च F1 स्कोर, कम टर्म्स) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण (generalization) प्रदान करता है।

4. प्रयोगात्मक परिणाम

मूल्यांकन पार्शियल लाइब्रेरी मिसमैच (partial library mismatch) वाले सिस्टम पर केंद्रित है, जहाँ वास्तविक डायनेमिक्स में ऐसे टर्म्स होते हैं जो सिम्बोलिक डिक्शनरी के बाहर के हैं।

सिम्बोलिक रिकवरी: OrthoReg सही सिम्बोलिक सपोर्ट को रिकवर करने के लिए लगातार उच्चतम F1 स्कोर और न्यूनतम टर्म्स की संख्या प्राप्त करता है, जो एक स्वच्छ, अधिक व्याख्यात्मक मॉडल का संकेत देता है। उदाहरण के लिए, Damped Pendulum पर, Ortho $\text{L}_2$ बेसलाइन के $0.61$ की तुलना में OrthoReg ने $0.93 \pm 0.15$ का F1 प्राप्त किया।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण: OrthoReg OOD डेरिवेटिव एरर को काफी कम करता है, विशेष रूप से मध्यम लाइब्रेरी मिसमैच वाले परिदृश्यों में। Damped Pendulum पर, $L_2$ बेसलाइन के सापेक्ष OOD डेरिवेटिव एरर दो ऑर्डर से अधिक गिर गया।
ट्रेड-ऑफ (Trade-offs): यह विधि बेहतर OOD व्यवहार और सिम्बोलिक सेपरेशन के बदले में इन-डिस्ट्रीब्यूशन (ID) स्टेट MSE में मामूली वृद्धि स्वीकार करती है। यह स्ट्रक्चरल इंटीग्रिटी को बनाए रखने के लिए एक सख्त ऑर्थोगोनल स्प्लिट को अपनाने के सैद्धांतिक दृष्टिकोण के अनुरूप है।
**मजबूती (Robustness):तथ्य यह है कि लाभ अनियमित सैंपलिंग के तहत भी बने रहते हैं, लेकिन भारी ऑब्जर्वेशन नॉइज़ या जब गायब डायनेमिक्स लाइब्रेरी फीचर्स के साथ गहराई से उलझे हों, तो कम हो जाते हैं।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि OrthoReg हाइब्रिड मॉडलिंग में एक विशिष्ट नाजुकता को संबोधित करता है: जब सिम्बोलिक घटक को फिक्स्ड होने के बजाय सीखा जाता है, तो व्याख्यात्मकता का नुकसान। ऑर्थोगोनैलिटी रेगुलराइजेशन के माध्यम से सिम्बोलिक और न्यूरल घटकों के बीच पूरकता को स्पष्ट करके, यह विधि सुनिश्चित करती है कि:

सिम्बोलिक घटक उन सभी डायनेमिक्स को कैप्चर करे जिन्हें लाइब्रेरी द्वारा व्यक्त किया जा सकता है।
न्यूरल घटक केवल उन स्ट्रक्चर्ड अवशेषों को कैप्चर करे जिन्हें लाइब्रेरी व्यक्त नहीं कर सकती।

लेखक OrthoReg को एक सार्वभौमिक सटीकता बूस्टर के रूप में नहीं, बल्कि एक डिकम्पोजिशन रेगुलराइज़र (decomposition regularizer) के रूप में प्रस्तुत करते हैं। इसका प्राथमिक मूल्य एक सार्थक सिम्बोलिक स्पष्टीकरण को बनाए रखते हुए गैर-सिम्बोलिक प्रभावों को अवशेष (residual) को सौंपना है, जिससे ऐसे हाइब्रिड वैज्ञानिक मॉडल संभव होते हैं जहाँ अनुमानित यांत्रिक शब्दावली और लचीले अवशेष बिना सिम्बोलिक स्पष्टीकरण को मिटाए सह-अस्तित्व में रह सकते हैं।

स्वीकृत सीमाएँ (Limitations Acknowledged):

सैद्धांतिक गारंटी वर्तमान में अनुभवजन्य आंतरिक उत्पाद और फिक्स्ड डिफरेंशिएबल लाइब्रेरी वाले एडिटिव मॉडल्स तक सीमित है।
जनसंख्या-स्तर की गारंटी के लिए ऑग्मेंटेशन हाइपोथीसिस क्लास पर यूनिफॉर्म कन्वर्जेंस तर्कों की आवश्यकता है, जो भविष्य के कार्य के लिए छोड़े गए हैं।
यह विधि लाइब्रेरी में अनुपस्थित शासन (laws) को रिकवर नहीं करती है; यह केवल लाइब्रेरी-एक्सप्रेसिबल डायनेमिक्स को शेष से अलग करती है।
प्रदर्शन उच्च शोर (noise) स्तरों के तहत गिर जाता है जहाँ डेरिवेटिव एस्टीमेशन अविश्वसनीय हो जाता है।