🤖 machine learning

Interpretable Physics Extraction from Data for Linear Dynamical Systems using Lie Generator Networks

यह शोध पत्र ली जनरेटर नेटवर्क्स (LGN) प्रस्तुत करता है, जो एक संरचित न्यूरल आर्किटेक्चर है जो प्रत्यक्ष मैट्रिक्स एक्सपोनेंशिएशन के लिए एक जनरेटर मैट्रिक्स को पैरामीटराइज करके रैखिक गतिशील प्रणालियों (linear dynamical systems) को सीखता है, जिससे स्थिरता और अपव्यय (dissipation) जैसे भौतिक गुणों की अंतर्निहित गारंटी मिलती है और साथ ही आइजनवैल्यू (eigenvalues) और डैम्पिंग रेश्यो (damping ratios) जैसे व्याख्या योग्य भौतिक मापदंडों का निष्कर्षण सक्षम होता है।

मूल लेखक: Shafayeth Jamil, Rehan Kapadia

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shafayeth Jamil, Rehan Kapadia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी जटिल मशीन के काम करने के तरीके को समझने की कोशिश कर रहे हैं—जैसे कि कार का इंजन, शेयर बाजार, या कोई रासायनिक अभिक्रिया—सिर्फ उसे चलते हुए देखकर। आपके पास उस मशीन का एक वीडियो है जो चल रही है, और आपका लक्ष्य उन छिपे हुए नियमों (भौतिकी/फिजिक्स) को समझना है जो उसे इस तरह से चला रहे हैं।

लंबे समय से, वैज्ञानिक इसे करने के दो मुख्य तरीके इस्तेमाल करते आए हैं:

"अनुमान और जाँच" विधि (क्लासिकल मैथ): आप हर एक क्षण में मशीन की गति की गणना करने की कोशिश करते हैं। लेकिन यदि आपका वीडियो थोड़ा धुंधला (नॉइजी डेटा) है, तो गति की गणना करना एक धुंधली फोटो से कार की गति मापने जैसा है; त्रुटियाँ बहुत बड़ी हो जाती हैं, और आपका उत्तर गलत हो जाता है।
"ब्लैक बॉक्स" विधि (न्यूरल नेटवर्क/AI): आप वीडियो को एक सुपर-स्मार्ट AI में डालते हैं जो अगले फ्रेम की भविष्यवाणी करना सीखता है। यह अनुमान लगाने में बहुत अच्छा है कि क्या होने वाला है, लेकिन यह समझाने में बहुत बुरा है कि वह क्यों हो रहा है। यह एक जादूगर की तरह है जो खरगोश तो प्रकट कर सकता है लेकिन आपको ट्रिक नहीं बता सकता। यह भौतिकी के नियमों को भी तोड़ सकता है (जैसे कि ऊर्जा को शून्य से पैदा करना) ताकि केवल भविष्यवाणी को सही दिखाने के लिए।

प्रवेश होता है: ली गेनरेटर नेटवर्क (LGN) का।

इस पेपर के लेखक कहते हैं: "ठहरिए। यदि मशीन सरल, रैखिक (linear) नियमों का पालन करती है, तो हम इतने जटिल, उलझे हुए उपकरणों का उपयोग क्यों कर रहे हैं?"

वे एक नई विधि पेश करते हैं जिसे ली गेनर नेटवर्क (LGN) कहा जाता है। यह कैसे काम करता है, इसके लिए कुछ सरल उपमाओं का उपयोग करते हैं:

1. "रेसिपी" बनाम "कुकिंग"

कल्पना कीजिए कि आप एक केक बनाना चाहते हैं।

पुराना AI (Neural ODEs): AI पूरी कुकिंग प्रक्रिया को चरण-दर-चरण सीखने की कोशिश करता है। वह अनुमान लगाता है कि कितना आटा डालना है, फिर कितना चीनी, फिर कितनी देर तक चलाना है। यदि वह चरण 1 में एक छोटी सी गलती करता है, तो वह गलती चरण 2 में बड़ी होती जाती है, और जब तक केक तैयार होता है, तब तक सब गड़बड़ हो जाता है।
LGN: कुकिंग के चरणों को सीखने के बजाय, LGN रेसिपी (सिस्टम मैट्रिक्स $A$ ) सीखता है। एक बार जब इसके पास एकदम सही रेसिपी आ जाती है, तो इसे चरण-दर-चरण पकाने की आवश्यकता नहीं होती। यह मैट्रिक्स एक्सपोनेंटिएशन (Matrix Exponentiation) नामक एक गणितीय "जादुई ट्रिक" का उपयोग करके तुरंत गणना कर सकता है कि भविष्य में किसी भी समय केक कैसा दिखेगा। यह बिना किसी गलती के सीधे "शुरुआत" से "अंत" तक पहुँच जाता है।

2. "गार्जियन" (रक्षक) की उपमा (स्थिरता/Stability)

वास्तविक दुनिया की मशीनों के अपने नियम होते हैं। घर्षण (friction) के कारण एक झूलता हुआ पेंडुलम अंततः रुक जाता है (ऊर्जा का क्षय)। यह वहां से ऊपर कभी नहीं झूलता जहां से इसने शुरू किया था (ऊर्जा का संरक्षण)।

समस्या: मानक AI इन नियमों को नहीं जानता। यह एक ऐसा पेंडुलम सीख सकता है जो हमेशा ऊँचा झूलता रहता है, जो कि भौतिक रूप से असंभव है।
LGN समाधान: लेखकों ने AI के मस्तिष्क में एक "गार्जियन" (रक्षक) बनाया है। वे AI को केवल एक विशिष्ट सेट के "कानूनी रेसिपी" से सीखने के लिए मजबूर करते हैं।
- उन्होंने रेसिपी को दो भागों में विभाजित किया है: द स्पिन (The Spin) (ऊर्जा का आदान-प्रदान, जैसे घूमता हुआ लट्टू) और द ब्रेक (The Brake) (घर्षण जो चीजों को धीमा करता है)।
- AI को केवल "ब्रेक" को सकारात्मक (चीजों को धीमा करने वाला) बनाने और "स्पिन" को संतुलित रखने की अनुमति है।
- इस कारण से, LGN एक टूटी हुई मशीन को नहीं सीख सकता। यह भौतिक रूप से असंभव है कि यह ऐसे पेंडुलम की भविष्यवाणी करे जो ऊर्जा प्राप्त कर रहा हो। नियम आर्किटेक्चर में ही समाहित हैं, उन्हें बाद में केवल दंड (penalty) के रूप में नहीं जोड़ा गया है।

3. "एक्स-रे विजन" (व्याख्यात्मकता/Interpretability)

यह सबसे रोमांचक हिस्सा है।

ब्लैक बॉक्स AI: कहता है, "मशीन 10 सेकंड में स्थिति X पर होगी।" (उपयोगी है, लेकिन आप नहीं जानते कि क्यों)।
LGN: कहता है, "मस्तिन स्थिति X पर होगी, और यहाँ रहस्य है: इसकी एक प्राकृतिक लय है जो प्रति सेकंड 5 बीट है, और यह हर सेकंड अपनी 10% ऊर्जा खो देता है।"
- क्योंकि LGN वास्तव में "रेसिपी" (मैट्रिक्स) को सीखता है, यह आइजनवैल्यूज (eigenvalues) निकाल सकता है। इन्हें मशीन का ID कार्ड समझें। ये आपको बताते हैं कि यह कितनी तेजी से कंपन करता है, यह कितनी तेजी से रुकता है, और क्या यह स्थिर है।
- 100-भागों वाली एक विशाल मशीन (जैसे विद्युत सर्किट की एक बड़ी सीढ़ी) के साथ एक परीक्षण में, पुराने तरीके पूरी तरह विफल रहे, उन्होंने भविष्यवाणी की कि मशीन फट जाएगी (अस्थिर हो जाएगी)। LGN ने शोर (noise) को देखा, त्रुटियों को नजरअंदाज किया, और मशीन के "ID कार्ड" के सभी 100 हिस्सों की सही पहचान की।

यह क्यों मायने रखता है?

कल्पना कीजिए कि आप एक पुल डिजाइन करने वाले इंजीनियर हैं।

यदि आप ब्लैक बॉक्स AI का उपयोग करते हैं, तो यह आपको बता सकता है कि पुल आज सुरक्षित है, लेकिन यह उस छिपे हुए कंपन को मिस कर सकता है जो 10 साल में इसके ढहने का कारण बनेगा।
यदि आप LGN का उपयोग करते हैं, तो यह आपको ठीक वही कंपन बताता है। आप डेटा में "कमजोर बिंदुओं" को देख सकते हैं और पुल बनाने से पहले ही उन्हें ठीक कर सकते हैं।

सारांश

यह पेपर कंप्यूटर को भौतिकी (physics) को समझने के लिए सिखाने का एक नया तरीका पेश करता है। भविष्य का चरण-दर-चरण अनुमान लगाने के बजाय (जो बहुत गड़बड़ और त्रुटिपूर्ण है), यह कंप्यूटर को मौलिक नियम (जेनरेटर) सीखने और फिर उत्तर तक सीधे पहुँचने के लिए गणित का उपयोग करने की शिक्षा देता है।

यह एक छात्र को गुरुत्वाकर्षण के नियमों को रटने के बजाय, केवल एक गिरती हुई गेंद को देखकर यह अनुमान लगाने के लिए सिखाने जैसा है कि गेंद कहाँ गिरेगी। इसका परिणाम एक ऐसा सिस्टम है जो तेज़, अधिक सटीक, शोर (noise) से मुक्त, और सबसे महत्वपूर्ण बात, मानव के लिए समझने योग्य है। यह एक "ब्लैक बॉक्स" को दुनिया की भौतिकी के स्पष्ट झरोखे में बदल देता है।

यहाँ शोध पत्र "Interpretable Physics Extraction from Data for Linear Dynamical Systems using Lie Generator Networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र भौतिक अपरिवर्तनीयताओं (physical invariants) जैसे कि स्थिरता (stability), ऊर्जा संरक्षण (energy conservation) और क्षय (dissipation) को सुरक्षित रखते हुए, प्रक्षेपवक्र डेटा (trajectory data) से रैखिक गतिक प्रणालियों (Linear Dynamical Systems - LDS) को सीखने की चुनौती का समाधान करता है।

वर्तमान विधियों की सीमाएँ:
- Neural ODEs: हालांकि ये लचीले हैं, लेकिन ये संख्यात्मक एकीकरण (numerical integration) के माध्यम से गतिकी का अनुमान लगाते हैं, जिससे समय के साथ त्रुटियाँ जमा होती हैं और भौतिक अपरिवर्तनीयताओं की गारंटी देने में विफल रहते हैं (जैसे, वे स्थिर डेटा से अस्थिर प्रणालियों की भविष्यवाणी कर सकते हैं)।
- Hamiltonian/Structure-Preserving Networks (HNNs, LNNs): ये संरक्षण नियमों को लागू करते हैं लेकिन जटिल विस्तारों के बिना क्षय (dissipation) (ऊर्जा हानि) को मॉडल करने में संघर्ष करते हैं, जो अभी भी त्रुटिपूर्ण संख्यात्मक एकीकरण पर निर्भर करते हैं।
- Classical System Identification: अनुमानित डेरिवेटिव्स पर लीस्ट-स्क्वायर रिग्रेशन जैसी विधियाँ शोर (noise) के प्रति संवेदनशील होती हैं (डेरिवेटिव अनुमान शोर को बढ़ा देता है) और अक्सर भौतिक रूप से अमान्य समाधान प्रदान करती हैं (जैसे, उच्च-आयामी सेटिंग्स में अस्थिर आइगेनवैल्यू)।
मुख्य मुद्दा: मौजूदा विधियाँ रैखिक प्रणालियों को एक ब्लैक-बॉक्स फंक्शन एप्रोक्सिमेशन समस्या के रूप में मानती हैं, जो इस तथ्य की अनदेखी करती हैं कि रैखिक प्रणालियों के सटीक क्लोज्ड-फॉर्म समाधान ( $x(t) = e^{At}x_0$ ) होते हैं जो स्वाभाविक रूप से संरचना को बनाए रखते हैं।

2. कार्यप्रणाली: ली जेनरेटर नेटवर्क (Lie Generator Networks - LGN)

लेखक Lie Generator Networks (LGN) का प्रस्ताव करते हैं, जो एक ढांचा है जो सीधे सिस्टम जेनरेटर मैट्रिक्स $A$ को सीखता है और मैट्रिक्स एक्सपोनेंशिएशन (matrix exponentiation) के माध्यम से अवस्थाओं (states) को विकसित करता है, न कि संख्यात्मक एकीकरण के माध्यम से।

A. मुख्य आर्किटेक्चर (Core Architecture)

प्रत्यक्ष जेनरेटर लर्निंग (Direct Generator Learning): एक वेक्टर फील्ड $f_\theta(x)$ सीखने के बजाय, LGN जेनरेटर मैट्रिक्स $A$ (या $A(t)$ ) को सीखता है।
क्लोज्ड-फॉर्म इवोल्यूशन (Closed-Form Evolution):
- Linear Time-Invariant (LTI): प्रक्षेपवक्रों (trajectories) की गणना सटीक रूप से $\hat{x}(t) = \exp(A_\theta t)x_0$ के रूप में की जाती है।
- Linear Time-Varying (LTV): समाधान को मैग्नस एक्सपेंशन (Magnus expansion) का उपयोग करके अनुमानित किया जाता है, जहाँ अवस्था $\exp(\Omega(t))$ के माध्यम से विकसित होती है। पेपर गैर-कम्यूटिंग जेनरेटर्स को संभालने के लिए दूसरे क्रम के मैग्नस ट्रंकेशन ( $\Omega^{(2)}$ ) का उपयोग करता है, जो कठोर त्रुटि सीमाएं ( $O(\Delta t^5)$ ) प्रदान करता है।

B. संरचनात्मक बाधाएं (The $S-D$ Decomposition)

स्थिरता और क्षय की गारंटी देने के लिए, जेनरेटर मैट्रिक्स $A$ को इस प्रकार पैरामीटराइज़ किया जाता है:
$A = S - D$

$S$ (Skew-Symmetric): यह रूढ़िवादी ऊर्जा विनिमय (conservative energy exchange) का प्रतिनिधित्व करता है ( $S = -S^\top$ )।
$D$ (Positive Diagonal): यह अपरिवर्तनीय क्षय (irreversible dissipation) का प्रतिनिधित्व करता है ( $D = \text{diag}(d_i), d_i \geq 0$ )।
भौतिक गारंटी: यह पैरामीटराइजेशन सुनिश्चित करता है कि $A$ के सभी आइगेनवैल्यू के वास्तविक भाग गैर-धनात्मक ( $\text{Re}(\lambda) \leq 0$ ) हैं और द्विघाती ऊर्जा $\|x\|^2$ निरंतर घटती है। यह स्थिरता आर्किटेक्चर द्वारा लागू की जाती है, न कि लॉस फंक्शन द्वारा।

C. लर्निंग ऑब्जेक्टिव (Learning Objective)

मॉडल देखे गए राज्यों और भविष्यवाणियों के बीच पुनर्निर्माण हानि (reconstruction loss) को कम करता है:
$\mathcal{L}(\theta) = \sum_i \|x_i - \exp(\Omega_\theta(t_i))x_0\|^2$
ग्रेडिएंट्स की गणना मैट्रिक्स एक्सपोनेंशियल के माध्यम से ऑटोमैटिक डिफरेंशिएशन द्वारा की जाती है, जो एंड-टू-एंड ट्रेनिंग को सक्षम बनाती है।

3. मुख्य योगदान (Key Contributions)

इंटीग्रेशन से एक्सपोनेंशिएशन की ओर बदलाव: LGN स्टेप-बाय-स्टेप संख्यात्मक एकीकरण के बजाय मैट्रिक्स एक्सपोनेंशिएशन का उपयोग करता है, जिससे इंटीग्रेशन ड्रिफ्ट समाप्त हो जाता है और मशीन परिशुद्धता तक संरचना बनी रहती है।
एकीकृत ढांचा (Unified Framework): यह एक ही आर्किटेक्चर के भीतर कंजर्वेटिव, डिसिपेटिव, LTI और LTV प्रणालियों को संभालता है।
व्याख्यात्मकता (Interpretability): ब्लैक-बॉक्स नेटवर्क के विपरीत, LGN सीधे सिस्टम मैट्रिक्स $A$ को रिकवर करता है। इसके आइगेनवैल्यू व्याख्यात्मक भौतिकी (interpretable physics) प्रदान करते हैं: पोल्स (poles), नेचुरल फ्रीक्वेंसी और डैम्पिंग रेशियो।
निहित रेगुलराइजेशन (Implicit Regularization): $S-D$ डिकंपोजिशन एक मजबूत स्ट्रक्चरल प्रायर के रूप में कार्य करता है, जिससे शोर वाले डेटा से भी सटीक आइगेनवैल्यू रिकवरी संभव होती है, जबकि अनकन्स्ट्रेंड विधियाँ विफल हो जाती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेंचमार्क पर LGN का मूल्यांकन किया:

प्रयोग 1: LTI कंजर्वेटिव (LC) और डिसिपेटिव (RLC) सर्किट
- परिणाम: LGN ने दोनों प्रणालियों के लिए मशीन प्रिसिजन ( $10^{-14}$ त्रुटि) प्राप्त की।
- तुलना: HNNs डिसिपेटिव RLC सिस्टम पर पूरी तरह विफल रहे (92% ऊर्जा उल्लंघन) क्योंकि वे आर्किटेक्चरल रूप से केवल कंजर्वेटिव डायनेमिक्स तक सीमित हैं। न्यूरल ODEs ने मध्यम सटीकता ( $10^{-2}$ ) प्राप्त की लेकिन 14.5% समय ऊर्जा बाधाओं का उल्लंघन किया।
- दक्षता: LGN ने ~2–3 पैरामीटर्स का उपयोग किया बनाम ~4,400 न्यूरल बेसलाइन्स के।
प्रयोग 2: LTV डिसिपेटिव ऑसिलेटर
- परिणाम: LGN-SD ने 153 पैरामीटर्स के साथ एक NRMSE 0.037 प्राप्त किया।
- तुलना: न्यूरल ODEs (भले ही उनमें फूरियर टाइम फीचर्स हों) काफी खराब प्रदर्शन करते रहे (NRMSE > 0.55) और ओवरफिट हुए। LTV रैखिक प्रणालियों के लिए LGN का रैखिक इंडक्टिव बायस, नॉन-लीनियर MLP बायस की तुलना में बेहतर साबित हुआ।
प्रयोग 3: 100-डायमेंशनल RLC लैडर (Scalability)
- परिणाम: LGN-SD ने औसत आइगेनवैल्यू त्रुटि <2% के साथ सिस्टम स्पेक्ट्रम को सही ढंग से रिकवर किया।
- बेसलाइन्स की विफलता:
  - Linear-ID (Least Squares): बुरी तरह विफल रहा, एक अस्थिर सिस्टम की भविष्यवाणी की (16 अस्थिर आइगेनवैल्यू) और अनंत प्रक्षेपवक्र त्रुटि दिखाई।
  - Unconstrained LGN (LGN-FA): एक स्थिर लेकिन भौतिक रूप से गलत समाधान पाया (अत्यधिक डैम्प्ड), जिसमें आइगेनवैल्यू त्रुटियां LGN-SD की तुलना में 500 गुना अधिक थीं।
- महत्व: संरचनात्मक बाधाएं वैकल्पिक नहीं हैं; बड़े पैमाने पर सही पहचान के लिए वे आवश्यक हैं।
प्रयोग 4: शोर के प्रति मजबूती (Noise Robustness)
- परिणाम: 10% एडिटिव गौसियन नॉइज़ के तहत, LGN-SD ने आइगेनवैल्यू त्रुटि <1% बनाए रखी।
- तुलना: Linear-ID की त्रुटि डेरिवेटिव एस्टीमेशन में शोर के कारण रैखिक रूप से बढ़कर ~8% हो गई। $S-D$ बाधा एक निहित रेगुलराइजेशन के रूप में कार्य करती है, जो हाई-वेरिएंस समाधानों को खारिज करती है।
परिशिष्ट तुलना (बनाम Dissipative SymODEN):
- स्टिफ सिस्टम (जहाँ समय के पैमाने बहुत भिन्न होते हैं) पर, LGN-SD ने SymODEN से दो ऑर्डर ऑफ मैग्नीट्यूड बेहतर प्रदर्शन किया। SymODEN का $\tau$ -होराइजन ट्रेनिंग स्लो मोड्स को कैप्चर करने में विफल रहा, जबकि LGN का फुल-ट्रैजेक्टरी मैट्रिक्स एक्सपोनेंशियल सभी टाइमस्केल्स को एक साथ कैप्चर करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

अनुमान से पहचान की ओर (From Prediction to Identification): LGN केवल प्रक्षेपवक्र इंटरपोलेशन से आगे बढ़कर वास्तविक सिस्टम आइडेंटिफिकेशन की ओर बढ़ता है। यह उन अंतर्निहित भौतिक मापदंडों (आइगेनवैल्यू, डैम्पिंग रेशियो) को रिकवर करता है जो सिस्टम के व्यवहार को परिभाषित करते हैं।
भौतिक गारंटी: $S-D$ डिकंपोजिशन के माध्यम से स्थिरता और क्षय को लागू करके, LGN यह सुनिश्चित करता है कि सीखे गए मॉडल भौतिक रूप से तर्कसंगत हों, जो कंट्रोल थ्योरी और सेफ्टी-क्रिटिकल अनुप्रयोगों के लिए एक महत्वपूर्ण आवश्यकता है।
दक्षता: यह विधि अत्यधिक पैरामीटर-कुशल है, जिसमें बड़े न्यूरल नेटवर्क के बजाय केवल जेनरेटर मैट्रिक्स के पैरामीटर्स की आवश्यकता होती है।
भविष्य की दिशाएं: लेखक क्रमिक रैखिकीकरण (successive linearization) के माध्यम से इस पद्धति को नॉन-लीनियर सिस्टम तक विस्तारित करने और उन इन्वर्स डिज़ाइन समस्याओं पर लागू करने का सुझाव देते जहाँ डिफरेंशिएबल सिस्टम पैरामीटर्स की आवश्यकता होती है।

संक्षेप में, Lie Generator Networks रैखिक गतिक प्रणालियों को सीखने के लिए एक गणितीय रूप से कठोर, व्याख्यात्मक और मजबूत समाधान प्रदान करते हैं, जो सटीकता, स्थिरता और भौतिक व्याख्यात्मकता में क्लासिकल सांख्यिकीय विधियों और आधुनिक डीप लर्निंग दृष्टिकोणों दोनों से बेहतर प्रदर्शन करते हैं।