Leveraging Gauge Freedom for Learning Non-Gradient Population Dynamics of Stochastic Systems

तकनीकी सारांश: स्टोकेस्टिक प्रणालियों के गैर-ग्रेडिएंट जनसंख्या गतिकी (Population Dynamics) को सीखने के लिए गेज स्वतंत्रता (Gauge Freedom) का लाभ उठाना

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उन स्टोकेस्टिक प्रणालियों के लिए जनसंख्या-स्तर की गतिकी (population-level dynamics) को अनुमानित करने की चुनौती को संबोधित करता है जहाँ व्यक्तिगत प्रक्षेपवक्र (trajectories) या तो अनुपलब्ध होते हैं या स्वाभाविक रूप से अप्रत्याशित (जैसे कि अराजक या विक्षोभ युक्त/turbulent प्रणालियाँ) होते हैं। इनपुट में डिस्क्रीट समय बिंदुओं $t \in [0, T]$ पर समय-सीमा वितरण $\rho_t$ से लिए गए स्वतंत्र नमूने शामिल हैं। इसका उद्देश्य एक समय-निर्भर वेग क्षेत्र (velocity field) $u_t: X \to \mathbb{R}^d$ को सीखना है, ताकि $u_t$ द्वारा प्रेरित प्रवाह (flow) प्रारंभिक वितरण $\rho_0$ को देखे गए अनुक्रमिक मार्जिनल्स $(\rho_t)_{t \in [0, T]}$ तक पहुँचा सके।

इस सेटिंग में एक मौलिक कठिनाई यह है कि निरंतरता समीकरण (continuity equation), $\partial_t \rho_t + \nabla \cdot (\rho_t u_t) = 0$, वेग क्षेत्र पर केवल एक अपूर्ण (underdetermined) प्रतिबंध प्रदान करता है। यह समीकरण केवल प्रवाह के $\rho_t$-भारित डाइवर्जेंस (divergence) को प्रतिबंधित करता है, जिससे वेग क्षेत्र के डाइवर्जेंस-मुक्त (solenoidal) घटक अनियंत्रित रह जाते हैं। यह "गेज स्वतंत्रता" (gauge freedom) यह दर्शाती है कि अनंत वेग क्षेत्र एक ही समय मार्जिनल्स के विकास को उत्पन्न कर सकते हैं।

मौजूदा पद्धतियाँ अक्सर इस गैर-विशिष्टता को हल करने के लिए एक विशिष्ट गेज विकल्प को हार्ड-कोड करती हैं: गतिज ऊर्जा (kinetic energy) को न्यूनतम करना। यह चयन सिद्धांत, जो ऑप्टिमल ट्रांसपोर्ट थ्योरी में निहित है, वेग क्षेत्र को एक अदिश क्षमता (scalar potential) का ग्रेडिएंट होने के लिए मजबूर करता है ($u_t = \nabla s_t$)। हालांकि यह गतिज ऊर्जा के संदर्भ में इष्टतम है, लेकिन यह ग्रेडिएंट प्रतिबंध एक ऐसा इंडक्टिव बायस (inductive bias) लागू करता है जो हानिकारक हो सकता है जब अंतर्निहित गतिकी में महत्वपूर्ण घूर्णी घटक (rotational components) शामिल हों (जैसे कि हैमिल्टोनियन सिस्टम या इनकम्प्रेसिबल फ्लूइड्स)। घूर्णी गतिकी पर ग्रेडिएंट संरचना को लागू करने से अत्यधिक दोलनशील (oscillatory) और दोषपूर्ण क्षमताएं (potentials) उत्पन्न हो सकती हैं, जिन्हें प्रस्तुत करना और सीखना कठिन होता है, जिससे वितरण संबंधी सटीकता खराब हो जाती है।

2. कार्यप्रणाली: नॉन-ग्रेडिएंट इन्फरेंस फ्लो (NGIF)

लेखक नॉन-ग्रेडिएंट इन्फरेंस फ्लो (NGIF) प्रस्तावित करते हैं, जो समय मार्जिनल्स को मिलाने के कार्य को एक विशिष्ट वेग क्षेत्र के चयन के कार्य से अलग करता है।

कमजोर निरंतरता समीकरण स्वरूप (Weak Continuity Equation Formulation):
पॉइंटवाइज (pointwise) निरंतरता समीकरण को लागू करने के बजाय, NGIF एक कमजोर (मोमेंट-आधारित) स्वरूप का उपयोग करता है। परीक्षण फलनों (test functions) $\Phi$ के एक सेट के लिए, विधि यह आवश्यक बनाती है कि किसी भी परीक्षण फलन $\phi \in \Phi$ के अपेक्षित मान (expected value) में परिवर्तन की दर, उम्मीदवार वेग क्षेत्र द्वारा अनुमानित परिवहन के अनुरूप हो:
$$\frac{d}{dt} \mathbb{E}_{x \sim \rho_t}[\phi(x)] = \mathbb{E}_{x \sim \rho_t}[\nabla \phi(x) \cdot u_t(x)]$$
यह पहचान निरंतरता समीकरण को परीक्षण फलनों के विरुद्ध एकीकृत करके और इंटीग्रेशन बाय पार्ट्स (integration by parts) लागू करके प्राप्त की गई है।

अनुभवजन्य हानि (Empirical Loss) और रैंडम फूरियर फीचर्स:
इन बाधाओं को संचालित करने के लिए, लेखक रैंडम फूरियर फीचर परीक्षण फलनों का उपयोग करते हैं। आवृत्तियों $\omega$ को एक वितरण $\nu$ से नमूना लिया जाता है (विभिन्न रिज़ॉल्यूशन पर संरचनाओं को पकड़ने के लिए मल्टीस्केल बैंडविड्थ का उपयोग करते हुए), जो $\sin(\omega^\top x)$ और $\cos(\omega^\top x)$ के रूप में परीक्षण फलन उत्पन्न करता है।
अनुभवजन्य हानि (empirical loss) इन परीक्षण फलनों पर कमजोर निरंतरता अवशेष (residual) को कम करती है। महत्वपूर्ण रूप से, समय के मोमेंट्स के डेरिवेटिव को प्रशिक्षण डेटा के अनुभवजन्य मोमेंट्स पर फिट किए गए स्मूथिंग स्प्लाइन्स (smoothing splines) के माध्यम से अनुमानित किया जाता है, जिससे प्री-कंप्यूटेशन और वेरिएंस रिडक्शन संभव होता है।

स्पष्ट गेज रेगुलेराइज़ेशन (Explicit Gauge Regularization):
ग्रेडिएंट क्षेत्रों के लिए हाइपोथीसिस क्लास को प्रतिबंधित करने के बजाय, NGIF अनुकूलन उद्देश्य (optimization objective) में एक स्पष्ट गेज रेगुलेराइज़र $G(u)$ पेश करता है:
$$\min_{u} \mathcal{L}(u) + \lambda G(u)$$
जहाँ $\mathcal{L}(u)$ कमजोर निरंतरता अवशेष हानि है। यह उपयोगकर्ता को एक विस्तृत संरचनात्मक बायस परिवार में से चयन करने की अनुमति देता। शोध पत्र तीन विशिष्ट रेगुलेराइज़र प्रस्तावित करता है:

1. गतिज ऊर्जा ($G_{KIN}$): $\int \|u_t\|^2 \rho_t$ को न्यूनतम करता है, जो मानक ग्रेडिएंट-आधारित दृष्टिकोण को एक सॉफ्ट पेनल्टी के रूप में पुनः प्राप्त करता है, न कि एक कठोर प्रतिबंध के रूप में।
2. कर्ल पेनल्टी ($G_{CURL}$): जैकोबियन के एंटी-सिमेट्रिक भाग को दंडित करता है, जो घूर्णन को हतोत्साहित करता है और ग्रेडिएंट जैसी गतिकी की ओर झुकाव रखता है, बिना किसी क्षमता पैरामीट्राइजेशन को लागू किए।
3. डाइवर्जेंस पेनल्टी ($G_{DIV}$): $\nabla \cdot u_t$ को दंडित करता है, जो लगभग इनकम्प्रेसिबल प्रवाह को बढ़ावा देता है। यह तरल पदार्थ जैसे परिवहन (fluid-like transport) के लिए विशेष रूप से उपयोगी है जहाँ वास्तविक गतिकी डाइवर्जेंस-मुक्त होती है।

$s_t$ के स्थानिक डेरिवेटिव के बजाय सीधे $u_t$ को पैरामीटराइज करने के लिए न्यूरल नेटवर्क का उपयोग करके, यह विधि एक क्षमता के बैकप्रोपैगेशन की कम्प्यूटेशनल जटिलताओं से बचती है और गैर-ग्रेडिएंट क्षेत्रों को सीखने की अनुमति देती है।

3. मुख्य योगदान

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

1. मार्जनल मिलान और गेज फिक्सिंग का पृथक्करण: लेखक कमजोर निरंतरता बाधाओं का उपयोग करके जनसंख्या गतिकी अनुमान को स्वरूपित करते हैं, जो समय मार्जिनल्स के मिलान को वेग क्षेत्र के चयन से अलग करता है। गैर-विशिष्टता को एक स्पष्ट, उपयोगकर्ता-चयनित गेज रेगुलेराइज़र के माध्यम से संबोधित किया जाता है।
2. स्केलेबल कमजोर बाधाएं (Scalable Weak Constraints): विधि रैंडम फूरियर फीचर परीक्षण फलनों का उपयोग करके कमजोर बाधाओं को क्रियान्वित करती है, जिससे एक कुशल और स्केलेबल लॉस फंक्शन प्राप्त होता है।
3. गैर-ग्रेडिएंट लर्निंग: यह दृष्टिकोण गैर-ग्रेडिएंट वेग क्षेत्रों को सीखने में सक्षम बनाता है, जो जनसंख्या गतिकी के प्रतिनिधित्व और स्थिरता में सुधार करता है। यह प्रदर्शित करता है कि ग्रेडिएंट प्रतिबंध को शिथिल करने से ग्रेडिएंट-प्रतिबंधित बेसलाइन की तुलना में अधिक सटीक जनसंख्या गतिकी अनुमान प्राप्त होता है।

4. प्रयोगात्मक परिणाम

लेखक विभिन्न निम्न- और उच्च-आयामी भौतिक समस्याओं पर NGIF का मूल्यांकन करते हैं:

• गिगली का उदाहरण (घूर्णी गतिकी): एक सेटअप में जहाँ गाऊसी घटक एक वृत्त पर घूमते हैं, ग्रेडिएंट-आधारित विधियाँ इस सरल घूर्णात्मक गति को पकड़ने में विफल रहती हैं, इसके बजाय अत्यधिक दोलनशील क्षमताएं उत्पन्न करती हैं। केवल मामूली गतिज ऊर्जा वृद्धि के साथ, कर्ल रेगुलेराइज़र वाला NGIF सटीक रूप से सुचारू घूर्णात्मक वेग क्षेत्र को पुनः प्राप्त करता है।
• विक्षोभ युक्त प्रवाह में ट्रेसर कण (Tracer Particles in Turbulent Flow): एक कोलमोगोरोव-फोर्स्ड टर्बुलेंट फ्लो (जहाँ ग्राउंड ट्रुथ डाइवर्जेंस-फ्री है) में, $G_{DIV}$ के साथ NGFR, ग्राउंड ट्रुथ के करीब कण प्रक्षेपवक्र और घनत्व पुनर्निर्माण (density reconstructions) उत्पन्न करता है। ग्रेडिएंट-आधारित बेसलाइन (Action Matching, DICE, HOAM) काफी खराब प्रदर्शन करते हैं।
• व्लासोव-पॉइसन अस्थिरताएं (Vlasov-Poisson Instabilities): टू-स्ट्रीम, बम्प-ऑन-टेल, और स्ट्रॉन्ग लैंडाउ डैम्पिंग समस्याओं पर, NGIF वेरिएंट्स इलेक्ट्रिक ऊर्जा के विकास की भविष्यवाणी करने में अत्याधुनिक ग्रेडिएंट-आधारित विधियों (AM, HOAM, DICE) से बेहतर प्रदर्शन करते हैं। डाइवरेजेंस रेगुलेराइज़र अधिक समृद्ध कण गति की अनुमति देता है, जिससे अंतिम वितरण की सटीकता में सुधार होता है।
• उच्च-आयामी विक्षोभ (High-Dimensional Turbulence): 128x128 वोर्टिसिटी फील्ड सिमुलेशन में, लेटेंट स्पेस पर लागू NGIF एन्स्ट्रोफी (enstrophy) के क्षय को सटीक रूप से कैप्चर करता है, जो यह दर्शाता है कि सीखा गया फ्लो प्रवाह के महत्वपूर्ण जनसंख्या-स्तर के सांख्यिकी को पुनरुत्पादित करता है, भले ही व्यक्तिगत प्रक्षेपवक्र अराजक और अप्राप्य हों।

5. महत्व और दावे

शोध पत्र का दावा है कि जनसंख्या गतिकी अनुमान स्वाभाविक रूप से अनिश्चित (underdetermined) है, और गेज का चयन एक मॉडलिंग निर्णय है न कि सार्वभौमिक रूप से सही समाधान की खोज। NGIF का महत्व इसकी क्षमता में निहित है:

• दोषपूर्ण लक्ष्यों से बचना: न्यूनतम गतिज ऊर्जा/ग्रेडिएंट गेज को हार्ड-कोड न करके, यह घूर्णात्मक गतिकी पर ग्रेडिएंट संरचनाओं को थोपने से उत्पन्न होने वाली अत्यधिक दोलनशील क्षमताओं को सीखने की आवश्यकता से बचता है।
• भौतिक पूर्वग्रहों (Physical Priors) को शामिल करना: यह विशिष्ट भौतिक ज्ञान (जैसे, इनकम्प्रेसिबिलिटी) को गेज रेगुलेराइज़र के चयन के माध्यम से सीधे शामिल करने के लिए एक मॉड्यूलर ढांचा प्रदान करता है, जिसमें संदर्भ प्रवाह या नमूना-स्तर के वेग डेटा की आवश्यकता नहीं होती है।
• वितरण संबंधी सटीकता में सुधार: प्रयोग बताते हैं कि गैर-संभावित परिवहन (non-potential transport) वाले सिस्टम के लिए, गैर-ग्रेडिएंट दृष्टिकोण ग्रेडिएंट-प्रतिबंधित बेसलाइन की तुलना में बेहतर वितरण संबंधी सटीकता प्रदान करते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि कमजोर निरंतरता समीकरण केवल फ्लक्स डाइवर्जेंस को प्रतिबंधित करता है, स्पष्ट रूप से गेज रेगुलेराइज़र का चयन करने से ऐसी गतिशील मॉडलों को सीखने की अनुमति मिलती है जो सिस्टम की अंतर्निहित भौतिकी के साथ बेहतर ढंग से संरेखित होते हैं, विशेष रूप से उन रेजीमों में जहाँ प्रक्षेपवक्र डेटा अनुपलब्ध या सूचनात्मक नहीं होता है।