तकनीकी सारांश: परिमित-अवस्था मीन फील्ड गेम्स के लिए न्यूरल पैरामीटर अंशांकन (Neural Parameter Calibration for Finite-State Mean Field Games)

समस्या विवरण (Problem Statement)

मीन फील्ड गेम्स (MFGs) परस्पर क्रिया करने वाले एजेंटों की विशाल आबादी के रणनीतिक व्यवहार को मॉडल करने के लिए एक शक्तिशाली गणितीय ढांचा प्रदान करते हैं, जो जटिल बहु-एजेंट अंतःक्रियाओं को एक प्रतिनिधि एजेंट और एक समष्टि (macroscopic) जनसंख्या वितरण में बदल देते हैं। हालांकि MFGs को शहरी यातायात, महामारी प्रसार और वित्तीय बाजारों जैसे डोमेन में सफलतापूर्वक लागू किया गया है, लेकिन उनका व्यावहारिक कार्यान्वयन पैरामीटर विशिष्टता समस्या (parameter specification problem) के कारण बाधित है।

वास्तविक दुनिया के परिदृश्यों में, एक MFG के संरचनात्मक पैरामीटर—जैसे कि छिपी हुई प्राथमिकता लागत (hidden preference costs), संक्रमण बाधाएं (transition constraints), और अंतःक्रिया दरें (interaction rates)—अक्सर अमूर्त, अवलोकनीय नहीं होते और सैद्धांतिक रूप से प्राप्त करना कठिन होता है। मौजूदा डेटा-संचालित दृष्टिकोण, जैसे कि विशुद्ध रूप से वर्णनात्मक कम्प्यूटेशनल मॉडल या परिमित-एजेंट सिमुलेशन, ऐतिहासिक डेटा से अंशांकित (calibrate) किए जा सकते हैं लेकिन उनमें वह कारण संबंधी (causal), रणनीतिक और भविष्योन्मुखी संरचना नहीं होती है जो MFGs में निहित होती है। इसके विपरीत, मानक इनवर्स रीइन्फोर्समेंट लर्निंग (IRL) विधियां आमतौर पर मॉडल-मुक्त (model-free) होती हैं, जबकि यह कार्य एक ज्ञात मॉडल संरचना मानता है जिसमें अज्ञात पैरामीटर हैं। व्यक्तिगत एजेंटों के कार्यों या पुरस्कारों तक पहुंच के बिना, सीधे मैक्रोस्कोपिक जनसंख्या गतिकी से संरचनात्मक MFG पैरामीटरों को अंशांकित करने के लिए कठोर कार्यप्रणाली में एक महत्वपूर्ण अंतर है।

कार्यप्रणाली (Methodology)

लेखक केवल मैक्रोस्कोपिक प्रक्षेपवक्र डेटा (trajectory data) से पैरामेट्रिक, परिमित-अवस्था MFGs को सीखने के लिए एक न्यूरल नेटवर्क-आधारित ढांचे का प्रस्ताव करते हैं। मुख्य दृष्टिकोण पैरामीटर अंशांकन को एक इनवर्स प्रॉब्लम के रूप में तैयार करता है जहाँ लक्ष्य एक पैरामीटर फलन $\gamma$ खोजना है ताकि MFG साम्यावस्था प्रक्षेपवक्र (equilibrium trajectory) देखे गए जनसंख्या प्रवाह से मेल खा सके।

मुख्य घटक (Key Components)

1. न्यूरल पैरामीट्राइजेशन (Neural Parameterization): अज्ञात गतिशील पैरामीटर $\gamma(t, \mu)$ को एक न्यूरल नेटवर्क $\phi_\theta$ द्वारा अनुमानित किया जाता है। यह नेटवर्क समय $t$ और जनसंख्या वितरण $\mu$ को इनपुट के रूप में लेता है, जो अत्यधिक लचीले, समय-निर्भर और मीन-फील्ड-निर्भर पैरामीटर पथों की अनुमति देता है।
2. प्री-इवैल्यूएशन रणनीति (Pre-Evaluation Strategy): न्यूरल नेटवर्क को MFG सॉल्वर के इटरेटिव (iterative) प्रक्रिया से अलग करने के लिए, नेटवर्क को देखे गए प्रक्षेपवक्र $\mu^{obs}$ पर प्री-इववेल्यूएट किया जाता है ताकि एक समय-निर्भर पैरामीटर पथ $\gamma_\theta(t) = \phi_\theta(t, \mu^{obs}_t)$ उत्पन्न किया जा सके। इस पथ को फिर MFG सॉल्वर में फीड किया जाता है। यह अलगाव सॉल्वर के आंतरिक चरणों में नेटवर्क के माध्यम से डिफरेंशिएशन (differentiation) की आवश्यकता को समाप्त करता है, जिससे कम्प्यूटेशनल ग्राफ काफी सरल हो जाता है।
3. MFG सॉल्वर (पिकार्ड इटरेशन - Picard Iteration): सॉल्वर दिए गए पैरामीटर पथ के लिए नैश इक्विलिब्रियम (Nash equilibrium) की गणना करने के लिए युग्मित हैमिल्टन-जैकोबी-बेलमैन (HJB) समीकरण (समय में पीछे की ओर/backward in time) और फॉकर-प्लैंक-कोल्मोगोरोव (FPK) समीकरण (समय में आगे की ओर/forward in time) को इटरेटिव रूप से हल करता है।
4. इम्प्लिसिट डिफरेंशिएशन (Implicit Differentiation): पूरे पिकार्ड इटरेशन अनुक्रम को अनरोल (unroll) करने के बजाय (जो मेमोरी-गहन और अस्थिर है), यह विधि फिक्स्ड पॉइंट के माध्यम से इम्प्लिसिट डिफरेंशिएशन का उपयोग करती है। फिक्स्ड पॉइंट ऑपरेटर $\Xi$ के माध्यम से अभिसरित (converged) $\bar{\mu}$ को एक फिक्स्ड पॉइंट मानकर ($\bar{\mu} = \Xi(\bar{\mu}, \gamma)$), पैरामीटर्स के सापेक्ष लॉस का ग्रेडिएंट, इम्पलिसिट फंक्शन थ्योरम का उपयोग करके निकाला जाता है। इसमें इक्विलिब्रियम अवस्था पर एक एकल एडजॉइंट लीनियर सिस्टम को हल करना शामिल है, जिससे सॉल्वर के मध्यवर्ती चरणों को स्टोर करने की आवश्यकता नहीं रहती।
5. लॉस फंक्शन (Loss Function): प्रशिक्षण उद्देश्य देखे गए मीन-फील्ड प्रक्षेपवक्रों और सॉल्वर द्वारा उत्पन्न अनुमानित इक्विलिब्रियम प्रक्षेपवक्रों के बीच स्क्वेयर्ड $L_2$ विसंगति (discrepancy) को कम करना है।

मुख्य योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

• नया डिफरेंशिएबल फ्रेमवर्क: यह परिमित-स्टेट MFGs के लिए प्रक्षेपवक्र-वार पैरामीटर पथों का अनुमान लगाने के लिए एक पूर्णतः डिफरेंशिएबल दृष्टिकोण पेश करता है। फिक्स्ड पॉइंट के माध्यम से इम्प्लिसिट डिफरेंशिएशन का उपयोग करके, यह विधि व्यक्तिगत एजेंटों के कार्यों या पुरस्कारों को देखे बिना लचीले, समय- और मीन-फील्ड-निर्भर पैरामीटर सीखती है।
• सैद्धांतिक आधार (Theoretical Foundations): लेखक इस पद्धति का समर्थन करने वाले सैद्धांतिक आश्वासन प्रदान करते हैं, जिनमें शामिल हैं:
  • एडजॉइंट ग्रेडिएंट कंप्यूटेशन की सटीकता (Exactness of the adjoint gradient computation): यह सिद्ध करना कि इम्प्लिसिट ग्रेडिएंट स्पष्ट जैकोबियन व्युत्क्रमण (Jacobian inversion) के बिना वास्तविक डेरिवेटिव को पुनः प्राप्त करता है।
  • प्री-इवैल्यूएशन कंसिस्टेंसी (Pre-evaluation consistency): यह दिखाना कि पैरामीटर भविष्यवाणी को सॉल्वर के आंतरिक इटरेशन से अलग करने से उत्पन्न त्रुटि, देखे गए और इक्विलिब्रियम प्रक्षेपवक्रों के बीच विसंगति द्वारा सीमित होती है।
  • एक समान सामान्यीकरण सीमा (Uniform generalization bound): यह स्थापित करना कि जनसंख्या जोखिम, इक्विलिब्रियम मैप की लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) का लाभ उठाते हुए, $O(M^{-1/2})$ के रूप में स्केल होने वाले एरर टर्म के साथ एम्पिरिकल रिस्क द्वारा सीमित है।
• अनुभवजन्य सत्यापन (Empirical Validation): इस ढांचे को बढ़ती जटिलता वाले चार सिस्टमों में सत्यापित किया गया है:
  1. लीनियर-क्वाड्रेटिक (LQ) MFG: एक सिंथेटिक क्राउड मोशन मॉडल।
  2. साइबर सुरक्षा (Cybersecurity): एक बॉटनेट डिफेंस मॉडल जिसमें डिस्क्रीट स्टेट्स (संरक्षित/असुरक्षित, सुग्राही/संक्रमित) हैं।
  3. ससेप्टिबल-इन्फेक्टेड-रिकवर्ड (SIR): महामारी की गतिशीलता को मॉडल करने के लिए वास्तविक दुनिया के इन्फ्लुएंजा डेटा (NREVSS) पर लागू किया गया।
  4. शहरी गतिशीलता (Urban Mobility): न्यूयॉर्क शहर के वास्तविक सीटी बाइक (Citi Bike) ट्रिप डेटा का उपयोग करके एक बाइक-शेयरिंग मॉडल।

परिणाम (Results)

प्रयोग कई आयामों में ढांचे की प्रभावकारिता प्रदर्शित करते हैं:

• कैलिब्रेशन सटीकता: विधि सिंथेटिक डेटा (ज्ञात ग्राउंड ट्रुथ के साथ) और वास्तविक दुनिया के डेटासेट (इन्फ्लुएंजा और बाइक-शेयरिंग) दोनों से MFG पैरामीटरों को सटीक रूप से अंशांकित करती है, जो देखे गए प्रवाह और अनुमानित प्रवाह के बीच $L_2$ एरर को न्यूनतम करती है।
• बेसलाइन्स पर रणनीतिक बढ़त: शहरी गतिशीलता प्रयोगों में, MFG मॉडल एक "मीन फील्ड डायनेमिक्स" बेसलाइन (जिसमें गेम-थ्योरेटिक संरचना और रणनीतिक लागत अनुकूलन का अभाव है) की तुलना में काफी बेहतर प्रदर्शन करता है। विशेष रूप से, MFG मॉडल जटिल, गैर-रेखीय आवागमन पैटर्न (जैसे सुबह/शाम के डबल-पीक्ड फ्लो) को कैप्चर करता है जिसे बेसलाइन पुनरुत्पादित करने में विफल रहता है, भले ही बेसलाइन को लचीले समय-निर्भर ट्रांजिशन रेट दिए गए हों। यह HJB समीकरण के माध्यम से टर्मिनल लागतों को पीछे की ओर प्रसारित करने की MFG की क्षमता के कारण है, जो एजेंटों को भविष्य के कंजेशन का पूर्वानुमान लगाने में सक्षम बनाता है।
• मजबूती और सामान्यीकरण (Robustness and Generalization): ढांचा सिंथेटिक बेंचमार्क में शोर (noise) के प्रति मजबूती दिखाता है। शहरी गतिशीलता के मामले में, यह होल्ड-आउट वीकडेज़ (इन-डिस्ट्रीब्यूशन) के लिए सफलतापूर्वक सामान्यीकरण करता है। हालांकि, पेपर नोट करता है कि वीकेंड्स (आउट-ऑफ-डिस्ट्रीब्यूशन) के लिए यह विफल रहता है, जहाँ उपयोगकर्ता की उपयोगिता (utility) काम से मनोरंजन की ओर बदल जाती है, जो विशिष्ट व्यवहारिक शासन (behavioral regimes) पर प्रशिक्षित मॉडलों की सीमा को उजागर करता है।
• काउंटरफैक्चुअल रीजनिंग (Counterfactual Reasoning): एक प्रमुख प्रदर्शन "स्टेशन क्लोजर" परिदृश्य है। बेसलाइन मॉडल के विपरीत, जो केवल तभी प्रतिक्रिया देता है जब कोई स्टेशन बंद होता है (रिएक्टिव), MFG मॉडल क्लोजर का पूर्वानुमान (anticipate) लगाता है। क्योंकि HJB समीकरण भविष्य के दंड को पीछे की ओर प्रसारित करता है, MFG मॉडल में एजेंट स्टेशन बंद होने से पहले ही अपना मार्ग बदलना शुरू कर देते हैं, जो बिना रिट्रेनिंग के काउंटरफैक्चुअल प्लानिंग की क्षमता को प्रदर्शित करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र सैद्धांतिक MFG मॉडल और वास्तविक दुनिया के डेटा के बीच के अंतर को पाटने के लिए एक कठोर कार्यप्रणाली के रूप में खुद को स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

1. डेटा-संचालित MFGs को सक्षम बनाना: यह केवल मैक्रोस्कोपिक डेटा से संरचनात्मक MFG पैरामीटरों को अंशांकित करने की अनुमति देता है, जिससे MFGs उन वास्तविक दुनिया के सिस्टम के लिए लागू होते हैं जहाँ व्यक्तिगत डेटा उपलब्ध नहीं है।
2. फॉरवर्ड-लुकिंग स्ट्रक्चर: गेम-थ्योरेटिक संरचना (HJB/FPK कपलिंग) को बनाए रखकर, यह मॉडल केवल वर्णनात्मक या केवल फॉरवर्ड-ओनली मॉडल द्वारा छोड़े गए रणनीतिक, पूर्वसूचक व्यवहार को कैप्चर करता है। यह नीति मूल्यांकन और हस्तक्षेप योजना (जैसे, स्टेशन क्लोजर के प्रभाव की भविष्यवाणी करना) के लिए महत्वपूर्ण है।
3. कम्प्यूटेशनल दक्षता: इम्प्लिसट डिफरेंशिएशन का उपयोग इन जटिल इनवर्स समस्याओं के प्रशिक्षण को स्केलेबल और स्थिर बनाता है, जो इटरेटिव सॉल्वर को अनरोल करने के मेमोरी बॉटलनेक्स से बचता है।

लेखक विनम्रतापूर्वक अपनी सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान कार्यप्रणाली के लिए गेम के संरचनात्मक रूप का पूर्व ज्ञान आवश्यक है और यह तब संघर्ष कर सकता है जब बुनियादी उपयोगकर्ता उपयोगिता (utility) मौलिक रूप से बदल जाती है (जैसे, सप्ताह के दिनों बनाम सप्ताहांत का व्यवहार)। भविष्य के कार्य को निरंतर स्टेट-एक्शन स्पेस में ढांचे को विस्तारित करने और स्मूथनेस धारणाओं को शिथिल करने के रूप में पहचाना गया है।