🤖 AI

Recurrent Structural Policy Gradient for Partially Observable Mean Field Games

यह शोध पत्र रिकरेंट स्ट्रक्चरल पॉलिसी ग्रेडिएंट (RSPG) को प्रस्तुत करता है, जो कि आंशिक रूप से अवलोकन योग्य मीन फील्ड गेम्स के लिए पहला इतिहास-जागरूक हाइब्रिड स्ट्रक्चरल मेथड है जो मॉडल-फ्री आरएल (RL) की तुलना में काफी तेज़ अभिसरण (convergence) प्राप्त करता है, साथ ही इसमें MFAX का विमोचन भी शामिल है, जो मीन फील्ड गेम अनुसंधान के लिए एक नया JAX-आधारित फ्रेमवर्क है।

मूल लेखक: Clarisse Wibault, Johannes Forkel, Sebastian Towers, Tiphaine Wibault, Juan Duque, George Whittle, Andreas Schaab, Yucheng Yang, Chiyuan Wang, Maike Osborne, Benjamin Moll, Jakob Foerster

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Clarisse Wibault, Johannes Forkel, Sebastian Towers, Tiphaine Wibault, Juan Duque, George Whittle, Andreas Schaab, Yucheng Yang, Chiyuan Wang, Maike Osborne, Benjamin Moll, Jakob Foerster

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल स्टेडियम की कल्पना करें जो हजारों लोगों से भरा हुआ है। एक विशिष्ट "मल्टी-एजेंट" (Multi-Agent) परिदृश्य में, हर एक व्यक्ति यह समझने की कोशिश कर रहा है कि बाकी हर विशिष्ट व्यक्ति क्या कर रहा है, क्या सोच रहा है और क्या योजना बना रहा है। यह एक ऐसे पहेली को सुलझाने जैसा है जहाँ आपको एक साथ 10,000 अलग-अलग दोस्तों के विचारों को ट्रैक करना है। यह अराजक, धीमा और गणनात्मक रूप से असंभव है।

मीन फील्ड गेम्स (MFGs) इस भीड़ को देखने का एक स्मार्ट तरीका प्रदान करते हैं। व्यक्तिगत लोगों को ट्रैक करने के बजाय, वे भीड़ को एक एकल "तरल" (fluid) या "मौसम प्रणाली" के रूप में देखते हैं। वे यह मान लेते हैं कि हर कोई विशिष्ट पड़ोसियों के बजाय भीड़ के सामान्य मूड (औसत) के प्रति प्रतिक्रिया दे रहा है। यह गणित को अत्यधिक सरल बना देता है।

हालाँकि, वास्तविक दुनिया अव्यवस्थित है। दो बड़ी समस्याएँ आमतौर पर इन मॉडलों को तोड़ देती हैं:

"ब्लैक बॉक्स" की समस्या: कभी-कभी हमें यह नहीं पता होता कि भीड़ कैसे चलती है (जैसे ट्रैफिक पैटर्न या शेयर बाजार के बदलाव)। हमें अनुमान लगाने के लिए परीक्षण और त्रुटि (trial and error) का सहारा लेना पड़ता है, जो धीमा है और जिसके परिणाम बहुत उतार-चढ़ाव वाले हो सकते हैं।
"धुंधली खिड़की" की समस्या: कभी-कभी, भीड़ में मौजूद लोग पूरी तस्वीर नहीं देख पाते। वे केवल एक धुंधला संकेत देखते हैं (जैसे स्टॉक की कीमत या मौसम की रिपोर्ट) और उन्हें अंदाजा लगाना पड़ता है कि पर्दे के पीछे क्या हो रहा है। उन्हें समझने के लिए कि आज क्या हो रहा है, उन्हें याद रखना होगा कि कल क्या हुआ था।

शोध का समाधान: RSPG

लेखक एक नई विधि पेश करते हैं जिसे रिकरेंट स्ट्रक्चरल पॉलिसी ग्रेडिएंट (RSPG) कहा जाता है। इसे भीड़ के लिए एक सुपर-स्मार्ट कोच की तरह समझें, जो खेल के नियमों को जानता है लेकिन साथ ही खिलाड़ियों को अतीत को याद रखने में भी मदद करता है।

यहाँ सरल उपमाओं का उपयोग करके विवरण दिया गया है:

1. "हाइब्रिड" कोच (स्ट्रक्चरल मेथड्स)
पिछले तरीके दो चरम सीमाओं की तरह थे:

"जुआरी" (Model-Free RL): यह कोच खिलाड़ियों को बताता है कि बस रैंडम चालें चलें और देखें कि क्या होता है। यह अंततः काम करता है, लेकिन इसमें बहुत समय लगता है और परिणाम अस्थिर (high variance) होते हैं।
"कैलकुलेटर" (Dynamic Programming): यह कोच हर नियम को पूरी तरह से जानता है और हर चाल के सटीक परिणाम की गणना करता है। यह सटीक है, लेकिन यदि भीड़ बहुत बड़ी है या नियम जटिल हैं, तो कैलकुलेटर क्रैश हो जाता है क्योंकि संभावनाओं को गिनने के लिए बहुत अधिक विकल्प होते हैं।

RSPG एक हाइब्रिड है। यह एक ऐसे कोच की तरह है जो खेल के नियमों को जानता है (संरचना/structure), ताकि वे किसी चाल के संभावित परिणाम की तुरंत गणना कर सकें, लेकिन वे चीजों को वास्तविक बनाए रखने के लिए "मौसम" (सामान्य शोर/noise) का अनुकरण भी करते हैं। यह सीखने की प्रक्रिया को "जुआरी" दृष्टिकोण की तुलना में 10 गुना तेज़ बनाता है।

2. "मेमोरी" अपग्रेड (रिकरेंट)
यहाँ मुख्य नवाचार "रिकरेंट" (Recurrent) वाला हिस्सा है।

पुराने "हाइब्रिड" कोच भुलक्कड़ (amnesiacs) थे। वे केवल वर्तमान क्षण को देख सकते थे। यदि भीड़ उस संकेत पर प्रतिक्रिया दे रही थी जो 10 मिनट पहले हुआ था, तो भुलक्कड़ कोच मदद नहीं कर पाता।
RSPG कोच के पास अल्पकालिक स्मृति (short-term memory) होती है। यह सार्वजनिक संकेतों के क्रम (जैसे स्टॉक की कीमतों या संक्रमण दर का इतिहास) को याद रखता है।
ट्रिक: शोध पत्र तर्क देता है कि कई वास्तविक दुनिया के परिदृश्यों (जैसे वित्त) में, आपको हर व्यक्ति के हर निजी विचार को याद रखने की आवश्यकता नहीं है। आपको बस उस सार्वजनिक इतिहास को याद रखने की आवश्यकता है जो सबने मिलकर देखा था। इस स्मृति को केवल साझा इतिहास तक सीमित करके, कोच तेज़ रहता है और गणित के बोझ से दबता नहीं है।

3. नया प्लेग्राउंड: MFAX
इसे टेस्ट करने के लिए, लेखकों ने एक नया डिजिटल प्लेग्राउंड बनाया जिसे MFAX कहा जाता है।

कल्पना करें कि आप एक वीडियो गेम इंजन बना रहे हैं। अधिकांश मौजूदा इंजन या तो "हार्ड मोड" (आप कोड नहीं देख सकते, बस खेलते हैं) या "ईज़ी मोड" (आप कोड देख सकते हैं, लेकिन यह धीमा है) हैं।
MFAX एक लचीला इंजन है जो शोधकर्ताओं को "हार्ड मोड" (वास्तविक दुनिया की अराजकता का अनुकरण करना) और "ईज़ी मोड" (सटीक परिणामों की गणना के लिए ज्ञात नियमों का उपयोग करना) के बीच तुरंत स्विच करने की अनुमति देता है। यह अविश्वसनीय रूप से तेज़ बनाने के लिए शक्तिशाली ग्राफिक्स कार्ड (GPUs) पर बनाया गया है, जो एक साथ हजारों परिदृश्यों का अनुकरण कर सकता है।

उन्हें क्या मिला?

लेखकों ने अपने नए कोच (RSPG) का परीक्षण तीन अलग-अलग "गेम्स" में किया:

लीनियर क्वाड्रेटिक (Linear Quadratic): बलों को संतुलित करने के बारे में एक गणितीय खेल।
बीच बार (Beach Bar): एक खेल जहाँ एजेंट (लोग) बार के खुलने पर उसके पास रहना चाहते हैं और बंद होने वाला होने पर उससे दूर भागना चाहते हैं।
मैक्रोइकॉनॉमिक्स (Macroeconomics): एक अर्थव्यवस्था का सिमुलेशन जहाँ लोग ब्याज दरों और मजदूरी के आधार पर धन और आय का प्रबंधन करते हैं।

परिणाम:

गति: RSPG ने मानक "परीक्षण और त्रुटि" विधियों की तुलना में 10 गुना तेज़ी से इष्टतम रणनीति सीखी।
स्मार्ट व्यवहार: क्योंकि RSPG के पास मेमोरी है, इसने पूर्वानुमानित व्यवहार (anticipatory behavior) सीखा।
- बीच बार गेम में: एजेंटों ने समय के पैटर्न को याद करके, बार के बंद होने से पहले ही वहां से दूर जाने की सीख ली, भले ही वे घड़ी नहीं देख पा रहे थे।
- मैक्रोइकॉनॉमिक्स गेम में: एजेंटों ने कीमतों में हेरफेर करने के लिए खेल के अंत में अपना पैसा खर्च करना सीखा, एक ऐसा व्यवहार जिसे "भुलक्कड़" एजेंट (जो अतीत को भूल जाते हैं) सीखने में विफल रहे।

सारांश

यह शोध पत्र बड़े समूहों में प्रशिक्षित करने का एक नया तरीका प्रस्तुत करता है जहाँ हर कोई भीड़ के प्रति प्रतिक्रिया देता है। नियमों के ज्ञान (तेजी लाने के लिए) को सार्वजनिक घटनाओं की स्मृति (अनिश्चितता को संभालने के लिए) के साथ जोड़कर, लेखकों ने एक ऐसी प्रणाली बनाई जो पिछले तरीकों की तुलना में तेज़ी से सीखती है और अधिक वास्तविक व्यवहार करती है। उन्होंने एक नया, तेज़ सॉफ़्टवेयर टूलकिट (MFAX) भी जारी किया है ताकि अन्य लोग इस प्रकार के सिस्टम बनाने और परीक्षण करने में मदद मिल सके।

तकनीकी सारांश: पार्शियली ऑब्जर्वेबल मीन फील्ड गेम्स के लिए रिकरेंट स्ट्रक्चरल पॉलिसी ग्रेडिएंट

समस्या विवरण

मीन फील्ड गेम्स (MFGs) बड़े जनसंख्या तंत्रों को मॉडल करने के लिए एक ढांचा प्रदान करते हैं जहाँ व्यक्ति दूसरों के कुल वितरण (aggregate distribution) के प्रति प्रतिक्रिया देते हैं, न कि विशिष्ट पहचानों के प्रति। हालाँकि, MFGs में एल्गोरिद्मिक प्रगति 'वैरिएंस और स्केलेबिलिटी' के बीच के संतुलन के कारण बाधित हुई है। मॉडल-फ्री सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधियाँ प्रक्षेपवक्र-आधारित नमूनाकरण (trajectory-based sampling) के कारण उच्च वैरिएंस से ग्रस्त होती हैं, जबकि सटीक डायनेमिक प्रोग्रामिंग (DP) विधियाँ तब अव्यवहार्य हो जाती हैं जब कॉमन नॉइज़ (पूरे जनसंख्या को प्रभावित करने वाले सामूहिक झटके) मौजूद होता है।

हालिया हाइब्रिड स्ट्रक्चरल मेथड्स (HSMs), जैसे कि स्ट्रक्चरल पॉलिसी ग्रेडिएंट (SPG), इसे ज्ञात ट्रांज़िशन डायनेमिक्स का लाभ उठाकर व्यक्तिगत अवस्थाओं पर सटीक अपेक्षित रिटर्न की गणना करके और कॉमन नॉइज़ को सैंपल करके हल करते हैं। यह वैरिएंस को काफी कम कर देता है। हालाँकि, मौजूदा HSMs मेमोरीलेस (मार्कोवियन) नीतियों और पूर्णतः दृश्यमान (fully observable) सेटिंग्स तक सीमित हैं। वे पार्शियली ऑब्जर्वेबल मीन फील्ड गेम्स विद कॉमन नॉइज़ (POMFGs-CN) को संभालने में विफल रहते हैं, जहाँ एजेंटों को केवल साझा आंशिक अवलोकन (जैसे स्टॉक की कीमतें, संक्रमण दरें) प्राप्त होते हैं और उन्हें $(\mu_t, z_t)$ जैसी कुल अवस्था का अनुमान लगाने के लिए इतिहास (history) पर निर्भर रहना पड़ता है। इतिहास-निर्भर नीतियों के लिए HSMs को विस्तारित करना पारंपरिक रूप से चुनौतीपूर्ण है क्योंकि इतिहास का स्थान (history space) तेजी से बढ़ता है, जिससे इतिहासों के वितरण को बनाए रखना अव्यवहार्य हो जाता है।

कार्यप्रणाली

रिकरेंट स्ट्रक्चरल पॉलिसी ग्रेडिएंट (RSPG)

लेखक रिकट स्ट्रक्चरल पॉलिसी ग्रेडिएंट (RSPG) का प्रस्ताव करते हैं, जो POMFGs-CN में इतिहास-निर्भर नीतियों को संभालने में सक्षम पहला HSM है।

सूचनात्मक धारणा (Informational Assumption): RSPG धारणा 6.1 (पर्याप्त सार्वजनिक आंशिक सूचना) पर निर्भर करता है। यह धारणा मानती है कि एजेंट की वर्तमान व्यक्तिगत अवस्था $s_t$ और साझा सार्वजनिक अवलोकनों के इतिहास $o_{0:t}$ को देखते हुए, पूर्ण व्यक्तिगत-क्रिया-अवलोकन इतिहास $\tau_t$ कुल अवस्था $(\mu_t, z_t)$ के बारे में कोई अतिरिक्त जानकारी प्रदान नहीं करता है। यह नीति को $\tau_t$ के बजाय $(s_t, o_{0:t})$ पर आधारित करने की अनुमति देता है।
रिकरेंट आर्किटेक्चर: इस धारणा के तहत, मीन-फील्ड $S$ $S$ के निश्चित व्यक्तिगत राज्य स्थान पर एक वितरण बना रहता है, न कि इतिहास के स्थान पर। RSPG साझा अवलोकनों के इतिहास $o_{0:t}$ $o_{0 : t}$ को एक हिडन स्टेट $h_t$ $h_{t}$ में एनकोड करने के लिए एक रिकरेंट न्यूरल नेटवर्क (विशेष रूप से एक GRU) का उपयोग करता है।
- नीति को $\pi(a | s, h_t)$ के रूप में परिभाषित किया गया है।
- महत्वपूर्ण रूप से, हिडन स्टेट अपडेट व्यक्तिगत अवस्था $s$ से स्वतंत्र है; सभी एजेंट प्रत्येक टाइमस्टेप पर एक ही रिकरेंट एम्बेडिंग साझा करते हैं, जिसे एक बार कंप्यूट किया जाता है और ब्रॉडकास्ट किया जाता है।
हाइब्रिड अपडेट तंत्र: RSPG HSMs के वैरिएंस-रिडक्शन लाभों को सुरक्षित रखता है:
- एनालिटिक मीन-फील्ड अपडेट: ज्ञात ट्रांज़िशन डायनेमिक्स $T$ और वर्तमान नीति का उपयोग करके मीन-फील्ड $\mu_{t+1}$ के विकास की गणना विश्लेषणात्मक रूप से की जाती है।
- मोंटे कार्लो कॉमन नॉइज़: कॉमन नॉइज़ $z_t$ को मोंटे कार्लो रोलआउट के माध्यम से सैंपल किया जाता है।
- ग्रेडिएंट गणना: ग्रेडिएंट अपेक्षित पुरस्कारों और व्यक्तिगत अवस्था परिवर्तनों के माध्यम से प्रसारित होते हैं, लेकिन मीन-फील्ड अपडेट और एनवायरनमेंट रिवॉर्ड फंक्शन के माध्यम से (stop-gradient के माध्यम से) ब्लॉक किए जाते हैं, जिससे व्यवहार्यता सुनिश्चित होती है।

MFAX फ्रेमवर्क

अनुसंधान को सुगम बनाने के लिए, लेखक एक JAX-आधारित फ्रेमवर्क MFAX पेश करते हैं। मुख्य विशेषताएं शामिल हैं:

दोहरे एक्सेस मोड: "व्हाइट-बॉक्स" (ज्ञात डायनेमिक्स का उपयोग करके एनालिटिक मीन-फील्ड अपडेट) और "ब्लैक-बॉक्स" (सैंपल-आधारित अपडेट) वातावरण का समर्थन करता है।
दक्षता: बड़े ट्रांज़िशन मैट्रिसेस को भौतिक रूप से बनाने से बचने के लिए कार्यात्मक रूप में एनालिटिक अपडेट लागू करता है, जिससे मेमोरी जटिलता $O(|S| + |S||A|)$ तक कम हो जाती है।
विशेषताएं: कॉमन नॉइज़, पार्शियल ऑब्जर्वेबिलिटी, कई प्रारंभिक मीन-फील्ड वितरणों का समर्थन करता है, और GPU-त्वरित समानांतरता (parallelism) प्रदान करता है।

मुख्य योगदान

एकीकृत वर्गीकरण: पेपर MFGs के लिए DP, RL और HSMs का एक एकीकृत वर्गीकरण प्रदान करता है, जो उनके मॉडल ज्ञान और वैरिएंस संबंधी ट्रेड-ऑफ को स्पष्ट करता है।
समस्या का औपचारिककरण: यह कॉमन नॉइज़ के साथ POMFGs को औपचारिक रूप से परिभाषित करता है, जो पार्शियल ऑब्जर्वेबिलिटी के तहत मीन-फील्ड को अपडेट करने और स्ट्रक्चरल मेथड्स की व्यवहार्यता बनाए रखने की दोहरी चुनौतियों को उजागर करता है।
RSPG एल्गोरिदम: RSPG का परिचय, जो पहला इतिहास-जागरूक (history-aware) HSM है। यह मेमोरीलेस HSMs के समान अभिसरण दर (convergence rates) प्राप्त करता है (जो मॉडल-फ्री RL से एक क्रम अधिक तेज़ है) और इतिहास-निर्भर, भविष्योन्मुखी (anticipatory) व्यवहारों को सीखने में सक्षम बनाता है।
MFAX लाइब्रेरी: एक बहुमुखी, JAX-आधारित फ्रेमवर्क का रिलीज जो एनालिटिक और सैंपल-आधारित अपडेट के बीच अंतर करता है और उन जटिल MFG सेटिंग्स का समर्थन करता है जिन्हें पहले सिम्युलेट करना कठिन था।

प्रयोगात्मक परिणाम

लेखक तीन वातावरणों: लीनियर क्वाड्रेटिक, बीच बार (Beach Bar), और मैक्रोइकॉनॉमिक्स में RSPG का तुलनात्मक मूल्यांकन मेमोरीलेस HSMs (SPG) और मॉडल-फ्री RL बेसलाइन्स (IPPO, RIPPO, M-OMD) के विरुद्ध करते हैं।

अभिसरण गति (Convergence Speed): RSPG लगातार RL-आधारित विधियों की तुलना में बहुत तेज़ी से कम एक्सप्लोिटेबिलिटी (नैश इक्विलिब्रियम की निकटता का एक माप) तक अभिसरित होता है। लीनियर क्वाड्रेटिक और बीच बार वातावरण में, RSPG और SPG, RL बेसलाइन्स की तुलना में लगभग एक क्रम (order of magnitude) तेज़ी से अभिसरण प्राप्त करते हैं।
इतिहास-जागरूक व्यवहार: बीच बार वातावरण में, जहाँ एजेंटों को संभावित क्लोजर इवेंट का पूर्वानुमान लगाना होता है, RSPG संभावित क्लोजर समय से पहले ही बार से दूर जाने के लिए सीखता है। मेमोरीलेस नीतियां (SPG, IPPO) इस प्रकार का भविष्योन्मुखी व्यवहार प्रदर्शित करने में विफल रहती हैं।
मैक्रोइकॉनॉमिक्स: एक हेट्रोजेनियस-एजेंट मैक्रोइकॉनॉमिक मॉडल में, RSPG एजेंट ब्याज दरों और मजदूरी में हेरफेर करने के लिए एपिसोड के अंत में धन खर्च करना सीखते हैं, जो भविष्योन्मुखी व्यवहार को दर्शाता है जिसे मेमोरीलेस नीतियां मिस कर देती हैं। जबकि SPG और RSPG इस वातावरण में समान एक्सप्लोिटेबिलिटी स्तर प्राप्त करते हैं, RSPG अधिक व्यवहारिक रूप से यथार्थवादी इक्विलिब्रियम की पहचान करता है।
प्रदर्शन: RSPG, HSMs के लो-वैरिएंस लाभों को बनाए रखता है, और RL विधियों से बेहतर प्रदर्शन करता है जो डायनेमिक्स को ब्लैक बॉक्स के रूप में मानने के कारण उच्च-वैरिएंस अपडेट से ग्रस्त होते हैं।

महत्व और दावे

पेपर का दावा है कि RSPG, स्ट्रक्चरल मेथड्स की कंप्यूटेशनल व्यवहार्यता और वैरिएंस रिडक्शन से समझौता किए बिना इतिहास-जागरूक शिक्षण को सक्षम करके MFG साहित्य में एक महत्वपूर्ण अंतर को पाटता है।

व्यावहारिक प्रभाव: एजेंटों को साझा सार्वजनिक इतिहास (जैसे बाजार की कीमतें, संक्रमण रिपोर्ट) से सीखने की अनुमति देकर, RSPG अधिक यथार्थवादी आर्थिक और सामाजिक प्रणालियों के मॉडलिंग को सक्षम बनाता है जहाँ एजेंट प्रत्यक्ष अवलोकन के बजाय अनुमानित कुल अवस्थाओं के आधार पर कार्य करते हैं।
पद्धतिगत प्रगति: यह कार्य प्रदर्शित करता है कि साझा अवलोकनों के इतिहास तक मेमोरी को सीमित करना कई अनुप्रयोगों के लिए एक पर्याप्त सन्निकटन (approximation) है, जिससे पार्शियल ऑब्जर्वेबिलिटी के तहत भी मीन-फील्ड को व्यवहार्य बनाए रखना संभव होता है।
सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि वे इन जटिल सेटिंग्स के लिए इन मौजूदा गारंटी (पूर्ण दृश्यता, मोनोटोनिसिटी) पर आधारित नहीं देते हैं, जो यहाँ लागू नहीं होती हैं। हालाँकि, प्रयोगात्मक परिणाम विभिन्न प्रयोगों में स्थिर अभिसरण दिखाते हैं।

निष्कर्षतः, RSPG, MFAX फ्रेमवर्क द्वारा समर्थित, बड़े पैमाने के, पार्शियली ऑब्जर्वेबल मल्टी-एजेंट सिस्टम को हल करने के लिए एक शक्तिशाली उपकरण प्रदान करता है, जो गति और व्यवहारिक यथार्थवाद दोनों में वर्तमान अत्याधुनिक (state-of-the-art) विधियों से बेहतर है।