📊 statistics

Policy Optimization and Statistical Inference for Online Contextual Matrix Games

यह शोध पत्र गतिशील प्रासंगिक जानकारी को बहु-खिलाड़ी रणनीतिक अंतःक्रियाओं के साथ एकीकृत करने के लिए ऑनलाइन प्रासंगिक मैट्रिक्स गेम्स (online contextual matrix games) के ढांचे को प्रस्तुत करता है, जो OnGameLearn एल्गोरिदम का प्रस्ताव करता है जो उप-रैखिक पछतावा (sublinear regret) प्राप्त करता है और पे-ऑफ अनुमान, नैश इक्विलिब्रियम अभिसरण (Nash equilibrium convergence), और नीति मूल्य अनुमान (policy value inference) के लिए कठोर सांख्यिकीय गारंटी प्रदान करता है।

मूल लेखक: Liner Xiang, Yixin Wang, Hengrui Cai

प्रकाशित 2026-08-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liner Xiang, Yixin Wang, Hengrui Cai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

ऑनलाइन निर्णय लेने की दुनिया में, एजेंटों को अक्सर एक दोहरी चुनौती का सामना करना पड़ता है: उन्हें बदलते परिवेश के प्रति प्रतिक्रिया देनी होती है और साथ ही प्रतिस्पर्धियों की चालों का पूर्वानुमान भी लगाना होता है। कल्पना कीजिए कि एक होटल मैनेजर हर रात कमरे की दरें तय करता है। हर सुबह, वह मांग का अंदाजा लगाने के लिए मौसम, स्थानीय कार्यक्रमों और बुकिंग रुझानों को देखता है। लेकिन वह एक शून्य में कीमत तय नहीं कर सकता; उसे यह भी अनुमान लगाना होगा कि सड़क के दूसरी ओर स्थित प्रतिद्वंद्वी होटल क्या करेगा। यदि व्यस्त सीजन के दौरान दोनों कीमतें बढ़ाते हैं, तो दोनों लाभ कमा सकते हैं, लेकिन यदि एक कीमतें बढ़ाता है जबकि दूसरा कम रखता है, तो पहला जोखिम उठाता है कि वह ग्राहक खो देगा। गतिशील संदर्भ और रणनीतिक प्रतिद्वंद्विता का यह परस्पर मेल एक जटिल परिदृश्य बनाता है जहाँ सबसे अच्छा कदम बाहरी स्थिति और दूसरों के छिपे हुए इरादों, दोनों पर निर्भर करता है। ऐसे निर्णय लेने के लिए पारंपरिक तरीके दोनों कारकों को एक साथ संभालने में संघर्ष करते रहे हैं। कुछ दृष्टिकोण केवल परिवेश पर ध्यान केंद्रित करते हैं, जिसमें निर्णय लेने वाले को एक अकेले खोजकर्ता के रूप में देखा जाता है जो फीडबैक से सीख रहा है, जबकि यह अनदेखा कर दिया जाता है कि उसकी सफलता एक प्रतिद्वंद्वी की रणनीति पर निर्भर करती है। अन्य दृष्टिकोण प्रतिद्वंद्विता पर ध्यान केंद्रित करते हैं, यह मानते हुए कि खेल के नियम स्थिर रहते हैं, इस तथ्य को अनदेखा करते हुए कि बाजार की स्थितियाँ हर विकल्प के मूल्य को लगातार नया आकार देती हैं।

कैलिफोर्निया विश्वविद्यालय, इरविन और मिशिगन विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने के लिए एक नया ढांचा विकसित किया है। वे अपने दृष्टिकोण को "ऑनलाइन कॉन्टेक्स्टुअल मैट्रिक्स गेम्स" कहते हैं, जो एक ऐसी प्रणाली है जिसे एजेंटों को सर्वोत्तम रणनीतियाँ सीखने में मदद करने के लिए डिज़ाइन किया गया है जब उनके कार्यों के पुरस्कार वास्तविक समय की जानकारी और एक प्रतिद्वंद्वी की क्रियाओं के आधार पर बदलते हैं। अपने कार्य में, उन्होंने 'OnGameLearn' नामक एक एल्गोरिदम पेश किया, जो दो प्रतिस्पर्धी एजेंटों को एक साथ सीखने की अनुमति देता है। यह प्रणाली वर्तमान स्थिति का अवलोकन करती है, जैसे कि किसी पार्टी का आकार या कमरा कितनी अवधि पहले बुक किया गया है, और उस जानकारी का उपयोग खेल की अपनी समझ को अपडेट करने के लिए करती है। फिर यह रणनीतियों के इष्टतम मिश्रण की गणना करती है, जिसे नैश इक्विलिब्रियम (Nash equilibrium) कहा जाता है, जहाँ कोई भी खिलाड़ी अकेले अपनी रणनीति बदलकर अपने परिणाम में सुधार नहीं कर सकता। महत्वपूर्ण बात यह है कि एल्गोरिदम केवल अनुमान नहीं लगाता है; यह सांख्यिकीय गारंटी प्रदान करता है, जिसका अर्थ है कि यह मात्रात्मक रूप से बता सकता है कि वह अपने अनुमानों के बारे में कितना निश्चित है और वह वास्तविक इष्टतम रणनीति के कितने करीब है।

शोधकर्ताओं ने कंप्यूटर सिमुलेशन और होटल मूल्य निर्धारण डेटा से जुड़े एक वास्तविक अनुप्रयोग के माध्यम से इस पद्धति का परीक्षण किया। सिमुलेशन में, उन्होंने दो खिलाड़ियों को स्थिर या बदलते पुरस्कारों के साथ प्रतिस्पर्धा करते हुए परिदृश्य बनाए, जो वास्तविक बाजारों की अनिश्चितता की नकल करते हैं। उन्होंने पाया कि OnGameLearn ने खेल के नियमों को सीखने और नए संदर्भों के अनुकूल होने की उलझी हुई चुनौतियों को सफलतापूर्वक पार किया। एल्गोरिदम लगातार सही रणनीतियों पर पहुँचा, भले ही उसे मिलने वाला फीडबैक शोरपूर्ण (noisy) और अधूरा था। वास्तविक दुनिया के परीक्षण में, टीम ने इस पद्धति को एक बड़े होटल श्रृंखला के ऐतिहासिक डेटा पर लागू किया, जिसमें दो प्रतिस्पर्धी होटलों को दो खिलाड़ियों के रूप में माना गया। सिस्टम ने हजारों लेनदेन का विश्लेषण किया, जिसमें अतिथि के ठहरने की अवधि और पार्टी में लोगों की संख्या जैसे कारकों को शामिल किया गया। इसने विभिन्न मूल्य संयोजनों के लिए लाभ परिणामों का सफलतापूर्वक अनुमान लगाया और उन इक्विलिब्रियम रणनीतियों की पहचान की जो दूसरे के संभावित जवाब को देखते हुए प्रत्येक होटल के राजस्व को अधिकतम करेंगी।

केवल एक अच्छी रणनीति खोजने से परे, यह शोध पत्र प्रदर्शित करता है कि यह पद्धति विश्वसनीय सांख्यिकीय निष्कर्ष (statistical inference) प्रदान कर सकती है। इसका अर्थ है कि एल्गोरिदम निर्णय लेने वालों को न केवल यह बता सकता है कि सबसे अच्छा कदम क्या है, बल्कि यह भी कि वह उस उत्तर के बारे में कितना आश्वस्त है। यह ऐसे अनुमान प्रस्तुत करता है जो अधिक डेटा एकत्र होने के साथ अधिक सटीक होते जाते हैं, और अंततः एक ऐसे स्तर की सटीकता तक पहुँच जाते हैं जो कठोर मूल्यांकन की अनुमति देता है। शोधकर्ताओं ने दिखाया कि उनकी पद्धति सरल खेलों (नियम निश्चित होने पर) और जटिल खेलों (जहाँ सूचना के हर नए टुकड़े के साथ नियम बदलते हैं) दोनों के लिए काम करती है। उन्होंने यह भी सिद्ध किया कि एल्गोरिदम नए विकल्पों को खोजने (explore) की आवश्यकता और ज्ञात अच्छे विकल्पों का लाभ उठाने (exploit) की आवश्यकता के बीच संतुलन बनाकर खराब रणनीतियों में फंसने से बचता है। होटल मूल्य निर्धारण के उदाहरण में, सिस्टम ने खुलासा किया कि इष्टतम इक्विलिब्रियम के तहत, एक होटल को अपने प्रतिद्वंद्वी की तुलना में प्रति लेनदेन लगभग उनतीस डॉलर का नुकसान होने की उम्मीद थी, जो सीधे डेटा और मॉडल की गणना से प्राप्त एक विशिष्ट अंतर्दृष्टि है।

यह कार्य मौजूदा तकनीक के अंतराल को संबोधित करता है क्योंकि यह पर्यावरण और प्रतिस्पर्धा को दो अलग समस्याओं के रूप में मानने से इनकार करता है। पिछले तरीकों ने या तो प्रतिद्वंद्वी की रणनीतिक प्रकृति को अनदेखा किया या बाजार के बदलते संदर्भ को। दोनों को एकीकृत करके, नया ढांचा प्रतिस्पर्धी वातावरण के लिए एक अधिक यथार्थवादी उपकरण प्रदान करता है। शोधकर्ताओं ने अपने निष्कर्षों को व्यापक संख्यात्मक प्रयोगों के माध्यम से मान्य किया, जिससे पता चला कि उनका दृष्टिकोण स्थिरता और सटीकता के मामले में मौजूदा तरीकों से बेहतर प्रदर्शन करता है। उन्होंने यह भी स्थापित किया कि एल्गोरिदम का प्रदर्शन सूचना एकत्र करने के साथ एक अनुमानित दर से सुधरता है, जिससे यह सुनिश्चित होता है कि सीखने की प्रक्रिया कुशल है। अध्ययन इस निष्कर्ष पर पहुँचता है कि यह एकीकृत दृष्टिकोण प्रतिस्पर्धी सेटिंग्स में ऑनलाइन निर्णय लेने की दिशा में एक महत्वपूर्ण कदम है, जो उच्च दांव और निरंतर बदलते परिदृश्य में रणनीतियों को सीखने, अनुकूलित करने और मूल्यांकन करने का एक मजबूत तरीका प्रदान करता है।

तकनीकी सारांश: ऑनलाइन कॉन्टेक्स्टुअल मैट्रिक्स गेम्स के लिए पॉलिसी ऑप्टिमाइज़ेशन और सांख्यिकीय अनुमान

समस्या का स्वरूप
यह शोध पत्र उन वातावरणों में रणनीतिक निर्णय लेने की चुनौती को संबोधित करता है जो गतिशील कॉन्टेक्स्टुअल संकेतों (contextual signals) और मल्टी-एजेंट इंटरैक्शन दोनों द्वारा अभिलक्षित हैं। मौजूदा साहित्य आमतौर पर इन डोमेन को अलग-अलग मानता है: कॉन्टेक्स्टुअल बैंडिट्स अवलोकन योग्य विशेषताओं (observable features) का उपयोग करके सिंगल-एजेंट निर्णयों को अनुकूलित करते हैं लेकिन रणनीतिक इंटरैक्शन को अनदेखा करते हैं, जबकि ऑनलाइन मैट्रिक्स गेम्स नैश इक्विलिब्रियम (Nash equilibria) के माध्यम से रणनीतिक व्यवहार को मॉडल करते हैं लेकिन स्थिर, समय-अपरिवर्तनीय पे-ऑफ (payoffs) मानकर चलते हैं, जिससे कॉन्टेक्स्टुअल जानकारी की उपेक्षा होती है। लेखक एक एकीकृत ढांचा प्रस्तावित करते हैं जिसे ऑनलाइन कॉन्टेक्स्टुअल मैट्रिक्स गेम्स कहा जाता है, जहाँ प्रत्येक दौर का पे-ऑफ मैट्रिक्स निर्णय के समय उपलब्ध कॉन्टेक्स्टुअल जानकारी का एक फलन (function) होता है। विशेष रूप से, यह शोध पत्र नॉइजी बैंडिट फीडबैक वाले दो-खिलाड़ी शून्य-योग खेलों (two-player zero-sum games) पर केंद्रित है, जहाँ एजेंट केवल अपने द्वारा चुने गए एक्शन पेयर्स के स्टोकेस्टिक रिवॉर्ड्स को देखते हैं और साथ ही अंतर्निहित पे-ऑफ संरचना और इष्टतम इक्विलिब्रियम रणनीतियों दोनों को सीखने का प्रयास करते हैं।

कार्यप्रणाली: OnGameLearn
लेखक OnGameLearn नामक एक ऑनलाइन लर्निंग एल्गोरिदम पेश करते हैं, जिसे प्लेयर एक्शन और कॉन्टेक्स्ट के बीच अन्वेषण (exploration) और दोहन (exploitation) को संतुलित करने और सांख्यिकीय अनुमान (statistical inference) को सक्षम करने के लिए डिज़ाइन किया गया है। यह विधि तीन पुनरावृत्ति घटकों (iterative components) के माध्यम से कार्य करती है:

पे-ऑफ/पैरामीटर अनुमान (Payoff/Parameter Estimation):
- नॉन-कॉन्टेक्स्टुअल सेटिंग में, एल्गोरिदम प्रत्येक एक्शन पेयर के लिए ऐतिहासिक रिवॉर्ड्स के एम्पिरिकल मीन (empirical mean) का उपयोग करके पे-ऑफ मैट्रिक्स $A$ का अनुमान लगाता है।
- कॉन्टेक्स्टुअल सेटिंग में, यह प्रत्येक एक्शन पेयर $(i, j)$ के लिए पैरामीटर वेक्टर्स $\beta_{ij}$ का अनुमान लगाने के लिए ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) का उपयोग करता है, जो अपेक्षित रिवॉर्ड को कॉन्टेक्स्ट $z_t$ के एक रैखिक फलन के रूप में मॉडल करता है (अर्थात, $r_t = z_t^\top \beta_{ij} + e_t$ )।
रणनीति अनुकूलन (Strategy Optimization):
- एक अद्वितीय समाधान सुनिश्चित करने और अभिसरण (convergence) को सुगम बनाने के लिए, एल्गोरिदम एक रेगुलराइज्ड मिनिमैक्स समस्या को हल करता है। यह एक रेगुलराइज्ड ऑब्जेक्टिव फंक्शन $L_t(x, y) = x^\top \hat{A}_{t-1}y - \eta_t R_X(x) + \eta_t R_Y(y)$ को परिभाषित करता है, जहाँ $R_X$ और $R_Y$ स्ट्रॉन्गली कॉनवेक्स एंट्रॉपी रेगुलराइजेशन टर्म हैं।
- अनुमानित नैश इक्विलिब्रियम रणनीतियाँ एक ग्रेडिएंट डिसेंट-अससेंट (GDA) प्रक्रिया का उपयोग करके इस सैडल-पॉइंट समस्या को हल करके प्राप्त की जाती हैं।
- पर्याप्त अन्वेषण सुनिश्चित करने के लिए, एल्गोरिदम मानक बैंडिट एक्सप्लोरेशन रणनीतियों को एकीकृत करता है: अपर कॉन्फिडेंस बाउंड (UCB), थॉम्पसन सैंपलिंग (TS), और $\epsilon$ -ग्रीडी। ये रणनीतियाँ एक्सप्लोरेटरी पे-ऑफ मैट्रिसेस का निर्माण करती हैं या अनुमानित इक्विलिब्रियम को यूनिफॉर्म एक्सप्लोरेशन के साथ मिश्रित करती हैं, जिससे एक्शन पेयर्स के चयन की संभावना के लिए एक सकारात्मक निचली सीमा (lower bound) सुनिश्चित होती है।
वैल्यू अनुमान (Value Estimation):
- यह शोध पत्र मैट्रिक्स गेम्स में स्टोकेस्टिक पॉलिसियों के लिए पॉलिसी वैल्यू की अवधारणा को औपचारिक रूप देता है।
- यह गेम वैल्यू के लिए एक डबली रोबस्ट (DR) एस्टिमेटर प्रस्तावित करता है। यह एस्टिमेटर मॉडल प्रेडिक्शन (अनुमानित इक्विलिब्रियम वैल्यू) को वास्तविक देखे गए रिवॉर्ड्स के साथ जोड़ता है, जिन्हें बिहेवियर पॉलिसी प्रोपेनसिटी स्कोर के व्युत्क्रम (inverse) द्वारा भारित (weighted) किया जाता है। यह दृष्टिकोण सुनिश्चित करता है कि यदि आउटकम रिग्रेशन मॉडल (पे-ऑफ एस्टिमेशन) या प्रोपेनसिटी स्कोर मॉडल (स्ट्रेटजी एस्टिमेशन) में से कोई भी सही ढंग से निर्दिष्ट है, तो परिणाम सुसंगत (consistent) होगा।

प्रमुख योगदान
शोध पत्र तीन प्राथमिक योगदानों का दावा करता है:

नवीन ढांचा: यह कॉन्टेक्स्टुअल सिग्नल्स को मल्टी-प्लेयर रणनीतिक निर्णय लेने में एकीकृत करने वाला पहला कार्य है, जहाँ पे-ऑफ कॉन्टेक्स्ट के साथ विकसित होते हैं।
एल्गोरिद्मिक और सैद्धांतिक गारंटी: लेखक OnGameLearn विकसित करते हैं और कठोर सांख्यिकीय गारंटी स्थापित करते हैं। केवल रिग्रेट मिनिमाइजेशन पर ध्यान केंद्रित करने वाले पिछले कार्यों के विपरीत, यह शोध पत्र प्रदान करता है:
- अनुमानित पे-ऑफ मैट्रिक्स और पैरामीटर एस्टिमेटर्स के लिए टेल बाउंड्स (tail bounds)।
- अनुमानित नैश इक्विलिब्रियम के लिए कंसिस्टेंसी और कन्वर्जेंस रेट्स।
- अनुकूली डेटा संग्रह द्वारा प्रेरित निर्भरता को ध्यान में रखते हुए पे-ऑफ मैट्रिक्स और पैरामीटर एस्टिमेटर्स के लिए एसिम्प्टोटिक नॉर्मलिटी (asymptotic normality)।
- इष्टतम पॉलिसी वैल्यू के लिए एक $\sqrt{T}$ -कंसिस्टेंट डबली रोबस्ट वैल्यू एस्टिमेटर।
रिग्रेट विश्लेषण: प्रस्तावित लर्निंग प्रक्रियाओं के लिए सबलीनियर रिग्रेट बाउंड्स (sublinear regret bounds) प्राप्त किए गए हैं, जो यह प्रदर्शित करते हैं कि एल्गोरिदम रणनीतिक और कॉन्टेक्स्टुअल निर्णय लेने की परस्पर जुड़ी चुनौतियों को प्रभावी ढंग से नेविगेट करता है।

परिणाम
सैद्धांतिक परिणामों को सिम्युलेटेड अध्ययनों और एक वास्तविक दुनिया के अनुप्रयोग के माध्यम से सत्यापित किया गया है:

सिमुलेशन: नॉन-कॉन्टेक्स्टुअल और कॉन्टेक्स्टुअल मैट्रिक्स गेम्स पर प्रयोगों से पता चलता है कि OnGameLearn अनुमानित नैश इक्विलिब्रियम को वास्तविक इक्विलिब्रियम तक अभिसरित (converge) करने में सक्षम है। अनुमानित पैरामीटर्स एसिम्प्टोटिक नॉर्मलिटी प्रदर्शित करते हैं, जहाँ स्टैंडर्ड एरर एस्टिमेट्स मोंटे कार्लो स्टैंडर्ड डेवििएशन से मेल खाते हैं और कॉन्फिडेंस इंटरवल्स नामांकित कवरेज स्तर (95%) प्राप्त करते हैं। डबली रोबस्ट वैल्यू एस्टिमेटर $\sqrt{T}$ दर पर अभिसरण करता है।
वास्तविक दुनिया का अनुप्रयोग: इस पद्धति को दो प्रतिस्पर्धी होटलों वाले होटल प्राइसिंग डेटासेट पर लागू किया गया है। एल्गोरिदम सफलतापूर्वक प्राइसिंग पैरामीटर्स के लिए वैध सांख्यिकीय अनुमान प्रदान करता है और गेम वैल्यू का अनुमान लगाता है, जिससे यह पता चलता है कि नैश इक्विलिब्रियम रणनीतियों के तहत, एक होटल दूसरे की तुलना में नुकसान उठाने की उम्मीद करता है, जो प्रतिस्पर्धी प्राइसिंग डायनेमिक्स के लिए व्यावहारिक अंतर्दृष्टि प्रदान करता है।

महत्व और दावे
यह शोध पत्र OnGameLearn को एक ऐसे क्षेत्र में नीति अनुकूलन और सांख्यिकीय अनुमान को एकीकृत करके एक महत्वपूर्ण प्रगति के रूप में स्थापित करता है जिसे पहले अनसुलझा छोड़ दिया गया था। लेखक इस बात पर जोर देते हैं कि जबकि मौजूदा विधियाँ या तो कॉन्टेक्स्ट या रणनीति को संभालती हैं, OnGameLearn इस मूल प्रश्न को संबोधित करता है कि रणनीतिक एजेंटों को कैसे कार्य करना चाहिए जब पे-ऑफ कॉन्टेक्स्ट के साथ विकसित होते हैं। $\sqrt{T}$ -कंसिस्टेंट डबली रोबस्ट एस्टिमेटर का विकास एक प्रमुख सैद्धांतिक उपलब्धि के रूप में रेखांकित किया गया है, जो अनुकूलित, गैर-i.i.d. वातावरण में अनिश्चितता के परिमाण के साथ सिद्धांत आधारित रणनीति मूल्यांकन को सक्षम बनाता है। यह कार्य सुझाव देता है कि यह ढांचा स्वाभाविक रूप से मल्टी-प्लेयर इंटरैक्शन तक विस्तारित हो सकता है, हालांकि वर्तमान ध्यान कैनोनिकल टू-प्लेयर ज़ीरो-सम केस पर बना हुआ है।

इसी तरह के और पेपर