🤖 machine learning

Two-Fidelity Best-Action Identification for Stochastic Minimax Tree

यह शोध पत्र 2FFS को प्रस्तुत करता है, जो एक नवीन टू-फिडेलिटी (two-fidelity) ट्री-सर्च एल्गोरिदम है जो सस्ते, पक्षपाती ह्यूरिस्टिक मूल्यांकन और महंगे, सटीक रोलआउट्स के बीच अनुकूल रूप से संतुलन बनाकर स्टोकेस्टिक मिनिमैक्स पेड़ों में सर्वश्रेष्ठ क्रिया की कुशलतापूर्वक पहचान करता है, जिससे मौजूदा बेसलाइनों की तुलना में काफी कम कम्प्यूटेशनल लागत के साथ निश्चित-कॉन्फिडेंस शुद्धता प्राप्त की जा सकती है।

मूल लेखक: Peter Chen, Xi Chen

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peter Chen, Xi Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप शतरंज के एक जटिल खेल में सबसे अच्छी चाल खोजने की कोशिश कर रहे हैं, लेकिन आपके पास सोचने के लिए बहुत सीमित समय और पैसा है। आप एक क्लासिक दुविधा का सामना करते हैं:

"अंतर्ज्ञान" (तेज़ ओरेकल/Oracle): आप किसी चाल के मूल्य के बारे में एक त्वरित, सस्ता अनुमान लगा सकते हैं। यह तेज़ और मुफ्त है, लेकिन अक्सर गलत या पक्षपाती होता है। यह शतरंज के बोर्ड को देखते ही यह अंदाज़ा लगाने जैसा है कि, "यह अच्छा लग रहा है," बिना वास्तव में सोचे।
"गहन अध्ययन" (धीमा ओरेकल/Oracle): आप भविष्य में खेल को गहराई से सिम्युलेट करने के लिए बहुत अधिक समय और पैसा खर्च कर सकते हैं ताकि एक सटीक उत्तर मिल सके। लेकिन, आप ऐसा केवल कुछ ही बार कर सकते हैं।

आज के अधिकांश कंप्यूटर प्रोग्रामों को एक रणनीति चुननी होती है: या तो वे केवल अपने "अंतर्ज्ञान" का उपयोग करके कई चालों को गहराई से देखते हैं (जिससे गलतियाँ हो सकती हैं), या वे महंगी, पूर्ण सिमुलेशन का उपयोग करके कुछ चुनिखंड चालों को संकीर्णता से देखते हैं (जिसमें बहुत समय लगता है)।

यह पेपर एक नई विधि पेश करता है जिसे 2FFS (Two-Fidelity Fast-Slow Search) कहा जाता है, जो एक स्मार्ट मैनेजर की तरह काम करता है, और यह तय करता है कि कब सस्ते "अंतर्ज्ञान" का उपयोग करना है और कब "गहन अध्ययन" पर पैसा खर्च करना है।

मुख्य समस्या: विकल्पों का "पेड़" (Tree)

कल्पना कीजिए कि खेल एक विशाल पेड़ के रूप में है।

जड़ (Root): आपकी वर्तमान स्थिति है।
शाखाएँ (Branches): आपकी संभावित चालें हैं।
पत्तियाँ (Leaves): खेल का अंत है।

सबसे अच्छी चाल खोजने के लिए, आपको यह पता लगाना होगा कि कौन सी शाखा सबसे अच्छे पत्ते (leaf) तक ले जाती है। समस्या यह है कि पेड़ बहुत बड़ा है। यदि आप हर पत्ते की पूर्ण सिमुलेशन के साथ जांच करने की कोशिश करते हैं, तो आपके पास पैसे खत्म हो जाएंगे। यदि आप केवल त्वरित अनुमानों का उपयोग करते हैं, तो आप एक खराब शाखा चुन सकते हैं क्योंकि आपका अनुमान थोड़ा गलत था।

समाधान: स्मार्ट मैनेजर (2FFS)

लेखक इस एल्गोरिदम का प्रस्ताव देते हैं जो पेड़ के साथ दो प्रकार के श्रमिकों के रूप में व्यवहार करता है:

सर्वेक्षक (तेज़ ओरेकल): वे तेज़ी से घूमते हैं, ज़मीन का निरीक्षण करते हैं और वहां क्या है इसका एक मोटा अनुमान देते हैं। वे सस्ते हैं, लेकिन उनके नक्शे थोड़े विकृत हो सकते हैं।
भूविज्ञानी (धीमा ओरेकल): वे सटीक डेटा प्राप्त करने के लिए गहरे छेद करते हैं। वे महंगे और धीमे हैं, लेकिन उनका डेटा सटीक होता है।

2FFS कैसे काम करता है:
केवल सर्वेक्षकों का उपयोग करने या केवल भूविज्ञानी का उपयोग करने के बजाय, 2FFS एक बॉस की तरह काम करता है जो लगातार पूछता है: "क्या मुझे यहाँ एक छेद खोदने की ज़रूरत है, या मैं बेहतर मोटा विचार पाने के लिए थोड़ा और आगे बढ़ सकता हूँ?"

सर्वेक्षकों के साथ शुरुआत करें: एल्गोरिदम एक मोटा नक्शा बनाने के लिए सस्ते, तेज़ अनुमानों का उपयोग करके पूरे पेड़ को जल्दी से स्कैन करता है।
"तंग जगहों" (Tight Spots) की पहचान करें: यह उन क्षेत्रों की तलाश करता है जहाँ सर्वेक्षकों के अनुमान बहुत धुंधले हैं जिससे यह तय करना मुश्किल है कि कौन सा रास्ता बेहतर है।
"लोकल सर्टिफिकेशन" (Local Certification) का तरीका: यहाँ चालाकी भरी बात है। आमतौर पर, आप सोचेंगे कि आपको यह सुनिश्चित करने के लिए पेड़ के बिल्कुल नीचे तक छेद खोदना होगा। लेकिन 2FFS यह समझता है कि कभी-कभी, आपको यह साबित करने के लिए कि एक विशिष्ट शाखा निश्चित रूप से खराब है या निश्चित रूप से अच्छी है, केवल थोड़ा सा ही खोदने की आवश्यकता होती है।
- यदि सर्वेक्षक कहते हैं कि एक शाखा "शायद खराब" है, लेकिन त्रुटि की गुंजाइश बहुत अधिक है, तो 2FFS उस विशिष्ट स्थान पर एक भूविज्ञानी को पुष्टि करने के लिए भेज सकता है।
- यदि भूविज्ञानी पुष्टि करता है कि यह खराब है, तो एल्गोरिदम उस शाखा पर समय बर्बाद करना पूरी तरह से बंद कर देता है।
- यदि सर्वेक्षक कहते हैं कि दो शाखाओं के बीच "बराबरी" है, तो 2FFS इस बराबरी को तोड़ने के लिए एक भूविज्ञानी को भेजता है।

परिणाम: कम में अधिक करना

पेपर का दावा है कि इन दोनों दृष्टिकोणों को बुद्धिमानी से मिलाकर, 2FFS मौजूदा तरीकों की तुलना में बहुत अधिक कुशल है।

पुराना तरीका (BAI-MCTS): एक जासूस की तरह जो एक संदिग्ध को खोजने के लिए 1,000 लोगों का इंटरव्यू लेता है (महंगा), या एक जासूस की तरह जो केवल 1,000 लोगों पर एक नज़र डालता है (तेज़) और गलत अंदाज़ा लगाता है।
2FFS का तरीका: एक ऐसे जासूस की तरह जो शीर्ष 3 संदिग्धों को खोजने के लिए 1,000 लोगों पर एक नज़र डालता है, फिर केवल उन 3 का गहराई से इंटरव्यू लेता है। लेकिन इससे भी बेहतर, यह महसूस करता है कि उनमें से कुछ के लिए, उनके बहाने पर एक त्वरित नज़र डालना ही उन्हें बाहर करने के लिए पर्याप्त है, जिससे महंगा इंटरव्यू बचाने में मदद मिलती है।

प्रमाण

लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने गणितीय रूप से इसे सिद्ध किया। उन्होंने दिखाया कि:

यह सही है: यदि आप एल्गोरिदम को पर्याप्त समय देते हैं, तो यह लगभग निश्चित रूप से सबसे अच्छी चाल खोज लेगा।
यह रुकता है: यह अनंत काल तक नहीं चलेगा; इसे पता है कि इसने उत्तर पा लिया है।
यह कुशल है: उन्होंने सिद्ध किया कि कुल लागत (पैसा + समय) पिछले तरीकों की तुलना में बहुत कम है, विशेष रूप से जैसे-जैसे गेम ट्री गहरा होता जाता है।

अपने प्रयोगों में, उन्होंने सिम्युलेटेड गेम ट्री पर इसका परीक्षण किया। परिणाम नाटकीय थे: 2FFS ने मानक पद्धति की तुलना में 160 से 1,450 गुना कम नमूने (महंगी जाँच) का उपयोग किया, जबकि इसने हर बार सही उत्तर पाया।

सारांश उपमा

कल्पना कीजिए कि आप एक विशाल बगीचे में सबसे अच्छे सेब की खरीदारी कर रहे हैं।

विधि A (सभी तेज़): आप 10,000 सेब उठाते हैं, उन्हें जल्दी से देखते हैं, और जो सबसे लाल दिखता है उसे चुन लेते हैं। आप एक नकली प्लास्टिक का सेब चुन सकते हैं।
विधि B (सभी धीमे): आप एक मशीन खरीदते है जो हर सेब की चीनी की मात्रा का परीक्षण करती है। इसमें बहुत समय लगता है और यह बहुत महंगा पड़ता है।
2FFS: आप बगीचे में तेज़ी से घूमते हैं, उन सेबों को चुनते हैं जो आशाजनक दिखते हैं। जब आपको कुछ ऐसे सेब मिलते हैं जो सबसे अच्छे उम्मीदवार लग रहे हैं, तो आप मशीन का उपयोग केवल उन्हीं पर करते हैं। लेकिन यहाँ मुख्य बात यह है कि यदि आप देखते हैं कि एक "आशाजनक" सेब स्पष्ट रूप से खराब है, तो आप उसका परीक्षण भी नहीं करते; आप बस उसे फेंक देते हैं। आप केवल उन्हीं पर पैसा खर्च करते हैं जिनके बारे में वास्तव में संदेह है।

पेपर का दावा है कि यह "स्मार्ट मैनेजर" दृष्टिकोण AI प्लानिंग के भविष्य के लिए है, जो कंप्यूटर को अनंत कंप्यूटिंग शक्ति की आवश्यकता के बिना जटिल समस्याओं को हल करने की अनुमति देता है।

तकनीकी सारांश: स्टोकेस्टिक मिनमैक्स पेड़ों के लिए टू-फिडेलिटी बेस्ट-एक्शन आइडेंटिफिकेशन

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र स्टोकेस्टिक मिनमैक्स पेड़ों (stochastic minimax trees) के भीतर फिक्स्ड-कॉन्फिडेंस बेस्ट-एक्शन आइडेंटिफिकेशन (BAI) की समस्या को संबोधित करता है। यह सेटिंग उन निर्णय लेने वाली परिदृश्यों को मॉडल करती है जहाँ एक एजेंट को अधिकतम $\delta$ की त्रुटि संभावना ( $(\varepsilon, \delta)$ -PAC गारंटी) के साथ इष्टतम रूट एक्शन ( $a^*$ ) की पहचान करनी होती है, जबकि कुल कम्प्यूटेशनल लागत को कम से कम रखना होता है।

मुख्य चुनौती प्रत्येक नोड पर उपलब्ध दो सूचना स्रोतों (ओरेकल) के बीच एक बजट-एलोकेशन ट्रेडऑफ़ (budget-allocation tradeoff) है:

फास्ट ओरेकल (लो-फिडेलिटी): यह नियत (deterministic), सस्ती गणनाएँ प्रदान करता है लेकिन यह बायस्ड (biased) है। इसका बायस (bias) नोड की शेष गहराई $h$ पर निर्भर एक ज्ञात फलन $B(h)$ द्वारा सीमित है (यह लीव्स के पास अधिक सटीक होता है)।
स्लो ओरेकल (हाई-फिडेलिटी): यह वास्तविक मिनमैक्स वैल्यू के स्टोकेस्टिक, अनबायस्ड सैंपल्स प्रदान करता है लेकिन यह महंगा है (लागत $c \ge 1$ )।

एजेंट को प्रत्येक फ्रंटियर नोड पर यह निर्णय लेने के लिए अनुकूलित (adaptively decide) होना चाहिए कि क्या:

एक्सपैंड (Expand) करें: सस्ते फास्ट ओरेकल का उपयोग करके खोज को और गहरा करने के लिए (बच्चों को पुनरावर्ती रूप से एक्सप्लोर करना)।
सर्टिफाई (Certify) करें: वर्तमान नोड के मान को स्थानीय रूप से परिष्कृत करने के लिए महंगे स्लो ओरेकल का उपयोग करना।

यह समस्या मौजूदा ढांचों का सामान्यीकरण करती है: यह मल्टी-फिडेलिटी मल्टी-आर्म्ड बैंडिट्स (MF-MAB) को फ्लैट एक्शन स्पेस से हटाकर ट्री स्ट्रक्चर और एडवरसेरियल (मिनimax) वैल्यू प्रोपेगेशन तक विस्तारित करती है, और यह BAI-MCTS (जो एक एकल अनबायस्ड ओरेकल मानता है) को बायस्ड, सस्ते ह्यूरिस्टिक्स वाले सेटिंग्स तक विस्तृत करती है।

2. कार्यप्रणाली: 2FFS एल्गोरिदम

लेखक 2FFS (Two-Fidelity Fast-Slow Tree Search) प्रस्तावित करते हैं, जो एक्सपेंशन और लोकल सर्टिफिकेशन के बीच गतिशील रूप से संतुलन बनाता है।

मुख्य तंत्र (Key Mechanisms)

डुअल-रूट निर्णय लेना (Dual-Route Decision Making): किसी भी निर्णय-क्रिटिकल नोड पर, 2FFS दो मार्गों की तुलना करता है:
1. रिकर्सिव एक्सपेंशन (Recursive Expansion): नोड को एक्सपैंड करें, बच्चों के लिए फास्ट ओरेकल को क्वेरी करें, और सबसे प्रासंगिक बच्चे को पुनरावर्ती रूप से हल करें।
2. लोकल सर्टिफिकेशन (Local Certification): वर्तमान नोड पर स्लो सैंपल्स लें ताकि कॉन्फिडेंस इंटरवल को सीधे छोटा किया जा सके।
  एल्गोरिदम उस मार्ग को चुनता है जो वर्तमान अनिश्चितता के संदर्भ में "सस्ता" है, बिना वास्तविक गैप्स को पहले से जाने।
डायैडिक स्केल ग्रिड (Dyadic Scale Grid): एल्गोरिदम एक डायैडिक प्रिसिजन ग्रिड $\rho_k$ (आकार में आधा होता हुआ) पर कार्य करता है। यह विशिष्ट स्केल्स पर नोड एंडपॉइंट्स को सर्टिफाई करने का प्रयास करता है। एक नोड स्केल $k$ पर 'सेफ' माना जाता है यदि इसकी इंटरवल विड्थ $\rho_k/2$ के भीतर हो।
कॉन्फिडेंस इंटरवल्स और प्रोपेगेशन (Confidence Intervals & Propagation):
- लोकल इंटरवल्स: फास्ट ओरेकल के डि टर्मिनिस्टिक बाउंड ( $[V_F(v) \pm B(h)]$ ) को स्लो ओरेकल के सांख्यिकीय कॉन्फिडेंस इंटरवल के साथ जोड़ते हैं।
- प्रोपगेटेड इंटरवल्स: मिनमैक्स बैकअप्स (MAX नोड्स के लिए max, MIN नोड्स के लिए min) का उपयोग करके चाइल्ड इंटरवल्स को रूट तक प्रोपगेट करते हैं।
- इफेक्टिव गैप्स ( $\Delta^{\text{eff}}_v$ ): इन्हें पुनरावर्ती रूप से परिभाषित किया गया है जैसे कि पैरेंट के इफेक्टिव गैप और नोड के वास्तविक मान तथा उसके पैरेंट के मान के बीच का गैप। यह मेट्रिक उस प्रिसिजन को निर्धारित करता है जिसकी आवश्यकता एक नोड को रूट निर्णय को प्रभावित करने के लिए होती है; बड़े इफेक्टिव गैप वाले नोड्स को मोटे (coarser) एस्टीमेशन की आवश्यकता होती है।
बजेटेड रिकर्सिव रिज़ॉल्वर (Budgeted Recursive Resolver): मुख्य RESOLVE प्रक्रिया लोकल सैंपलिंग और रिकर्सिव एक्सपेंशन के बीच की "रेस" को प्रबंधित करती है। यह रिकर्सिव खर्चिंग पर एक डेप्थ-बजट कंस्ट्रेंट ( $\alpha_h$ ) लागू करती है। यदि रिकर्सिव रूट अपने आवंटित बजट के सापेक्ष अपना खर्च बढ़ा देता है, तो एल्गोरिदम वर्तमान नोड पर स्लो सैंपल लेने के लिए बैकअप लेता है। यह उन पथों पर अनियंत्रित रिकर्सिव खर्च को रोकता है जिन्हें स्थानीय रूप से सस्ते में सर्टिफाई किया जा सकता है।
लेज़ी डिस्चार्ज (Lazy Discharge): तुलना के मामलों में (जैसे, एक MAX नोड बच्चों की तुलना करता है), एल्गोरिदम केवल "ब्लॉकिंग" चाइल्ड (वह जो सर्टिफिकेट को रोक रहा है) को रिफाइन करता है। अन्य बच्चों को तब लेजीली डिस्चार्ज किया जाता है यदि वे तुलना मार्जिन से बाहर हैं या पहले से सर्टिफाइड हैं, जिससे अनावश्यक गणना से बचा जा सके।

3. सैद्धांतिक योगदान (Theoretical Contributions)

यह शोध पत्र मल्टी-फिडेलिटी बैंडिट्स के लिए पहला विश्लेषणात्मक ढांचा प्रदान करता है जो एक मिनimax-tree सेटिंग में है।

PAC शुद्धता (PAC Correctness): थ्योरम 3.1 सिद्ध करता है कि 2FFS $(\varepsilon, \delta)$ -PAC गारंटी को संतुष्ट करता है। यदि एल्गोरिदम रुकता है, तो लौटाया गया एक्शन $1-\delta$ की प्रायिकता के साथ $\varepsilon$ -ऑप्टिमल है।
फाइनाइट स्टॉपिंग (Finite Stopping): एक लोकल रेगुलैरिटी धारणा (Assumption 3.3 के तहत सैंपल कॉम्प्लेक्सिटी कर्व्स के व्यवहार के संबंध में) के तहत, एल्गोरिदम गारंटी के साथ सीमित समय में रुक जाता है।
लागत ऊपरी सीमा (Cost Upper Bound): थ्योरम 3.6 एक आइडियल रिकर्सिव ओरेकल कॉम्प्लेक्सिटी ( $H^*$ $H^{*}$ ) के सापेक्ष एक लागत ऊपरी सीमा स्थापित करता है, जो कि वह इष्टतम लागत है यदि एल्गोरिदम को इफेक्टिव गैप्स और सबसे सस्ते मार्ग का पहले से पता होता।
- वास्तविक लागत $C_\tau$ , $O(D^2 H^*)$ द्वारा सीमित है, जहाँ $D$ ट्री डेप्थ है।
- ओवरहेड विशिष्ट डेप्थ-बजट चॉइस ( $\alpha_h = (h+1)^2$ ) के तहत पॉलीनोमियल डेप्थ ( $D^2$ ) में है।

धारणाएं (Assumptions): सैद्धांतिक सीमाएं "लोकल डायैडिक स्केल रेगुलैरिटी" पर निर्भर करती हैं, जो यह मानती है कि सर्टिफिकेशन की लागत प्रिसिजन के साथ अनुमानित रूप से स्केल करती है (जैसे, पॉलीनोमियल लॉ) और बायस कटऑफ किसी "नाइफ-एज" केस को उत्पन्न नहीं करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न डेप्थ ( $D$ ) और ब्रांचिंग फैक्टर ( $b$ ) वाले सिंथेटिक स्टोकेस्टिक मिनमैक्स पेड़ों पर 2FFS का मूल्यांकन किया।

बेसलाइन्स (Baselines):
- BAI-MCTS: लीव्स पर केवल स्टोकेस्टिक सैंपलिंग (स्लो ओरेकल) का उपयोग करता है।
- Minimax-fast: केवल बायस्ड फास्ट ओरेकल (कोई सैंपलिंग नहीं) का उपयोग करता है।
- Slow-only: फिक्स्ड-डेप्थ एक्सपेंशन के बाद स्लो सैंपलिंग।
प्रदर्शन (Performance):
- सैंपलिंग एफिशिएंसी: 2FFS ने BAI-MCTS की तुलना में 160–1450 $\times$ कम सैंपल्ड/विजिटेड नोड्स का उपयोग किया।
- कम्प्यूटेशनल एफिशिएंसी: 2FFS ने 1.9–4.6 $\times$ कम बुककीपिंग ऑपरेशन्स का उपयोग किया।
- सटीकता (Accuracy): 2FFS ने सभी परीक्षण किए गए सेटिंग्स में 100% सटीकता (सही एक्शन के साथ रुकना) प्राप्त की, जबकि Minimax-fast (बायस्ड) और Slow-only (बजट-लिमिटेड) अक्सर सही एक्शन की पहचान करने में विफल रहे या कम सटीकता के साथ रुके।
- मजबूती (Robustness): एब्लेशन स्टडीज ने दिखाया कि 2FFS का प्रदर्शन फास्ट-ओरेकल बायस और स्लो-ओरेकल नॉइज़ के विभिन्न स्तरों के बीच स्थिर रहता है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र मल्टी-फिडेलिटी बैंडिट थ्योरी और मिनimax ट्री सर्च के बीच के अंतर को पाटने का दावा करता है।

नवीनता (Novelty): यह विशेष रूप से एक स्टोकेस्टिक मिनimax ट्री के भीतर मल्टी-फिडेलिटी BAI समस्या को औपचारिक रूप देने और हल करने वाला पहला कार्य है, जो ह्यूरिस्टिक एक्सपेंशन और स्टोकेस्टिक सैंपलिंग के बीच के ट्रेडऑफ़ को संबोधित करता है।
व्यावहारिक प्रासंगिकता (Practical Relevance): लेखक तर्क देते हैं कि यह ढांचा आधुनिक AI प्लानिंग के लिए अत्यधिक प्रासंगिक है, विशेष रूप से:
- गेम ट्री प्लानिंग: जहाँ ह्यूरिस्टिक इवैल्यूएशन सस्ते लेकिन बायस्ड होते हैं, और रोलआउट महंगे होते हैं।
- LLM रीजनिंग: जहाँ छोटे "थॉट" चेन्स (सस्ते) बायस्ड होते हैं, जबकि लंबे, व्यापक रोलआउट (महंगे) सटीक होते हैं।
सैद्धांतिक योगदान: पेपर एक व्यवस्थित तंत्र प्रदान करता है जो सस्ते बायस्ड एक्सपेंशन के मुकाबले महंगे सटीक सैंपलिंग के बीच अनुकूल रूप से व्यापार (trade-off) करता है, और यह सिद्ध करता है कि यह अनुकूलित रणनीति एक ऐसे ओरेकल की तुलना में लगभग इष्टतम लागत (एक पॉलीनोमियल डेप्थ फैक्टर के भीतर) प्राप्त कर सकती है जिसे पहले से ही इंस्टेंस स्ट्रक्चर का पता हो।

लेखक सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि वर्तमान प्रयोग सिम्युलेटेड फाइनाइट ट्रीज़ पर हैं और इस पद्धति को डायनेमिक, इनफिनिट, या न्यूरल-गाइडेड ट्रीज़ (जैसे, मल्टी-एजेंट RL में) तक विस्तारित करना भविष्य का कार्य बना हुआ है।