🤖 AI

Performance Asymmetry in Model-Based Reinforcement Learning

यह शोध पत्र वर्तमान मॉडल-आधारित सुदृढीकरण अधिगम (Model-Based Reinforcement Learning) में एक महत्वपूर्ण "प्रदर्शन विषमता" (Performance Asymmetry) को प्रकट करता है जहाँ एजेंट कुछ अटाari (Atari) कार्यों पर उत्कृष्ट प्रदर्शन करते हैं जबकि अन्य पर विफल रहते हैं, और एक नवीन जॉइंट एम्बेडिंग डिफ्यूजन (Joint Embedding Diffusion - JEDI) वर्ल्ड मॉडल प्रस्तावित करता है जो इस असंतुलन को दूर करने के लिए मानव-पसंद और एजेंट-पसंद दोनों कार्य उपसमूहों में अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Jing Yu Lim, Rushi Shah, Zarif Ikram, Samson Yu, Haozhe Ma, Tze-Yun Leong, Dianbo Liu

प्रकाशित 2026-02-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jing Yu Lim, Rushi Shah, Zarif Ikram, Samson Yu, Haozhe Ma, Tze-Yun Leong, Dianbo Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक टैलेंट स्काउट हैं जो एक परम वीडियो गेम चैंपियन की तलाश में हैं। आपके पास 26 अलग-अलग एटाari (Atari) गेम्स की सूची है, जो पोंग (Pong) जैसे सरल गेम्स से लेकर बैंक हाइस्ट (Bank Heist) जैसे जटिल गेम्स तक फैली हुई है।

हाल ही में, मॉडल-बेस्ड रिइन्फोर्समेंट लर्निंग (MBRL) का उपयोग करके प्रशिक्षित किए गए नए पीढ़ी के AI एजेंटों (आइए उन्हें "रोबो-प्लेयर्स" कहें) के समूह को देखा गया। जब आप उन सभी 26 गेम्स में उनके औसत (average) स्कोर को देखते हैं, तो वे अविश्वसनीय लगते हैं—वे मानव खिलाड़ियों को पछाड़ रहे हैं! सुर्खियां कहती हैं, "रोबोट अब सुपरह्यूमन बन गए हैं!"

लेकिन, "परफॉरमेंस एसिमेट्री (Performance Asymmetry)" नामक यह शोध पत्र तर्क देता है कि यह हेडलाइन भ्रामक है। यह वैसा ही है जैसे यह कहना कि एक छात्र "प्रतिभाशाली" है क्योंकि उसने कुछ आसान गणित की क्विज़ में 100% अंक प्राप्त किए लेकिन हर एक इतिहास की परीक्षा में फेल हो गया।

यहाँ लेखकों द्वारा दी गई खोजों का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

1. "औसत" का जाल (छिपी हुई समस्या)

शोधकर्ताओं ने एक घटना की खोज की जिसे वे परफॉरमेंस एसिमेट्री (Performance Asymmetry) कहते हैं।

स्थिति: रोबो-प्लेयर्स "आसान" गेम्स में पूरी तरह से दबदबा बनाए हुए हैं (जिन्हें लेखक एजेंट-ऑप्टिमल (Agent-Optimal) कार्य कहते हैं)। इनमें से कुछ में, वे मनुष्यों से 20 गुना बेहतर हैं।
पेंच: हालाँकि, "कठिन" गेम्स में (जिन्हें ह्यूमन-ऑप्टिमल (Human-Optimal) कार्य कहा जाता है), वही रोबोट बेहद खराब प्रदर्शन करते हैं। वे अक्सर एक रैंडम व्यक्ति से भी बदतर प्रदर्शन करते हैं जो बस बटन दबा रहा हो।
उपमा: कल्पना कीजिए कि एक शेफ टोस्ट बनाने में विश्व स्तर का मास्टर है। वह टोस्ट इतना अच्छा बना सकता है कि वह किसी भी अन्य व्यक्ति से 20 गुना बेहतर हो। लेकिन यदि आप उसे एक जटिल, बहु-कोर्स वाला शानदार भोजन बनाने के लिए कहते हैं, तो वह खाना जला देता है और आपको कच्चा अंडा परोस देता है। यदि आप केवल उसके "औसत" कुकिंग स्कोर को देखते हैं, तो वे अभी भी आपको एक 5-स्टार शेफ के रूप में दिखा सकते हैं क्योंकि टोस्ट के स्कोर बहुत अधिक थे। लेकिन वास्तव में, वह केवल एक ही हुनर वाला (one-trick pony) है।

2. पुराने मेट्रिक्स क्यों विफल रहे

AI एजेंटों को मापने का मानक तरीका अरिथमेटिक मीन (Arithmetic Mean) (साधारण औसत) लेना है।

खामी: अरिथमेटिक मीन चरम संख्याओं (extreme numbers) से आसानी से छलावा कर सकता है। यदि एक एजेंट कुछ आसान गेम्स में "100" प्राप्त करता है, तो यह औसत को इतना ऊपर खींच सकता है कि यह इस तथ्य को छिपा देता है कि उन्होंने कठिन गेम्स में "0" प्राप्त किया था।
समाधान: लेखक एक नया मेट्रिक प्रस्तावित करते हैं जिसे Sym-HNS कहा जाता है। इसे एक ऐसे GPA की तरह समझें जो फेल होने वाले ग्रेड्स को दंडित करता है। इस नई प्रणाली में, यदि आप एक भी विषय में फेल होते हैं, तो आपका समग्र ग्रेड काफी गिर जाता है, चाहे आप अन्य विषयों में कितने भी अच्छे क्यों न हों। यह AI को संतुलित होने के लिए मजबूर करता है, न कि केवल एक दिशा में चरम होने के लिए।

3. रोबोट कठिन गेम्स में क्यों विफल हो रहे हैं?

लेखकों ने गहराई से जांच की कि रोबोट "ह्यूमन-ऑप्टिमल" गेम्स में क्यों विफल हो रहे हैं। उन्होंने दो मुख्य कारण पाए:

"पिक्सेल" की समस्या: अब तक के सर्वश्रेष्ठ प्रदर्शन करने वाले रोबोट गेम स्क्रीन को एक इंसान की तरह देखते हैं (पिक्सेल दर पिक्सेल)। यह सड़क की एक हाई-डेफिनिशन फोटो को देखकर कार चलाना सीखने जैसा है। यह बहुत अधिक जानकारी है! "कठिन" गेम्स में जटिल नियम और कई संभावित चालें होती हैं (जैसे कि एक बम चलाना जो बाद में फटता है)। कच्चे पिक्सेल को प्रोसेस करने से रोबोट का दिमाग अभिभूत (overwhelmed) हो जाता है ("कर्स ऑफ डायमेंशनलिटी")।
"शूटर" की समस्या: कई कठिन गेम्स में शूटिंग या टाइमिंग शामिल होती है (जैसे बैंक हाइस्ट जहाँ आपको बम फेंकना होता है और विस्फोट से पहले भागना होता है)। इन गेम्स में उच्च "वैरिएंस" (variance) होता है—एक गलत कदम तुरंत आपदा की ओर ले जाता है। कच्चे पिक्सेल को देखने वाले रोबोट इन जटिल कारण-और-प्रभाव वाली कड़ियों की भविष्यवाणी करने में संघर्ष करते हैं।

4. नया समाधान: JEDI

इसे ठीक करने के लिए, लेखकों ने एक नया AI एजेंट बनाया जिसे JEDI (Joint Embedding DIffusion) कहा जाता है।

यह कैसे काम करता है: हर एक पिक्सेल को घूरने के बजाय (जैसे हाई-रेजोल्यूशन फोटो को देखना), JEDI यह सीखता है कि गेम को "संकुचित अवधारणाओं" (compressed concepts) में कैसे देखा जाए (जैसे कि एक मैप या सारांश को देखना)। यह विजुअल शोर (visual noise) में फंसे बिना गेम के सार को समझता है।
जादू: उन्होंने इस "वैचारिक दृश्य" (conceptual view) को एक डिफ्यूजन मॉडल (Diffusion Model) (एक प्रकार का AI जिसका उपयोग आमतौर पर कला बनाने के लिए किया जाता है) के साथ जोड़ा। यह रोबोट को भविष्य की स्थितियों की कल्पना करने और आगे की योजना बनाने की अनुमति देता है, भले ही खेल जटिल और अराजक हो।
परिणाम: JEDI पहला एजेंट है जिसने "वन-ट्रिक पोनी" की समस्या को ठीक किया है।
- यह जटिल "ह्यूमन-ऑप्टिमल" गेम्स में उत्कृष्ट है (अंततः बैंक हाइस्ट में मनुष्यों को हरा रहा है)।
- यह "आसान" गेम्स में भी प्रतिस्पर्धी बना हुआ है।
- यह यह सब कम कंप्यूटर मेमोरी का उपयोग करके और तेजी से करता है।

सारांश

यह पेपर हमें एक मूल्यवान सबक सिखाता है: केवल औसत को न देखें।

यदि कोई AI कुछ चीजों में महान है और कुछ में बहुत बुरा है, तो वह वास्तव में "बुद्धिमान" नहीं है; वह केवल विशिष्ट कार्यों के लिए ओवरफिट (overfitting) हो रहा है। लेखकों ने दिखाया कि सफलता को मापने के तरीके को बदलकर (Sym-HNS का उपयोग करके) और दुनिया को देखने के तरीके को बदलकर (रॉ पिक्सेल के बजाय लेटेंट डिफ्यूजन का उपयोग करके), हम ऐसे रोबोट बना सकते हैं जो वास्तव में बहुमुखी, संतुलित और वास्तविक दुनिया के लिए तैयार हैं।

संक्षेप में: उन्होंने AI को केवल एक "टोस्ट मास्टर" बनने से रोककर एक "गॉरमेट शेफ" (Gourmet Chef) में बदल दिया जो सरल और जटिल दोनों तरह के व्यंजन संभाल सकता है।

यहाँ शोध पत्र "Performance Asymmetry in Model-Based Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: प्रदर्शन विषमता (Performance Asymmetry)

यह शोध पत्र Atari100k बेंचमार्क पर मॉडल-आधारित सुदृढीकरण शिक्षण (Model-Based Reinforcement Learning - MBRL) एजेंटों के मूल्यांकन में एक गंभीर दोष की पहचान करता है। जबकि हालिया अत्याधुनिक (SOTA) एजेंट (जैसे DIAMOND) 1.0 से अधिक का औसत मानव-सामान्यीकृत स्कोर (Human-Normalized Score - HNS) प्राप्त करते हैं (जो सुपर-ह्यूमन प्रदर्शन का संकेत देता है), यह समग्र मीट्रिक एक गंभीर प्रदर्शन विषमता (Performance Asymmetry) को छिपा देता है।

घटना: MBRL एजेंट विशिष्ट कार्यों (जिन्हें एजेंट-इष्टतम (Agent-Optimal) कार्य कहा जाता है) पर मनुष्यों को नाटकीय रूप से पछाड़ देते हैं, लेकिन अन्य कार्यों (जिन्हें मानव-इष्टतम (Human-Optimal) कार्य कहा जाता है) पर मनुष्यों से बहुत पीछे रह जाते हैं।
विसंगति: SOTA पिक्सेल-आधारित एजेंट (DIAMOND) ने इन दो उपसमूहों के बीच 21 गुणा प्रदर्शन अंतर दिखाया। मानव-इष्टतम कार्यों पर सभी बेसलाइन में सबसे खराब प्रदर्शन करते हुए भी, इसने उच्चतम समग्र औसत HNS प्राप्त किया।
मास्किंग (छिपाने) के मूल कारण:
1. अंकगणितीय माध्य (Arithmetic Mean): मानक मूल्यांकन अंकगणितीय माध्य का उपयोग करता है, जो चरम मानों के प्रति अपरिवर्तनीय है। कुछ कार्यों पर उच्च स्कोर गणितीय रूप से कई अन्य कार्यों पर लगभग शून्य प्रदर्शन की भरपाई कर सकता है।
2. HNS रेंज: HNS मीट्रिक की मान सीमा बहुत बड़ी है (ऋणात्मक से लेकर >8 तक)। उच्च-स्कोर वाले कार्यों में छोटे सुधार, निम्न-स्कोर वाले कार्यों में महत्वपूर्ण प्रगति (या गिरावट) को अदृश्य बना देते हैं।
कार्य की विशेषताएं: लेखकों ने पाया कि मानव-इष्टतम कार्यों में सामान्यतः निम्नलिखित गुण होते हैं:
- बड़े एक्शन स्पेस (जो खोज स्थान को तेजी से बढ़ाते हैं)।
- "शूटर" (Shooter) कार्यों की उच्च व्यापकता (ऐसे खेल जिनमें ranged weapons/FIRE क्रियाओं की आवश्यकता होती है), जो परिणामों में उच्च विचरण और जटिल समय निर्भरता (timing dependencies) पेश करते हैं।
पिक्सेल बनाम लेटेंट (Pixel vs. Latent): विषमता पिक्सेल-आधारित एजेंटों में सबसे अधिक स्पष्ट है। ये एजेंट उच्च-आयामीता के अभिशाप (curse of dimensionality) (कच्ची $64\times64\times3$ छवियों को प्रोसेस करना) और शूटर कार्यों की जटिलता के कारण मानव-इष्टतम कार्यों में संघर्ष करते हैं। इसके विपरीत, वे एजेंट-इष्टतम कार्यों (जैसे Breakout) में उत्कृष्ट प्रदर्शन करते हैं क्योंकि पिक्सेल डिफ्यूजन मॉडल की उच्च-सटीकता वाली पीढ़ी क्षमताएं अधिक होती हैं।

2. कार्यप्रणाली (Methodology)

A. नया मूल्यांकन ढांचा

इस विषमता को उजागर करने और मापने के लिए, लेखक प्रस्तावित करते हैं:

कार्य विभाजन (Task Partitioning): उन्होंने चार मौजूदा बेसलाइनों के औसत प्रदर्शन के आधार पर 26 Atari100k कार्यों को दो संतुलित उपसमूहों (प्रत्येक में 13 कार्य) में विभाजित किया:
- एजेंट-इष्टतम (AO): वे कार्य जहाँ औसत एजेंट HNS > 75% है।
- मानव-इष्टतम (HO): वे कार्य जहाँ औसत एजेंट HNS < 75% है।
Sym-HNS मीट्रिक: वे एक नया समग्र मीट्रिक, Sym-HNS पेश करते हैं, जिसे AO और HO उपसमूहों के औसत HNS के हरात्मक माध्य (Harmonic Mean) के रूप में गणना किया जाता है:
$\text{Sym-HNS} = \frac{2 \cdot \mu_{\tau}(AO) \cdot \mu_{\tau}(HO)}{\mu_{\tau}(AO) + \mu_{\tau}(HO)}$
अंकगणितीय माध्य के विपरीत, हरात्मक माध्य चरम असंतुलन को दंडित करता है, यह सुनिश्चित करता है कि एक एजेंट एक उपसमूह की उपेक्षा करके उच्च स्कोर प्राप्त नहीं कर सकता।

B. प्रस्तावित समाधान: JEDI (Joint Embedding DIffusion)

विषमता को संबोधित करने के लिए, लेखक JEDI प्रस्तावित करते हैं, जो एक नवीन लेटेंट एंड-टू-एंड जॉइंट एम्बेडिंग डिफ्यूजन (Latent End-to-End Joint Embedding Diffusion) वर्ल्ड मॉडल है।

वास्तुकला (Architecture):
- एनकोडर ( $E_\phi$ ): उच्च-आयामी पिक्सेल अवलोकनों ( $x_t$ ) को कम-आयामी लेटेंट स्पेस ( $z_t$ ) में संकुचित करता है।
- लेटेंट डिफ्यूजन डायनेमिक्स मॉडल ( $D_\theta$ ): वर्तमान अवस्था और क्रियाओं की स्थिति में भविष्य की लेटेंट अवस्थाओं ( $z_{t+1}$ ) की भविष्यवाणी करता है। यह एकल-चरण सशर्त डिनोइजिंग ऑपरेटर का उपयोग करता है।
- रिवॉर्ड/टर्मिनेशन मॉडल ( $R_\psi$ ): लेटेंट अवस्थाओं से रिवॉर्ड और एपिसोड समाप्ति की भविष्यवाणी करता है।
प्रशिक्षण उद्देश्य (मुख्य नवाचार):
- JEDI एक जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) शैली के ढांचे को अपनाता है लेकिन इसे सीधे डिफ्यूजन के साथ एकीकृत करता है।
- लॉस फंक्शन: एनकोडर को डिफ्यूजन डिनोइजिंग लॉस (विशेष रूप से EDM लॉस) से प्राप्त ग्रेडिएंट्स का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है।
- कोई पुनर्निर्माण (No Reconstruction) नहीं: महत्वपूर्ण रूप से, JEDI पुनर्निर्माण हानि के लिए किसी डिकोडर का उपयोग नहीं करता है, न ही यह हिडन स्टेट एक्सट्रैक्शन या डिस्टिलेशन का उपयोग करता है। एनकोडर केवल डिफ्यूजन प्रेडिक्शन एरर को कम करने के लिए एकमात्र रूप से प्रतिनिधित्व (representation) सीखता है।
- स्थिरता तंत्र (Stability Mechanisms):
  - Stop-Grad: रिप्रेजेंटेशन कोलैप्स को रोकने के लिए टारगेट लेटेंट पर लागू किया गया है।
  - Tanh Clamp: लेटेंट आउटपुट पर एक डिफरेंशिएबल क्लैंप फंक्शन ( $\tanh(z/s)$ ) लगाया जाता है ताकि लेटेंट स्पेस में डिफ्यूजन प्रक्रिया स्थिर रहे।
  - रैंडम स्विचिंग (Random Switching): प्रशिक्षण के दौरान, मॉडल अगले टाइम स्टेप के लॉस के लिए भविष्य के अनुमानित स्टेट या ग्राउंड ट्रुथ लेटेंट के बीच रैंडमली स्विच करता है ताकि हॉरिजन (horizon) जानकारी को संतुलित किया जा सके।
पॉलिसी ट्रेनिंग: पॉलिसी को REINFORCE का उपयोग करके एक एक्टर-क्रिटिक फ्रेमवर्क के माध्यम से प्रशिक्षित किया जाता है ताकि मल्टी-स्टेप डिफ्यूजन प्रक्रिया के माध्यम से बैकप्रोपैगेशन से बचा जा सके, जिससे कम्प्यूटेशनल दक्षता सुनिश्चित होती है।

3. मुख्य योगदान

प्रदर्शन विषमता की खोज: MBRL में एजेंट-इष्टतम और मानव-इष्टतम कार्यों के बीच के विशाल प्रदर्शन अंतर को व्यवस्थित रूप से पहचानने और मापने वाले पहले अध्ययन के रूप में, जो टास्क ओवरफिटिंग के मुद्दे को उजागर करता है।
Sym-HNS मीट्रिक: विशिष्ट कार्य उपसमूहों में खराब प्रदर्शन को छिपाने से रोकने के लिए हरात्मक माध्य का उपयोग करते हुए एक संतुलित मूल्यांकन मीट्रिक प्रस्तावित किया।
JEDI वर्ल्ड मॉडल: पहला एंड-टू-एंड लेटेंट डिफ्यूजन वर्ल्ड मॉडल पेश किया जो JEPA-शैली के ढांचे के भीतर डिफ्यूजन ग्रेडिएंट्स के माध्यम से सीधे एनकोडर को प्रशिक्षित करता है।
विषमता का उलटाव (Reversal of Asymmetry): यह प्रदर्शित किया कि पिक्सेल-आधारित से लेटेंट-आधारित डिफ्यूजन मॉडल की ओर बढ़ने और JEPA-शैली के प्रशिक्षण को मिलाने से, जटिल मानव-इष्टतम कार्यों पर प्रदर्शन में सुधार के साथ-साथ एजेंट-इष्टतम कार्यों पर प्रतिस्पर्धात्मकता बनाए रखी जा सकती है।

4. परिणाम

Sym-HNS प्रदर्शन: JEDI SOTA Sym-HNS प्राप्त करता है, जो पिछले SOTA एजेंटों (जैसे DIAMOND) में देखी गई बिगड़ती विषमता की प्रवृत्ति को उलट देता है।
मानव-इष्टतम (Human-Optimal) कार्य: JEDI HO कार्यों पर सभी बेसलाइनों को काफी पीछे छोड़ देता है, BankHeist (जो पहले पिक्सेल एजेंटों के लिए विफलता बिंदु था) पर सुपर-ह्यूमन प्रदर्शन प्राप्त करता है और अन्य शूटर कार्यों पर स्कोर में सुधार करता है।
एजेंट-इष्टतम (Agent-Optimal) कार्य: JEDI AO कार्यों पर प्रतिस्पर्धी बना रहता है। विशेष रूप रूप से, यह Breakout पर SOTA प्राप्त करता है (HNS 5.35 बनाम DIAMOND का 4.54), जो यह सिद्ध करता है कि लेटेंट डिफ्यूजन पिक्सेल इनपुट के बिना भी उच्च-विजुअल-डिटेल वाले कार्यों को संभाल सकता है।
दक्षता:
- मेमोरी: DIAMOND की तुलना में 43% कम GPU मेमोरी का उपयोग करता है।
- गति: लेटेंट कंप्रेशन ( $12\times$ स्टेट डायमेंशन में कमी) के कारण 3 गुणा तेज़ सैंपलिंग और 2 गुणा तेज़ प्रशिक्षण प्राप्त करता है।
मजबूती (Robustness): JEDI स्टोकेस्टिक वातावरण (रैंडम फ्रेम्सकीपिंग) में लेटेंट नॉन-डिफ्यूजन एजेंटों से बेहतर प्रदर्शन करता है।
एब्लेशन अध्ययन (Ablation Studies): पुष्टि की गई कि एंड-टू-एंड डिफ्यूजन ग्रेडिएंट्स HO प्रदर्शन के लिए आवश्यक हैं, और रैंडम स्विचिंग एवं लेटेंट क्लैंपिंग मैकेनिज्म स्थिरता के लिए महत्वपूर्ण हैं।

5. महत्व

यह शोध पत्र MBRL मूल्यांकन और आर्किटेक्चर डिजाइन के वर्तमान प्रतिमान (paradigm) को मौलिक रूप से चुनौती देता है:

मूल्यांकन में बदलाव: यह तर्क देता है कि "औसत सुपर-ह्यूमन" स्कोर भ्रामक हैं और समुदाय को संतुलित मीट्रिक्स (जैसे Sym-HNS) अपनाने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि एजेंट केवल विशिष्ट गेम मैकेनिक्स के प्रति ओवरफिट होने के बजाय विविध कार्य जटिलताओं में मजबूत हों।
आर्किटेक्चरल अंतर्दृष्टि: यह प्रदर्शित करता है कि लेटेंट डिफ्यूजन मॉडल पिक्सेल-आधारित RL में निहित 'उच्च-आयामीता के अभिशाप' को दूर कर सकते हैं, विशेष रूप से उच्च एक्शन स्पेस और स्टोकेस्टिक डायनेमिक्स वाले जटिल कार्यों के लिए।
JEPA + Diffusion तालमेल: यह सिद्ध करता है कि ऑफ-द-शेल्फ डिफ्यूजन लॉस सीधे JEPA फ्रेमवर्क के साथ संगत हैं, जो पुनर्निर्माण डिकोडर के कम्प्यूटेशनल ओवरहेड के बिना कुशल, एंड-टू-एंड रिप्रेजेंटेशन लर्निंग को सक्षम करते हैं।
भविष्य की दिशा: यह कार्य मनुष्यों के उत्कृष्ट होने वाले कार्यों बनाम एजेंटों के उत्कृष्ट होने वाले कार्यों के बीच के मूलभूत अंतरों को समझने के नए रास्ते खोलता है, जो यह सुझाव देता है कि भविष्य के RL अनुसंधान को कार्य जटिलता और एक्शन स्पेस वेरिएंस को स्पष्ट रूप से संबोधित करना चाहिए।