🤖 machine learning

Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning

यह शोध पत्र मल्टीटास्क डिस्क्रिमिनेटर प्रॉक्सिमिटी-गाइडेड IRL (MPG) प्रस्तुत करता है, जो एक फ्यू-शॉट इनवर्स रीइन्फोर्समेंट लर्निंग विधि है जो सीमित लक्ष्य प्रदर्शनों और संबंधित मल्टी-टास्क डेटा से पर्याप्त विविधताओं वाले नए कार्यों को प्रभावी ढंग से सीखने के लिए एक सामान्यीकरण योग्य डिस्क्रिमिनेटर और एक प्रॉक्सिमिटी फंक्शन को जोड़ता है, जिससे मौजूदा बेसलाइनों की तुलना में काफी उच्च सफलता दर प्राप्त होती है।

मूल लेखक: Ziyi Liu, Grace Zhang

प्रकाशित 2026-07-21

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziyi Liu, Grace Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नया काम करना सिखा रहे हैं, जैसे कि एक बिखरे हुए कमरे की सफाई करना। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है। यह एक कुत्ते को प्रशिक्षित करने जैसा है: जब कुत्ता कुछ सही करता है, तो आप उसे एक ट्रीट (एक "इनाम" या "रिवॉर्ड") देते हैं, और वह अधिक ट्रीट पाने के लिए उस क्रिया को दोहराना सीख जाता है। लेकिन यहाँ एक पेंच है: यह तय करना कि वास्तव में "सही" क्या है, अविश्वसनीय रूप से कठिन है। यदि आप केवल कहते हैं "कमरा साफ करो," तो रोबोट भ्रमित हो सकता है और मोजों को उठाने के बजाय बिल्ली को खिड़की से बाहर फेंक सकता है।

इसे हल करने के लिए, वैज्ञानिक इनवर्स रीइन्फोर्समेंट लर्निंग (Inverse Reinforcement Learning - IRL) का उपयोग करते हैं। रोबोट को यह बताने के बजाय कि क्या करना है, आप उसे एक इंसान को वह कार्य पूरी तरह से करते हुए दिखाने वाला एक वीडियो दिखाते हैं। रोबोट वीडियो देखता है और उस "गुप्त रेसिपी" (रिवॉर्ड फंक्शन) का अनुमान लगाने की कोशिश करता है जिसका मानव पालन कर रहा था। समस्या यह है कि वास्तविक जीवन अस्त-व्यस्त है। एक इंसान कमरे को ऐसे साफ कर सकता है जहाँ फर्नीचर एक जगह पर हो, लेकिन क्या होगा अगर फर्नीचर हिल जाए? या क्या होगा अगर रोबले को एक ऐसा मग उठाना पड़े जो थोड़ा अलग दिखता हो? यदि आप रोबोट को केवल एक या दो विशिष्ट परिदृश्यों के उदाहरण दिखाते हैं, तो चीजें बदलने पर वह अक्सर फंस जाता है। यह किसी को केवल खाली पार्किंग लॉट में गाड़ी चलाना सिखाने जैसा है; जब वे पहली बार ट्रैफिक वाली असली सड़क पर पहुँचेंगे, तो वे घबरा सकते हैं। यह शोध पत्र (पेपर) बहुत कम उदाहरणों के साथ रोबोट को नई, कठिन कार्य सीखने में मदद करने की चुनौती से निपटता है, जबकि इसमें समान कार्यों के पुराने उदाहरणों की एक लाइब्रेरी का उपयोग किया जाता है।

द "कुलिनरी स्टूडेंट" रोबोट

हमारे रोबोट छात्र से मिलिए। उसे एक नई, कठिन रेसिपी सीखने के लिए कहा गया है: "लाल ब्लॉक को उठाओ और उसे नीले ब्लॉक पर रखो।" लेकिन इसमें एक मोड़ है। रोबोट ने इस विशिष्ट कार्य को करते हुए एक इंसान के केवल पाँच वीडियो देखे हैं। वास्तविक दुनिया में, ब्लॉक अलग-अलग जगहों पर शुरू हो सकते हैं, या मेज थोड़ी झुकी हुई हो सकती है। इतने कम उदाहरणों के साथ, एक मानक रोबोट संभवतः भ्रमित हो जाएगा और विफल हो जाएगा।

हालाँकि, यह रोबोट विशेष है। इसके पास अन्य स्टैकिंग (एक के ऊपर एक रखने के) कार्यों को दिखाते हुए वीडियो की एक विशाल लाइब्रेरी भी है—जैसे कि एक पीले ब्लॉक पर हरा ब्लॉक रखना, या एक सफेद ब्लॉक पर काला ब्लॉक रखना। ये बिल्कुल वही कार्य नहीं हैं, लेकिन वे एक ही "वाइब" और नियम साझा करते हैं। पेपर के लेखकों, ज़ीयी लियू और ग्रेस झांग ने यह देखना चाहा कि क्या वे इस रोबोट को कुछ ही सीधे उदाहरणों के साथ इस नए, कठिन कार्य में महारत हासिल करने के लिए इन "संबंधित" वीडियो का उपयोग करना सिखा सकते हैं।

दो-भागों वाला "सीक्रेट सॉस"

टीम ने एक नया सिस्टम बनाया जिसे MPG (मल्टीटास्क डिस्क्रिमिनेटर प्रॉक्सिमिटी-गाइडेड IRL) कहा जाता है। MPG को एक दो-भागों वाले कोच के रूप में समझें जो रोबोट को सीखने में मदद करता है:

"पैटर्न स्पॉटर" (द मल्टी-टास्क डिस्क्रिमिनेटर):
एक मास्टर शेफ की कल्पना करें जिसने हजारों अलग-अलग व्यंजनों का स्वाद चखा है। भले ही उन्होंने यह विशिष्ट लाल-और-नीले ब्लॉक का स्टैकिंग कार्य कभी न देखा हो, फिर भी वे रोबोट के प्रयास को देख सकते हैं और कह सकते हैं, "हे, यह चाल वैसी ही दिख रही है जैसी एक प्रो (विशेषज्ञ) करेगा!" सिस्टम का यह हिस्सा रोबोट के कार्यों को देखता है और उनकी तुलना संबंधित वीडियो की विशाल लाइब्रेरी से करता है। यह सभी अलग-अलग कार्यों में "अच्छे स्टैकिंग" की सामान्य संरचना को सीखता है। यह केवल एक वीडियो को याद नहीं करता; यह स्टैकिंग के विचार को समझता है। यह रोबोट को तब भी अच्छे व्यवहार को पहचानने में मदद करता है जब ब्लॉक अजीब नई स्थितियों में हों।
"डिस्टेंस मीटर" (द प्रॉक्सिमिटी फंक्शन):
अब, कल्पना करें कि रोबोट कोई गलती करता है और रास्ते से भटक जाता है। एक मानक रोबोट शायद केवल "जीरो रिवॉर्ड" प्राप्त करेगा और भ्रमित होकर रुक जाएगा कि वापस कैसे आना है। लेकिन MPG का दूसरा भाग एक GPS की तरह काम करता है जो कहता है, "आप लक्ष्य से दूर हैं, लेकिन यदि आप इस दिशा में चलते हैं, तो आप करीब पहुँच रहे हैं।" यह मापता है कि रोबोट "एक्सपर्ट" पथ से कितना दूर है। भले ही रोबोट कुछ ऐसा कर रहा हो जो शेफ ने पहले नहीं देखा है, यह मीटर उसे एक हल्का सा धक्का देता है: "आप सही तरीके के करीब पहुँच रहे हैं, चलते रहें!" यह रोबोट को अंधेरे में खो जाने से रोकता है।

बड़ा परीक्षण: क्या यह काम कर सकता है?

लेखकों ने भूलभुलैया (मेज़), ब्लॉक-स्टैकिंग पहेलियों और रोबोटिक आर्म मैनिपुलेशन कार्यों से भरी एक डिजिटल दुनिया में इस सिस्टम का परीक्षण किया। उन्होंने रोबोट को नए कार्य के लिए बहुत कम उदाहरण दिए (कभी-कभी केवल 5 वीडियो) लेकिन संबंधित कार्यों के पर्याप्त उदाहरण दिए।

परिणाम प्रभावशाली थे। इन सिमुलेशन में, MPG सिस्टम ने औसतन 81.2% सफलता दर हासिल की। इसे समझने के लिए, अगला सबसे अच्छा रोबोट (मौजूदा सबसे मजबूत तरीकों का उपयोग करने वाला) औसतन केवल 56.5% बार सफल हो पाया। यह 24.7 प्रतिशत अंक की एक बड़ी छलांग है।

यह पेपर दिखाता है कि "पैटर्न स्पॉटर" (जो कई समान कार्यों से सीखता है) को "डिस्टेंस मीटर" (जो रोबोट को रास्ता भटकने पर मार्गदर्शन करता है) के साथ जोड़कर, रोबोट पहले की तुलना में बहुत तेज़ी से और अधिक विश्वसनीय रूप से नए, कठिन कौशल सीख सकते हैं।

यह क्या नहीं है (और यह क्या है)

यह ध्यान रखना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है। लेखक यह नहीं कह रहे हैं कि यह ब्रह्मांड की हर समस्या को हल कर देता है। वे स्पष्ट रूप से दिखाते हैं कि पुराने तरीके, जैसे कि केवल रोबोट की गतिविधियों की नकल करना (इमिटेशन लर्निंग) या "डिस्टेंस मीटर" के बिना रिवॉर्ड फंक्शन सीखने की कोशिश करना, जब कार्य थोड़ा बदल जाता है तो बुरी तरह विफल हो जाते हैं। वे यह भी स्पष्ट करते हैं कि इस सिस्टम को अभी भी ऑनलाइन अभ्यास करने की आवश्यकता है—यह कोई जादू नहीं है जो बिना किसी परीक्षण और त्रुटि (ट्रायल एंड एर एरर) के तुरंत काम करता है।

पेपर सुझाव देता है कि यह दृष्टिकोण वास्तविक दुनिया की "अस्त-व्यस्तता" को संभालने का एक शक्तिशाली तरीका है, जहाँ चीजें शायद ही कभी बिल्कुल वैसी ही रहती हैं जैसी वे थीं। जबकि परिणाम कंप्यूटर सिमुलेशन (जैसे मेज़ और ब्लॉक कार्य) पर आधारित हैं, लेखक प्रदर्शित करते हैं कि उनका तरीका महत्वपूर्ण विविधताओं, जैसे कि अलग शुरुआती स्थितियों या वस्तुओं के आकार को संभालने के लिए पर्याप्त मजबूत है, बिना हर एक नए परिदृश्य के लिए डेटा के पहाड़ की आवश्यकता के।

संक्षेप में, यह पेपर रोबोटों को जिज्ञासु छात्रों होने का एक नया तरीका प्रदान करता है: वे केवल एक पाठ को याद नहीं करते; वे संबंधित विषयों की एक पूरी लाइब्रेरी से सीखते हैं और रास्ता भटकने पर खुद को वापस खोजने के लिए एक अंतर्निहित दिशा-सूचक (कंपास) का उपयोग करते हैं।

तकनीकी सारांश: सामान्यीकरण और मार्गदर्शन: फ्यू-शॉट इनवर्स रिइन्फोर्समेंट लर्निंग के लिए रिवॉर्ड्स का विखंडन (Decomposing Rewards)

1. समस्या का निरूपण: मल्टी-टास्क प्रदर्शनों के साथ फ्यू-शॉट IRL (FM-IRL)

यह शोध पत्र इनवर्स रिइन्फोर्समेंट लर्निंग (IRL) की एक महत्वपूर्ण बाधा को संबोधित करता है: पारंपरिक विधियों की वह अक्षमता जहाँ वे विशिष्ट लक्ष्य कार्य (target task) के लिए सीमित प्रदर्शनों (demonstrations) के बावजूद, पर्याप्त इंट्रा-टास्क विविधताओं (जैसे, विभिन्न वस्तुओं के आकार, प्लेसमेंट, या रोबोट के प्रारंभिक पोज़) के सामने सामान्यीकरण करने में विफल रहती हैं।

जबकि पूर्ववर्ती कार्यों ने इमिटेशन लर्निंग (IL) या मेटा-IRL पर ध्यान केंद्रित किया है, ये दृष्टिकोण वास्तविक सेटिंग्स में महत्वपूर्ण सीमाओं का सामना करते हैं:

इमिटेशन लर्निंग (IL): बिहेवियर क्लोनिंग (BC) जैसी विधियाँ उपलब्ध कुछ प्रदर्शनों के विशिष्ट स्टेट डिस्ट्रीब्यूशन से परे सामान्यीकरण करने में संघर्ष करती हैं और रिवॉर्ड फंक्शन के बिना ऑनलाइन पॉलिसी ऑप्टिमाइज़ेशन के माध्यम से सुधार नहीं कर सकती हैं।
मेटा-IRL: इन विधियों के लिए आमतौर पर एक मल्टी-टास्क ट्रेनिंग एनवायरनमेंट तक पहुँच की आवश्यकता होती है ताकि रिवॉर्ड फंक्शन या कॉन्टेक्स्ट वेरिएबल को मेटा-ट्रेन किया जा सके, जो वास्तविक दुनिया की रोबोटिक्स में एक अव्यावहारिक धारणा है जहाँ विविध वातावरणों को फिर से बनाना कठिन होता है।

लेखक एक नया समस्या परिवेश पेश करते हैं: मल्टी-टास्क प्रदर्शनों के साथ फ्यू-शॉट IRL (FM-IRL)। इस सेटिंग में, एक एजेंट को निम्नलिखित का उपयोग करके एक नए लक्ष्य कार्य को सीखना होता है जिसमें महत्वपूर्ण विविधताएँ होती हैं:

लक्ष्य-कार्य के प्रदर्शनों की एक छोटी संख्या ( $D_{target}$ )।
विषम लेकिन संबंधित कार्य प्रदर्शनों का एक बड़ा डेटासेट ( $D_{multi}$ )।
लक्ष्य कार्य वातावरण के साथ ऑनलाइन इंटरेक्शन ( $D_{\pi}$ )।

महत्वपूर्ण रूप से, एजेंट के पास मल्टी-टास्क ट्रेनिंग एनवायरनमेंट तक पहुँच नहीं है, केवल उनसे प्राप्त प्रदर्शन डेटा है। लक्ष्य विशेषज्ञ वितरण (expert distribution) को पुनः प्राप्त करना और जब एजेंट उससे विचलित होता है तो सुधारात्मक मार्गदर्शन प्रदान करना है।

2. कार्यप्रणाली: मल्टीटास्क डिस्क्रिमिनेटर प्रॉक्सिमिटी-गाइडेड IRL (MPG)

FM-IRL को हल करने के लिए, लेखक MPG प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो रिवॉर्ड फंक्शन को दो पूरक घटकों में विभाजित करता है: विशेषज्ञ पहचान के लिए एक सामान्यीकरण योग्य डिस्क्रिमिनेटर और रिकवरी गाइडेंस के लिए एक प्रॉक्सिमिटी फंक्शन।

2.1 मल्टी-टास्क डिस्क्रिमिनेटर (सामान्यीकरण)

पहला घटक एक प्रदर्शन-सशर्त (demonstration-conditioned) डिस्क्रिमिनेटर, $d_\phi(\tau, (s, a))$ है, जिसे संबंधित कार्यों में साझा संरचनात्मक ज्ञान को स्थानांतरित करने के लिए डिज़ाइन किया गया है।

आर्किटेक्चर: यह एक प्रदर्शन प्रक्षेपवक्र (trajectory) $\tau$ और एक स्टेट-एक्शन पेयर $(s, a)$ को प्रोसेस करने के लिए दो अलग-अलग एनकोडर का उपयोग करता है। एम्बेडिंग्स को संयोजित (concatenate) किया जाता है और पूरी तरह से जुड़े हुए लेयर्स (fully connected layers) से गुजारा जाता है ताकि यह आउटपुट मिल सके कि $(s, a)$ उस कार्य के लिए विशेषज्ञ व्यवहार के साथ कितना सुसंगत है जिसका वर्णन $\tau$ द्वारा किया गया है।
ट्रेनिंग ऑब्जेक्टिव: डिस्क्रिमिनेटर को सभी उपलब्ध प्रदर्शनों ( $D_{target} \cup D_{multi}$ ) पर बाइनरी क्लासिफिकेशन लॉस का उपयोग करके प्रशिक्षित किया जाता है। पॉजिटिव पेयर्स में उसी कार्य के स्टेट-एक्शन टुपल्स होते हैं जिसका वर्णन प्रदर्शन द्वारा किया गया है; नेगेटिव पेयर्स में अलग-अलग कार्यों के टुपल्स होते हैं। इसके अतिरिक्त, विशेषज्ञ डेटा पर ओवरफिटिंग को रोकने के लिए ऑनलाइन पॉलिसी सैंपल्स को नेगेटिव पेयर्स के रूप में माना जाता है (एडवर्सरियल ऑब्जेक्टिव)।
कार्य: यह घटक संबंधित कार्यों में पाई जाने वाली साझा संरचना का लाभ उठाकर लक्ष्य कार्य में विशेषज्ञ व्यवहार की पहचान करने में सक्षम होता है, जिससे विविधताओं के बावजूद विशेषज्ञ वितरण का प्रभावी ढंग से सामान्यीकरण होता है।

2.2 प्रॉक्सिमिटी फंक्शन (मार्गदर्शन)

दूसरा घटक, $p_\theta(s)$ , गैर-विशेषज्ञ अवस्थाओं (non-expert states) में एजेंट को वापस विशेषज्ञ वितरण की ओर ले जाने के लिए सघन (dense) और सूचनात्मक रिवॉर्ड प्रदान करता है।

अवधारणा: यह एक अवस्था $s$ से विशेषज्ञ अवस्था वितरण तक के टेम्पोरल डिस्टेंस (न्यूनतम स्टेप्स) का अनुमान लगाता है।
लर्निंग ऑब्जेक्टिव: क्वासीमेट्रिक लर्निंग (quasimetric learning) से प्रेरित होकर, इस फंक्शन को पॉलिसी स्टेट्स के प्रॉक्सिमिटी वैल्यू को अधिकतम करने के लिए अनुकूलित किया जाता है (उन्हें मूल्य के संदर्भ में विशेषज्ञ वितरण से दूर धकेलना, लेकिन प्रभावी रूप से दूरी मापना) जबकि टेम्पोरल कंसिस्टेंसी को लागू किया जाता है।
बाधाएं (Constraints): लर्निंग को ट्राइएंगल इनइक्वेलिटी (triangle inequality) द्वारा बाधित किया जाता है: $p_\theta(s_t) \leq p_\theta(s_{t+1}) + \zeta$ , जहाँ $\zeta$ एक सिंगल टाइमस्टेप की लागत है। विशेषज्ञ अवस्थाओं को 0 के प्रॉक्सिमिटी पर एंकर किया गया है।
एकीकरण: लक्ष्य कार्य के विशेषज्ञ वितरण को समृद्ध करने के लिए, पॉलिसी स्टेट्स को तब "एक्सपर्ट" के रूप में पुन: लेबल किया जाता है यदि मल्टी-टास्क डिस्क्रिमिनेटर का कॉन्फिडेंस एक थ्रेशोल्ड से अधिक हो जाता है ( $d(s, a) > c_{thresh}$ )।

2.3 संयुक्त रिवॉर्ड फंक्शन

अंतिम रिवॉर्ड फंक्शन $\tilde{R}$ इन दोनों संकेतों को जोड़ता है:
$\tilde{R}(s_t, a_t, s_{t+1}) = \underbrace{d(s_t, a_t)}_{\text{Expert Behavior Signal}} + \lambda \underbrace{[p(s_t) - p(s_{t+1})]}_{\text{Proximity Improvement}}$
डिस्क्रिमिनेटर विशेषज्ञ-सुसंगत व्यवहार के लिए एक स्पार्स सिग्नल प्रदान करता है, जबकि प्रॉक्सिमिटी टर्म विशेषज्ञ वितरण तक की दूरी को कम करने के लिए एक डेंस ग्रेडिएंट प्रदान करता है। इस संयुक्त रिवॉर्ड का उपयोग PPO के माध्यम से पॉलिसी को ऑप्टिमाइज़ करने के लिए किया जाता है।

3. मुख्य योगदान

समस्या का परिवेश: यह शोध पत्र FM-IRL को औपचारिक रूप देता है, जो उन स्वाभाविक विविधताओं वाले कार्यों के अंडर-स्पेसिफिकेशन को संबोधित करता है जहाँ मल्टी-टास्क एनवायरनमेंट उपलब्ध नहीं हैं लेकिन मल्टी-टास्क प्रदर्शन (demonstrations) सुलभ हैं।
एल्गोरिदम (MPG): एक रिवॉर्ड डीकंपोजिशन फ्रेमवर्क का प्रस्ताव जो एक मल्टी-टास्क डिस्क्रिमिनेटर (कार्य विविधताओं में सामान्यीकरण के लिए) और एक प्रॉक्सिमिटी फंक्शन (अनदेखी अवस्थाओं में सुधारात्मक मार्गदर्शन के लिए) को सहक्रियात्मक रूप से जोड़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): महत्वपूर्ण विविधताओं के तहत विभिन्न नेविगेशन और मैनिपुलेशन कार्यों (Maze2D, Block Stacking, और FactorWorld) पर MPG का मूल्यांकन किया गया है।

4. प्रयोगात्मक परिणाम

लेखकों ने MPG का नौ बेसलाइन्स के विरुद्ध मूल्यांकन किया, जिनमें पारंपरिक IRL (GAIL, MT-AIRL, PEMIRL), इमिटेशन लर्निंग (BC, SQIL, Transformer-BC), और अन्य डिस्क्रिमिनेटर/प्रॉक्सिमिटी-आधारित विधियां (DVD, GoalPro) शामिल हैं।

प्रदर्शन: MPG ने 9 में से 8 कार्यों पर उच्चतम औसत सफलता दर (success rate) प्राप्त की।
तुलना: इसने प्रति-कार्य (per-task) सबसे मजबूत बेसलाइन को सफलता दर में औसतन 24.7 प्रतिशत अंक से पीछे छोड़ा।
एब्लेशन स्टडीज (Ablation Studies):
- डिस्क्रिमिनेटर या प्रॉक्सिमिटी फंक्शन में से किसी एक को हटाने से भी प्रदर्शन गिर गया, जो दोनों घटकों की आवश्यकता की पुष्टि करता है।
- मल्टी-टास्क डेटासेट को हटाना ("No Multi-task Data") "Proximity Only" एब्लेशन के समान प्रदर्शन की ओर ले गया, जो सामान्यीकरण के लिए डिस्क्रिमिनेटर की मल्टी-टास्क डेटा पर निर्भरता को उजागर करता है।
- विधि विभिन्न लक्ष्य प्रदर्शनों (5 से 25) और मल्टी-टास्क कार्यों (2 से 8) की संख्या के तहत मजबूत रही, हालांकि एक मध्यम स्तर की विविधता के बाद प्रदर्शन संतृप्त (saturate) हो गया।
डेटा दक्षता: MPG प्रचुर मात्रा में प्रदर्शनों (200) के साथ भी अच्छा प्रदर्शन करता है, हालांकि बेसलाइन्स की तुलना में इसका लाभ फ्यू-शॉट रिजीम में सबसे अधिक स्पष्ट था।

5. महत्व और दावे

शोध पत्र का दावा है कि MPG उन वास्तविक परिदृश्यों में सीमित पर्यवेक्षण (supervision) और मजबूत पॉलिसी लर्निंग की आवश्यकता के बीच के अंतर को प्रभावी ढंग से पाटता है जहाँ प्राकृतिक विविधताएँ मौजूद हैं। एक सामान्यीकरण योग्य विशेषज्ञ पहचानकर्ता और एक प्रॉक्सिमिटी-आधारित मार्गदर्शक में रिवॉर्ड को विभाजित करके, यह विधि एजेंटों को न्यूनतम पर्यवेक्षण के साथ नए कार्यों को "देखने, अभ्यास करने और महारत हासिल करने" में सक्षम बनाती है, जो मानवीय सीखने की रणनीतियों की नकल करती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण मल्टी-टास्क ट्रेनिंग एनवायरनमेंट तक पहुँच की अव्यावहारिक धारणा की आवश्यकता नहीं रखता है, बल्कि यह आसानी से उपलब्ध प्रदर्शन डेटासेट पर निर्भर करता है। परिणाम बताते हैं कि विषम मल्टी-टास्क प्रदर्शनों का लाभ उठाना पारंपरिक फ्यू-शॉट IRL और IL विधियों की सैंपल इनएफिशिएंसी (sample inefficiency) और सामान्यीकरण विफलताओं को दूर करने के लिए एक व्यवहार्य और शक्तिशाली रणनीति है।

लेखकों द्वारा नोट की गई सीमाएँ:

इस विधि के लिए उसी डोमेन और एजेंट से एक संरचित मल्टी-टास्क प्रदर्शन डेटासेट की आवश्यकता होती है।
हालांकि यह प्रदर्शनों के मामले में कुशल है, ऑनलाइन ट्रेनिंग चरण अभी भी सैंपल-हंग्री (sample-hungry) है।
रिवॉर्ड फंक्शन को ऑनलाइन प्रशिक्षित किया जाता है और इसे बिना पुनः प्रशिक्षण के सीधे एक नई पॉलिसी को प्रशिक्षित करने के लिए पुन: उपयोग नहीं किया जा सकता है।