🤖 machine learning

Distributionally Robust Multi-Task Reinforcement Learning via Adaptive Task Sampling

यह शोध पत्र डिस्ट्रीब्यूशनली रोबस्ट एडेप्टिव टास्क सैंपलिंग (DRATS) को प्रस्तुत करता है, जो एक नवीन मल्टी-टास्क रीइन्फोर्समेंट लर्निंग एल्गोरिदम है जो एक मिनिमैक्स ऑब्जेक्टिव के माध्यम से कठिन कार्यों को अनुकूल रूप से प्राथमिकता देकर असंतुलित डेटा आवंटन को संबोधित करता है, जिससे MetaWorld-MT10 और MT50 जैसे बेंचमार्क पर डेटा दक्षता और सबसे खराब स्थिति के प्रदर्शन में सुधार होता है।

मूल लेखक: Nicholas E. Corrado, Wenyuan Huang, Josiah P. Hanna

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nicholas E. Corrado, Wenyuan Huang, Josiah P. Hanna

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "डिस्ट्रीब्यूशनली रोबस्ट मल्टी-टास्क रिइन्फोर्समेंट लर्निंग वाया एडेप्टिव टास्क सैंपलिंग" (DRATS) का सरल, रोजमर्रा की भाषा और उपमाओं के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "आसान कार्य" का जाल (The "Easy Task" Trap)

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक ही छात्र को एक साथ 10 अलग-अलग प्रकार के गणित के सवाल हल करने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। कुछ सवाल आसान हैं (जैसे 2 + 2 जोड़ना), और कुछ अविश्वसनीय रूप से कठिन हैं (जैसे उन्नत कैलकुलस)।

मानक प्रशिक्षण विधियों में, शिक्षक छात्र को हर सवाल पर बराबर समय देता है। वे आसान जोड़ वाले सवालों पर 10 मिनट बिताते हैं और कठिन कैलकुलस वाले सवालों पर भी 10 मिनट बिताते हैं।

यहाँ एक दोष है:

छात्र पहले 5 मिनट में ही आसान जोड़ वाले सवालों में महारत हासिल कर लेता है। शेष 5 मिनट बर्बाद हो जाते हैं क्योंकि छात्र इसमें पहले से ही परफेक्ट है।
10 मिनट के बाद भी छात्र कठिन कैलकुलस वाले सवालों में पूरी तरह से उलझा हुआ है। उसे वास्तव में 50 मिनट और अभ्यास की जरूरत है, लेकिन शिक्षक रुक जाता है और आगे बढ़ जाता है।

परिणाम? छात्र आसान कार्यों में जीनियस बन जाता है लेकिन कठिन कार्यों में विफल हो जाता है। AI की दुनिया में, इसे इम्बैलेंस्ड लर्निंग (असंतुलित शिक्षण) कहा जाता है। AI आसान चीजों में "काफी अच्छा" हो जाता है और उन कठिन चीजों को नजरअंदाज कर देता है जिन्हें वास्तव में मदद की जरूरत होती है।

समाधान: DRATS (स्मार्ट ट्यूटर)

इस शोध पत्र के लेखकों ने DRATS (डिस्ट्रीब्यूशनली रोबस्ट एडेप्टिव टास्क सैंपलिंग) नामक एक नया एल्गोरिदम बनाया है। DRATS को एक स्मार्ट ट्यूटर के रूप में सोचें जो छात्र को करीब से देखता है और मौके पर ही शेड्यूल बदल देता है।

सबको समान समय देने के बजाय, DRATS पूछता है: "अभी सबसे ज्यादा संघर्ष कौन कर रहा है?"

यह अंतर को पहचानता है: यह छात्र जहाँ होना चाहिए (लक्ष्य) और वह वर्तमान में जहाँ है, उसके बीच के अंतर को मापता है।
यह संघर्ष को प्राथमिकता देता है: यदि छात्र कैलकुलस में असफल हो रहा है लेकिन जोड़ (addition) में बहुत अच्छा कर रहा है, तो स्मार्ट ट्यूटर उसे जोड़ के सवाल देना पूरी तरह से बंद कर देता है। यह अपना लगभग सारा अभ्यास समय कैलकुलस पर केंद्रित करता है।
यह भार को संतुलित करता है: एक बार जब छात्र कैलकुलस में बेहतर हो जाता है, तो ट्यूटर धीरे-धीरे अन्य कार्यों की ओर ध्यान वापस मोड़ देता है जो शायद पीछे छूट रहे हों।

यह कैसे काम करता है (The "Minimax" Strategy)

यह पेपर एक फैंसी गणितीय अवधारणा का उपयोग करता है जिसे मिनिमैक्स ऑप्टिमाइज़ेशन (Minimax Optimization) कहते हैं, लेकिन आप इसे इस तरह समझ सकते हैं:

एक खेल की कल्पना करें जहाँ लक्ष्य सभी 10 कार्यों में उच्चतम औसत स्कोर प्राप्त करना नहीं है, बल्कि यह सुनिश्चित करना है कि सबसे कम स्कोर यथासंभव अधिक हो।

मानक AI: "मेरा आसान कार्यों में 100% है और कठिन कार्यों में 0% है। मेरा औसत 50% है। बहुत बढ़िया!"
DRATS: "मेरा 90% आसान कार्यों में है और 90% कठिन कार्यों में है। मेरा सबसे कम स्कोर 90% है। यह बहुत बेहतर है।"

DRATS लगातार पूछता है, "मेरा 'कमजोर लिंक' कौन सा है?" और उस विशिष्ट लिंक को ठीक करने के लिए संसाधन झोंक देता है जब तक कि वह पर्याप्त मजबूत न हो जाए।

यह अन्य तरीकों से कैसे भिन्न है

पेपर बताता है कि अन्य तरीके इसे ठीक करने के दो प्रयास करते हैं, लेकिन वे लक्ष्य से चूक जाते हैं:

ग्रेडिएंट मैनिपुलेशन (Gradient Manipulation): यह छात्र के दिमाग को एक साथ दो चीजें सीखने के लिए मजबूर करने जैसा है। यह जटिल है और अक्सर खुद के खिलाफ ही काम करता है।
करिकुलम लर्निंग (Curriculum Learning - "पहले आसान" वाला दृष्टिकोण): यह पुराना तरीका है जिसमें आसान कार्यों से शुरुआत की जाती है और धीरे-धीरे कठिन कार्यों की ओर बढ़ा जाता है। पेपर का तर्क है कि यह बुरा है क्योंकि यह उन आसान कार्यों पर समय बर्बाद करता है जिन्हें छात्र पहले ही सीख चुका है, जिससे कठिन कार्यों के लिए अंत में पर्याप्त समय नहीं बचता।

DRATS अलग है क्योंकि इसे क्रम (आसान से कठिन) से कोई फर्क नहीं पड़ता। इसे वर्तमान आवश्यकता से फर्क पड़ता है। यह छात्र के वर्तमान कौशल और लक्ष्य के बीच के "गैप" (अंतर) को ठीक करने को सबसे महत्वपूर्ण मानता है।

परिणाम: प्रयोगों में क्या हुआ?

शोधकर्ताओं ने इसका परीक्षण रोबोटिक्स के लिए कई "जिमनैजियम" (सिम्युलेटेड वातावरण जैसे MetaWorld और MuJoCo) पर किया।

परीक्षण: उन्होंने AI को 10 से 50 अलग-अलग रोबोटिक कार्य दिए (जैसे दरवाजा खोलना, बॉक्स को धकेलना या चलना)।
परिणाम:
- दक्षता (Efficiency): DRATS तेजी से सीखा। इसने उन चीजों का अभ्यास करने में समय बर्बाद नहीं किया जिन्हें रोबोट पहले से ही जानता था।
- वर्स्ट-केस परफॉरमेंस (Worst-Case Performance): रोबोट केवल आसान कार्यों में ही अच्छा नहीं हुआ; वह अन्य तरीकों की तुलना में वास्तव में कठिन कार्यों में बहुत बेहतर हुआ।
- संतुलन: रोबोट का हर कार्य पर उच्च स्कोर रहा, न कि केवल कुछ कार्यों में परफेक्ट स्कोर और बाकी में फेल होने का मिश्रण।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का दावा है कि केवल यह बदलकर कि AI प्रत्येक कार्य का कितनी बार अभ्यास करता है (सैंपलिंग), हम "इम्बैलेंस्ड लर्निंग" की समस्या को हल कर सकते हैं, न कि AI के मस्तिष्क की संरचना को बदलकर।

संक्षेप में: सभी कार्यों के साथ समान व्यवहार न करें। यदि कोई कार्य कठिन है, तो उसे अधिक ध्यान दें। यदि कोई कार्य आसान है, तो उसे कम ध्यान दें। DRATS वह एल्गोरिदम है जो यह स्वचालित रूप से करने का सटीक तरीका पता लगाता है, यह सुनिश्चित करता है कि AI एक बहुमुखी विशेषज्ञ बने, न कि केवल एक ही चीज़ में माहिर।

तकनीकी सारांश: डिस्ट्रीब्यूशनली रोबस्ट एडेप्टिव टास्क सैंपलिंग (DRATS)

समस्या विवरण

मल्टी-टास्क रीइन्फोर्समेंट लर्निंग (MTRL) का लक्ष्य एक एकल एजेंट को प्रशिक्षित करना है जो कई कार्यों (tasks) को एक साथ अनुकूलित (optimize) करने के लिए डेटा दक्षता में सुधार हेतु ज्ञान हस्तांतरण (knowledge transfer) का लाभ उठाता है। हालाँकि, मानक MTRL दृष्टिकोण अक्सर असंतुलित शिक्षण (imbalanced learning) से ग्रस्त होते हैं: एजेंट आसान कार्यों को तेजी से हल कर लेते हैं जबकि कठिन कार्यों पर धीमी प्रगति करते हैं।

पूर्व के कार्यों ने इस असंतुलन को मुख्य रूप से संघर्षरत कार्य ग्रेडिएंट्स (conflicting task gradients) के कारण माना है, और ग्रेडिएंट हेरफेर (जैसे ग्रेडिएंट सर्जरी) या विशिष्ट नेटवर्क आर्किटेक्चर वाले समाधान प्रस्तावित किए हैं। यह शोध पत्र एक अलग, कम खोजे गए कारण की पहचान करता है: असंतुलित डेटा आवंटन (imbalanced data allocation)। मानक MSRL सभी कार्यों के लिए समान इंटरेक्शन बजट आवंटित करता है। चूंकि कठिन कार्यों को हल करने के लिए आसान कार्यों की तुलना में काफी अधिक अनुभव की आवश्यकता होती है, इसलिए समान आवंटन आसान कार्यों को बहुत अधिक डेटा (जिन्हें बहुत कम डेटा की आवश्यकता है) और कठिन कार्यों को बहुत कम डेटा (जिन्हें अधिक डेटा की आवश्यकता है) आवंटित करता है। जबकि करिकुलम लर्निंग (CL) विधियाँ सैंपलिंग वितरण को अनुकूलित करती हैं, वे आमतौर पर ट्रांसफर को सुगम बनाने के लिए पहले आसान कार्यों को प्राथमिकता देती हैं, जो उन सेटिंग्स में डेटा असंतुलन को बढ़ा सकता है जहाँ सकारात्मक ट्रांसफर कमजोर होता है या कार्य आपस में संघर्ष करते हैं।

कार्यप्रणाली: डिस्ट्रीब्यूशनली रोबस्ट एडेप्टिव टास्क सैंपलिंग (DRATS)

लेखक DRATS प्रस्तावित करते हैं, जो एक ऐसा एल्गोरिदम है जो उन कार्यों को सैंपलिंग के लिए प्राथमिकता देने के लिए अनुकूलित (adaptively prioritize) करता है जो हल होने से सबसे दूर हैं। यह विधि निम्नलिखित चरणों के माध्यम से व्युत्पन्न की गई है:

1. व्यवहार्यता समस्या (Feasibility Problem) के रूप में औपचारिकीकरण

कार्यों के औसत रिटर्न को अधिकतम करने के बजाय, MTRL को एक व्यवहार्यता समस्या के रूप में औपचारिक रूप दिया गया है: एक ऐसी पॉलिसी $\theta$ खोजना जिससे प्रत्येक कार्य $i$ में रिटर्न $J_i(\theta)$ एक संदर्भ लक्ष्य $J^{ref}_i$ को पूरा करता हो। उद्देश्य को रिटर्न गैप $g_i(\theta) = \max(J^{ref}_i - J_i(\theta), 0)$ को न्यूनतम करने में बदल दिया गया है। उन मामलों को संभालने के लिए जहाँ बाधाओं को एक साथ संतुष्ट नहीं किया जा सकता है (क्षमता सीमाओं या संघर्षों के कारण), लक्ष्य सभी कार्यों में अधिकतम रिटर्न गैप को न्यूनतम करना बन जाता है (एक मिनिमैक्स ऑब्जेक्टिव):
$\min_{\theta} \max_{i \in [k]} g_i(\theta)$

2. मिनिमैक्स ऑप्टिमाइज़ेशन और डिस्ट्रीबशनल रोबस्टनेस

इनर मैक्सिमाइजेशन को एक कार्य वितरण $q \in \Delta_k$ (प्रोबेबिलिटी सिम्प्लेक्स) पर मैक्सिमाइजेशन के रूप में पुनर्गठित किया गया है। इसे सीधे हल करने से एक नॉन-स्मूथ, ग्रीडी समाधान प्राप्त होता है जो सारा प्रोबेबिलिटी एकल सबसे खराब प्रदर्शन करने वाले कार्य पर केंद्रित कर देता है, जिससे अस्थिरता और डेटा अक्षमता होती है।

इस समस्या को संबोधित करने के लिए, DRATS डिस्ट्रीबशनल रोबस्ट ऑप्टिमाइज़ेशन (DRO) का उपयोग करता है, जो कार्य वितरण $q$ को एक बेस वितरण $p_0$ (यूनिफॉर्म) के केंद्र में $\epsilon$ त्रिज्या वाले क्लैब (KL ball) के भीतर सीमित करता है। इससे यह अनुकूलित प्रक्रिया प्राप्त होती है:
$\min_{\theta} \max_{q \in \mathcal{Q}} \mathbb{E}_{i \sim q}[g_i(\theta)]$
जहाँ $\mathcal{Q} = \{q \in \Delta_k \mid \text{KL}(q \| p_0) \leq \epsilon\}$ ।

3. क्लोज्ड-फॉर्म सॉल्यूशन और एल्गोरिदम

लैग्रेंजियन रिलैक्सेशन का उपयोग करके, इष्टतम कार्य वितरण $q^*$ को रिटर्न गैप के सॉफ्टमैक्स (softmax) के रूप में क्लोज्ड-फॉर्म में प्राप्त किया गया है:
$q^*_i = \frac{\exp(\eta g_i(\theta))}{\sum_j \exp(\eta g_j(\theta))}$
यहाँ, $\eta$ एक इनवर्स टेम्परेचर पैरामीटर के रूप में कार्य करता है जो प्राथमिकता की शार्पनेस (sharpness) को नियंत्रित करता है।

DRATS एल्गोरिदम (एल्गोरिदम 1):

डेटा संग्रह (Data Collection): वर्तमान वितरण $q_t$ से कार्य सैंपल करें और ट्राजेक्टरीज एकत्र करें।
गैप अनुमान (Gap Estimation): रिटर्न्स के मोंटे कार्लो अनुमान कंप्यूट करें और रेफरेंस रिटर्न्स $J^{ref}_i$ को अपडेट करें (जो ऑनलाइन देखे गए अधिकतम रिटर्न के रूप में अनुमानित है)।
गैप नॉर्मलाइजेशन (Gap Normalization): नॉर्मलाइज्ड रिटर्न गैप्स $\hat{g}_i$ कंप्यूट करें।
डिस्ट्रीब्यूशन अपडेट (Distribution Update): ऑब्जेक्टिव $L(\theta, q) = \mathbb{E}_{i \sim q}[g_i(\theta)] - \frac{1}{\eta}\text{KL}(q \| p_0)$ पर मिरर एसेंट (mirror ascent) (एक्सपोनेंशियलटेड ग्रेडिएंट) के माध्यम से $q_t$ को अपडेट करें।
प्रोजेक्शन (Projection): स्थिर गैप अनुमान सुनिश्चित करने के लिए एक न्यूनतम सैंपलिंग प्रोबेबिलिटी $\epsilon$ लागू करें।
पॉलिसी अपडेट (Policy Update): भारित (weighted) रिटर्न को अधिकतम करने के लिए एक ऑन-पॉलिसी एल्गोरिदम (जैसे PPO) का उपयोग करके पॉलिसी $\theta$ को अपडेट करें।

4. अभिसरण गारंटी (Convergence Guarantees)

लेखक सिद्ध करते हैं कि मानक धारणाओं (पॉलिसी अपडेट के लिए लो-रिग्रेट गारंटी सहित) के तहत, DRATS इष्टतम वर्स्ट-केस रिटर्न गैप तक $O(1/\sqrt{T})$ की दर से अभिसरित (converge) होता है, जहाँ $T$ इटरेशन की संख्या है।

मुख्य योगदान

DRATS एल्गोरिदम: एक मल्टी-टास्क RL एल्गोरिदम का परिचय जो मिनिमैक्स फॉर्मूलेशन के माध्यम से रिटर्न गैप के आधार पर कार्यों को अनुकूलित रूप से प्राथमिकता देता है।
सैद्धांतिक अभिसरण (Theoretical Convergence): प्रमाण कि DRATS मानक $O(1/\sqrt{T})$ दर पर इष्टतम वर्स्ट-टास्क रिटर्न गैप के $\epsilon$ एरर के भीतर अभिसरित होता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि DRATS मौजूदा करिकुलम लर्निंग बेसलाइन्स (जैसे Uniform, Learning Progress, Learning Potential, Hard First) की तुलना में उच्च डेटा दक्षता, उच्च एग्रीगेट रिटर्न और काफी उच्च वर्स्ट-टास्क रिटर्न प्राप्त करता है।
ऑर्थोगोनैलिटी (Orthogonality): यह प्रदर्शन करना कि DRATS मौजूदा मल्टी-टास्क नेटवर्क आर्किटेक्चर (जैसे Soft Modularization, MOORE) के साथ संगत है और चाहे कार्य सकारात्मक ट्रांसफर दिखाएं या संघर्ष करें, प्रदर्शन में सुधार करता है।

प्रयोगात्मक परिणाम

लेखकों ने चार बेंचमार्क पर DRATS का मूल्यांकन किया: एक 4-टास्क ग्रिडवर्ल्ड, MuJoCo6 (6 निरंतर नियंत्रण कार्य), MetaWorld-MT10, और MetaWorld-MT50।

एग्रीगेट प्रदर्शन (Aggregate Performance): DRATS ने सभी बेंचमार्क में उच्चतम एग्रीगेट रिटर्न प्राप्त किया।
वर्स्ट-टास्क प्रदर्शन (Worst-Task Performance): यह सुधार मुख्य रूप से कठिन कार्यों पर बेहतर प्रदर्शन द्वारा संचालित था। उदाहरण के लिए, MuJoCo6 में, DRATS एकमात्र ऐसा तरीका था जिसने कठिन Ant और Humanoid कार्यों को सफलतापूर्वक हल किया, जबकि बेसलाइन्स Ant पर प्रगति करने में विफल रहे।
डेटा दक्षता (Data Efficiency): DRATS ने बहुत कम इंटरैक्शन के साथ बेसलाइन्स के प्रदर्शन स्तर तक पहुँच प्राप्त की। MT10 में, इसने केवल 6 मिलियन टाइमस्टेप्स के बाद कठिन कार्यों (जैसे pick-place, push) पर Uniform बेसलाइन के अंतिम रिटर्न को भी पीछे छोड़ दिया।
बेसलाइन्स के साथ तुलना:
- Uniform: आसान कार्यों को बहुत अधिक डेटा देता है; कठिन कार्यों को हल करने में विफल रहता है।
- Learning Progress/Potential: उन कार्यों को प्राथमिकता देते हैं जिनमें उच्च लर्निंग रेट या उच्च वैल्यू एस्टीमेशन एरर होता है, जो अक्सर आसान कार्यों से संबंधित होता है, जिससे वे कठिन कार्यों की अनदेखी करते हैं जो अटक गए हैं।
- Hard First (SMT): कठिन कार्यों पर प्रदर्शन पतन (performance collapse) से ग्रस्त है; एक बार जब किसी कार्य को थ्रेशोल्ड के आधार पर "हल किया गया" घोषित कर दिया जाता है, तो सैंपलिंग प्रोबेबिलिटी अचानक गिर जाती है, जिससे एजेंट उस कार्य को भूल जाता है और उसे फिर से सीखने की आवश्यकता होती है।
एब्लेशन (Ablations):
- Adaptive Sampling बनाम Reweighting: एडैप्टिव सैंपलिंग (DRATS) यूनिफॉर्मली सैंपल किए गए डेटा के ऑब्जेक्टिव को रीवेट करने की तुलना में काफी अधिक डेटा-कुशल है। यूनिफॉर्म रीवेटिंग अपर्याप्त डेटा संग्रह के कारण कठिन कार्यों के लिए हाई-वेरिएंस ग्रेडिएंट अनुमानों की ओर ले जाती है।
- हाइपरपैरामीटर्स: DRATS तापमान $\eta$ और स्टेप साइज $\alpha$ के चुनाव के प्रति मजबूत (robust) है।

महत्व और दावे

यह शोध पत्र दावा करता है कि DRATS मल्टी-टास्क लर्निंग में एक मौलिक अक्षमता को संबोधित करता है: डेटा संसाधनों का गलत आवंटन। डेटा आवंटन पर ध्यान केंद्रित करके, DRATS प्रदर्शन को संतुलित करने के लिए एक डेटा-कुशल तंत्र प्रदान करता है।

लेखक जोर देते हैं कि:

DRATS निरंतर नियंत्रण सेटिंग्स में मल्टी-टास्क RL में डिस्ट्रीबशनल रोबस्ट ऑप्टिमाइज़ेशन का पहला अनुप्रयोग है।
कई करिकुलम लर्निंग विधियों के विपरीत जो आसान से कठिन कार्यों में सकारात्मक ट्रांसफर मानती हैं, DRATS स्पष्ट रूप से वर्स्ट-केस रिटर्न गैप को लक्षित करता है, जो इसे तब भी प्रभावी बनाता है जब कार्य संघर्ष करते हैं या ट्रांसफर कमजोर होता है।
यह विधि मॉड्यूलर है; यह केवल डेटा संग्रह प्रक्रिया को संशोधित करती है और इसे विशेष आर्किटेक्चर या ग्रेडिएंट हेरफेर तकनीकों के साथ जोड़ा जा सकता है।

निष्कर्षतः, DRATS संतुलित मल्टी-टास्क लर्निंग प्राप्त करने के लिए एक सिद्धांत-आधारित, सैद्धांतिक रूप से सुदृढ़ दृष्टिकोण प्रदान करता है, जो सीखने की दक्षता और सभी कार्यों के लिए अंतिम पॉलिसी की मजबूती दोनों में सुधार करता है।