🤖 AI

Decoupled Behavioral Cloning for Scalable Inductive Generalization in RL from Specifications

यह शोध पत्र DIBS का प्रस्ताव करता है, जो एक डीकप्ल्ड बिहेवियरल क्लोनिंग फ्रेमवर्क है जो टास्क-विशिष्ट पॉलिसियों के सीखने को इवोल्यूशन फंक्शन से अलग करके इंडक्टिव रिइन्फोर्समेंट लर्निंग में ट्रेनिंग स्थिरता और ज़ीरो-शॉट जनरलाइजेशन में सुधार करता है, जिससे शोर वाले रिवॉर्ड एग्रीगेशन को सघन, स्थिर सुपरविजन से बदल दिया जाता है।

मूल लेखक: Vignesh Subramanian, Subhajit Roy, Suguman Bansal

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vignesh Subramanian, Subhajit Roy, Suguman Bansal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को ब्लॉक स्टैक करना (ब्लॉक के ऊपर ब्लॉक रखना) सिखाने की कोशिश कर रहे हैं। लेकिन यहाँ एक ट्विस्ट है: आप केवल एक विशिष्ट स्टैक सीखना नहीं चाहते, बल्कि आप एक नियम सिखाना चाहते हैं जो रोबोट को 5 ब्लॉक, 10 ब्लॉक, या यहाँ तक कि 100 ब्लॉक भी स्टैक करने की अनुमति दे सके, भले ही उसने पहले कभी इतना ऊँचा टावर न देखा हो।

यह इंडक्टिव जनरलाइजेशन (Inductive Generalization) की समस्या है: रोबोट को किसी कार्य के पैटर्न को समझने के लिए प्रशिक्षित करना ताकि वह बिना दोबारा ट्रेनिंग लिए, उस कार्य के नए और थोड़े अलग संस्करणों को संभाल सके।

पुराना तरीका: "अराजक ग्रुप प्रोजेक्ट" (The Chaotic Group Project)

पिछले तरीकों (जैसे कि GenRL नामक विधि) ने इसे एक विशाल, अराजक ग्रुप प्रोजेक्ट की तरह करने की कोशिश की।

कल्पना कीजिए कि आपके पास छात्रों की एक टीम (रोबोट) है जो गणित के सवालों की बढ़ती कठिनाई (कार्य 1, कार्य 2, कार्य 3...) को हल करना सीख रही है। पुराने तरीके में, शिक्षक पूरी टीम को एक ही, विशाल ग्रेड देता था कि कैसे सभी ने सभी समस्याओं पर एक साथ प्रदर्शन किया।

समस्या: जैसे-जैसे समस्याओं की संख्या बढ़ी, फीडबैक एक शोर भरे मलबे में बदल गया। यदि टीम ने आसान समस्याओं पर बहुत अच्छा किया लेकिन कठिन समस्याओं पर बहुत खराब प्रदर्शन किया, तो "औसत" ग्रेड भ्रमित करने वाला था। रोबमाट भ्रमित हो गया, प्रशिक्षण अस्थिर हो गया, और वह अंतर्निहित नियम सीखने में विफल रहा। यह एक रेडियो को ट्यून करने की कोशिश करने जैसा था जबकि कोई आपके कान में शोर मचा रहा हो।

नया तरीका: DIBS ("मास्टर शेफ और रेसिपी बुक")

लेखकों ने DIBS (Decoupled Behavioral Cloning) नामक एक नई विधि प्रस्तावित की है। उन्होंने महसूस किया कि पुराना तरीका दो बहुत अलग चीजों को एक साथ करने की कोशिश कर रहा था, जिससे अराजकता पैदा हो रही थी। इसलिए, उन्होंने काम को दो स्पष्ट चरणों में विभाजित कर दिया।

इसे एक मास्टर शेफ और एक रेसिपी बुक की तरह समझें।

चरण 1: मास्टर शेफ (टीचर पॉलिसीज़)

सबसे पहले, रोबोट हर कठिनाई स्तर के लिए एक अलग "मास्टर शेफ" को काम पर रखता है।

5-ब्लॉक वाले टावर के लिए, वे शेफ #5 को काम पर रखते हैं।
10-ब्लॉक वाले टावर के लिए, वे शेफ #10 को काम पर रखते हैं।
प्रत्येक शेफ अकेले काम करता है, अपने स्वयं के सर्वोत्तम उपकरणों (स्टैंडर्ड रीइन्फोर्समेंट लर्निंग) का उपयोग करके अपने विशिष्ट कार्य में महारत हासिल करता है। वे अन्य शेफों की चिंता नहीं करते; वे बस अपने काम पर ध्यान केंद्रित करते हैं।
ट्रिक: यह सुनिश्चित करने के लिए कि ये शेफ एक-दूसरे से बहुत अलग न हो जाएं (ताकि अंतिम रेसिपी बुक समझ में आए), सिस्टम शेफ #10 को शेफ #9 के समान होने के लिए धीरे से प्रेरित करता है, जब तक कि कार्य वास्तव में बदलाव की मांग न करे। यह टीम को संरेखित रखता है।

चरण 2: रेसिपी बुक (द इवोल्यूशन फंक्शन)

एक बार जब सभी शेफ विशेषज्ञ बन जाते हैं, तो रोबोट उन्हें खाना पकाने के लिए नहीं कहता। इसके बजाय, वह उनसे अपने मूव्स (चालें) लिखने के लिए कहता है।

रोबोट सभी विशेषज्ञ शेफों से "स्टेट + एक्शन" (जैसे, "जब ब्लॉक यहाँ है, तो हाथ वहाँ ले जाएँ") जोड़ों का एक विशाल डेटासेट एकत्र करता है।
अब, रोबोट एक रेसिपी बुक से सीखने वाले छात्र की तरह कार्य करता है। यह इन नोट्स का अध्ययन करने के लिए बिहेवियरल क्लोनिंग (इमिटेशन लर्निंग) नामक तकनीक का उपयोग करता है।
यह एक एकल गणितीय "नियम" (एक बहुपद समीकरण/polynomial equation) खोजने की कोशिश करता है जो यह समझा सके कि शेफ #5 के मूव्स शेफ #10 के मूव्स में कैसे बदलते हैं।
परिणाम: एक बार जब रोबोट इस नियम को सीख लेता है, तो वह केवल "100" को नियम में डालकर, एक 100-ब्लॉक वाले टावर के लिए तुरंत एक "शेफ" बना सकता है जिसे उसने पहले कभी नहीं देखा।

यह एक बड़ी बात क्यों है?

लेखक दावा करते हैं कि यह नया दृष्टिकोण दो प्रमुख सिरदर्दों को हल करता है:

स्थिरता (Stability): "कार्य करने के लिए सीखने" (चरण 1) को "नियम सीखने" (चरण 2) से अलग करके, रोबोट शोर भरे फीडबैक से भ्रमित होना बंद कर देता है। यह खाना पकाने को रेसिपी लिखने से अलग करने जैसा है। रेसिपी लिखने वाले को एक अव्यवस्थित रिपोर्ट के बजाय साफ, उच्च-गुणवत्ता वाले नोट्स मिलते हैं।
स्केलेबिलिटी (Scalability): पुराना तरीका विफल हो जाता था जब आप अधिक कार्य जोड़ते थे। नया तरीका वास्तव में नियम खोजने में बेहतर होता जाता है क्योंकि इसके पास अध्ययन करने के लिए अधिक उच्च-गुणवत्ता वाले उदाहरण होते हैं।

परिणाम

लेखकों ने विभिन्न रोबोटिक कार्यों पर इसका परीक्षण किया, जैसे कि 2D मैप पर कार चलाना, 3D स्पेस में ड्रोन को नियंत्रित करना और ब्लॉक स्टैक करना।

ट्रेनिंग: DIBS, पुराने तरीके की तुलना में बड़े कार्यों के सेट पर प्रशिक्षण देने में 3.82 गुना अधिक सफल रहा।
जनरलाइजेशन: उन कार्यों पर परीक्षण करने के बाद जिन्हें उसने पहले कभी नहीं देखा था (जीरो-शॉट), DIBS उन्हें हल करने में 6.19 गुना बेहतर था।

संक्षेप में, पुराने तरीके ने एक शोर भरे वातावरण में नियम और कौशल दोनों को एक साथ सीखने की कोशिश की। DIBS कहता है, "पहले कौशल को परफेक्ट करते हैं, फिर नियम लिखते हैं।" यह सरल अलगाव रोबोट को बिना विफल हुए अधिक कठिन और जटिल कार्यों तक स्केल करने की अनुमति देता है।

तकनीकी सारांश: स्केलेबल इंडक्टिव जनरलाइजेशन के लिए डिकपल्ड बिहेवियरल क्लोनिंग (DIBS)

समस्या विवरण

यह शोध पत्र सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में इंडक्टिव जनरलाइजेशन (Inductive Generalization) की चुनौती को संबोधित करता है। इस ढांचे में, एजेंटों को ऐसी नीतियां (policies) सीखनी होती हैं जो एक "इंडक्टिव फैमिली" के भीतर नए, अनदेखे कार्य उदाहरणों (task instances) में स्थानांतरित (transfer) हो सकें। इन परिवारों में ऐसे कार्य शामिल होते हैं जो एक तार्किक संरचना साझा करते हैं (अक्सर SPECTRL जैसे टेम्पोरल लॉजिक स्पेसिफिकेशन द्वारा परिभाषित) लेकिन एक इंडेक्स $i$ के आधार पर निम्न-स्तरीय प्रेडिकेट्स (जैसे लक्ष्य स्थान, बाधाओं की स्थिति) के इंस्टेंशिएशन में भिन्न होते हैं।

मूल अंतर्ज्ञान यह है कि इंडक्टिव रूप से संबंधित कार्यों के लिए इंडक्टिव रूप से संबंधित नीतियां होनी चाहिए। पूर्ववर्ती कार्य, विशेष रूप से GenRL [32], इसे एक उच्च-क्रम पॉलिसी-इवोल्यूशन फंक्शन $\Omega: \Pi \to \Pi$ सीखकर पकड़ने का प्रयास करता है, ताकि $\pi_{i+1} = \Omega(\pi_i)$ हो सके। GenRL $\Omega$ को पॉलिसी पैरामीटर्स पर एक बहुपद (polynomial) के रूप में अनुमानित करता है, जो गुणांकों $\kappa$ के एक सेट द्वारा परिभाषित होता है।

हालाँकि, GenRL एक मौलिक ट्रेनिंग स्केलेबिलिटी बॉटलनेक (training scalability bottleneck) से ग्रस्त है। यह $\kappa$ गुणांकों को एक युग्मित (coupled) RL लूप के माध्यम से सीखता है जहाँ प्रत्येक कार्य के लिए पॉलिसी को वर्तमान $\kappa$ अनुमान द्वारा उत्पन्न किया जाता है, निष्पादित किया जाता है, और फिर संचित पुरस्कारों (aggregated rewards) के आधार पर $\kappa$ को अपडेट करने के लिए उपयोग किया जाता है। जैसे-जैसे प्रशिक्षण कार्यों की संख्या ($|Train|$) बढ़ती है, यह संचित रिवॉर्ड फीडबैक शोरयुक्त (noisy) और विरोधाभासी हो जाता है। यह अस्थिरता प्रशिक्षण लूप को अभिसरण (converge) करने से रोकती है, जिससे एजेंट की अनदेखे इंडेक्स पर सामान्यीकरण (generalize) करने की क्षमता कमजोर हो जाती है।

कार्यप्रणाली: DIBS

लेखक DIBS (Decoupled Inductive Behavioral-Cloning) का प्रस्ताव करते हैं, जो टास्क-विशिष्ट नीतियों को इवोल्यूशन फंक्शन सीखने से अलग करके स्केलेबिलिटी बॉटलनेक को हल करता है। यह प्रक्रिया दो विशिष्ट चरणों से मिलकर बनी है:

चरण I: टीचर-लेबल वाले डेटासेट का एकत्रीकरण

नीतियों और गुणांकों को एक साथ सीखने के बजाय, DIBS पहले प्रत्येक प्रशिक्षण कार्य $R_i$ के लिए स्वतंत्र रूप से एक "टीचर" पॉलिसी $\hat{\pi}_i$ को मानक RL एल्गोरिदम (जैसे PPO) का उपयोग करके सीखता है। यह सुनिश्चित करने के लिए कि ये स्वतंत्र टीचर्स एक एकल बहुपद टेम्पलेट द्वारा फिट किए जा सकें, DIBS दो विशिष्ट चुनौतियों का समाधान करता है:

क्रॉस-इंडेक्स टीचर ड्रिफ्ट (Cross-Index Teacher Drift): स्वतंत्र प्रशिक्षण के कारण आसन्न (adjacent) टीचर पॉलिसियाँ पैरामीटर स्पेस में मनमाने ढंग से ड्रिफ्ट कर सकती हैं, जिससे उन्हें एकल स्मूथ बहुपद के साथ फिट करना कठिन हो जाता है।
- समाधान: लेखक टीचर ट्रेनिंग के दौरान क्रॉस-इंडेक्स रेगुलराइजेशन पेश करते हैं। टीचर $\hat{\pi}_i$ के लिए लॉस फंक्शन में एक टर्म $\lambda_x \|\hat{\pi}_i - \hat{\pi}_{i-}\|^2_2$ शामिल है, जहाँ $\hat{\pi}_{i-}$ पिछले इंडेक्स के लिए टीचर है। यह एक सॉफ्ट निरंतरता बाधा (soft continuity constraint) लागू करता है, जो ऑप्टिमाइज़र को उन समाधानों की ओर पक्षपाती बनाता है जो इंडेक्स के माध्यम से सुचारू रूप से विकसित होते हैं।
कवरेज और अविश्वसनीय लेबल (Coverage and Unreliable Labels): मानक ऑन-पॉलिसी रोलआउट्स को उस पूर्ण स्टेट स्पेस को कवर करने के लिए पर्याप्त डेटा नहीं मिल सकता जो टेम्पलेट के सामान्यीकरण के लिए आवश्यक है, जबकि ऑफ-पॉलिसी डेटा (जैसे रीप्ले बफर से) में कम-गुणवत्ता वाले स्टेट्स हो सकते हैं जहाँ टीचर के एक्शन अविश्वसनीय होते हैं।
- समाधान: DIBS एक कॉन्फिडेंस फिल्टर (confidence filter) का उपयोग करता है। एक न्यूरल नेटवर्क को "उच्च-गुणवत्ता" वाले स्टेट्स (सफल स्पेसिफिकेशन-सैटिस्फाइंग रोलआउट्स के दौरान विज़िट किए गए) और "निम्न-गुणवत्ता" वाले स्टेट्स (शुरुआती एक्सप्लोरेशन या रिसेट से) के बीच अंतर करने के लिए प्रशिक्षित किया जाता है। केवल वे स्टेट-एक्शन पेयर्स जहाँ कॉन्फिडेंस प्रोबेबिलिटी $p_{conf}(s)$ थ्रेशोल्ड $\tau_c$ से अधिक है, उन्हें अंतिम डेटासेट $\tilde{D}_i$ बनाने के लिए रिटेन किया जाता है।

चरण II: व्यवहारिक क्लोनिंग (Behavioral Cloning) के माध्यम से $\kappa$ सीखना

दूसरे चरण में, $\kappa$ गुणांकों को बिहेवियरल क्लोनिंग (BC) के माध्यम से सीखा जाता है।

एल्गोरिदम एकत्रित टीचर-लेबल वाले डेटासेट्स $\{\tilde{D}_i\}_{i \in Train}$ पर बहुपद टेम्पलेट $\Omega$ (जो $\kappa$ द्वारा पैरामीटराइज्ड है) को फिट करता है।
उद्देश्य अनरोल्ड टेम्पलेट पॉलिसी $\pi_i$ द्वारा उत्पन्न किए गए एक्शन्स और टीचर $\hat{\pi}_i$ के एक्शन्स के बीच स्क्वेर्ड एरर को कम करना है:
$L_{BC}(\kappa) = \sum_{i \in Train} \frac{1}{|\tilde{D}_i|} \sum_{(s,a) \in \tilde{D}_i} \|\pi_i(s) - a\|^2_2$
यह GenRL के शोरयुक्त, मल्टी-टास्क रिवॉर्ड एग्रीगेशन को सघन, स्थिर सुपरवाइज्ड लर्निंग से बदल देता है। चूंकि इस चरण के दौरान टीचर्स फिक्स्ड होते हैं, इसलिए अस्थिर फीडबैक लूप समाप्त हो जाता है।

मुख्य योगदान

एल्गोरिदम (DIBS): एक डिकपल्ड दृष्टिकोण जो GenRL के अस्थिर मल्टी-टास्क RL लूप को एक स्थिर सुपरवाइज्ड लर्निंग पाइपलाइन से बदल देता है।
तकनीकें:
- क्रॉस-इंडेक्स रेगुलराइजेशन: यह सुनिश्चित करता है कि टीचर पॉलिसियाँ टास्क इंडेक्स के माध्यम से सुचारू रूप से विकसित हों, जिससे बहुपद फिटिंग (polynomial fitting) आसान हो जाती है।
- कॉन्फिडेंस-आधारित डेटासेट फ़िल्टरिंग: यह सुनिश्चित करता है कि बिहेवियरल क्लोनिंग डेटासेट में केवल उच्च-गुणवत्ता वाले स्टेट-एक्शन पेयर्स हों, जिससे अनएक्सप्लोर्ड स्टेट्स में अविश्वसनीय टीचर एक्शन्स से सीखने का जोखिम कम हो जाता है।
लचीलापन: GenRL के विपरीत, जो ARS (Augedmented Random Search) एल्गोरिदम से मजबूती से जुड़ा हुआ है, DIBS टीचर ट्रेनिंग चरण के लिए किसी भी मानक RL एल्गोरिदम का उपयोग करने की अनुमति देता है।

अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने DIBS का मूल्यांकन चार कंटीन्यूअस-कंट्रोल एनवायरनमेंट्स पर किया जो विभिन्न डायनेमिकल कॉम्प्लेक्सिटी को दर्शाते हैं: CAR2D (प्लानर मोशन), REACHER (मैनिपुलेशन), SIMPLEDRONE, और DRONEATTITUDE (3D नेविगेशन और एटीट्यूड कंट्रोल)।

ट्रेनिंग स्केलेबिलिटी: DIBS ने प्रशिक्षण कार्यों की संख्या बढ़ने के साथ काफी बेहतर स्थिरता प्रदर्शित की। बेंचमार्क के आधार पर, DIBS ने GenRL की तुलना में हल किए गए प्रशिक्षण इंडेक्स के अंश में 3.82 $\times$ सुधार हासिल किया।
जीरो-शॉट जनरलाइजेशन (Zero-Shot Generalization): DIBS ने अनदेखे कार्यों को हल करने में GenRL और अन्य बेसलाइन्स (MAML, VariBAD, स्टैंडर्ड BC, ARS) को पछाड़ दिया। इसने GenRL की तुलना में हल किए गए अनसीन इंडेक्स के अंश में 6.19 $\times$ सुधार प्राप्त किया।
एब्लेशन स्टडीज (Ablation Studies):
- डिकपलिंग को हटाने (GenRL के कपल्ड लूप पर वापस जाने) से कठिन वातावरण (जैसे अधिक ब्लॉक्स के साथ REACHER) में प्रदर्शन गिर गया।
- क्रॉस-इंडेक्स रेगुलराइजेशन को हटाने से जनरलाइजेशन में भारी गिरावट आई (जैसे SIMPLEDRONE में 26 से घटकर 3 हल किए गए अनसीन टास्क), जो सुचारू टीचर इवोल्यूशन की आवश्यकता की पुष्टि करता है।

महत्व और दावे

यह पेपर दावा करता है कि DIBS पूर्ववर्ती इंडक्टिव जनरलाइजेशन विधियों की स्केलेबिलिटी सीमाओं को मौलिक रूप से संबोधित करता है। विशिष्ट कार्य नीतियों को जनरलाइजेशन नियम सीखने से अलग करके, यह विधि:

अस्थिरता को समाप्त करता है: यह कपल्ड RL लूपों में निहित कंपाउंडिंग एरर्स और शोरयुक्त रिवॉर्ड सिग्नल्स को हटा देता है।
स्केलेबिलिटी सक्षम करता है: यह सिस्टम को बड़े टास्क परिवारों और अधिक जटिल डायनेमिकल एनवायरनमेंट्स (लॉन्ग-होरिजन और ब्रांचिंग टास्क) को संभालने की अनुमति देता है जहाँ पिछले तरीके विफल हो जाते हैं।
जनरलाइजेशन में सुधार करता है: प्रशिक्षण प्रक्रिया की स्थिरता सीधे जनरलाइजेबल स्ट्रक्चर को निकालने की क्षमता से जुड़ी है, जिससे बेहतर जीरो-शॉट प्रदर्शन मिलता है।

लेखक DIBS को उन सेटिंग्स के लिए एक मजबूत समाधान के रूप में प्रस्तुत करते हैं जहाँ कार्य व्यवस्थित विविधताओं (इंडक्टिव फैमिली) को प्रदर्शित करते हैं जो टेम्पोरल लॉजिक द्वारा परिभाषित होते हैं, जो स्केलेबल, जनरलाइजेबल RL एजेंट्स के लिए एक व्यावहारिक मार्ग प्रदान करता है।