ResWM: Residual-Action World Model for Visual RL

यहाँ "ResWM: Residual-Action World Model for Visual RL" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

उच्च-आयामी दृश्य वातावरणों (जैसे कि रोबोटिक्स) में काम करने वाले सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एजेंट भविष्य के वर्ल्ड मॉडल को सीखने में महत्वपूर्ण चुनौतियों का सामना करते हैं। पारंपरिक मॉडल-आधारित RL (MBRL) ढांचे, जैसे कि Dreamer और TD-MPC, आमतौर पर भविष्य के अवस्था अनुमानों (state predictions) को पूर्ण क्रियाओं ($a_t$) पर आधारित करते हैं। यह दृष्टिकोण कई गंभीर समस्याएँ उत्पन्न करता है:

• अनुकूलन अस्थिरता (Optimization Instability): इष्टतम पूर्ण क्रियाओं का वितरण कार्य-निर्भर और गैर-स्थिर होता है, जिससे मॉडल के लिए एक सुसंगत नीति (policy) सीखना कठिन हो जाता है।
• उच्च विचरण और दोलन (High Variance & Oscillation): सीधे पूर्ण क्रियाओं की भविष्यवाणी करने से अक्सर अनियमित, उच्च-आवृत्ति वाले नियंत्रण संकेत ("chattering") उत्पन्न होते हैं, जो भौतिक रूप से अवास्तविक हैं और वास्तविक दुनिया के रोबोटिक सिस्टम के लिए असुरक्षित हैं।
• अकुशल खोज स्थान (Inefficient Search Space): एजेंट को हर चरण पर संपूर्ण वैश्विक क्रिया स्थान (global action space) में खोज करनी पड़ती है, जिससे भौतिक गतिशीलता (physical dynamics) की अंतर्निहित लौकिक सहजता (temporal smoothness) की अनदेखी होती है।
• अनावश्यक धारणा (Redundant Perception): मानक एनकोडर अक्सर स्थिर फ्रेमों को स्वतंत्र रूप से संसाधित करते हैं, जिससे वे उन लौकिक परिवर्तनों (temporal deltas) को पकड़ने में विफल रहते हैं जो भौतिक परिवर्तनों को संचालित करते हैं।

2. कार्यप्रणाली: रेजिडुअल-एक्शन वर्ल्ड मॉडल (ResWM)

लेखक ResWM का प्रस्ताव करते हैं, जो नियंत्रण चर (control variable) को पूर्ण क्रियाओं से बदलकर रेजिडुअल क्रियाओं (incremental adjustments/वृद्धिशील समायोजन) में पुनर्गठित करता है और इसे एक डायनेमिक्स-जागरूक अवलोकन एनकोडर के साथ जोड़ता है।

A. रेजिडुअल एक्शन पॉलिसी (Smoothness Prior)

पूर्ण क्रिया $a_t$ की भविष्यवाणी करने के बजाय, पॉलिसी पिछली क्रिया $a_{t-1}$ के सापेक्ष एक वृद्धिशील समायोजन $\delta a_t$ की भविष्यवाणी करती है।

• सूत्र (Formulation): $a_t = \tanh(a_{t-1} + \delta a_t)$, जहाँ $\delta a_t \sim \pi_\theta(\cdot | z_t, a_{t-1})$।
• लाभ: यह क्रिया स्थान में एक मजबूत लौकिक सहजता पूर्वधारणा (temporal smoothness prior) को समाहित करता है। यह अनुकूलन समस्या को एक अराजक वैश्विक खोज से बदलकर पिछले अवस्था के आसपास एक स्थानीय परिशोधन (localized refinement) में बदल देता है, जिससे प्रभावी खोज स्थान काफी कम हो जाता है और दीर्घकालिक नियोजन (long-horizon planning) स्थिर होता है।

B. ऑब्जर्वेशन डिफरेंस एनकोडर (ODL)

धारणा मॉड्यूल को रेजिडुअल एक्शन प्रतिमान के साथ संरेखित करने के लिए, लेखक ऑब्जर्वेशन डिफरेंस एनकोडर पेश करते हैं।

• तंत्र (Mechanism): स्थिर फ्रेमों को एनकोड करने के बजाय, ODL क्रमिक अवलोकनों ($o_t$ और $o_{t-1}$) के बीच के अंतर को स्पष्ट रूप से मॉडल करता है।
• आर्किटेक्चर: $z_t = \text{LN}(\text{FC}(f(o_t) - f'(o_{t-1})))$, जहाँ $f$ और $f'$ CNN एनकोडर हैं।
• लाभ: यह एक लौकिक फिल्टर के रूप में कार्य करता है, जो स्थिर पृष्ठभूमि के शोर को दबा देता है और केवल गतिशील, कार्य-प्रासंगिक परिवर्तनों (जैसे कि चलते हुए जोड़/joints) को निकालता है। यह एक ऐसा लेटेंट प्रतिनिधित्व $z_t$ बनाता है जो रेजिरील क्रिया $\delta a_t$ के साथ कारणवश जुड़ा (causally coupled) होता है।

C. लेटेंट डायनेमिक्स और प्रशिक्षण (Latent Dynamics & Training)

ResWM इन घटकों को एक रिकरेंट स्टेट-स्पेस मॉडल (RSSM) (Dreamer के समान) में एकीकृत करता है:

• ट्रांजिशन मॉडल: $s_{t+1} \sim g_\phi(s_t, \delta a_t)$। डायनेमिक्स रेजिडुअल क्रिया पर आधारित होते हैं, जो काल्पनिक रोलआउट (imagined rollouts) और पॉलिसी के व्यवहार के बीच निरंतरता सुनिश्चित करते हैं।
• उद्देश्य (Objective): मॉडल को एक संयुक्त लॉस फंक्शन का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है जिसमें शामिल हैं:
  1. मॉडल लॉस: VAE ELBO (इमेज रिकंस्ट्रक्शन, रिवॉर्ड प्रेडिक्शन, KL डाइवर्जेंस)।
  2. पॉलिसी लॉस: रेजिडुअल स्पेस के भीतर काल्पनिक रोलआउट पर एक्टर-क्रिटिक ऑप्टिमाइज़ेशन।
  3. रेगुलराइजेशन: एक KL पेनल्टी यह सुनिश्चित करती है कि $\delta a_t$ शून्य-माध्यम गॉसियन (zero-mean Gaussian) के करीब रहे (अचानक उछाल को रोकने के लिए), और एक वैकल्पिक ऊर्जा दंड (energy penalty) नियंत्रण प्रयास ($\|\delta a_t\|^2$) को न्यूनतम करता है।

3. मुख्य योगदान

1. रेजिडुअल-एक्शन वर्ल्ड मॉडल (ResWM): एक अभिनव MBRL ढांचा जो लौकिक सहजता लागू करने के लिए क्रिया स्थान को पुनर्रूपित करता है, जिससे सीखने की जटिलता काफी कम हो जाती है और स्थिरता में सुधार होता है।
2. ऑब्जर्वेशन डिफरेंस एनकोडर (ODL): एक आर्किटेक्चर जो स्पष्ट रूप से फ्रेमों के बीच लौकिक अंतर को एनकोड करता है, जिससे एक संक्षिप्त, डायनेमिक्स-जागरूक लेटेंट स्पेस बनता है जो स्वाभाविक रूप से रेजिडुअल एक्शन प्रेडिक्शन के साथ संरेखित होता है।
3. प्लग-एंड-प्ले इंटीग्रेशन: इस ढांचे के लिए मौजूदा Dreamer-शैली के आर्किटेक्चर में न्यूनतम संशोधनों की आवश्यकता होती है और यह कोई नए हाइपरपैरामीटर पेश नहीं करता है, जिससे यह अत्यधिक अनुकूलनीय हो जाता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रमाण जो दिखाते हैं कि ResWM सैंपल दक्षता (sample efficiency), एसिम्प्टोटिक प्रदर्शन (asymptotic performance) और नियंत्रण सहजता (control smoothness) में अत्याधुनिक बेसलाइनों से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने DeepMind Control Suite (DMControl) और Atari बेंचमार्क पर ResWM का मूल्यांकन किया।

• DMControl (मानक कार्य):

  • 100K स्टेप्स पर, ResWM ने औसत स्कोर 828.7 प्राप्त किया, जो मजबूत बेसलाइन DeepRAD (695.1) और ResAct (822.1) से बेहतर है।
  • 500K स्टेप्स पर, औसत स्कोर बढ़कर 925.0 हो गया, जो सभी प्रतिस्पर्धियों (जैसे DeepRAD 890.8) से अधिक है।
  • ResWM ने Reacher, Easy (986) और Ball in cup, Catch (978) जैसे कार्यों पर लगभग संतृप्ति (saturation) प्रदर्शन प्राप्त किया।

• DMControl (कठिन कार्य):

  • जटिल कार्यों (जैसे Quadruped, Walk) पर, ResWM ने 1M स्टेप्स पर 644.8 के औसत स्कोर के साथ बढ़त बनाए रखी, जो ResAct (630.2) और TACO (333.8) से काफी बेहतर है।

• Atari बेंचमार्क:

  • ResWM ने 0.96 का नॉर्मलाइज्ड मीन स्कोर प्राप्त किया, जो ResAct (0.86) और TACO (0.76) से बेहतर है, जो डिस्क्रीट, उच्च-आयामी पिक्सेल वातावरण में मजबूत सामान्यीकरण (generalization) प्रदर्शित करता है।

• एब्लेशन स्टडीज (Ablation Studies):

  • रेजिडुअल पॉलिसी को हटाने (V1) से कठिन कार्यों (जैसे Hopper, Hop) पर विनाशकारी विफलता हुई, जो सिद्ध करता है कि यह सबसे महत्वपूर्ण घटक है।
  • ODL को हटाने (V2) के परिणामस्वरूप दूसरा सबसे बड़ा प्रदर्शन ड्रॉप हुआ, जो डायनेमिक्स-जागरूक धारणा के महत्व को उजागर करता है।
  • गुणात्मक विश्लेषण (Qualitative Analysis): अटेंशन मैप्स ने दिखाया कि ResWM महत्वपूर्ण जोड़ों (joints) और प्रभावकों (effectors) पर तीक्ष्णता से ध्यान केंद्रित करता है, जबकि बेसलाइन (DeepRAD) पूरे अंग के कंटूर (limb contours) में फैला हुआ ध्यान प्रदर्शित करती है।

5. महत्व

• सिद्धांत और व्यवहार के बीच सेतु: ResWM एल्गोरिदम संबंधी RL और रोबोटिक्स की भौतिक आवश्यकताओं (सहजता, ऊर्जा दक्षता, सुरक्षा) के बीच के अंतर को संबोधित करता है।
• स्थिरता और सुरक्षा: क्रिया विचरण और चैटरिंग को कम करके, ResWM ऐसे प्रक्षेपवक्र (trajectories) बनाता है जो वास्तविक दुनिया में तैनाती के लिए उपयुक्त हैं, जहाँ यांत्रिक घिसावट और ऊर्जा खपत महत्वपूर्ण बाधाएं हैं।
• दक्षता: यह ढांचा श्रेष्ठ सैंपल दक्षता प्राप्त करता है, जिसका अर्थ है कि एजेंट कम इंटरैक्शन के साथ जटिल कार्य सीख सकते हैं, जो वास्तविक दुनिया के रोबोटिक्स के लिए एक महत्वपूर्ण कारक है जहाँ डेटा संग्रह महंगा होता है।
• सामान्य सिद्धांत: यह शोध पत्र सुझाव देता है कि पूर्ण अवस्थाओं के बजाय रेजिडुअल परिवर्तनों को मॉडल करना विजुअल RL में निरंतर नियंत्रण (continuous control) में सुधार के लिए एक मौलिक सिद्धांत है, जो परीक्षण किए गए विशिष्ट आर्किटेक्चर से परे भी लागू होता है।

सीमाएं: लेखक नोट करते हैं कि रेजिडुअल प्रायर (prior) एजेंट की अचानक, उच्च-आवृत्ति झटकों (जैसे अचानक टक्कर) के प्रति तुरंत प्रतिक्रिया करने की क्षमता को थोड़ा सीमित कर सकता है और क्रमिक फ्रेमों को संसाधित करने के कारण एनकोडिंग चरण के दौरान मामूली कम्प्यूटेशनल ओवरहेड पेश करता है।