🤖 AI

Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models

यह शोध पत्र रेगुलराइज्ड लेटेंट डायनेमिक्स प्रेडिक्शन (RLDP) का प्रस्ताव करता है, जो एक ऐसी विधि है जो लेटेंट डायनेमिक्स प्रेडिक्शन में सरल ऑर्थोगोनैलिटी रेगुलराइजेशन जोड़कर बिहेवियरल फाउंडेशन मॉडल्स में ज़ीरो-शॉट रीइन्फोर्समेंट लर्निंग को बेहतर बनाती है, जिससे फीचर विविधता बनी रहती है और यह विशेष रूप से लो-कवरेज परिदृश्यों में जटिल अत्याधुनिक दृष्टिकोणों से बेहतर प्रदर्शन करती है।

मूल लेखक: Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

प्रकाशित 2026-03-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal, Amy Zhang, Scott Niekum, Martha White

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वह सब कुछ करने के लिए सिखाने की कोशिश कर रहे हैं जो एक इंसान कर सकता है: चलना, दौड़ना, नाचना, या किराने का सामान ढोना। समस्या यह है कि आप हर उस कार्य के लिए एक विशिष्ट निर्देश पुस्तिका नहीं लिख सकते जिसका सामना भविष्य में रोबोट कर सकता है। यहीं पर बिहेवियरल फाउंडेशन मॉडल्स (BFMs) काम आते हैं।

एक BFM को एक सार्वभौमिक "मसल मेमोरी" लाइब्रेरी के रूप में सोचें। एक समय में एक विशिष्ट कौशल सीखने के बजाय, रोबलेट एक "प्री-ट्रेनिंग" चरण के दौरान दुनिया कैसे काम करती है, इसकी एक सामान्य समझ सीखता है। बाद में, जब आप इसे एक नया लक्ष्य देते हैं (जैसे "रसोई में जाओ"), तो यह बिना सब कुछ फिर से सीखे तुरंत समझ जाता है कि उसे कैसे हिलना-डुलना है।

हालाँकि, इसमें एक पेंच है। इस लाइब्रेरी को बनाने के लिए, रोबोट को दुनिया को "देखने" और समझने का एक अच्छा तरीका चाहिए। यदि वह दुनिया को एक धुंधले, विकृत लेंस के माध्यम से देखता है, तो वह नए कार्यों में विफल हो जाएगा।

समस्या: "धुंधला लेंस" और "स्टिकी नोट"

रोबोट को यह सामान्य समझ सिखाने के वर्तमान तरीके एक विशाल, जटिल गणितीय पहेली को आंखों पर पट्टी बांधकर हल करने की तरह हैं। वे हर उस संभावित पथ का अनुकरण (सिमुलेशन) करके भविष्य की भविष्यवाणी करने की कोशिश करते हैं जो एक रोबोट ले सकता है।

समस्या: ये तरीके गणनात्मक रूप से भारी (computationally heavy) हैं और त्रुटियों के प्रति संवेदनशील हैं। यदि रोबोट उस पथ की कल्पना करने की कोशिश करता है जो उसने पहले नहीं देखा है, तो सिमुलेशन गड़बड़ा जाता है, और "लेंस" (प्रतिनिधित्व/representation) विकृत हो जाता है।
पतन (The Collapse): एक सरल तरीका इसमें शामिल है कि केवल यह अनुमान लगाया जाए कि "यदि मैं क्रिया X करता हूँ, तो आगे क्या होता है?" लेकिन शोध में पाया गया कि यदि आप केवल ऐसा ही करते हैं, तो रोबलेट का मस्तिष्क आलसी होने लगता है। यह सोचने लगता है कि हर स्थिति एक जैसी ही दिखती है। यह ऐसा है जैसे एक छात्र जो पढ़ाई करना छोड़ देता है और तय करता है कि "सारा इतिहास बस तारीखों का एक धुंधला सा मिश्रण है।" रोबोट चलने और दौड़ने के बीच अंतर करने की क्षमता खो देता है क्योंकि उसका आंतरिक मानचित्र एक एकल, बेकार बिंदु में सिमट जाता है।

समाधान: RLDP (रेगुलराइज्ड लेटेंट डायनेमिक्स प्रेडिक्शन)

लेखक एक नया, सरल तरीका प्रस्तावित करते हैं जिसे RLDP कहा जाता है। वे "आलसी मस्तिष्क" की समस्या को ठीक करने के लिए एक चतुर उपमा का उपयोग करते हैं।

उपमा: जिम्नास्ट और स्ट्रेचिंग मैट

कल्पना कीजिए कि रोबोट का दुनिया का आंतरिक मानचित्र एक जिम्नास्ट है जो एक रूटीन सीखने की कोशिश कर रहा है।

पुराना तरीका (जटिल विधियाँ): कोच जिम्नास्ट को हर उस संभावित रूटीन का वीडियो दिखाकर सिखाने की कोशिश करता है जो वह कभी कर सकता है, और प्रत्येक के लिए सटीक स्कोर की गणना करता है। यह थकाऊ, भ्रमित करने वाला है, और यदि वीडियो में कोई गड़बड़ी आती है, तो जिम्नास्ट भ्रमित हो जाता है।
सरल तरीका (लेटेंट डायनेमिक्स): कोच बस कहता है, "यदि तुम यहाँ कूदते हो, तो तुम वहाँ उतरते हो।" यह समझने में आसान है।
सरल तरीके के साथ समस्या: जिम्नास्ट ऊब जाता है। वह बार-बार एक ही तरह की हरकत करने लगता है क्योंकि यह एक "अच्छा" स्कोर पाने का सबसे आसान तरीका है। वह स्ट्रेचिंग करना बंद कर देता है, और उसकी मांसपेशियां (फीचर्स) एक जैसी दिखने लगती हैं। वह अब स्प्लिट (split) नहीं कर सकता क्योंकि वह स्ट्रेच करना भूल गया है।
RLDP समाधान (ऑर्थोगोनैलिटी रेगुलराइज़र): कोच एक सरल नियम जोड़ता है: "तुम्हें खिंचाव बनाए रखना होगा (Stay stretched out)।"
- वे उसे विभिन्न दिशाओं में अपने अंगों को रखने के लिए मजबूर करते हैं (ऑर्थोगोनैलिटी)।
- वे कहते हैं, "अपने 'कूदने' को अपने 'दौड़ने' जैसा न दिखने दें। उन्हें अलग रखें।"
- यह सरल नियम जिम्नास्ट को एक एकल, बेकार मुद्रा में ढहने से रोकता है। यह रोबोट को अपने आंतरिक मानचित्र को विविध और विस्तृत बनाए रखने के लिए मजबूर करता है।

यह क्यों मायने रखता है

शोध पत्र दिखाता है कि यह सरल "स्ट्रेचिंग नियम" (ऑर्थोगोनैलिटी रेगुलराइज़ेशन) जटिल, भारी-भरकम तरीकों की तुलना में बेहतर काम करता है।

यह मजबूत (Robust) है: भले ही रोबोट के पास एक छोटा, अव्यवस्थित डेटासेट हो (जैसे कि लो-कवरेज परिदृश्य जहाँ उसने बहुत कम चालें देखी हैं), RLDP फिर भी काम करता है। जटिल तरीके यहाँ अक्सर विफल हो जाते हैं क्योंकि वे छूटे हुए डेटा से भ्रमित हो जाते हैं।
यह सरल है: आपको जटिल गणित चलाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। आपको बस भविष्यवाणी का नियम और "स्ट्रेचिंग" नियम की आवश्यकता है।
यह सामान्य (General) है: रोबोट एक ऐसा मानचित्र सीखता है जो इतना अच्छा है कि वह नए कार्यों (जैसे एक नया रिवॉर्ड फंक्शन) को तुरंत संभाल सकता है, बिल्कुल एक इंसान की तरह जो जानता है कि चलना जानता है तो वह बिना किसी नए सबक के रेत, बर्फ या सीढ़ियों पर चलने के लिए खुद को तुरंत ढाल सकता है।

निष्कर्ष

लेखकों ने खोजा है कि रोबोट को सामान्य कौशल सिखाने के लिए आपको एक जटिल, ओवर-इंजीनियर्ड सिस्टम की आवश्यकता नहीं है। आपको बस भविष्य की भविष्यवाणी करने का एक सरल तरीका चाहिए, और साथ में एक सरल नियम चाहिए जो यह सुनिश्चित करे कि रोबोट "आलसी" न हो जाए और चीजों के बीच के अंतर को न भूल जाए।

संक्षेप में: हर संभावित भविष्य के परिणाम की भविष्यवाणी करने की कोशिश करने के (जो कठिन और त्रुटिपूर्ण है) के बजाय, बस रोबोट को यह सिखाएं कि आगे क्या होता है, लेकिन उसे अपने मानसिक मानचित्र को विविध और विशिष्ट बनाए रखने के लिए मजबूर करें। यह एक भ्रमित छात्र और एक अनुशासित एथलीट के बीच का अंतर है जो जानता है कि किसी भी खेल के लिए स्ट्रेचिंग कैसे करनी है।

यहाँ शोध पत्र "Regularized Latent Dynamics Prediction is a Strong Baseline for Behavioral Foundation Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

व्यवहार संबंधी फाउंडेशन मॉडल (Behavioral Foundation Models - BFMs) का लक्ष्य ऐसे एजेंटों को प्रशिक्षित करना है जो एक एकल प्री-ट्रेनिंग चरण (जो रिवॉर्ड-मुक्त डेटा पर आधारित हो) के बाद किसी भी वातावरण में किसी भी कार्य को हल करने में सक्षम हों (जीरो-शॉट सुदृढीकरण शिक्षण/zero-shot reinforcement learning)। इसका मुख्य तंत्र एक स्टेट रिप्रजेंटेशन $\phi(s)$ सीखना है ताकि किसी भी रिवॉर्ड फंक्शन $r(s)$ को एक लीनियर प्रोजेक्शन $r(s) \approx \phi(s)^\top z$ के रूप में अनुमानित किया जा सके, जहाँ $z$ एक टास्क एम्बेडिंग है।

चुनौती:

रिप्रजेंटेशन डिपेंडेंसी (Representation Dependency): BFMs का प्रदर्शन स्टेट रिप्रेजेंटेशन $\phi$ की अभिव्यंजना क्षमता (expressivity) पर बहुत अधिक निर्भर करता है। यदि $\phi$ प्रासंगिक रिवॉर्ड फंक्शन्स के स्पेस को कवर नहीं कर पाता है, तो एजेंट अनदेखे कार्यों के लिए इष्टतम नीतियां (optimal policies) नहीं सीख सकता।
वर्तमान विधियों की जटिलता: अत्याधुनिक विधियाँ (जैसे Forward-Backward, PSM, HILP) सक्सेसर मेजर्स (Successor Measures) (एक पॉलिसी के तहत डिस्काउंटेड स्टेट विज़िटेशन डिस्ट्रीब्यूशन) की भविष्यवाणी करके रिप्रजेंटेशन सीखती हैं। इसके लिए इटरेटिव बेलमैन बैकअप (iterative Bellman backups) की आवश्यकता होती है, जो इनके प्रति संवेदनशील होते हैं:
- बायस और अस्थिरता (Bias and Instability): फंक्शन एप्रोक्सिमेशन में बूटस्ट्रैपिंग के कारण।
- आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) मुद्दे: कम कवरेज वाले डेटासेट में, पॉलिसियाँ ऐसे एक्शन चुन सकती हैं जो डेटा में मौजूद नहीं हैं, जिससे गलत सामान्यीकरण (generalization) और डिजेनरेट रिप्रजेंटेशन की समस्या होती है।
- जटिलता: इन विधियों के लिए पूर्व-निर्धारित विशिष्ट पॉलिसी या रिवॉर्ड क्लास को परिभाषित करना आवश्यक होता है।
अंतराल (The Gap): यह स्पष्ट नहीं है कि क्या ये जटिल ऑब्जेक्टिव्स आवश्यक हैं। क्या एक सरल ऑब्जेक्टिव, जैसे कि लेटेंट डायनेमिक्स प्रेडिक्शन (वर्तमान स्टेट और एक्शन के आधार पर अगले लेटेंट स्टेट की भविष्यवाणी करना), पर्याप्त हो सकता है?

मुख्य अवलोकन: लेखकों ने पाया कि जबकि लेटेंट डायनेमिक्स प्रेडिक्शन पॉलिसी-स्वतंत्र है और बेलमैन बैकअप से बचता है, इसका सहजता से (naively) उपयोग करने पर "माइल्ड फीचर कोलैप्स" (mild feature collapse) होता है। प्रशिक्षण के दौरान, अलग-अलग स्टेट्स लेटेंट स्पेस में एक-दूसरे के अधिक समान (उच्च कोसाइन सिमिलरिटी) होते जाते हैं, जिससे रिप्रजेंटेशन का स्पैन कम हो जाता है और जीरो-शॉट प्रदर्शन बाधित होता है।

2. कार्यप्रणाली: रेगुलराइज्ड लेटेंट डायनेमिक्स प्रेडिक्शन (RLDP)

लेखक RLDP प्रस्तावित करते हैं, जो एक सरल लेकिन प्रभावी ढांचा है जो लेटेंट डायनेमिक्स प्रेडिक्शन को डायवर्सिटी-प्रिजर्विंग रेगुलराइजेशन के साथ जोड़ता है।

A. मुख्य ऑब्जेक्टिव (Core Objective)

यह विधि एक स्टेट एनकोडर $\phi: S \to \mathbb{R}^d$ और एक लेटेंट डायनेमिक्स मॉडल $g: \mathbb{R}^d \times A \to \mathbb{R}^d$ (वेट्स $w$ के साथ) सीखती है। लक्ष्य अगले लेटेंट स्टेट की भविष्यवाणी करना है:
$\phi(s') \approx g(\phi(s), a)^\top w$

प्राथमिक लॉस लेटेंट डायनेमिक्स प्रेडिक्शन लॉस ( $L_d$ ) है:
$L_d(\phi, g, w) = \mathbb{E}_{\tau} \left[ \sum_{t=1}^H \| h_t - \bar{\phi}(s_t) \|^2 \right]$
जहाँ $h_t$ अनरोल्ड लेटेंट स्टेट है और $\bar{\phi}$ एक स्लोली मूविंग टारगेट एनकोडर है।

B. फीचर कोलैप्स को कम करना (Mitigating Feature Collapse)

फीचर कोलैप्स (जहाँ अलग-अलग स्टेट्स समान वेक्टर्स में मैप होते हैं) को रोकने के लिए, लेखक एक ऑर्थोगोनैलिटी रेगुलराइजेशन ( $L_r$ ) पेश करते हैं।

हाइपरस्फेरिकल प्रोजेक्शन (Hyperspherical Projection): दोनों एनकोडेड स्टेट्स $\phi(s)$ और प्रेडिक्टेड नेक्स्ट स्टेट्स को एक हाइपरस्फीयर $S^{d-1}$ (यूनिट लेंथ के लिए नॉर्मलाइज्ड) पर प्रोजेक्ट किया जाता है।
रेगुलराइजेशन लॉस: यह लॉस किन्हीं भी दो अलग-अलग स्टेट रिप्रजेंटेशन्स के बीच कोसाइन सिमिलरिटी को कम करता है:
$L_r(\phi) = \mathbb{E}_{s, s' \sim \rho} [\phi(s)^\top \phi(s')]$
नोट: चूंकि वेक्टर्स नॉर्मलाइज्ड हैं, इसलिए डॉट प्रोडक्ट कोसाइन सिमिलरिटी के बराबर होता है। इसे कम करने से ऑर्थोगोनैलिटी/डायवर्सिटी को बढ़ावा मिलता है।

C. अंतिम ऑब्जेक्टिव (Final Objective)

कुल लॉस एक वेटेड सम है:
$L_{RLDP} = L_d + \lambda L_r$
जहाँ $\lambda$ एक छोटा रेगुलराइजेशन कोएफिशिएंट (जैसे 0.01 या 1.0) है।

D. जीरो-शॉट RL पाइपलाइन (Zero-Shot RL Pipeline)

प्री-ट्रेनिंग: ऑफलाइन रिवॉर्ड-फ्री डेटा पर $L_{RLDP}$ का उपयोग करके $\phi$ को प्रशिक्षित करें।
सक्सेसर मेजर एस्टीमेशन: $\phi$ को फ्रीज करें। स्टैंडर्ड BFM ऑब्जेक्टिव्स का उपयोग करके सक्सेसर फीचर मॉडल $\psi$ और पॉलिसी $\pi_z$ को प्रशिक्षित करें (सक्सेसर मेजर्स के एस्टीमेशन और पॉलिसी इम्प्रूवमेंट के बीच बारी-बारी से)।
इन्फरेंस (Inference): एक नए रिवॉर्ड $r_{test}$ के लिए, लीनियर रिग्रेशन ( $r_{test} \approx \phi^\top z$ ) के माध्यम से $z$ को हल करें और इष्टतम पॉलिसी $\pi_z$ निकालें।

3. मुख्य योगदान (Key Contributions)

फीचर कोलैप्स की पहचान: यह पेपर पहचानता है कि नेटिव लेटेंट डायनेमिक्स प्रेडिक्शन फीचर डायवर्सिटी में कमी (बढ़ी हुई कोसाइन सिमिलरिटी) की ओर ले जाता है, जो सीखने योग्य रिवॉर्ड फंक्शन्स के स्पैन को कम करता है।
RLDP एल्गोरिदम: लेटेंट डायनेमिक्स प्रेडिक्शन में डायवर्सिटी बनाए रखने के लिए ऑर्थोगोनैलिटी रेगुलराइजेशन जोड़ने वाला एक सरल, स्केलेबल तरीका प्रस्तावित करता है।
सैद्धांतिक औचित्य (Theoretical Justification): एक लेम्मा प्रदान करता है जो यह दिखाता है कि $L_{RLDP}$ को मिनिमाइज करना लिप्सचिट्ज़ पॉलिसियों (Lipschitz policies) के लिए सक्सेसर मेजर्स की प्रेडिक्शन एरर को अपर-बाउंड करता है, जो सैद्धांतिक रूप से डायनेमिक्स प्रेडिक्शन को BFM आवश्यकताओं से जोड़ता है।
लो-कवरेज में मजबूती (Robustness in Low-Coverage): यह प्रदर्शित करता है कि RLDP उन लो-कवरेज डेटासेट्स में अन्य विधियों से बेहतर प्रदर्शन करता है जहाँ OOD एक्शन्स के कारण अन्य विधियाँ विफल हो जाती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई डोमेन में RLDP का मूल्यांकन किया: DeepMind Control Suite (ExoRL), SMPL Humanoid, और D4RL (low-coverage)।

ऑफलाइन जीरो-शॉट RL (DMC):
- RLDP, Walker, Cheetah, Quadruped और Pointmass जैसे कार्यों में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (FB, PSM, HILP) के बराबर या उनसे बेहतर प्रदर्शन करता है।
- यह PSM और FB के तुलनीय प्रदर्शन प्राप्त करता है, लेकिन काफी सरल ट्रेनिंग ऑब्जेक्टिव के साथ (कोई बेलमैन बैकअप नहीं)।
ऑनलाइन जीरो-शॉट RL (SMPL Humanoid):
- जटिल 3D Humanoid वातावरण (358-dim obs, 69-dim action) में, RLDP रिप्रजेंटेशन्स प्रतिस्पर्धी मल्टी-टास्क लर्निंग को सक्षम करते हैं।
- RLDP विशिष्ट कार्यों (जैसे raise arms, lie on ground) पर बेसलाइन्स से बेहतर प्रदर्शन करता है और समग्र रूप से प्रतिस्पर्धी बना रहता है, यहाँ तक कि कुछ कार्यों पर ऑरेकल प्रदर्शन को भी पछाड़ देता है।
लो-कवरेज परिदृश्य (D4RL):
- महत्वपूर्ण निष्कर्ष: लो-कवरेज डेटासेट्स (जैसे halfcheetah-medium, hopper-medium) में, बेलमैन बैकअप पर निर्भर विधियाँ (FB, PSM) OOD एक्शन क्वेरीज़ के कारण संघर्ष करती हैं।
- RLDP 6 में से 5 कार्यों में इन बेसलाइन्स को महत्वपूर्ण रूप से पछाड़ देता है, जो कम कवरेज वाले डेटा में इसकी मजबूती को सिद्ध करता है।
एब्लेशन स्टडीज (Ablation Studies):
- ऑर्थोगोनैलिटी: रेगुलराइजेशन हटाने ( $\lambda=0$ ) से प्रदर्शन में गिरावट आती है और फीचर सिमिलरिटी बढ़ जाती है।
- स्फेरिकल नॉर्मलाइजेशन: स्टेट्स को हाइपरस्फीयर पर प्रोजेक्ट करना स्थिरता और प्रदर्शन के लिए महत्वपूर्ण है।
- लॉस कंपोनेंट्स: प्रेडिक्शन लॉस और ऑर्थोगोनैलिटी का संयोजन सबसे अच्छा परिणाम देता है; इस संयोजन में बेलमैन बैकअप जोड़ने से अक्सर लो-कवरेज सेटिंग्स में प्रदर्शन घट जाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

सरलता बनाम जटिलता: यह पेपर BFMs को प्रशिक्षित करने के लिए जटिल सक्सेसर मेजर एस्टीमेशन (जिसके लिए बेलमैन बैकअप और पॉलिसी क्लास की आवश्यकता होती है) की आवश्यकता को चुनौती देता है। डायवर्सिटी रेगुलराइजेशन के साथ एक सरल, पॉलिसी-स्वतंत्र डायनेमिक्स प्रेडिक्शन पर्याप्त है।
व्यावहारिकता: RLDP, रिकंस्ट्रक्शन-आधारित या बेलमैन-आधारित विधियों की तुलना में ऑप्टिमाइजेशन के लिए अधिक अनुकूल है और हाई-डायमेंशनल ऑब्जर्वेशन स्पेस को बेहतर तरीके से हैंडल करता है।
मजबूती: यह वास्तविक दुनिया के रोबोटिक्स और कंट्रोल परिदृश्यों के लिए एक विश्वसनीय समाधान प्रदान करता है, जहाँ डेटा कवरेज अक्सर सीमित होती है (लो-कवरेज), एक ऐसा क्षेत्र जहाँ वर्तमान SOTA विधियाँ विफल हो जाती हैं।
भविष्य का प्रभाव: एक स्थिर, सरल बेसलाइन प्रदान करके, RLDP जनरल इजेंट्स के लिए अधिक सुलभ और प्रभावी अनसुपरवाइज्ड लर्निंग दृष्टिकोणों का मार्ग प्रशस्त करता है।

संक्षेप में, RLDP यह प्रदर्शित करता है कि जीरो-शॉट सुदृढीकरण शिक्षण के लिए लेटेंट डायनेमिक्स की क्षमता को अनलॉक करने की कुंजी सरल ऑर्थोगोनैलिटी कंस्ट्रेंट्स के माध्यम से फीचर डायवर्सिटी बनाए रखना है, जो जटिल, बेलमैन-डिपेंडेंट बेसलाइन्स को विशेष रूप से डेटा-दुर्लभ वातावरणों में पछाड़ देता है।