💻 computer science

P3: Probabilistic Policy Propagation for Stable VAE-Based Robot Learning

यह शोधपत्र प्रोबेबिलिस्टिक पॉलिसी प्रोपेगेशन (P³) प्रस्तुत करता है, जो एक डिस्ट्रीब्यूशन-अवेयर ऑप्टिमाइज़ेशन फ्रेमवर्क है जो VAE-आधारित PPO में नैव सिंगल-सैंपल एप्रोक्सिमेशन के कारण होने वाले वेरिएंस और बायस को हल करता है, जिससे डेटा दक्षता में उल्लेखनीय सुधार होता है, कन्वर्जेंस स्टेप्स कम होते हैं, और चुनौतीपूर्ण ह्यूमनॉइड पार्कोर कार्यों के लिए रोबस्ट लर्निंग सक्षम होती है।

मूल लेखक: Liyun Yan, Jianming Ma, Yang Zhang, Shengcheng Fu, Zhanxiang Cao, Keqi Zhu, Yizhi Chen, Yue Gao

प्रकाशित 2026-07-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liyun Yan, Jianming Ma, Yang Zhang, Shengcheng Fu, Zhanxiang Cao, Keqi Zhu, Yizhi Chen, Yue Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक ऊबड़-खाबड़, अप्रत्याशित जंगल के फर्श पर चलना सिखाने की कोशिश कर रहे हैं। इसके लिए, रोबोट को सूचनाओं के एक अराजक सैलाब से अर्थ निकालने की आवश्यकता है: जैसे सेंसरों पर टकराने वाली हवा, असमान जमीन, और उसके अपने जोड़ों का डगमगाना। रोबियों की दुनिया में, यह एक भीड़भाड़ वाले शोर वाले स्टेडियम में एक अकेली बातचीत को सुनने जैसा है। इसे हल करने के लिए, वैज्ञानिक अक्सर एक चतुर ट्रिक का उपयोग करते हैं जिसे वेरिएशनल ऑटोएन्कोडर (VAE) कहा जाता है। एक VAE को एक सुपर-स्मार्ट अनुवादक के रूप में सोचें जो उस शोर भरे स्टेडियम की बातचीत को सुनता है और उसे एक एकल, साफ "नोट" या "मूड" में सारांशित करता है जिसे रोबोट का मस्तिष्क समझ सके। यह एक अव्यवस्थित, उच्च-आयामी सिरदर्द को एक संक्षिप्त, प्रबंधनीय विचार में बदल देता है।

एक बार जब रोबोट के पास यह साफ सारांश आ जाता है, तो उसे यह तय करने की आवश्यकता होती है कि आगे क्या करना है। यहीं पर प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) आता है। यदि VAE अनुवादक है, तो PPO एक कोच है। कोच, अनुवादक के सारांश को देखता है और कहता है, "बहुत बढ़िया! अब, चलो एक कदम आगे बढ़ाने की कोशिश करते हैं।" कोच चीजों को आजमाकर, यह देखकर कि क्या काम करता है, और रोबोट के व्यवहार को बेहतर बनाने के लिए धीरे से दिशा देकर सीखता है। यह संयोजन रोबोटों को चलने, दौड़ने और यहाँ तक कि पार्कोर करने के लिए सिखाने में एक बड़ी सफलता रहा है। हालाँकि, एक पेच है: क्योंकि अनुवादक (VAE) डिज़ाइन के कारण थोड़ा "धुंधला" (fuzzy) है—यह एक सटीक तथ्य के बजाय संभावित मूड की एक सीमा देता है—कोच (PPO) कभी-कभी भ्रमित हो जाता है। यह एक कोच की तरह है जो अनुवादक के पूरे चित्र के बजाय, केवल एक रैंडम अनुमान के आधार पर निर्देश देने की कोशिश कर रहा है।

समस्या: मूड का अनुमान लगाना

लेखकों, लियुन यान और उनकी टीम ने जिस मुख्य समस्या की पहचान की है, वह थोड़े ट्विस्ट के साथ "टेलीफोन" गेम खेलने जैसा है। मानक सेटअप में, रोबोट का अनुवादक (VAE) संभावित "लेटेंट" अवस्थाओं का एक बादल बनाता है—इसे रोबोट के विभिन्न संभावित मूड के बादल के रूप में सोचें। कोच (PPO) को यह जानने की आवश्यकता है कि रोबोट उन सभी मूड्स के संयोजन में कितना सफल होने की संभावना रखता है ताकि एक अच्छा निर्णय लिया जा सके।

लेकिन पुराने तरीके के काम करने का ढंग आलसी था। पूरे मूड के बादल को देखने के बजाय, कोच केवल उस बादल में से एक एकल मूड को रैंडम तरीके से चुन लेता था और केवल उसी के आधार पर निर्णय लेता था। लेखकों ने महसूस किया कि यह एक बुरा विचार है। यदि आप एक रैंडम मूड चुनते हैं, तो आपको एक भाग्यशाली अनुमान मिल सकता है, या आप एक बहुत ही खराब अनुमान पा सकते हैं। यह बहुत सारा "शोर" और भ्रम पैदा करता है। यह एक कोच की तरह है जो पूरी टीम की राय सुनने के बजाय, केवल एक रैंडम खिलाड़ी की राय सुनकर टीम को प्रशिक्षित करने की कोशिश करता है कि खेल की योजना क्या होनी चाहिए। इससे रोबोट धीरे सीखता है, अटक जाता है, या यहाँ तक कि ठीक से चलना भूल भी जाता है क्योंकि कोच खराब अनुमानों के आधार पर अपना मन बदलता रहता है।

समाधान: P³ (प्रोबेबिलिस्टिक पॉलिसी प्रोपेगेशन)

इसे ठीक करने के लिए, टीम ने P³ (प्रोबेबिलिस्टिक पॉलिसी प्रोपेगेशन) नामक एक नई विधि पेश की। एक मूड का अनुमान लगाने के बजाय, P³ एक ही समय में मूड के पूरे बादल को समझने में सक्षम है। यह दो चतुर चरणों में ऐसा करता है, जैसे कि दो-चरणों वाला प्रशिक्षण शिविर।

चरण 1: कुशल कोच (मोमेंट मैचिंग)
सबसे पहले, रोबोट "मोमेंट मैचिंग" (MM) नामक एक विधि का उपयोग करके प्रशिक्षण लेता है। कल्पना करें कि कोच केवल एक खिलाड़ी की बात नहीं सुनता; इसके बजाय, वे गणितीय रूप से "औसत मूड" और "मूड के फैलाव" की गणना करते हैं बिना हर एक खिलाड़ी से व्यक्तिगत रूप से पूछे। यह बहुत तेज़ और बहुत स्थिर है। यह उस रैंडम शोर को हटा देता है जो पहले रोबोट को भ्रमित कर रहा था। रोबोट तेजी से और स्थिरता से सीखता है, और बुरे अनुमानों से विचलित हुए बिना एक ठोस रास्ता खोजता है।

चरण 2: वास्तविकता की जाँच (लेटेंट सैंपल फाइन-ट्यूनिंग)
एक बार जब रोबोट बुनियादी बातें सीख जाता है और अच्छी तरह से चलने लगता है, तो टीम "लेटेंट सैंपल फाइन-ट्यूनिंग" (LSFT) नामक दूसरे चरण में स्विच करती है। अब, वे कठिन काम करते हैं: वे वास्तव में बादल से कई अलग-अलग मूड का नमूना (sample) लेते हैं ताकि यह सुनिश्चित हो सके कि रोबोट किसी भी स्थिति को संभाल सके, यहाँ तक कि उन अजीब स्थितियों को भी जिन्हें गणित ने शायद बहुत अधिक स्मूथ कर दिया हो। यह एक कोच की तरह है जो अंततः पूरी टीम को सुन रहा है ताकि यह सुनिश्चित हो सके कि योजना हर संभव परिदृश्य में काम करे। यह चरण रोबोट की चाल को अविश्वसनीय रूप से मजबूत और वास्तविक दुनिया के लिए तैयार बनाता है।

परिणाम: तेज़, स्मार्ट और अधिक विश्वसनीय

टीम ने एक ह्यूमनाइड रोबोट (Unitree G1) पर इस नए दृष्टिकोण का परीक्षण किया जो स्टेपिंग स्टोन्स, सीढ़ियों और अंतराल (gaps) जैसे कठिन रास्तों पर नेविगेट करने की कोशिश कर रहा था। परिणाम प्रभावशाली थे।

डेटा दक्षता: पुराने तरीके ने बहुत अधिक प्रशिक्षण समय बर्बाद किया। भ्रम के कारण लगभग 64.6% अभ्यास प्रयास ही वास्तव में उपयोगी थे क्योंकि बाकी को बाहर कर दिया गया था। P³ के साथ, यह संख्या बढ़कर 96% से अधिक हो गई। यह एक ऐसे छात्र से जाने जैसा है जो अपने होमवर्क का दो-तिहाई हिस्सा फेंक देता है, और एक ऐसे छात्र से जो सीखने के लिए लगभग हर अभ्यास समस्या का उपयोग करता है।
गति: रोबलेट ने पहले की तुलना में कठिन कार्यों को हल करना 20% तेज़ी से सीखा। इसने केवल सीखा ही नहीं; इसने कुशलतापूर्वक सीखा।
वास्तविक दुनिया की सफलता: जब उन्होंने रोबोट को वास्तविक फर्श पर रखा (केवल कंप्यूटर सिमुलेशन में नहीं), तो P³ स्पष्ट विजेता था। 10 परीक्षणों के एक टेस्ट में, P³-प्रशिक्षित रोबोट ने स्टेपिंग स्टोन्स को 8 बार सफलतापूर्वक पार किया, सीढ़ियाँ 9 बार चढ़ीं, और अंतराल (gaps) को 10 बार पार किया। पुराने तरीके संघर्ष कर रहे थे, कुछ तो एक भी अंतराल पार करने में विफल रहे।

यह क्यों महत्वपूर्ण है

यह पेपर केवल एक मामूली बदलाव का सुझाव नहीं देता है; यह उस मौलिक दोष की ओर इशारा करता है कि हम काफी समय से रोबोटों को कैसे सिखा रहे हैं। यह दिखाते हुए कि "सिंगल-सैंपल" अनुमान ही धीमी और अस्थिर सीखने के पीछे का कारण था, लेखक एक स्पष्ट मार्ग प्रदान करते हैं। उन्होंने VAEs और PPO के पुराने, सफल ढांचे को फेंका नहीं है; उन्होंने बस इस बात को अपग्रेड किया है कि वे दोनों एक-दूसरे से कैसे बात करते हैं।

निष्कर्ष बताते हैं कि रोबोट के "मूड" को एक एकल अनुमान के बजाय संभावनाओं के पूर्ण बादल के रूप में मानकर, हम ऐसे रोबोट बना सकते हैं जो तेज़ी से सीखते हैं, कम डेटा का उपयोग करते हैं, और जब वे लैब से बाहर निकलकर वास्तविक दुनिया में कदम रखते हैं, तो बहुत अधिक विश्वसनीय होते हैं। यह एक डगमगाती, अनुमान-आधारित प्रक्रिया को अगली पीढ़ी की चलने वाली मशीनों के लिए एक ठोस, वैज्ञानिक आधार में बदल देता है।

तकनीकी सारांश: स्थिर VAE-आधारित रोबोट लर्निंग के लिए संभाव्यतात्मक नीति प्रसार (Probabilistic Policy Propagation)

1. समस्या विवरण

Variational Autoencoders (VAEs) का Proximal Policy Optimization (PPO) के साथ एकीकरण, विशेष रूप से उच्च-आयामी (high-dimensional), शोर वाले अवलोकनों और आंशिक दृश्यता (partial observability) को संभालने के लिए लेग्ड लोकमोशन (legged locomotion) सीखने हेतु एक मानक ढांचा बन गया है। हालांकि, यह शोध पत्र VAE के स्टोकेस्टिक लेटेंट स्पेस (latent spaces) और PPO के अनुकूलन तंत्र (optimization mechanics) के बीच एक मौलिक सैद्धांतिक बेमेल की पहचान करता है।

मानक VAE-आधारित PPO कार्यान्वयन में, नीति (policy) लेटेंट स्पेस पर एक मार्जिनल वितरण (marginal distribution) के रूप में परिभाषित की जाती है: $\pi_\theta(a|o) = \int p_\psi(a|z)q_\phi(z|o) dz$ । मौजूदा विधियाँ आमतौर पर इस मार्जिनलाइज्ड नीति को PPO के क्लिपिंग मैकेनिज्म के लिए आवश्यक प्रोबेबिलिटी रेश्यो और KL डाइवर्जेंस की गणना करने के लिए एक एकल लेटेंट सैंपल ( $z \sim q_\phi$ ) का उपयोग करके अनुमानित करती हैं। लेखक तर्क देते हैं कि यह सहज एकल-सैंपल सन्निकटन (single-sample approximation) दो महत्वपूर्ण समस्याएं उत्पन्न करता है:

व्यवस्थित पूर्वाग्रह (Systematic Bias): यह लॉग प्रोबेबिलिटी रेश्यो को विकृत करता है, जिससे त्रुटिपूर्ण क्लिपिंग निर्णय होते हैं जो लाभकारी क्रियाओं को दंडित करते हैं या ट्रस्ट रीजन से अधिक अपडेट को दंडित करने में विफल रहते हैं।
उच्च विचरण (High Variance): परिमित लेटेंट सैंपलिंग (finite latent sampling) सरोगेट-लॉस ग्रेडिएंट्स में महत्वपूर्ण शोर पेश करती है। यह शोर अनुकूलन को अस्थिर कर देता है, जिससे प्रशिक्षण ठहराव (stagnation) आता है (विशेष रूप से तब जब एडम ऑप्टिमाइज़र का उपयोग किया जाता है और पॉलिसी कन्वर्ज होती है और एक्शन वेरिएंस कम होता है), और यह पॉलिसी को अपने एक्शन स्टैंडर्ड डेविएशन ( $\sigma_{act}$ ) को प्रभावी ढंग से कम करने से रोकता है।

2. कार्यप्रणाली: प्रोबेबिलिस्टिक पॉलिसी प्रोपेगेशन (P³)

लेटेंट अनिश्चितता और वास्तविक मार्जिनलाइज्ड नीति के बीच एकल-सैंपल सन्निकटन के बेमेल को हल करने के लिए, लेखक P³ (Probabilistic Policy Propagation) का प्रस्ताव करते हैं। P³ एक डिस्ट्रीब्यूशन-अवेयर ऑप्टिमाइज़ेशन फ्रेमवर्क है जो मार्जिनलाइज्ड एक्शन लाइकलीहुड (likelihood) का अनुमान लगाने के लिए एक्टर नेटवर्क के माध्यम से लेटेंट डिस्ट्रीब्यूशन को प्रसारित करता है।

P³ दो पूरक एस्टिमेटर्स (estimators) का उपयोग करता है जो एक ही एक्टर और एनकोडर पैरामीटर्स साझा करते हैं, लेकिन इस बात में भिन्न होते हैं कि वे लेटेंट अनिश्चितता को कैसे संभालते हैं:

A. मोमेंट-मैचिंग (MM) एस्टिमेटर

तंत्र (Mechanism): सैंपलिंग के बजाय, MM एनालिटिकल रूप से एक्टर नेटवर्क के माध्यम से लेटेंट डिस्ट्रीब्यूशन के पहले दो मोमेंट्स (मीन $\mu$ और वेरिएंस $v$ ) को प्रसारित करता है।
कार्यान्वयन: यह डायगोनल कोवेरिएंस सन्निकटन (diagonal covariance approximation) मानता है। लीनियर लेयर्स के लिए, मोमेंट्स को मानक लीनियर ट्रांसफॉर्मेशन के माध्यम से अपडेट किया जाता है। नॉन-लीनियर एक्टिवेशन (विशेष रूप से ELU) के लिए, लेखक इनपुट गॉसियन डिस्ट्रीब्यूशन के आधार पर एक्सपेक्टेशन और सेकंड मोमेंट के लिए विश्लेषणात्मक अभिव्यक्तियों (analytical expressions) को व्युत्पन्न करते हैं।
लाभ: यह ऑब्जर्वेशन के प्रति नियतात्मक (deterministic) है, जो प्रोबेबिलिटी रेश्यो में परिमित-सैंपल उतार-चढ़ाव को समाप्त करता है। यह स्थिर और तीव्र प्रारंभिक अभिसरण (convergence) के लिए एक लो-नॉइज़ सिग्नल प्रदान करता है।

B. मोंटे कार्लो (MC) लेटेंट-सैंपलिंग एस्टिमेटर

तंत्र: यह एस्टिमेटर $N$ स्वतंत्र लेटेंट सैंपल्स ( $z^{(i)} \sim q_\phi$ ) पर एक्टर का मूल्यांकन करता है और उनकी लाइकलीहुड्स का औसत निकालता है।
लाभ: यह डायगोनल-कोवेरिएंस सन्निकटन के बिना पूर्ण लेटेंट-प्रेरित सहसंबंधों (correlations) और डिस्ट्रीब्यूशनल स्ट्रक्चर को निष्ठापूर्वक कैप्चर करता है। यह लेटेंट अनिश्चितता के प्रति अधिक मजबूत है, जो सिम-टू-रियल ट्रांसफर के लिए महत्वपूर्ण है।
लागत: इसमें एक्टर इवैल्यूएशन और मेमोरी के लिए $O(N)$ के अनुपात में कंप्यूटेशनल लागत आती है।

C. हाइब्रिड ट्रेनिंग शेड्यूल (LSFT)

डिफ़ॉल्ट P³ इंस्टेंसिएशन दोनों एस्टिमेटर्स की शक्तियों को एक दो-चरणीय शेड्यूल में जोड़ता है:

प्रारंभिक प्रशिक्षण: पॉलिसी को MM एस्टिमेटर का उपयोग करके प्रशिक्षित किया जाता है। यह लेटेंट-सैंपलिंग शोर को समाप्त करता है, जिससे एक मजबूत पॉलिसी प्लेटो तक स्थिर और तीव्र अभिसरण संभव होता है।
लेटेंट सैंपल फाइन-ट्यूनिंग (LSFT): एक बार जब MM पॉलिसी एक प्लेटो पर पहुँच जाती है, तो एस्टिमेटर MC (एक मध्यम सैंपल काउंट, जैसे $N=15$ के साथ) में बदल जाता है, जो फाइन-ट्यूनिंग चरण के लिए है। यह चरण लेटेंट अनर्टेन्टी के प्रति पॉलिसी की मजबूती को रिफाइन करता है और MM के कारण होने वाले वेरिएंस अंडरएस्टिमेशन को ठीक करता है।

3. मुख्य योगदान

सैद्धांतिक पहचान: पेपर VAE-आधारित PPO में "सिंगल-सैंपल लाइकलीहुड मिसमैच" की पहचान और गणितीय विश्लेषण करता है, यह प्रदर्शित करते हुए कि यह कैसे KL एस्टीमेशन को बायस करता है और ग्रेडिएंट वेरिएंस को बढ़ाता है, जिससे प्रशिक्षण अस्थिरता आती है।
एल्गोरिद्मिक नवाचार: P³ का परिचय, जो मार्जिनलाइज्ड पॉलिसी का अनुमान लगाने के लिए एक्टर के माध्यम से लेटेंट डिस्ट्रीब्यूशन को प्रसारित करता है, जो कुशल मोमेंट मैचिंग और सटीक सैंपलिंग-आधारित कैलिब्रेशन का विकल्प प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): प्रयोगों से पता चलता है कि P³, सिंगल-सैंपल बेसलाइन और शुद्ध सैंपलिंग विधियों की तुलना में डेटा दक्षता और अभिसरण गति में महत्वपूर्ण सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने प्रशिक्षण के लिए Isaac Sim का उपयोग करके और मूल्यांकन के लिए MuJoCo/वास्तविक दुनिया के रोबोट (Unitree G1) का उपयोग करके चुनौतीपूर्ण ह्यूमनॉइड पार्कौर कार्यों (स्टेपिंग स्टोन्स, सीढ़ियाँ, गैप्स) पर P³ का मूल्यांकन किया।

डेटा दक्षता: एक नियंत्रित डायग्नोस्टिक के तहत जहाँ पॉलिसियाँ समान हैं, मानक सिंगल-सैंपल VAE वैध PPO क्लिपिंग अंतराल के भीतर केवल 64.6% सैंपल रखता है। इसके विपरीत, P³-MM 100.0% प्राप्त करता है, और P³ (LSFT के साथ) उच्च दक्षता (>96%) बनाए रखता है।
अभिसरण गति: P³ 7,000 एपॉक्स (MM चरण) + 1,000 एपॉक्स (LSFT) में उच्च-कठिनाई वाले टेरेन स्तरों तक पहुँच जाता है। यह सर्वश्रेष्ठ प्योर सैंपलिंग बेसलाइन (MC के साथ $N=50$ , जो 10,000 एपॉक्स में कन्वर्ज होता है) की तुलना में प्रशिक्षण चरणों में >20% की कमी है। सिंगल-सैंपल VAE और लो-सैंपल MC विधियाँ 15,000-एपॉक्स बजट के भीतर कन्वर्ज होने में विफल रहीं।
प्रदर्शन: MuJoCo ट्रांसफर में, पूर्ण P³ पॉलिसी ने उच्चतम कुल रिवॉर्ड (20.1) और लाइफटाइम (20.0) प्राप्त किया, जिसने डिटर्मिनिस्टिक ऑटोएनकोडर बेसलाइन और सर्वश्रेष्ठ सैंपलिंग बेसलाइन (MC $N=50$ ) को पीछे छोड़ दिया।
सिम-टू-रियल: एक Unitree G1 रोबोट पर तैनात, P³ ने स्टेपिंग स्टोन्स, सीढ़ियों और गैप्स में अन्य विधियों की तुलना में उच्चतम सफलता संख्या प्राप्त की, जो कि किनमैटिक विसंगतियों और एलीवेशन मैप ड्रिफ्ट के बावजूद मजबूती प्रदर्शित करता है।

5. महत्व और दावे

पेपर का दावा है कि P³ एक व्यापक रूप से अपनाए गए रोबोटिक्स फ्रेमवर्क में एक "दीर्घकालिक अनुकूलन बाधा" (long-standing optimization barrier) को संबोधित करता है। एक सुसंगत मार्जिनलाइज्ड डिस्ट्रीब्यूशन के रूप में VAE-आधारित पॉलिसियों को सक्षम करके, P³ VAE-आधारित पॉलिसी लर्निंग को एक अधिक विश्वसनीय और स्केलेबल आधार में बदल देता है।

लेखक इस बात पर जोर देते हैं कि उनकी विधि सिद्ध VAE-PPO प्रतिमान को छोड़ने की आवश्यकता नहीं है, बल्कि यह उसके अनुकूलन तंत्र को परिष्कृत करती है। स्थिरता और डेटा दक्षता में यह सुधार जटिल, आंशिक रूप से दृश्यमान वातावरणों में विविध रोबोटों और सेंसिंग मोडैलिटीज के लिए VAE-आधारित विधियों के व्यापक उपयोग के लिए एक पूर्व शर्त के रूप में प्रस्तुत किया गया है।