🤖 machine learning

Where Should Action Generation Begin? A Learnable Source Prior for Generative Robot Policies

यह शोधपत्र LeaP को प्रस्तुत करता है, जो एक सीखने योग्य सोर्स प्रायर (source prior) है जो जनरेटिव रोबोटिक पॉलिसियों में मानक गॉसियन इनिशियलाइजेशन (Gaussian initialization) के स्थान पर प्रोप्रियोसेप्शन-कंडीशन्ड (proprioception-conditioned) वितरण को प्रतिस्थापित करता है, जिससे सिमुलेशन और वास्तविक दुनिया के मैनिपुलेशन कार्यों दोनों में सफलता दर और अभिसरण (convergence) में महत्वपूर्ण सुधार होता है।

मूल लेखक: Meipo Dai, Qiyuan Zhuang, He-Yang Xu, Ying-Jie Shuai, Yijun Wang, Qi Dou, Xiu-Shen Wei

प्रकाशित 2026-06-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Meipo Dai, Qiyuan Zhuang, He-Yang Xu, Ying-Jie Shuai, Yijun Wang, Qi Dou, Xiu-Shen Wei

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नाजुक कार्य करना सिखा रहे हैं, जैसे ब्लॉक को एक के ऊपर एक रखना या एक कप उठाना। ऐसा करने के लिए, रोबोट को एक "मस्तिष्क" (पॉलिसी) की आवश्यकता होती है जो यह तय करे कि उसे अपने हाथों को ठीक से कैसे चलाना है।

आधुनिक रोबोटिक्स में, कई मस्तिष्क एक जेनरेटिव आर्टिस्ट (सृजनात्मक कलाकार) की तरह काम करते हैं। वे शुद्ध, रैंडम शोर (noise) के खाली कैनवास से शुरुआत करते हैं और फिर उस शोर को धीरे-धीरे तब तक परिष्कृत (refine) करते हैं जब तक कि वह एक सटीक क्रिया के रूप में न बदल जाए।

समस्या: "स्टैटिक" से शुरुआत करना

लंबे समय से, ये रोबोट कलाकार अपनी पेंटिंग प्रक्रिया की शुरुआत हमेशा एक ही चीज़ से करते हैं: शुद्ध स्टैटिक शोर (गणितीय रूप से, एक मानक गॉसियन डिस्ट्रीब्यूशन)।

इसे इस तरह सोचें: आप एक शेफ को एक विशिष्ट व्यंजन पकाने के लिए कहते हैं, लेकिन आप उन्हें मजबूर करते हैं कि वे शुरुआत एक बाल्टी रैंडम, बिना मसाले वाले आटे और पानी से करें। शेफ को बहुत समय और ऊर्जा लगाने में खर्च करनी पड़ती है यह समझने में कि, "ठीक है, मुझे इस रैंडम आटे को एक परफेक्ट लाज़ानिया में कैसे बदलना है?" उन्हें उस स्थान से उस चीज़ तक पहुँचना पड़ता है जो रेसिपी के बारे में कुछ नहीं जानता, लेकर अंतिम व्यंजन तक पहुँचना होता है।

यह पेपर एक सरल प्रश्न पूछता है: यदि हमें स्थिति के बारे में पहले से ही कुछ पता है, तो रैंडम शोर से शुरुआत क्यों करें?

समाधान: LeaP (द "स्मार्ट स्टार्टर")

लेखक LeaP (लर्नेबल सोर्स प्रायर) नामक एक नई विधि प्रस्तावित करते हैं। रैंडम स्टैटिक शोर के बजाय, LeaP रोबोट को शुरुआत करने के लिए एक स्मार्ट, शिक्षित अनुमान देता है।

यहाँ उपमा (analogy) दी गई है:

पुराना तरीका: रोबोट रैंडम शोर की एक बाल्टी से शुरुआत करता है। उसे सब कुछ शून्य से समझना पड़ता है।
LeaP का तरीका: रोबोट पेंटिंग शुरू करने से पहले, वह अपनी शारीरिक स्थिति (प्रोपियोसेप्शन) को देखता है—जैसे "मेरा हाथ अभी यहाँ है, और वस्तु वहाँ है।" इस आधार पर, वह एक ऐसा शुरुआती बिंदु बनाता है जो पहले से ही सही उत्तर के करीब है, लेकिन इसमें थोड़ी सी रैंडमनेस (stochasticity) भी होती है ताकि लचीलापन बना रहे।

यह ऐसा है जैसे शेफ अब एक ऐसे आटे के कटोरे से शुरुआत करता है जो पहले से ही लाज़ानिया के लिए सही मात्रा में नमक और आटे के साथ मिला हुआ है, न कि कच्चे आटे से। शेफ को अभी भी अंतिम खाना पकाने (क्रिया को परिष्कृत करने) का काम करना होगा, लेकिन उन्हें बुनियादी बातें समझने में समय बर्बाद नहीं करना पड़ेगा।

यह कैसे काम करता है ("जादुई" सामग्री)

"प्रोपियोसेप्शन" सेंसर: रोबोट अपनी आंतरिक स्थिति (उसके जोड़ कहाँ हैं, वह कितनी तेजी से हिल रहा है) को देखता है। वह इस प्रारंभिक अनुमान को लगाने के लिए कैमरा (विजुअल्स) देखने की आवश्यकता भी नहीं रखता है।
"लाइटवेट" मस्तिष्क: एक छोटा, सरल कंप्यूटर प्रोग्राम (एक हल्का MLP) उस शारीरिक डेटा को लेता है और दो चीजें बताता है:
- औसत अनुमान (The Average Guess): क्रिया को संभवतः कहाँ से शुरू होना चाहिए।
- "विगल रूम" (The Wiggle Room): कितनी रैंडमनेस की आवश्यकता है। यदि स्थिति कठिन है, तो यह अधिक भिन्नता की अनुमति देता है; यदि सरल है, तो यह सीमित रहता है।
श्रम का विभाजन:
- LeaP (द प्रायर): रोबमा के एक्शन स्पेस के सही पड़ोस तक पहुँचने के लिए भारी काम करता है।
- जेनरेटर (द आर्टिस्ट): केवल बारीक विवरणों पर ध्यान केंद्रित करता है ताकि गति एकदम सटीक हो सके।

इस पेपर ने क्या पाया

शोधकर्ताओं ने इसका परीक्षण 15 अलग-अलग रोबोट कार्यों (जैसे बोतल उठाना, लैपटॉप खोलना और ब्लॉक को स्टैक करना) पर किया और इसे एक वास्तविक रोबोटिक आर्म पर भी आजमाया।

बेहतर परिणाम: LeaP स्पष्ट विजेता था। यह लगभग 81.6% बार सफल रहा, जो अन्य शीर्ष विधियों की तुलना में 6.5% से 25.5% बेहतर प्रदर्शन है।
तेज़ और सस्ता: इसे एक बड़े, अधिक महंगे कंप्यूटर मस्तिष्क की आवश्यकता नहीं थी। वास्तव में, LeaP ने अन्य तरीकों की तुलना में कम पैरामीटर्स (कम मेमोरी) का उपयोग किया और यह तेजी से सीखा।
"नो-प्रायर" गैप: जब उन्होंने LeaP की तुलना उसी रोबोट मस्तिष्क वाले संस्करण से की जो रैंडम शोर से शुरू होता था (NoPrior), तो रैंडम-शोर वाला संस्करण बुरी तरह विफल रहा (केवल 5ક્ प्रतिशत सफलता)। इसने साबित कर दिया कि "स्मार्ट स्टार्टिंग पॉइंट" ही असली सफलता का राज था, न कि केवल एक बेहतर रोबोट मस्तिष्क।
वास्तविक दुनिया: यह कंप्यूटर सिमुलेशन की तरह ही लैब में एक वास्तविक रोबोट पर भी उतना ही प्रभावी ढंग से काम करता है।

मुख्य निष्कर्ष (The Big Takeaway)

यह पेपर सुझाव देता है कि रोबोट लर्निंग के लिए, आप कहाँ से शुरू करते हैं यह उतना ही मायने रखता है जितना कि आप कैसे समाप्त करते हैं।

"रैंडम शोर" के शुरुआती बिंदु को एक "स्मार्ट, बॉडी-अवेयर गेस" से बदलकर, रोबोट अधिक सटीकता, गति और कम कंप्यूटिंग पावर के साथ सीख सकते हैं। लेखक इसे एक नया "डिज़ाइन एक्सिस" कहते हैं, जिसका अर्थ है कि यह एक नया 'नॉब' है जिसे इंजीनियर रोबोट को बेहतर बनाने के लिए घुमा सकते हैं, जो उनके द्वारा उपयोग किए जाने वाले मस्तिष्क के प्रकार से अलग है।

तकनीकी सारांश: LeaP - जेनेरेटिव रोबोट नीतियों के लिए एक लर्नबल सोर्स प्रायर (Learnable Source Prior)

समस्या विवरण (Problem Statement)
जेनेरेटिव रोबोट नीतियां, जिनमें डिफ्यूजन-आधारित और फ्लो-मैचिंग दृष्टिकोण शामिल हैं, आमतौर पर एक्शन जनरेशन को एक 'कंडीशनल सैंपलिंग' के रूप में तैयार करती हैं। आर्किटेक्चरल विविधता के बावजूद, इन विधियों में एक सामान्य सीमा है: वे एक्शन जनरेशन को एक ऑब्जर्वेशन-स्वतंत्र स्टैंडर्ड गॉसियन वितरण, $N(0, I)$ से शुरू करती हैं। इस सोर्स डिस्ट्रीब्यूशन में वर्तमान रोबोट स्टेट या टास्क कॉन्टेक्स्ट के बारे में कोई जानकारी नहीं होती है। इसके परिणामस्वरूप, जेनेरेटिव मॉडल को इस अनइंफॉर्मड (uninformed) नॉइज़ सोर्स से टास्क-रेलेवेंट एक्शन्स तक सैंपल को ट्रांसपोर्ट करने के लिए अपने "इंटीग्रेशन बजट" का एक महत्वपूर्ण हिस्सा खर्च करना पड़ता है। हाल के कार्यों में इस स्टैंडर्ड गॉसियन को डिटर्मिनिस्टिक, ऑब्जर्वेशन-व्युत्पन्न सोर्सेज (जैसे प्रोप्रियोसेप्शन या विजुअल लेटेंट्स से प्राप्त पॉइंट एस्टीमेट्स) से बदलने का प्रयास किया गया है, लेकिन वे सोर्स डिस्ट्रीब्यूशन में निहित अनिश्चितता (uncertainty) की अनदेखी करते हैं। यह कार्य जिस केंद्रीय प्रश्न का समाधान करता है वह यह है: एक्शन जनरेशन कहाँ से शुरू होना चाहिए? विशेष रूप से यह जांचना कि क्या सोर्स को डिटर्मिनिस्टिक होना चाहिए या डिस्ट्रीब्यूशनल, और यदि डिस्ट्रीब्यूशनल है, तो क्या इसका वेरिएंस फिक्स्ड होना चाहिए या स्टेट-अडेप्टिव (state-adaptive)।

कार्यप्रणाली (Methodology): LeaP
लेखक LeaP (लर्नबल सोर्स प्रायर) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो स्टैंडर्ड गॉसियन सोर्स को एक्शन चंक्स (action chunks) पर एक प्रोप्रियोसेप्शन-कंडीशन्ड, लर्नबल डायगोनल गॉसियन से बदल देता है। इसके मुख्य घटक हैं:

प्रायर नेटवर्क ( $g_\phi$ ): एक लाइटवेट टू-लेयर MLP जो प्रोप्रियोसेप्टिव स्टेट फीचर्स ( $z_s$ ) को डायगोनल गॉसियन डिस्ट्रीब्यूशन के मीन ( $\mu_\phi$ ) और स्टेट-अडेप्टिव वेरिएंस ( $\sigma^2_\phi$ ) में मैप करता है। महत्वपूर्ण रूप से, प्रायर केवल प्रोप्रियोसेप्शन पर कंडीशन होता है, जिससे फुल कंडीशनिंग (विजुअल + प्रोप्रियोसेप्टिव) को डाउनस्ट्रीम जेनेरेटर के लिए छोड़ दिया जाता है।
स्टोकेस्टिक इनिशियलाइजेशन (Stochastic Initialization): इन्फरेंस के समय, सोर्स सैंपल $z_0$ को इस लर्नड गॉसियन $q_\phi(z_0 | z_s)$ से लिया जाता है न कि $N(0, I)$ से। यह एक ऐसा इनिशियलाइजेशन प्रदान करता है जो ऑब्जर्वेशन-इंफॉर्म्ड (स्टेट-डिपेंडेंट नेबरहुड में एंकर किया हुआ) और स्टोकेस्टिक दोनों है।
प्लग-एंड-प्ले डिज़ाइन (Plug-and-Play Design): LeaP केवल सोर्स डिस्ट्रीब्यूशन को मॉडिफाई करता है। डाउनस्ट्रीम जेनेरेटर आर्किटेक्चर (जैसे फ्लो-मैचिंग या डिफ्यूजन-ब्रिज), जेनेरेटिव डायनेमिक्स, और इन्फरेंस सॉल्वर अपरिवर्तित रहते हैं।
जॉइंट ट्रेनिंग ऑब्जेक्टिव (Joint Training Objective): प्रायर नेटवर्क और जेनेरेटर को एक कंपोजिट लॉस फंक्शन का उपयोग करके एंड-टू-एंड ट्रेन किया जाता है:
- फ्लो मैचिंग लॉस ( $L_{flow}$ ): यह वेलोसिटी फील्ड $v_\theta$ को टारगेट एक्शन तक $z_0$ को ट्रांसपोर्ट करने के लिए सुपरवाइज करता है।
- नेगेटिव लॉग-लाइक्लीहुड ( $L_{NLL}$ ): यह प्रायर के कंडीशनल डेंसिटी को सुपरवाइज करता है, यह सुनिश्चित करते हुए कि प्रेडिक्टेड मीन और वेरिएंस एक्सपर्ट एक्शन चंक्स के साथ संरेखित (align) हों।
- कॉन्ट्रास्टिव अलाइनमेंट लॉस ( $L_{align}$ ): एक CLIP-स्टाइल सिमेट्रिक लॉस जो एक लर्नड एम्बेडिंग स्पेस में सोर्स सैंपल्स और एक्शन्स के बीच इंस्टेंस-लेवल कोरेस्पोंडेंस को लागू करता है।

मुख्य योगदान (Key Contributions)

सोर्स डिस्ट्रीब्यूशन का पुनर्गठन: पेपर यह पहचानता है कि सोर्स डिस्ट्रीब्यूशन जेनेरेटिव पॉलिसीज के लिए एक स्वतंत्र और पुन: प्रयोज्य (reusable) डिज़ाइन एक्सिस है, जो जेनेरेटिव डायनेमिक्स के चुनाव से अलग है।
स्टेट-अडेप्टिव वेरिएंस: पिछले डिटर्मिनिस्टिक सोर्सेज या फिक्स्ड-वेरिएंस ह्यूरिस्टिक्स के विपरीत, LeaP मीन और एक स्टेट-अडेप्टिव वेरिएंस को जॉइंटली सीखता है, जो स्पष्ट रूप से सोर्स अनिश्चितता को मॉडल करता है।
मोडैलिटी सिलेक्शन: लेखक प्रदर्शित करते हैं कि प्रायर को पैरामीटराइज करने के लिए प्रोप्रियोसेप्टिव स्टेट ही पर्याप्त है, और प्रायर में विजुअल फीचर्स को शामिल करने से वास्तव में उनके सेटिंग में प्रदर्शन घट जाता है।
प्लग-एंड-प्ले कम्पैटिबिलिटी: विधि डाउनस्ट्रीम जेनेरेटर के आंतरिक आर्किटेक्चर को बदले बिना फ्लो-मैचिंग और डिफ्यूजन-ब्रिज जेनेरेटर्स में सुधार करती है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने RoboTwin 2.0 सिमुलेशन एनवायरनमेंट में 15 बाइमैनुअल मैनिपुलेशन टास्क और फ्रैंका रिसर्च 3 रोबोट पर तीन रियल-वर्ल्ड टास्क पर LeaP का मूल्यांकन किया।

सिमुलेशन प्रदर्शन: LeaP ने 81.6% का औसत सफलता दर प्राप्त किया, जो चार प्रतिनिधि बेसलाइन्स (डिटर्मिनिस्टिक-सोर्स मेथड्स A2A और VITA, एक नो-प्रायर काउंटरपार्ट, और एक डिफ्यूजन-ब्रिज पॉलिसी) से 6.5 से 25.5 पर्सेंटेज पॉइंट्स बेहतर रहा। सबसे बड़ा अंतर (25.5 pp) "NoPrior" बेसलाइन के मुकाबले देखा गया, जो बिल्कुल समान जेनेरेटर आर्किटेक्चर साझा करता था लेकिन $N(0, I)$ का उपयोग करता था, जो पुष्टि करता है कि लाभ स्वयं लर्नबल प्रायर से आया है।
दक्षता (Efficiency): LeaP, ACT या BridgePolicy जैसे बेसलाइन्स की तुलना में काफी कम पैरामीटर्स (कुल 13.22M, जिसमें प्रायर हेड केवल 0.21M है) का उपयोग करता है। यह तेज़ और अधिक स्थिर ट्रेनिंग कन्वर्जेंस भी प्रदर्शित करता है।
रियल-वर्ल्ड डिप्लॉयमेंट: वास्तविक दुनिया के प्रयोगों में, LeaP ने 80.0% की औसत सफलता दर के साथ शीर्ष प्रदर्शन बनाए रखा, जो अगले सर्वश्रेष्ठ बेसलाइन (A2A) से 11.7 पर्सेंटेज पॉइंट्स बेहतर रहा।
एब्लेशन स्टडीज (Ablation Studies):
- इनपुट मोडैलिटी: प्रायर को केवल प्रोप्रियोसेप्शन पर कंडीशन करने से सबसे अच्छे परिणाम मिले; प्रायर में विजुअल फीचर्स को फ्यूज करने से प्रदर्शन कम हो गया।
- पैरामीटराइजेशन: मीन और स्टेट-अडेप्टिव वेरिएंस को जॉइंटली सीखना महत्वपूर्ण था; डिटर्मिनिस्टिक या फिक्स्ड-वेरिएंस विकल्प खराब प्रदर्शन करते हैं।
- जेनेरेटर्स: प्रायर ने विभिन्न जेनेरेटर बैकबोन्स में लगातार सुधार किया।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि सोर्स डिस्ट्रीब्यूशन जेनेरेटिव रोबोट पॉलिसीज में एक महत्वपूर्ण, फिर भी कम खोजा गया डिज़ाइन आयाम है। अनइंफॉर्मड स्टैंडर्ड गॉसियन से एक लर्नबल, प्रोप्रियोसेप्शन-कंडीशन्ड स्टोकेस्टिक प्रायर की ओर शिफ्ट होकर, जेनेरेटर को एक दूर के नॉइज़ सोर्स से सैंपल्स को ट्रांसपोर्ट करने के बोझ से मुक्त कर दिया जाता है। इसके बजाय, प्रायर शुरुआती सैंपल को एक "प्रोप्रियोसेप्टिवली प्लॉज़िबल रीजन" में रखता है, जिससे जेनेरेटर सटीक, ऑब्जर्वेशन-कंडीशन्ड रिफाइनमेंट पर ध्यान केंद्रित करने के लिए स्वतंत्र हो जाता है। लेखक दावा करते हैं कि यह दृष्टिकोण जेनेरेटिव डायनेमिक्स के मौजूदा विकल्पों के पूरक के रूप में, पॉलिसी प्रदर्शन, कन्वर्जेंस स्पीड और मजबूती (robustness) को बेहतर बनाने के लिए एक लो-ओवरहेड लीवर प्रदान करता है।

समस्या: "स्टैटिक" से शुरुआत करना

समाधान: LeaP (द "स्मार्ट स्टार्टर")

यह कैसे काम करता है ("जादुई" सामग्री)

इस पेपर ने क्या पाया

मुख्य निष्कर्ष (The Big Takeaway)

इसी तरह के और पेपर