🤖 AI

VINE: Taming Generative Control Policies for Reinforcement Learning

यह शोध पत्र VINE को प्रस्तुत करता है, जो एक नवीन RL-उन्मुख सैंपलिंग विधि है जो प्रत्येक डिनोइजिंग स्टेप पर इंटरपोलेशन स्टेट्स को पुनर्गठित करके फ्लो-मैचिंग पॉलिसियों में प्रशिक्षण अस्थिरता को हल करती है, जिससे पुनरावृत्तीय पीढ़ी (iterative generation) की अभिव्यक्ति को बनाए रखते हुए स्थिर एंड-टू-एंड वैल्यू-ग्रेडिएंट अनुकूलन सक्षम होता है और ऑफलाइन RL बेंचमार्क तथा वास्तविक दुनिया के रोबोटिक कार्यों दोनों पर अत्याधुनिक विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Rushuai Yang, Zhuo Han, Houlin Li, Hecheng Wang, Zhichao Wu, Rui Zhang, Zhaowei Zhang, Zihong Chen, Xiaohan Yan, Chiming Liu, Yi Chen, Wei Shan, Maoqing Yao

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rushuai Yang, Zhuo Han, Houlin Li, Hecheng Wang, Zhichao Wu, Rui Zhang, Zhaowei Zhang, Zihong Chen, Xiaohan Yan, Chiming Liu, Yi Chen, Wei Shan, Maoqing Yao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को डांस करना सिखा रहे हैं। आपके पास एक सुपर-स्मार्ट टीचर है (Flow-Matching Policy) जो किसी भी डांस मूव की नकल पूरी तरह से कर सकता है, भले ही मूल डांसर लड़खड़ा रहा हो या अजीब चुनाव कर रहा हो। यह टीचर एक बड़े स्टैटिक नॉइज़ (static noise) के बादल से शुरू करके, धीरे-धीरे "डिनोइजिंग" (denoising) करके, स्टेप-दर-स्टेप एक परफेक्ट डांस मूव उभारता है। यह एक मूर्ति को पत्थर के ब्लॉक से तराशने जैसा है: आप शोर को परत दर परत हटाते हैं, जब तक कि आकार सामने न आ जाए।

लंबे समय तक, वैज्ञानिकों ने सोचा कि यह "शोर हटाने" की प्रक्रिया रोबोट को रिवॉर्ड्स (rewards) के आधार पर बेहतर डांस सिखाने के लिए बहुत जटिल है। उनका मानना था कि यदि आप रोबोट के मूव्स को एक स्कोर (जैसे "बहुत बढ़िया!" या "आह, चोट लगी!") के आधार पर बदलने की कोशिश करेंगे, तो पूरी मूर्ति बिखर जाएगी। इस डर के कारण, अधिकांश पिछले तरीकों ने तीन में से एक काम किया:

उन्होंने टीचर को फ्रीज कर दिया और बस बाहर से डांस मूव्स को थोड़ा सा बदला (टीचर की पूरी दिमागी शक्ति का बलिदान दिया)।
उन्होंने स्टेप-दर-स्टेप तराशने की प्रक्रिया को रोक दिया और एक ही बार में पूरे मूव का अनुमान लगाने की कोशिश की (जटिल, मल्टी-स्टेप डांस को संभालने की क्षमता खो दी)।
उन्होंने "स्कोर" ग्रेडिएंट को पूरी तरह से नजरअंदाज कर दिया और इसे केवल एक अस्पष्ट संकेत के रूप में इस्तेमाल किया (सबसे कुशल तरीके से सीखने के अवसर को खो दिया)।

बड़ी खोज
इस पेपर के लेखक, VINE, कहते हैं: "रुकिए! समस्या मूर्तिकला (sculpting) की प्रक्रिया में नहीं है। समस्या यह है कि हम मूर्तिकला कैसे कर रहे हैं।"

उन्होंने पाया कि मूर्तिकला का पुराना तरीका (जिसे Euler sampler कहा जाता है) एक पतली रस्सी पर चलते समय एक कठोर, सख्त डंडे को पकड़ने जैसा था। आप शुरुआत में एक रास्ता चुनते हैं, और आपको अंत तक उसी पर टिके रहना होता है। यदि आप शुरुआत में एक छोटी सी गलती करते हैं, तो आप रास्ते से भटक जाते हैं, और जब आप रोबोट को बेहतर करना सिखाने की कोशिश करते हैं, तो वह भ्रमित हो जाता है।

VINE का समाधान
VINE मूर्तिकला का एक नया तरीका पेश करता है जिसे Value-gradient Iterative Noise Exploration कहा जाता है। एक कठोर डंडा पकड़ने के बजाय, कल्पना कीजिए कि रोबोट एक उछलने वाला, लचीला ट्रैम्पोलिन पकड़े हुए है।

VINE कैसे काम करता है, यहाँ स्टेप-दर-स्टेप दिया गया है:

पुराना तरीका (Euler): आप एक नॉइज़ क्लाउड से शुरू करते हैं। आप एक कदम आगे बढ़ते हैं। फिर आप जहाँ हैं, उसके आधार पर दूसरा कदम उठाते हैं। आप अपना शुरुआती बिंदु कभी नहीं बदलते। यदि आप बाईं ओर भटक जाते हैं, तो आप बाईं ओर ही भटकते रहते हैं।
VINE का तरीका: आप एक नॉइज़ क्लाउड से शुरू करते हैं। आप एक कदम उठाते हैं। लेकिन फिर, आप रुकते हैं। आप जहाँ खड़े हैं, वहीं एक ताज़ा छोटा सा नॉइज़ इंजेक्ट करते हैं। आप अपनी स्थिति को इस नए, थोड़े अलग स्थान के आधार पर फिर से व्यवस्थित करते हैं। फिर आप अगला कदम उठाते हैं।

इसे एक भूलभुलैया (maze) में रास्ता खोजने जैसा समझें। पुराना तरीका शुरुआत में एक रास्ता चुनता है और बिना सोचे-समझे उसका पालन करने की कोशिश करता है, भले ही वह दीवार से टकरा जाए। VINE एक GPS की तरह है जो हर मोड़ पर अपना रास्ता फिर से कैलकुलेट करता है। यदि आप थोड़ा सा रास्ते से भटक जाते हैं, तो Vine घबराता नहीं है; यह बस आपको वापस हाई-रिवॉर्ड वाले रास्ते पर लाने के लिए थोड़ा सा "ताज़ा नॉइज़" (एक छोटा सा धक्का) जोड़ देता है।

यह क्यों मायने रखता है
पेपर दिखाता है कि यह "हर स्टेप पर ताज़ा नॉइज़" वाला ट्रिक दो अद्भुत चीजें करता है:

यह लर्निंग को स्थिर बनाता है: क्योंकि रोबोट एक एकल, नाजुक रास्ते पर अटका हुआ नहीं है, इसलिए "स्कोर" (रिवॉर्ड सिग्नल) प्रक्रिया के 10 स्टेप्स के माध्यम से बिना किसी क्रैश के सुचारू रूप से फ्लो हो सकता है। यह एक हिलती हुई सीढ़ी को एक मजबूत सीढ़ी (staircase) से बदलने जैसा है।
यह जादू को बरकरार रखता है: रोबोट अभी भी जटिल, मल्टी-स्टेप डांस को संभालने के लिए अपने पूरे, एक्सप्रेसिव दिमाग का उपयोग कर सकता है। उसे अपने मूव्स को सरल बनाने या अपने दिमाग को फ्रीज करने की आवश्यकता नहीं है।

प्रमाण
लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने इसका परीक्षण किया।

सिमुलेशन में: उन्होंने OGBench (रोबोट लर्निंग के लिए एक विशाल बेंचमार्क) के 40 अलग-अलग कार्यों पर VINE चलाया। VINE ने लगभग हर अन्य विधि को पछाड़ दिया, विशेष रूप से antmaze-giant और humanoidmaze-large जैसे लंबे, कठिन नेविगेशन कार्यों में। इन सिमुलेशन में, VINE ने उच्चतम औसत स्कोर प्राप्त किया, अक्सर उन कठिन पहेलियों पर सफलता की दर 100% के करीब पहुंच गया जहाँ अन्य तरीके संघर्ष कर रहे थे।
वास्तविक दुनिया में: वे एक असली रोबोटिक आर्म को लेकर गए और उसे प्लग को सॉकेट में डालना सिखाने की कोशिश की। यह एक बहुत कठिन कार्य है क्योंकि रोबोट को सटीक होना पड़ता है और भौतिक संपर्क को संभालना पड़ता है।
- VINE 20 में से 20 ट्रायल में सफल रहा।
- इसे फाइन-ट्यून करने में केवल 20 मिनट लगे।
- इसे केवल 19.2% समय मानवीय मदद की आवश्यकता पड़ी।
- SAC-Flow की तुलना में, जो एक अन्य शीर्ष विधि है, VINE ने केवल 20 में से 12 ट्रायल में सफलता प्राप्त की और उसे 55.9% समय मानवीय मदद की आवश्यकता पड़ी।

उन्होंने क्या खारिज किया
यह पेपर स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि "इटरेटिव जनरेशन" (स्टेप-दर-स्टेप प्रक्रिया) अस्थिरता का कारण है। वे साबित करते हैं कि अस्थिरता सैंपलिंग स्ट्रैटेजी (कठोर रास्ता) से आती है, न कि स्टेप्स की संख्या से। वे यह भी दिखाते हैं कि रिवॉर्ड्स के साथ काम करने के लिए आपको पॉलिसी की जटिल, मल्टी-स्टेप प्रकृति को छोड़ने की आवश्यकता नहीं है।

निष्कर्ष (Bottom Line)
VINE सुझाव देता है कि रोबोट की "सोचने" की प्रक्रिया के दौरान नॉइज़ डालने के तरीके को बदलकर—यानी केवल शुरुआत में एक बार के बजाय हर सिंगल स्टेप पर थोड़ा ताज़ा रैंडमनेस जोड़कर—हम इन उन्नत जेनरेटिव पॉलिसियों की पूरी शक्ति को अनलॉक कर सकते हैं। यह हमें जटिल, हाई-रिवॉर्ड व्यवहारों को एक स्थिर तरीके से सीखने की अनुमति देता है, चाहे वह एक वीडियो गेम सिमुलेशन खेल रहा हो या एक असली चार्जर को दीवार के सॉकेट में लगा रहा हो। लेखकों ने पाया कि यह दृष्टिकोण लगातार वर्तमान स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन करता है, जिससे यह रोबोट को जटिल काम करने के लिए सिखाने का एक आशाजनक नया टूल बन जाता है।

तकनीकी सारांश: VINE: सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए जनरेटिव कंट्रोल पॉलिसी को नियंत्रित करना

समस्या विवरण (Problem Statement)

जनरेटिव कंट्रोल पॉलिसीज़, जैसे कि फ्लो-मैचिंग और डिफ्यूजन मॉडल, रोबोट व्यवहार क्लोनिंग के लिए जटिल, मल्टीमॉडल एक्शन डिस्ट्रीब्यूशन को मॉडल करने में उत्कृष्ट अभिव्यंजना (expressiveness) प्रदर्शित कर चुकी हैं। हालाँकि, वैल्यू-ग्रेडिएंट ऑप्टिमाइज़ेशन (वैल्यू-ग्रेडिएंट्स को जनरेशन प्रक्रिया के माध्यम से बैकप्रोपैगेट करना) के माध्यम से इन पॉलिसीज़ पर सुदृढीकरण शिक्षण (RL) लागू करना ऐतिहासिक रूप से गंभीर प्रशिक्षण अस्थिरता (instability) का कारण रहा है।

पूर्ववर्ती कार्यों ने इस अस्थिरता का कारण स्वयं पुनरावृत्ति जनरेशन प्रक्रिया (iterative generation process) को माना। फलस्वरूप, मौजूदा समाधान उन समझौता रणनीतियों को अपनाते हैं जो जनरेटिव मॉडल के मुख्य लाभों का त्याग करती हैं:

पैरामीटर्स को फ्रीज़ करना (Freezing parameters): बाहरी मार्गदर्शन संकेतों (guidance signals) का उपयोग करते हुए जनरेटिव पॉलिसी को फ्रीज़ करना, जिससे सीखने योग्य घटक सीमित हो जाता है।
डिस्टिलेशन (Distillation): मल्टी-स्टेप पुनरावृत्ति जनरेशन को सिंगल-स्टेप पॉलिसीज़ (जैसे गाऊसी या रेसिडुअल पॉलिसी) में बदलना, जिससे रिफाइनमेंट की क्षमता लुप्त हो जाती है।
स्केलर वेटिंग (Scalar weighting): क्रिटिक के एक्शन ग्रेडिएंट को पूरी तरह से त्याग देना और केवल स्केलर वैल्यू अनुमानों का उपयोग करना, जिससे ग्रेडिएंट-आधारित अनुकूलन की दक्षता समाप्त हो जाती है।

लेखक इस प्रचलित धारणा को चुनौती देते हैं कि पुनरावृत्ति जनरेशन ही अस्थिरता का मूल कारण है। इसके बजाय, वे वैनिला सैंपलिंग रणनीति (विशेष रूप से फ्लो-मैचिंग में उपयोग किया जाने वाला मानक यूलर ODE सॉल्वर) को बाधा (bottleneck) के रूप में पहचानते हैं। व्यवहार क्लोनिंग के लिए डिज़ाइन की गई यह रणनीति, जो एक स्थिर वितरण को पुनर्गठित करने के लिए है, RL फाइन-ट्यूनिंग के दौरान आवश्यक गतिशील, वैल्यू-ड्रिवन मोड-शिफ्टिंग (mode-shifting) को संभालने में विफल रहती है।

कार्यप्रणाली: VINE (वैल्यू-ग्रेडिएंट इटरेटिव नॉइज़ एक्सप्लोरेशन)

यह शोध पत्र VINE प्रस्तावित करता है, जो एक RL-उन्मुख सैंपलिंग विधि है जिसे फ्लो-मैचिंग पॉलिसीज़ के एंड-टू-एंड वैल्यू-ग्रेडिएंट ऑप्टिमाइज़ेशन को बिना उनके पुनरावृत्ति ढांचे (iterative structure) से समझौता किए, स्थिर बनाने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र (Core Mechanism)

मानक फ्लो-मैचिंग सैंपलर के विपरीत, जो एक प्रारंभिक शोर नमूने ( $x_0$ ) से अंतिम एक्शन ( $x_K$ ) तक एक एकल नियतात्मक प्रक्षेपवक्र (deterministic trajectory) का पालन करता है, VINE प्रत्येक डीनोइज़िंग स्टेप पर एक नया इंटरपोलेशन स्टेट पुनर्गठित करता है।

पुनर्गठित इंटरपोलेशन (Reconstructed Interpolation): प्रत्येक चरण $k$ पर, केवल पिछले चरण के आधार पर स्थिति को अपडेट करने के बजाय, VINE एक नया नॉइजी इंटरमीडिएट स्टेट $\hat{x}_k$ को पुनर्गठित करने के लिए ताज़ा गाऊसी शोर ( $z_k$ ) इंजेक्ट करता है:
$\hat{x}_k = t_k \hat{a}_k + (1 - t_k) z_k$
जहाँ $\hat{a}_k$ वर्तमान एक्शन अनुमान है और $t_k$ टाइम शेड्यूल है।
इटरेटिव एंडपॉइंट प्रेडिक्शन (Iterative Endpoint Prediction): इसके बाद वेग क्षेत्र (velocity field) $v_\theta$ को इस पुनर्गठित स्टेट पर लागू किया जाता है ताकि अगला एक्शन अनुमान प्राप्त किया जा सके:
$\hat{a}_{k+1} = \hat{x}_k + (1 - t_k) v_\theta(\hat{x}_k, t_k; s)$
स्थिर बैकप्रोपैगेशन (Stable Backpropagation): यह प्रक्रिया वैल्यू-ग्रेडिएंट प्रसार के लिए एक स्थिर, डिफरेंशिएबल पथ बनाती है। प्रत्येक चरण में स्थानीय स्तर पर ताज़ा शोर इंजेक्ट करके, यह विधि स्टोकेस्टिसिटी (stochasticity) को पूरे प्रक्षेपवक्य को निर्धारित करने वाले एकल प्रारंभिक शोर नमूने के बजाय, एक संरचित स्थानीय अन्वेषण (local exploration) में बदल देती है।

अनुकूलता (Compatibility)

VINE को प्री-ट्रेन्ड फ्लो-मैचिंग पॉलिसीज़ के साथ संगत होने के लिए डिज़ाइन किया गया है। इसके लिए वेलोसिटी नेटवर्क को फिर से प्रशिक्षित करने या जनरेटिव ऑब्जेक्टिव को संशोधित करने की आवश्यकता नहीं है। नेटवर्क क्वेरीज़ मूल फ्लो-मैचिंग ट्रेनिंग सेमेटिक्स (नॉइजी इंटरपोलेशन स्टेट को इनपुट करना) के अनुरूप रहती हैं, जिसका अर्थ है कि VINE को केवल सैंपलर को संशोधित करके लागू किया जा सकता है।

मुख्य योगदान (Key Contributions)

अस्थिरता के स्रोत का पुनर्निर्धारण: शोध पत्र पहचानता है कि जनरेटिव पॉलिसीज़ के लिए वैल्यू-ग्रेडिएंट RL में अस्थिरता सैंपलिंग रणनीति के मिसअलाइनमेंट (misalignment) से आती है, न कि पुनरावृत्ति जनरेशन प्रक्रिया से।
VINE सैंपलिंग एल्गोरिदम: एक नवीन सैंपलिंग विधि जो प्रत्येक चरण पर इंटरपोलेशन स्टेट को पुनर्गठित करती है, जिससे पूर्ण डीनोइज़िंग चेन (प्रयोगों में 10 चरण) के माध्यम से स्थिर एंड-टू-एंड बैकप्रोपैगेशन संभव होता है।
अभिव्यंजना का संरक्षण: पूर्ववर्ती विधियों के विपरीत, VINE फ्लो-मैचिंग की मल्टीमॉडल मॉडलिंग और इटरेटिव रिफाइनमेंट क्षमताओं को बनाए रखता है और कुशल वैल्यू-ग्रेडिएंट ऑप्टिमाइज़ेशन का समर्थन करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने OGBench ऑफलाइन RL बेंचमार्क (8 डोमेन में 40 कार्य) और एक वास्तविक दुनिया के ऑनलाइन RL सॉकेट इंसर्शन कार्य पर VINE का मूल्यांकन किया।

ऑफलाइन RL (OGBench): VINE ने अत्याधुनिक (state-of-the-art) प्रदर्शन प्राप्त किया, जिसने ReBRAC, FQL, QAM और विभिन्न "थ्रू द चेन" (Through the Chain) एवं "अराउंड द चेन" (Around the Chain) विधियों सहित प्रतिनिधि बेसलाइन्स को पीछे छोड़ दिया। इसने विशेष रूप से लॉन्ग-होरिज़न नेविगेशन डोमेन (जैसे antmaze-giant, humanoidmaze-large) में महत्वपूर्ण लाभ दिखाया।
वास्तविक दुनिया का ऑनलाइन RL: एक प्लग इंसर्शन कार्य में, जिसमें सटीक कॉन्टैक्ट-रिच कंट्रोल की आवश्यकता होती है, VINE ने सबसे कम फाइन-ट्यूनिंग समय (20 मिनट) और सबसे कम मानव-हस्तक्षेप अनुपात (19.2%) के साथ 100% सफलता दर (20/20 परीक्षण) प्राप्त की। इसके विपरीत, SAC-Flow जैसे बेसलाइन्स सफल पॉलिसी सीखने में विफल रहे, और अन्य को बार-बार मानवीय हस्तक्षेप की आवश्यकता पड़ी।
एब्लेशन स्टडीज (Ablation Studies):
- ग्रेडिएंट स्थिरता: VINE ने मानक यूलर सैंपलर की तुलना में काफी छोटे और अधिक स्थिर बैकप्रोपैगेटेड ग्रेडिएंट्स प्रदर्शित किए, जहाँ बड़े ग्रेडिएंट स्पाइक्स अक्सर ऑप्टिमाइज़ेशन विफलता से जुड़े थे।
- इटरेटिव रिफाइनमेंट: डीनोइज़िंग स्टेप्स ( $K$ ) की संख्या को बदलते हुए प्रयोगों ने दिखाया कि जबकि शुरुआती चरण मोटे प्रस्ताव (coarse proposals) प्रदान करते हैं, बाद के रिफाइनमेंट स्टेप्स खराब शुरुआती एक्शन को कार्य-पूर्ण एक्शन में बदलने के लिए आवश्यक हैं, जो पूर्ण इटरेटिव चेन की आवश्यकता की पुष्टि करते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि VINE जनरेटिव पॉलिसीज़ की अभिव्यंजना और वैल्यू-ग्रेडिएंट RL की स्थिरता के बीच के मौलिक ट्रेड-ऑफ को हल करता है। पॉलिसी आर्किटेक्चर या ऑप्टिमाइज़ेशन ऑब्जेक्टिव के बजाय सैंपलिंग प्रक्रिया को पुनर्गठित करके, VINE सक्षम बनाता है:

स्थिर एंड-टू-एंड ऑप्टिमाइज़ेशन: ट्रेनिंग कोलैप्स के बिना मल्टी-स्टेप जनरेटिव प्रक्रियाओं के माध्यम से पूर्ण बैकप्रोपैगेशन।
क्षमताओं का कोई त्याग नहीं: मल्टीमॉडल मॉडलिंग और इटरेटिव रिफाइनमेंट का संरक्षण जो जटिल रोबोटिक मैनिपुलेशन के लिए जनरेटिव पॉलिसीज़ को प्रभावी बनाता है।
व्यावहारिक प्रयोज्यता: ऑफलाइन बेंचमार्क से वास्तविक दुनिया के रोबोटिक मैनिपुलेशन कार्यों में सफल स्थानांतरण, जो भौतिक वातावरण में मजबूती (robustness) को प्रदर्शित करता है।

लेखक VINE को जनरेटिव कंट्रोल पॉलिसीज़ को सुदृढीकरण शिक्षण के साथ स्केल करने की दिशा में एक मौलिक कदम के रूप में प्रस्तुत करते हैं, यह सुझाव देते हुए कि भविष्य के कार्य इस दृष्टिकोण को बड़े फाउंडेशन मॉडल्स और वेरिएंट RL एल्गोरिदम तक विस्तारित कर सकते हैं।