🤖 machine learning

OGPO: Sample Efficient Full-Finetuning of Generative Control Policies

यह शोध पत्र OGPO को प्रस्तुत करता है, जो एक सैंपल-एफिशिएंट ऑफ-पॉलिसी एल्गोरिदम है जो विविध रोबोटिक कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करने के लिए जनरेटिव कंट्रोल पॉलिसियों की फुल-फाइनट्यूनिंग को सक्षम बनाता है, जिसमें विशेषज्ञ डेटा के बिना खराब-इनिशियलाइज्ड पॉलिसियों को फाइन-ट्यून करना भी शामिल है, जो क्रिटिक ओवर-एक्सप्लॉइटेशन को कम करने के लिए संशोधित PPO ऑब्जेक्टिव्स और व्यावहारिक स्टेबलाइजर्स का लाभ उठाता है।

मूल लेखक: Sarvesh Patil, Mitsuhiko Nakamoto, Manan Agarwal, Shashwat Saxena, Jesse Zhang, Giri Anantharaman, Cleah Winston, Chaoyi Pan, Douglas Chen, Nai-Chieh Huang, Zeynep Temel, Oliver Kroemer, Sergey Levine

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sarvesh Patil, Mitsuhiko Nakamoto, Manan Agarwal, Shashwat Saxena, Jesse Zhang, Giri Anantharaman, Cleah Winston, Chaoyi Pan, Douglas Chen, Nai-Chieh Huang, Zeynep Temel, Oliver Kroemer, Sergey Levine, Abhishek Gupta, Hongkai Da, Paarth Shah, Max Simchowitz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक रोबोट है जिसने इंसानों को काम करते देख उसे सीखा है, ठीक वैसे ही जैसे एक छात्र ने किसी पाठ्यपुस्तक को रट लिया हो। यह रोबोट एक "जेनरेटिव कंट्रोल पॉलिसी" (GCP) का उपयोग करता है। इस GCP को केवल निर्देशों के एक साधारण सेट के रूप में नहीं, बल्कि एक रचनात्मक कलाकार के रूप में सोचें जो एक धुंधले स्केच से शुरू करके, उसे तब तक स्पष्ट करने के लिए परिष्कृत करता है जब तक कि वह साफ न हो जाए, जैसे कि वह कदम-दर-कदम एक चित्र बना रहा हो।

समस्या यह है कि यह "कलाकार" बहुत कठोर है। यदि वास्तविक दुनिया थोड़ी भी बदल जाती है (जैसे कि एक कप दो इंच बाईं ओर खिसक जाता है), तो रोबोट विफल हो सकता है क्योंकि वह ठीक उसी चीज़ पर अड़ा रहता है जो उसने पाठ्यपुस्तक में देखी थी। इसे ठीक करने के लिए, हमें रोबोट को प्रयास और त्रुटि (Reinforcement Learning) के माध्यम से सिखाने की आवश्यकता है। लेकिन ऐसा करना आमतौर पर बहुत महंगा होता है: आपको रोबोट को हजारों बार शारीरिक रूप से प्रयास करने, विफल होने और टकराने (crash) के लिए छोड़ना पड़ता है ताकि वह सीख सके।

पेश है OGPO (ऑफ-पॉलिसी जेनरेटिव पॉलिसी ऑप्टिमिज़ेशन)।

यह शोध पत्र OGPO को इस रोबोट को सिखाने के एक अत्यंत कुशल तरीके के रूप में प्रस्तुत करता है, जिससे हजारों शारीरिक क्रैश की आवश्यकता नहीं पड़ती। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. दो-चरणीय प्रक्रिया: "सपना" बनाम "वास्तविकता"

लेखकों ने महसूस किया कि रोबोट का "कलाकार" दो परतों में काम करता है:

वास्तविकता की परत (पर्यावरण): रोबोट का वास्तविक दुनिया में अपने हाथ को हिलाना। यह धीमा, महंगा और जोखिम भरा है (यह चीजों को तोड़ सकता है)।
सपनों की परत (डिनोइजिंग): रोबोट की आंतरिक मानसिक प्रक्रिया जहाँ वह शोर (noise) से एक स्पष्ट योजना में सुधार करते हुए क्रिया की कल्पना करता है। यह पूरी तरह से गणनात्मक है—यह कंप्यूटर के मस्तिष्क के भीतर होता है और यह मुफ्त और त्वरित है।

पिछले अधिकांश तरीकों ने सीधे "वास्तविकता" की परत से सीखने की कोशिश की, जो धीमी है। OGPO चतुर है क्योंकि यह दोनों के बीच के संबंध को काट देता है। यह रोबोट को सस्ते "सपनों" की परत से सीखने देता है, लेकिन एक "जज" (निर्णायक) का उपयोग करता है जो उसे बताता है कि सपना अच्छा था या नहीं।

2. "जज" (द क्रिटिक)

OGPO एक अलग "जज" (एक न्यूरल नेटवर्क जिसे क्रिटिक कहा जाता है) रखता है जिसने वास्तविक दुनिया में रोबोट को विफल होते और सफल होते देखा है।

जब रोबोट "सपनों" की परत में होता है, तो वह कई अलग-अलग संभावित क्रियाएं उत्पन्न करता है (जैसे कि एक कलाकार एक पेंटिंग के 32 अलग-अलग संस्करणों का स्केच बनाता है)।
जज इन स्केचों को देखता है और कहता है, "यह वाला काम करेगा," या "यह वाला टकरा जाएगा।"
रोबोट फिर जज के फीडबैक के आधार पर अपनी "कलाकार" शैली को अपडेट करता है, बिना वास्तव में अपने हाथ को दोबारा हिलाए उन विशिष्ट प्रयासों के लिए।

यह शतरंज के खिलाड़ी के अभ्यास करने जैसा है जो एक ग्रैंडमास्टर कोच के खिलाफ अभ्यास कर रहा है। खिलाड़ी अपने दिमाग में 100 अलग-अलग चालों की कल्पना कर सकता है, और कोच कहता है, "चाल A खराब है, चाल B बेहतरीन है।" खिलाड़ी बिना 100 वास्तविक खेल खेले तुरंत सीख जाता है।

3. "फुल-फाइनट्यूनिंग" का जादू

कुछ पुराने तरीकों ने रोबोट को ठीक करने के लिए केवल "सपनों" के बहुत पहले चरण को ट्यून करने की कोशिश की (जैसे कि प्रारंभिक स्केच को बदलना) या ऊपर एक छोटा "सुधार" स्तर जोड़ने की कोशिश की।

OGPO अलग है। यह पूरी कलात्मक प्रक्रिया को अपडेट करता है। यह रोबोट को बताता है, "न केवल आपका अंतिम पेंटिंग गलत था, बल्कि आपका पहला स्केच, आपका दूसरा शेडिंग, और आपकी तीसरी रेखा भी थोड़ी गलत थी।"
यह PPO (AI को सिखाने का एक मानक तरीका) का उपयोग करके ऐसा करता है, लेकिन इसे इस तरह अनुकूलित किया गया है कि यह "सपनों" के पूरे क्रम को एक साथ देख सके।

4. यह एक बड़ी बात क्यों है (परिणाम)

शोध पत्र का दावा है कि OGPO तीन कारणों से एक गेम-चेंजर है:

यह अविश्वसनीय रूप से सैंपल-एफिशिएंट है: यह अन्य तरीकों की तुलना में बहुत तेजी से सीखता है क्योंकि यह पुराने डेटा का पुन: उपयोग करता है और अधिकांश सीख "सपनों" (गणना) में करता है न कि "वास्तविकता" (शारीरिक गति) में।
यह खराब शुरुआती स्थितियों के साथ भी काम करता है: भले ही रोबोट एक ऐसी पॉलिसी के साथ शुरू करे जो केवल 50% समय सफल होती है (या सिर्फ "ठीक-ठाक" होती है), OGPO इसे बिना किसी नए विशेषज्ञ मानव प्रदर्शन के लगभग 100% सफलता तक पहुँचा सकता है। यह पूरी तरह से अपनी गलतियों और सफलताओं से सीखता है।
यह जटिल कार्यों को संभालता है: शोध पत्र ने कठिन कार्यों पर इसका परीक्षण किया जैसे कि:
- एक छेद में पेग डालना (उच्च सटीकता की आवश्यकता होती है)।
- एक रैक पर उपकरण लटकाना (लंबे, बहु-चरणीय नियोजन की आवश्यकता होती है)।
- दो हाथों से वस्तुओं को हिलाना (तालमेल की आवश्यकता होती है)।
- कुशल हस्त हेरफेर (Dexterous hand manipulation) (जैसे कि एक इंसान द्वारा पेन चलाना)।

5. "OGPO+" अपग्रेड

लेखकों ने यह भी पाया कि बुनियादी OGPO कभी-कभी "अति-आत्मविश्वासी" हो जाता है या एक खराब जज से भ्रमित हो जाता है। इसलिए, उन्होंने OGPO+ बनाया, जो कुछ सुरक्षा जाल जोड़ता है:

सफलता बफर (Success Buffer): यह केवल उन समयों की एक विशेष नोटबुक रखता है जब रोबोट सफल हुआ था और रोबोट को उन अच्छे क्षणों को याद रखने के लिए मजबूर करता है, जिससे यह सुनिश्चित होता है कि वह तेज होने की कोशिश में सफल होने के तरीके को न भूल जाए।
रूढ़िवादी निर्णय (Conservative Judging): यह जज को शुरू में थोड़ा निराशावादी बनाता है, ताकि रोबोट किसी ऐसी "जीत" के बारे में उत्साहित न हो जो वास्तव में केवल एक भाग्यशाली संयोग थी।

सारांश

संक्षेप में, OGPO रोबोट नियंत्रकों के लिए एक नया प्रशिक्षण तरीका है जो रोबोट की आंतरिक "सोचने की प्रक्रिया" को एक सस्ते, तेज़ खेल के मैदान के रूप में मानता है। यह वास्तविक दुनिया के डेटा पर प्रशिक्षित एक "जज" का उपयोग करता है जो रोबोट के काल्पनिक प्रयासों की आलोचना करता है, जिससे रोबोट बहुत कम शारीरिक प्रयासों के साथ जटिल, उच्च-सटीक कौशल सीख सकता है। यह एक पियानो वादक को एक संगीत कार्यक्रम बजाना सिखाने जैसा है, जिसमें उन्हें एक कंडक्टर द्वारा उनके मानसिक चित्र को सही करने के दौरान अपने दिमाग में अभ्यास करने के लिए कहा जाता है, बजाय इसके कि उन्हें हजारों बार एक वास्तविक पियानो पर गलत चाबियाँ दबाने के लिए मजबूर किया जाए।

तकनीकी सारांश: OGPO – ऑफ-पॉलिसी जनरेटिव पॉलिसी ऑप्टिमाइज़ेशन

समस्या विवरण (Problem Statement)

स्वायत्त रोबोटिक हेरफेर (Autonomous robot manipulation) के लिए ऐसी नीतियों की आवश्यकता होती है जो पर्यावरणीय विविधताओं के प्रति सुदृढ़ (robust) हों और प्रशिक्षण के लिए सैंपल-कुशल (sample-efficient) भी हों। जबकि जनरेटिव कंट्रोल पॉलिसियाँ (GCPs)—जैसे कि डिफ्यूजन और फ्लो-आधारित मॉडल—रोबोट लर्निंग के लिए शक्तिशाली पैरामीटराइजेशन के रूप में उभरी हैं, उन्हें रीइन्फोर्समेंट लर्निंग (RL) के माध्यम से फाइन-ट्यून करना महत्वपूर्ण चुनौतियाँ पेश करता है। मौजूदा विधियाँ सैंपल दक्षता और नीति सुधार की सीमा के बीच एक ट्रेड-ऑफ का सामना करती हैं:

आंशिक फाइनट्यूनिंग (Partial Finetuning): वे विधियाँ जो केवल प्रारंभिक शोर (noise) को निर्देशित करती हैं या रेसिडुअल सुधार सीखती हैं, वे सैंपल-कुशल हैं लेकिन नए व्यवहारों को खोजने या खराब तरीके से इनिशियलाइज़ की गई नीतियों को सुधारने में संघर्ष करती हैं।
पूर्ण फाइनट्यूनिंग (Full Finetuning): वे विधियाँ जो पूरी जनरेटिव प्रक्रिया को अपडेट करती हैं (जैसे, DPPO), उच्च प्रदर्शन प्राप्त कर सकती हैं लेकिन वे अक्सर ऑन-पॉलिसी होती हैं, जिससे सैंपल दक्षता कम हो जाती है और डेटा लागत बढ़ जाती है।
ग्रेडिएंट अस्थिरता (Gradient Instability): Q-वैल्यू को अधिकतम करने के लिए GCP के पुनरावृत्ति डिनोइजिंग स्टेप्स (iterative denoising steps) के माध्यम से सीधे बैकप्रोपैगेशन करना अक्सर एक्सप्लोडिंग ग्रेडिएंट्स या गलत एक्शन ग्रेडिएंट्स का कारण बनता है, विशेष रूप से कॉन्टैक्ट-रिच कार्यों में।

मूल समस्या यह है कि कैसे व्यापक GCPs की सैंपल-कुशल पूर्ण-नीति फाइनट्यूनिंग (sample-efficient full-policy finetuning) प्राप्त की जाए, बिना नए व्यवहारों को खोजने की क्षमता को खोए या भारी मात्रा में विशेषज्ञ डेटा की आवश्यकता के बिना।

कार्यप्रणाली: OGPO और OGPO+

यह शोध पत्र ऑफ-पॉलिसी जनरेटिव पॉलिसी ऑप्टिमाइज़ेशन (OGPO) प्रस्तावित करता है, जो पर्यावरण इंटरैक्शन की उच्च लागत को एक्शन ट्राजेक्टरीज के सस्ते कम्प्यूटेशनल जनरेशन से अलग करता है।

1. द्वि-स्तरीय MDP फॉर्मूलेशन (Bi-Level MDP Formulation)

OGPO एक द्वि-स्तरीय मार्कोव निर्णय प्रक्रिया (MDP) ढांचे को अपनाता है:

बाहरी MDP ( $M_{ENV}$ ): यह पर्यावरण गतिकी (environment dynamics) का प्रतिनिधित्व करता है जहाँ क्रियाएं निष्पादित की जाती हैं और पुरस्कार प्राप्त होते हैं।
आंतरिक MDP (डिनोइजिंग MDP): यह प्रारंभिक शोर $a_{t,K}$ से एक्शन $a_{t,0}$ उत्पन्न करने के भीतर GCP (जैसे, फ्लो या डिफ्यूजन स्टेप्स) के पुनरावृत्ति कम्प्यूटेशनल स्टेप्स का प्रतिनिधित्व करता है।

2. विकेंदृत अनुकूलन रणनीति (Decoupled Optimization Strategy)

पूर्ववर्ती ऑन-पॉलिसी विधियों (जैसे, DPPO) के विपरीत जो पूरे द्वि-स्तरीय MDP को संयुक्त रूप से अनुकूलित करती हैं, OGPO दोनों स्तरों के बीच के संबंध को काट देता है:

ऑफ-पॉलिसी क्रिटिक लर्निंग: एल्गोरिदम पर्यावरण ट्रांजिशन के रिप्ले बफर पर मानक ऑफ-पॉलिसी टेम्पोरल डिफरेंस (TD) लर्निंग का उपयोग करके बाहरी पर्यावरण MDP के लिए एक Q-फंक्शन ( $Q_{\phi}$ ) सीखता है। यह पर्यावरण डेटा का पुन: उपयोग करके उच्च सैंपल दक्षता सुनिश्चित करता है।
ऑन-पॉलिसी पॉलिसी एक्सट्रैक्शन: de laing (denoising) ट्राजेक्टोरी को एक स्टेट "कॉन्टेक्स्ट" के "रिस्पॉन्स" के रूप में मानकर, यह Q-फंक्शन के माध्यम से ग्रेडिएंट्स को बैकप्रोपैगेट करने के बजाय (जो अस्थिर है), आंतरिक डिनोइजिंग MDP के लिए अंतिम निष्पादित एक्शन के सीखे गए Q-वैल्यू को एक टर्मिनल रिवॉर्ड के रूप में उपयोग करता है।
PPO-शैली का अनुकूलन: एल्गोरिदम डिनोइजिंग ट्राजेक्टरीज पर प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) ऑब्जेक्टिव लागू करता है। यह डिनोइजिंग चेन पर एक एनियल्ड इम्पॉर्टेंस सैंपलिंग (AIS) अनुपात की गणना करता है और पॉलिसी को एक लक्षित पॉलिसी के सापेक्ष एडवांटेज को अधिकतम करने के लिए अनुकूलित करता है। यह Q-फंक्शन और संपूर्ण GCP चेन के माध्यम से अंतर (differentiation) करने से बचता है।

3. प्रमुख तकनीकी घटक

मल्टीपल ट्राजेक्टोरी सैंपलिंग: LLMs में GRPO से प्रेरित होकर, OGPO रिप्ले बफर में प्रत्येक स्टेट के लिए समानांतर में कई डिनोइजिंग ट्राजेक्टरीज को सैंपल करता है। यह एडवांटेज एस्टीमेशन में वेरिएंस को कम करने की अनुमति देता है और एक अलग वैल्यू नेटवर्क की आवश्यकता को समाप्त करता है।
डीबायस्ड नॉइज़ इंजेक्शन (Debiased Noise Injection): फ्लो-आधारित पॉलिसियों के लिए, OGPO स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) इन्फरेंस प्रक्रिया में एक सुधार पेश करता है। यह सुनिश्चित करता है कि अन्वेषण (exploration) के लिए शोर जोड़ना (ताकि लाइकलीहुड्स सिंगुलर न हों) एक्शन के मार्जिनल डिस्ट्रीब्यूशन को शिफ्ट नहीं करता है, जिससे मूल फ्लो मॉडल के साथ पॉलिसी का संरेखण बना रहता है।
OGPO+ वेरिएंट्स: क्रिटिक ओवर-एक्सप्लोइटेशन और ऑफलाइन-टू-ऑनलाइन ट्रांज़िशन के दौरान प्रदर्शन में गिरावट को संबोधित करने के लिए, लेखक OGPO+ पेश करते हैं:
- सक्सेस बफर रेगुलराइजेशन (Success Buffer Regularization): ज्ञात अच्छे व्यवहारों को स्थिर करने के लिए केवल सफल ट्राजेक्टरीज का उपयोग करके एक बिहेवियर क्लोनिंग (BC) लॉस टर्म जोड़ता है।
- कंजर्वेटिव एडवांटेजेस (Conservative Advantages - OGPO+CA): एक कंजर्वेटिव एडवांटेज एस्टीमेटर का उपयोग करता है जो पॉलिसी को केवल तभी अपडेट करता है जब क्रिटिक्स का एन्सेम्बल एडवांटेज के साइन (sign) पर सहमत होता है, जिससे आउटलायर Q-वैल्यू अनुमानों का प्रभाव कम होता है।
- $\chi^2$ रेगुलराइजेशन (OGPO+ $\chi^2$ ): वर्तमान पॉलिसी और धीरे-धीरे अपडेट की जाने वाली रेफरेंस पॉलिसी के बीच $\chi^2$ डायवर्जेंस पर आधारित एक रेगुलराइजेशन टर्म जोड़ता है ताकि अपूर्ण क्रिटिक्स के ओवर-ऑप्टिमाइज़ेशन को रोका जा सके, विशेष रूप से पिक्सेल-आधारित डोमेन में।

मुख्य योगदान (Key Contributions)

एल्गोरिद्मिक नवाचार: OGPO का परिचय, जो ऑफ-पॉलिसी क्रिटिक लर्निंग को ऑन-पॉलिसी PPO-शैली के एक्सट्रैक्शन के साथ जोड़कर GCPs की सैंपल-कुशल पूर्ण-नीति फाइनट्यूनिंग को सक्षम करने वाली पहली विधि है।
विकेंदृत अनुकूलन (Decoupled Optimization): एक नवीन दृष्टिकोण जो GCPs में बैकप्रोपैगेशन थ्रू टाइम (BPTT) की अस्थिरता से बचने के लिए महंगे पर्यावरण स्टेप्स बनाम सस्ते कम्प्यूटेशनल डिनोइजिंग स्टेप्स की विषमता का लाभ उठाता है।
मजबूत वेरिएंट्स (OGPO+): प्रशिक्षण को स्थिर करने, क्रिटिक ओवर-एक्सप्लोइटेशन को कम करने और बिना किसी विशेषज्ञ डेटा के रिप्ले बफर के, खराब इनिशियलाइज़्ड नीतियों को फाइन-ट्यून करने में सक्षम बनाने के लिए मॉडुलर सुधारों (Success Buffer, Conservative Advantages, $\chi^2$ Regularization) का विकास।
व्यापक अनुभवजन्य सत्यापन (Comprehensive Empirical Validation): विस्तृत प्रयोग जो उच्च-परिशुद्धता इंसर्शन, लॉन्ग-होरिजन मैनिपुलेशन और डेक्सट्रस कंट्रोल वाले विविध कार्यों में अत्याधुनिक बेसलाइन्स (DPPO, DSRL, EXPO, और QC सहित) को पछाड़ते हुए OGPO का प्रदर्शन करते हैं।

परिणाम (Results)

शोध पत्र में Robomimic (SQUARE, TOOLHANG, TRANSPORT), Franka Kitchen, Adroit Hand, और LIBERO सहित कई बेंचमार्क पर OGPO का मूल्यांकन किया गया है।

सैंपल दक्षता: OGPO+ ऑन-पॉलिसी बेसलाइन्स जैसे DPPO की तुलना में काफी कम पर्यावरण इंटरैक्शन के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है। Robomimic कार्यों पर, OGPO+ DPPO की तुलना में लगभग 10 गुना तेजी से अंतिम सफलता दर तक पहुँच जाता है।
कार्य प्रदर्शन: OGPO+ चुनौतीपूर्ण कार्यों पर उच्च सफलता दर प्राप्त करता है, जिसमें उच्च-परिशुद्धता इंसर्शन (TOOLHANG) और लॉन्ग-होरिजन बाइमैनुअल ट्रांसफर (TRANSPORT) शामिल हैं, जहाँ पार्शियल फाइनट्यूनिंग विधियाँ (DSRL, EXP0) अक्सर विफल या अस्थिर होती हैं।
जीरो-एक्सपर्ट डेटा क्षमता: अनूठे रूप से, OGPO+ बिना किसी विशेषज्ञ डेटा के, केवल स्वयं-संग्रहित अनुभव पर भरोसा करते हुए, खराब तरीके से इनिशियलाइज्ड बिहेवियर क्लोनिंग पॉलिसियों को पूर्ण कार्य सफलता के करीब फाइन-ट्यून कर सकता है।
अन्वेषण (Exploration): विज़ुअलाइज़ेशन (UMAP) इंगित करते हैं कि OGPO मैनिफोल्ड एक्सपेंशन (manifold expansion) को प्रोत्साहित करता है, जिससे पॉलिसी प्रारंभिक प्रदर्शन डेटा के सपोर्ट से परे उच्च-वैल्यू क्षेत्रों का पता लगा पाती है, जबकि QC और DSRL जैसे बेसलाइन्स प्रारंभिक वितरण के करीब रहने की प्रवृत्ति रखते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि OGPO रोबोटिक्स के लिए जनरेटिव पॉलिसियों को अनुकूलित करने के तरीके में एक मौलिक बदलाव का प्रतिनिधित्व करता है। नीति निर्माण प्रक्रिया को महंगे पर्यावरण इंटरैक्शन से अलग करके, OGPO ऑन-पॉलिसी विधियों की सैंपल अक्षमता को दूर करता है और पूर्ण-नीति अपडेट की अभिव्यंजक शक्ति को बनाए रखता है।

लेखक इस बात पर जोर देते हैं कि उनकी विधि उन चुनिकी ज्ञात दृष्टिकोणों में से एक है जो केवल स्वयं-संग्रहित डेटा का उपयोग करके GCPs को शून्य से (या खराब इनिशियलाइजेशन से) उच्च सफलता दर तक फाइन-ट्यून कर सकती है, जिसके लिए विशेषज्ञ प्रदर्शनों के बड़े ऑफलाइन डेटासेट की आवश्यकता नहीं है। यह क्षमता एक ऐसे भविष्य की ओर संकेत करती है जहाँ रोबोटिक पॉलिसियों को न्यूनतम मानवीय हस्तक्षेप के साथ तैनाती के दौरान स्वायत्त रूप से सुधारा जा सकता है। यह कार्य सुझाव देता है कि सफलता की कुंजी केवल जनरेटिव मॉडल आर्किटेक्चर में नहीं है, बल्कि एक्सट्रैक्शन मैकेनिज्म में है (BPTT या स्टीयरिंग के बजाय डिनोइजिंग चेन्स पर PPO), जो जटिल, कॉन्टैक्ट-रिच वातावरण में स्थिर, अभिव्यंजक और सैंपल-कुशल लर्निंग की अनुमति देता है।