💻 computer science

Posterior Optimization with Clipped Objective for Bridging Efficiency and Stability in Generative Policy Learning

यह शोध पत्र POCO को प्रस्तुत करता है, जो एक सिद्धांत-आधारित RL फ्रेमवर्क है जो जनरेटिव रोबोटिक पॉलिसियों को फाइन-ट्यून करने में दक्षता और स्थिरता के बीच सेतु बनाता है, जो पॉलिसी इम्प्रूवमेंट को क्लिप्ड ऑब्जेक्टिव के साथ एक पोस्टीरियर इन्फरेंस समस्या के रूप में स्वरूपित करता है, जिससे मजबूत ऑफलाइन-टू-ऑनलाइन अनुकूलन सक्षम होता है जो सिमुलेशन बेंचमार्क और वास्तविक दुनिया के कॉन्टैक्ट-रिच कार्यों दोनों पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Yuhui Chen, Haoran Li, Zhennan Jiang, Yuxing Qin, Yuxuan Wan, Weiheng Liu, Dongbin Zhao

प्रकाशित 2026-04-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuhui Chen, Haoran Li, Zhennan Jiang, Yuxing Qin, Yuxuan Wan, Weiheng Liu, Dongbin Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक रोबोट को बिना नुकसान पहुँचाए सिखाना

कल्पना कीजिए कि आपके पास एक रोबोटिक हाथ है जो पहले से ही वस्तुओं को उठाने में काफी अच्छा है। इसने यह इंसानों को ऐसा करते हुए हजारों वीडियो देखकर सीखा है (इसे प्री-ट्रेनिंग कहा जाता है)। अब, आप उसे एक नया, थोड़ा कठिन काम सिखाना चाहते हैं, जैसे कि यूएसबी ड्राइव को स्क्रू करना या कंप्यूटर चिप को असेंबल करना।

आप चाहते हैं कि रोबोट असली दुनिया में चीज़ों को आज़माकर सीखे (रिनफोर्समेंट लर्निंग)। लेकिन यहाँ एक समस्या है:

"जंगली" दृष्टिकोण (The "Wild" Approach): यदि आप रोबोट को तेज़ी से सीखने के लिए बेतरतीब ढंग से चीज़ें आज़माने देते हैं, तो वह गलती से यूएसबी ड्राइव को तोड़ सकता है, रोबोट को जाम कर सकता है, या वह उन बुनियादी चीज़ों को भूल सकता है जो उसने चीज़ों को धीरे से पकड़ने के बारे में सीखी थीं। इसे कैटास्ट्रोफिक कोलैप्स (विनाशकारी पतन) कहा जाता है।
"सुरक्षित" दृष्टिकोण (The "Safe" Approach): यदि आप रोबोट को केवल वही करने के लिए मजबूर करते हैं जिसके बारे में वह 100% आश्वस्त है, तो वह इतना धीरे सीखता है कि एक नया काम मास्टर करने में उसे लाखों साल लग जाएंगे।

POCO एक नया तरीका है जो एक समझदार, सतर्क कोच की तरह काम करता है। यह रोबोट को अपनी गलतियों से तेज़ी से सीखने देता है, लेकिन उस पर एक "सुरक्षा हार्नेस" (safety harness) भी लगा देता है ताकि वह अपने बुनियादी कौशल को कभी न भूले या हार्डवेयर को नुकसान न पहुँचाए।

मूल समस्या: "जेनरेटिव" रोबोट

आधुनिक रोबोट जेनरेटिव मॉडल्स का उपयोग करते हैं। इन्हें केवल साधारण कैलकुलेटर के रूप में नहीं, बल्कि कलाकारों के रूप में सोचें। केवल "हाथ 5 सेमी बाईं ओर ले जाएं" जैसी गणना करने के बजाय, ये कलाकार-रोबोट काम पूरा करने के लिए पूरी मूवमेंट्स की एक श्रृंखला (समय का एक हिस्सा) की कल्पना करता है।

समस्या यह है कि इन "कलाकारों" को बदलना कठिन है। यदि आप मानक गणित (ग्रेडिएंट्स) का उपयोग करके उनके विचार बदलने की कोशिश करते हैं, तो आप अनजाने में उन्हें एक बिल्ली की तस्वीर बनाने के लिए कह सकते हैं जबकि उन्हें एक कुत्ते की तस्वीर बनानी थी। गणित बहुत जटिल हो जाता है, और रोबोट पागल हो जाता है।

POCO समाधान: "कोच और सुरक्षा जाल"

POCO इसे रोबोट के सीखने के तरीके को बदलकर हल करता है। केवल "बेहतर बनने की कोशिश करने" के बजाय, यह सीखने को एक अनुमान लगाने के खेल (इन्फरेंस) के रूप में देखता है।

1. "E-स्टेप": कोच की समीक्षा (Expectation)

कल्पना कीजिए कि रोबोट कप उठाने के कुछ अलग तरीके आज़माता है।

कोच (क्रिटिक): एक समझदार पर्यवेक्षक इन प्रयासों को देखता है। वह कहता है, "हे, वह पहला प्रयास ठीक था, लेकिन वह दूसरा शानदार था! और तीसरा तो आपदा था।"
वेटिंग (Weighting): कोच प्रत्येक प्रयास को एक "स्कोर" देता है। शानदार वाले को एक बड़ा गोल्ड स्टार मिलता है; आपदा वाले को एक लाल 'X' मिलता है।
क्लिपिंग (The Clipping - सुरक्षा जाल): यहीं जादू है। यदि कोच किसी ऐसे "शानदार" प्रयास के प्रति बहुत अधिक उत्साहित हो जाता है जो वास्तव में अजीब दिखता है (शायद रोबोट कप तोड़ने वाला है), तो POCO उस स्कोर को क्लिप (सीमित) कर देता है। यह कहता है, "ठीक है, यह बहुत अच्छा है, लेकिन चलिए बहुत ज़्यादा पागल नहीं होते। हम इसकी प्रशंसा को सीमित करेंगे ताकि रोबोट अत्यधिक प्रतिक्रिया न दे।" यह रोबोट को खतरनाक उतार-चढ़ाव करने से रोकता है।

2. "M-स्टेप": रोबोट का अभ्यास (Maximization)

अब, रोबोट कोच की प्रतिक्रिया देखता है।

इन "कलाकार" रोबोटों के लिए जटिल गणितीय सूत्रों की गणना करने के बजाय, यह बस उन अच्छे प्रयासों की नकल (imitate) करता है जिन्हें कोच ने हाइलाइट किया था।
"क्लिपिंग" सुरक्षा जाल के कारण, रोबोट केवल सुरक्षित अच्छे प्रयासों से सीखता है। वह अजीब चीज़ों से भ्रमित नहीं होता है।
यह अपनी "मसल मेमोरी" को थोड़ा बेहतर बनाने के लिए अपडेट करता है, लेकिन यह अपने मूल, सुरक्षित स्टाइल के करीब रहता है।

"ऑफलाइन-टू-ऑनलाइन" यात्रा

पेपर एक दो-चरणीय प्रशिक्षण प्रक्रिया का वर्णन करता है:

ऑफलाइन (कक्षा में): रोबोट कक्षा में बैठकर इंसानों के वीडियो देखता है। वह बुनियादी बातें सीखता है। वह एक अच्छा छात्र है, लेकिन उसने अभी तक वास्तविक वस्तुओं को छुआ नहीं है।
ऑनलाइन (फील्ड ट्रिप): रोबोट असली दुनिया में जाता है।
- जाल (The Trap): आमतौर पर, जब कोई रोबोट असली दुनिया में जाता है, तो वह अजीब चीज़ें आज़माता है, वास्तविक दुनिया की उलझनों से भ्रमित हो जाता है, और अपनी क्लास के सबक भूल जाता है।
- POCO की तरकीब: POCO रोबोट को उसकी क्लास के पाठों से बांध कर रखता है। भले ही रोबोट नई चीज़ें आज़माता है, "सुरक्षा जाल" (क्लिप्ड ऑब्जेक्टिव) यह सुनिश्चित करता है कि वह जो पहले से जानता है उससे बहुत दूर न जाए। वह बुनियादी बातों को भूले बिना वास्तविक दुनिया से सीखता है।

यह एक बड़ी बात क्यों है?

यह "बड़े दिमाग" वाले रोबोट्स के साथ काम करता है: यह विशाल, जटिल AI मॉडल्स (जैसे कि जो भाषा और दृष्टि को समझते हैं) को शून्य से दोबारा बनाए बिना उन्हें फाइन-ट्यून कर सकता है।
यह सुरक्षित है: वास्तविक दुनिया के परीक्षणों में, रोबोट ने कंप्यूटर पार्ट्स को असेंबल करने जैसे कठिन कार्यों पर 96.7% सफलता दर हासिल की। अन्य तरीके या तो पुर्जों को तोड़ देते थे या बहुत धीरे सीखते थे।
यह कुशल है: यह "सुरक्षित" तरीकों की तुलना में बहुत तेज़ी से सीखता है क्योंकि यह नई चीज़ें आज़माने से डरता नहीं है, जब तक कि उसके पास सुरक्षा जाल मौजूद हो।

सारांश उपमा (Summary Analogy)

रोबोट को एक नौसिखिया शेफ के रूप में सोचें जिसने कुकबुक पढ़ी है (प्री-ट्रेनिंग) लेकिन उसने कभी वास्तविक भोजन नहीं बनाया है।

स्टैंडर्ड RL: आप शेफ से कहते हैं, "जाओ खाना बनाओ! अगर स्वाद अच्छा है, तो इसे जारी रखो। अगर स्वाद खराब है, तो रुक जाओ।" शेफ घबरा जाता है, रसोई जला देता है, और पानी उबालना भी भूल जाता है।
POCO: आप एक सू-शेफ (सहायक शेफ) की भूमिका निभाते हैं। नौसिखिया शेफ एक नया नुस्खा आज़माता है। आप चखते हैं।
- यदि यह अद्भुत है, तो आप कहते हैं, "ऐसा ही दोबारा करो!"
- यदि यह अजीब है, तो आप कहते हैं, "यह दिलचस्प है, लेकिन बिल्कुल ऐसा मत करो। आइए इसे थोड़ा सा बदलें।"
- क्लिपिंग: यदि शेफ 10 पाउंड नमक डालने की कोशिश करता है क्योंकि उसे लगा कि यह एक "अच्छा विचार" है, तो आप उसे धीरे से रोकते हैं और कहते हैं, "आइए बस एक चुटकी ही रखें।"
- परिणाम: शेफ तेज़ी से नए व्यंजन बनाना सीख जाता है, बिना घर जलाए या चाकू का उपयोग करना भूले।

POCO वह समझदार सू-शेफ है, जो रोबोट को सुरक्षित और कुशलतापूर्वक जटिल, वास्तविक दुनिया के कौशल सीखने की अनुमति देता है।

यहाँ पेपर "Posterior Optimization with Clipped Objective for Bridging Efficiency and Stability in Generative Policy Learning" (POCO) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रोबोटिक मैनिपुलेशन में एक महत्वपूर्ण बाधा को संबोधित करता है: एक्सप्रेसिव जेनेरेटिव पॉलिसीज़ (जैसे कि डिफ्यूजन मॉडल्स, फ्लो मैचिंग, और बड़े विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स) को रिइन्फोर्समेंट लर्निंग (RL) का उपयोग करके फाइन-ट्यून करना।

दुविधा (The Dilemma): मौजूदा RL दृष्टिकोण सैंपल एफिशिएंसी (नमूना दक्षता) और स्टेबिलिटी (स्थिरता) के बीच एक ट्रेड-ऑफ का सामना करते हैं।
- ऑफ-पॉलिसी विधियाँ (जैसे कि मानक Q-लर्निंग) सैंपल-एफिशिएंट होती हैं लेकिन अस्थिर होती हैं। जब इन्हें उच्च-आयामी "टेम्पोरल एक्शन चंक्स" (एक साथ अनुमानित किए गए एक्शन के अनुक्रमों) पर लागू किया जाता है, तो वे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) वैल्यू ओवर-एस्टीमेशन से ग्रस्त होती हैं। यह शोर वाले ग्रेडिएंट्स पैदा करता है जो प्री-ट्रेंड प्रायर्स (priors) को नष्ट कर देते हैं, जिससे कैटास्ट्रोफिक पॉलिसी कोलैप्स (नीति का विनाशकारी पतन) और भौतिक हार्डवेयर पर खतरनाक व्यवहार होता है।
- ऑन-पॉलिसी विधियाँ (जैसे PPO) ट्रस्ट रीजन के माध्यम से स्थिरता सुनिश्चित करती हैं, लेकिन वास्तविक दुनिया के निरंतर नियंत्रण (continuous control) के लिए ये अत्यधिक सैंपल-इनएफिशिएंट हैं।
लाइकलीहुड बैरियर (The Likelihood Barrier): कई उन्नत जेनेरेटिव मॉडल (जैसे फ्लो मैचिंग या डिफ्यूजन पॉलिसी) लाइकलीहुड-फ्री होते हैं, जिसका अर्थ है कि वे सटीक संभाव्यता घनत्व $p(a|s)$ की गणना नहीं कर सकते। पारंपरिक इन्फरेंस-आधारित RL विधियाँ स्पष्ट लाइकलीहुड अनुमान पर निर्भर करती हैं ताकि पोस्टीरियर का निर्माण किया जा सके, जो उन्हें इन अत्याधुनिक आर्किटेक्चर के साथ असंगत बनाती हैं।

2. कार्यप्रणाली: POCO (Methodology: POCO)

लेखक Posterior Optimization with Clipped Objective (POCO) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो पॉलिसी इम्प्रूवमेंट को लाइकलीहुड-फ्री पोस्टीरियर इन्फरेंस समस्या के रूप में पुनर्गठित करता है, जो टेम्पोरल एक्शन चंक्स के लिए विशेष रूप से तैयार किया गया है।

मुख्य वैचारिक बदलाव (Core Conceptual Shift)

डायरेक्ट पैरामीटर ऑप्टिमाइजेशन के बजाय, POCO वर्तमान पॉलिसी को एक प्रायर (prior) और Q-वैल्यूज़ को एविडेंस (evidence) के रूप में मानता है। इसका लक्ष्य एक एस्पेक्टेशन-मैक्सिमाइजेशन (E-M) प्रक्रिया का उपयोग करके एक इम्प्लिसिट पोस्टीरियर (implicit posterior) को वापस पॉलिसी में डिस्टिल करना है, बिना कभी स्पष्ट लाइकलीहुड की गणना किए।

मुख्य तकनीकी घटक (Key Technical Components)

A. टेम्पोरल एक्शन चंकिंग और पोस्टीरियर फॉर्मूलेशन (Temporal Action Chunking & Posterior Formulation)

पॉलिसी एकल स्टेप के बजाय एक्शन के अनुक्रमों (चंक्स) $\vec{a}_t$ की भविष्यवाणी करती है।
फ्रेमवर्क ट्राजेक्टरी-लेवल डाइवर्जेंस को चंक-लेवल डाइवर्जेंस में विघटित करता है, जिससे एक वेरिएशनल अपर बाउंड स्थापित होता है। यह पूरे एक्शन सीक्वेंस के अपेक्षित रिटर्न का मूल्यांकन करने के लिए एक चंक-लेवल क्रिटिक $Q_\phi(s_t, \vec{a}_t)$ का उपयोग करने की अनुमति देता है, जिससे स्पार्स रिवॉर्ड्स के लिए क्रेडिट असाइनमेंट तेज हो जाता है।

B. इमप्लिसिट E-स्टेप (Implicit E-Step - Posterior Evaluation)

चूंकि स्पष्ट लाइकलीहुड्स उपलब्ध नहीं हैं, इसलिए POCO इंपॉर्टेंस सैंपलिंग का उपयोग करके एक इम्प्लिसित पोस्टीरियर का निर्माण करता है।
यह वर्तमान पॉलिसी से $N$ कैंडिडेट एक्शन चंक्स को सैंपल करता है।
प्रत्येक कैंडिडेट को उसके Q-वैल्यू के आधार पर एक अननॉर्मलाइज्ड वेट सौंपा जाता है: $w_j = \exp(Q(s_t, \vec{a}_j)/\eta)$ ।
ये वेट्स बिना किसी संभाव्यता घनत्व (probability density) को आउटपुट किए, रिवॉर्ड-वेटेड पोस्टीरियर डिस्ट्रीब्यूशन का अनुमान लगाते हैं।

C. क्लिप्ड सरोगेट ऑब्जेक्टिव के साथ M-स्टेप (M-Step with Clipped Surrogate Objective)

M-स्टेप पॉलिसी पैरामीटर्स $\theta$ को E-स्टेप से प्राप्त वेटेड सैंपल्स के साथ मैच करने के लिए अपडेट करता है।
लाइकलीहुड-फ्री मैपिंग: लेखक KL-डाइवर्जेंस बाधा (जिसके लिए लाइकलीहुड की आवश्यकता होती है) को एक सुपरवाइज्ड लर्निंग लॉस (जैसे फ्लो मैचिंग के लिए मीन स्क्वेयर्ड एरर) में मैप करते हैं। सुपरवाइज्ड लॉस का अंतर लॉग-प्रोबेबिलिटी रेशियो का अनुमान लगाता है।
क्लिपिंग मैकेनिज्म (The "Clipped Objective"): ओवर-एस्टीमेटेड Q-वैल्यूज़ के कारण होने वाले कैटास्ट्रोफिक कोलैप्स (जो दूरस्थ, शोर वाले आउटलेर्स को फिट करने के लिए मजबूर कर सकता है) को रोकने के लिए, वेटेड सुपरवाइज्ड लॉस को एक थ्रेशोल्ड $\zeta$ $ζ$ पर क्लिप किया जाता है।
- यह प्रति अपडेट स्टेप पॉलिसी के वेक्टर फील्ड के ज्यामितीय विरूपण (geometric deformation) को सीमित करता है।
- यह सुनिश्चित करता है कि पॉलिसी केवल उन उच्च-मूल्य वाले एक्शन से ज्ञान प्राप्त करे जो वर्तमान पॉलिसी के संरचनात्मक रूप से सुरक्षित पड़ोस के भीतर रहते हैं।

D. ऑफलाइन-टू-ऑनलाइन ट्रेनिंग प्रतिमान (Offline-to-Online Training Paradigm)

ऑफलाइन प्री-ट्रेनिंग: पॉलिसी को एक्सपर्ट प्रदर्शन (रिकवरी एक्शन सहित) पर सुपरवाइज्ड लर्निंग के माध्यम से एक मजबूत प्रायर स्थापित करने के लिए इनिशियलाइज़ किया जाता है।
ऑनलाइन फाइन-ट्यूनिंग:
- क्रिटिक वार्म-अप: एक्टर को फ्रीज कर दिया जाता है जबकि चंक-लेवल क्रिटिक को ऑफलाइन डेटा पर प्रशिक्षित किया जाता है ताकि रूढ़िवादी (conservative) वैल्यू अनुमान सुनिश्चित किया जा सके।
- इटरेटिव POCO: एक्टर को अनफ्रीज किया जाता है। सिस्टम इमप्लिसिट E-स्टेप (सैंपलिंग और वेटिंग) और क्लिप्ड M-स्टेप (वेटिंग अपडेट) के बीच बारी-बारी से काम करता है।

3. मुख्य योगदान (Key Contributions)

POCO फ्रेमवर्क: एक सिद्धांतपूर्ण RL फ्रेमवर्क जो जेनेरेटिव पॉलिसी इम्प्रिवेशन को लाइकलीहुड-फ्री पोस्टीरियर इन्फरेंस समस्या के रूप में स्वरूपित करता है, जिससे फ्लो मैचिंग और डिफ्यूजन पॉलिसी का उपयोग RL में संभव हो जाता है।
स्टेबिलिटी-एफिशिएंसी ब्रिज: एक इम्प्लिसिट E-M प्रक्रिया को क्लिप्ड सरोगेट ऑब्जेक्टिव के साथ जोड़कर, POCO सैंपल एफिशिएंसी (ऑफ-पॉलिसी डेटा का उपयोग करके) प्राप्त करता है और साथ ही कैटास्ट्रोफिक पॉलिसी कोलैप्स (रूढ़िवादी रेगुलाइजेशन के माध्यम से) को रोकता है।
फाउंडेशन मॉडल्स के लिए स्केलेबिलिटी: यह विधि मॉडल-अग्नोस्टिक है और बिना किसी आर्किटेक्चरल बदलाव के बड़े पैमाने के VLA मॉडल्स (जैसे $\pi_0$ , GR00T) तक स्केल करती है, जो पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (एनकोडर को फ्रीज करना, एक्शन हेड्स को अपडेट करना) का उपयोग करती है।
अनुभवजन्य सत्यापन (Empirical Validation): 7 सिमुलेशन बेंचमार्क और 4 जटिल रियल-वर्ल्ड कॉन्टैक्ट-रिच कार्यों में व्यापक मूल्यांकन।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिमुलेशन बेंचमार्क (7 कार्य)

सैंपल एफिशिएंसी: POCO, स्पार्स-रिवॉर्ड, लॉन्ग-होरिजन कार्यों (जैसे Cube-triple, Square) में बेसलाइन (RLPD, QC, FQL) से काफी बेहतर प्रदर्शन करता है।
- FQL (फ्लो-आधारित Q-लर्निंग) ग्रेडिएंट डिग्रेडेशन के कारण Cube-triple पर पूरी तरह विफल रहा।
- POCO ने उन कार्यों में लगभग 100% सफलता दर प्राप्त की जहाँ अन्य संघर्ष कर रहे थे या कोलैप्स हो गए थे।
स्टेबिलिटी: ऑफलाइन-टू-ऑनलाइन सेटिंग्स में, POCO ने ऑफ-पॉलिसी विधियों में देखे गए कैटास्ट्रोफिक ड्रॉप्स और ऑन-पॉलिसी विधियों (DPPO, ReinFlow) की धीमी अभिसरण (convergence) से बचा।

रियल-वर्ल्ड रोबोटिक मैनिपुलेशन (4 कार्य)

कार्य: पिक क्यूब (Pick Cube), रूट केबल (Route Cable - डिफॉर्मेबल), इंसर्ट USB (Insert USB - हाई प्रिसिजन), असेंबल SSD (Assemble SSD - कॉन्टैक्ट-रिच ऑब्लिक असेंबली)।
प्रदर्शन: POCO ने रियल-वर्ल्ड कार्यों में औसतन 96.7% सफलता दर प्राप्त की।
- सबसे कठिन कार्य (Assemble SSD) पर, प्री-ट्रेंड पॉलिसी 30% पर थी। POCO ने इसे बढ़ाकर 96.7% कर दिया, जबकि बेसलाइन (QC, DSRL) बहुत कम दरों (क्रमशः 36.7% और 73.3%) पर स्थिर (plateau) हो गए।
- POCO ने ऑनलाइन एक्सप्लोरेशन के दौरान हार्डवेयर क्षति और पॉलिसी कोलैप्स को सफलतापूर्वक रोका।

VLA स्केलेबिलिटी

इसे "Pick Pen" और "Hang Keychain" कार्यों पर बड़े VLA मॉडल्स ( $\pi_0.5$ और GR00T N1.6) पर लागू किया गया।
POCO ने इन बड़े मॉडल्स की सफलता दर को महत्वपूर्ण रूप से सुधारा (उदाहरण के लिए, Pick Pen पर $\pi_0.5$ : 76.7% $\to$ 93.3%), जो दर्शाता है कि यह फ्रेमवर्क विशिष्ट डाउनस्ट्रीम कार्यों के लिए प्री-ट्रेंड फाउंडेशन मॉडल्स की क्षमता को प्रभावी ढंग से अनलॉक करता है।

5. महत्व (Significance)

यह शोध पत्र रोबोटिक RL में "स्टेबिलिटी-एफिशिएंसी डिलेमा" के लिए एक सैद्धांतिक और व्यावहारिक समाधान प्रदान करता है।

सैद्धांतिक: यह वेरिएशनल इन्फरेंस और लाइकलीहुड-फ्री जेनेरेटिव मॉडल्स के लिए RL के बीच के अंतर को पाटता है, यह सिद्ध करता है कि पॉलिसी इम्प्रिवेशन को स्पष्ट डेंसिटी एस्टीमेशन के बिना पोस्टीरियर इन्फरेंस के रूप में देखा जा सकता है।
व्यावहारिक: यह भौतिक रोबोटों पर बड़े, एक्सप्रेसिव जेनेरेटिव मॉडल्स के सुरक्षित परिनियोजन (deployment) को सक्षम बनाता है। कैटास्ट्रोफिक फॉरगेटिंग और कोलैप्स को रोककर, POCO वास्तविक दुनिया के वातावरण में VLA मॉडल्स की ऑनलाइन फाइन-ट्यूनिंग को संभव बनाता है, जो स्टेटिक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से आगे बढ़कर स्वायत्त, एडेप्टिव रोबोटिक लर्निंग की ओर ले जाता है।