💻 computer science

Flow-based Policy Adaptation without Policy Updates

यह शोध पत्र GLOVES को प्रस्तुत करता है, जो एक हल्का फ्लो-आधारित अनुकूलन ढांचा (lightweight flow-based adaptation framework) है जो सीमित प्रदर्शनों (demonstrations) का उपयोग करके गैर-विशेषज्ञ एजेंटों के उप-इष्टतम या आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों को विशेषज्ञ वितरण की ओर ले जाकर उन्हें चुनिंदा रूप से सुधारता है, जिससे मूल एजेंट के इरादे को सुरक्षित रखते हुए कार्य की सफलता में सुधार होता है।

मूल लेखक: Luzhe Sun, Jingtian Ji, Haoran Chen, Jiawei Zhou, Matthew R. Walter

प्रकाशित 2026-06-05

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luzhe Sun, Jingtian Ji, Haoran Chen, Jiawei Zhou, Matthew R. Walter

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ GLOVES पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके दिया गया विवरण है।

मुख्य विचार: "एक्सपर्ट को-पायलट" (Expert Co-Pilot)

कल्पना कीजिए कि आप एक बहुत ही जटिल, हाई-परफॉर्मेंस रेस कार चलाना सीख रहे हैं। आपके बगल में एक को-पायलट बैठा है जो एक विशेषज्ञ ड्राइवर है। हालाँकि, आप (मुख्य ड्राइवर) अभी भी थोड़े डगमगा रहे हैं। आप शायद स्टीयरिंग को बहुत तेज़ी से मोड़ देते हैं, ब्रेक बहुत देर से लगाते हैं, या आदर्श रेसिंग लाइन से थोड़ा भटक जाते हैं।

आमतौर पर, इसे ठीक करने के लिए, आपको वापस ड्राइविंग स्कूल जाना होगा, सब कुछ शुरू से सीखना होगा, या अपने मस्तिष्क को एक सुपरकंप्यूटर से बदलना होगा। इसमें बहुत समय और बहुत सारा डेटा लगता है।

GLOVES एक नए तरीके के रूप में काम करता है जो एक स्मार्ट, अदृश्य को-पायलट की तरह है। यह आपकी जगह नहीं लेता, और न ही आपको वापस स्कूल जाने के लिए मजबूर करता है। इसके बजाय, यह आपकी हर हरकत को वास्तविक समय (real-time) में देखता है। यदि आप एक परफेक्ट टर्न लेते हैं, तो यह आपको ऐसा करने देता है। लेकिन यदि आप भटकने लगते हैं या कोई गलती करते हैं, तो यह आपको सुरक्षित और ट्रैक पर रखने के लिए बस इतना धीरे से स्टीयरिंग व्हील को विशेषज्ञ पथ की ओर धकेलता है, और फिर आपको नियंत्रण वापस लेने देता है।

समस्या: "ठीक-ठाक" हमेशा काफी नहीं होता

आज के रोबोट अक्सर "एजेंट्स" (जो इंसान, AI मॉडल, या सॉफ्टवेयर हो सकते हैं) द्वारा नियंत्रित होते हैं। ये एजेंट बेहतर हो रहे हैं, लेकिन वे अभी भी गलतियाँ करते हैं:

शोर (Noise): उनकी हरकतें झटकेदार होती हैं।
पूर्वाग्रह (Bias): वे हमेशा थोड़ा बाईं ओर मुड़ सकते हैं।
देरी (Delays): वे प्रतिक्रिया देने में बहुत धीमे होते हैं।
बेमेल (Mismatch): वे किसी कार्य को ऐसे तरीके से करने की कोशिश कर सकते हैं जो एक वातावरण में काम करता है लेकिन दूसरे में विफल हो जाता है।

इन रोबोटों को ठीक करने के लिए आमतौर पर फाइन-ट्यूनिंग (fine-tuning) की आवश्यकता होती है: रोबोट के मस्तिष्क को हजारों नए उदाहरणों के साथ फिर से प्रशिक्षित करना। यह महंगा, धीमा और कभी-कभी असंभव है (जैसे कि यदि रोबोट एक मानव ऑपरेटर है या एक "ब्लैक बॉक्स" AI जिसे आप बदल नहीं सकते)।

समाधान: GLOVES (फ्लो-आधारित अनुकूलन)

लेखक GLOVES (तरीकों का एक परिवार) प्रस्तावित करते हैं। GLOVES को एक जादुई अनुवादक (magic translator) के रूप में सोचें जो "अपूर्ण" कार्यों को मूल ड्राइवर को बदले बिना "विशेषज्ञ" कार्यों में परिवर्तित करता है।

यह फ्लो मैचिंग (Flow Matching) की अवधारणा का उपयोग करता है।

उपमा: कल्पना कीजिए कि एक नदी एक अव्यवस्थित, अराजक स्रोत (अपूर्ण एजेंट के कार्य) से एक शांत, पूरी तरह से व्यवस्थित झील (विशेषज्ञ के कार्य) की ओर बह रही है।
यह कैसे काम करता है: GLOVES इस नदी की "धारा" को सीखता है। जब एजेंट कोई चाल प्रस्तावित करता है, तो GLOVES उस चाल को "अव्यवस्थित" पक्ष से "विशेषज्ञ" पक्ष तक ले जाने के लिए सबसे छोटा, सुगम रास्ता निकालता है।

तीन तरीके जिनसे GLOVES मदद करता है

पेपर में GLOVES टूलबॉक्स के तीन विशिष्ट उपकरण बताए गए हैं, जिनमें से प्रत्येक का अपना व्यक्तित्व है:

FPAS ("सुरक्षा जाल" - The Safety Net):
- यह कैसे काम करता है: यह आपके प्रस्तावित कदम को लेता है और जाँचता है: "क्या यह उस चीज़ के करीब है जो एक विशेषज्ञ करता?"
- उपमा: कल्पना कीजिए कि आप डार्ट फेंक रहे हैं। यदि यह बुल्सआई (bullseye) में लगता है, तो बहुत अच्छा! यदि यह थोड़ा हटकर लगता है, तो यह उपकरण इसे धीरे से केंद्र की ओर धकेलता है। यदि यह बहुत दूर है, तो यह इसे केवल फेंक नहीं देता; यह आपके थ्रो के पास सबसे करीबी "अच्छा" स्थान ढूंढता है और डार्ट को वहां ले जाता है।
- मुख्य विशेषता: यह केवल तभी चीजें ठीक करता है जब वे स्पष्ट रूप से गलत हों। यदि आप पहले से ही अच्छा कर रहे हैं, तो यह आपको अकेला छोड़ देता है।
FEEG ("निर्देशित दौरा" - The Guided Tour):
- यह कैसे काम करता है: यह आपके इरादे को बनाए रखने की कोशिश करते हुए आपके कार्य को सक्रिय रूप से "विशेषज्ञ नदी" के साथ निर्देशित करता है।
- उपमा: कल्पना कीजिए कि आप एक घने जंगल में चल रहे हैं। आप उत्तर (आपका इरादा) की ओर जाना चाहते हैं, लेकिन रास्ता झाड़ियों से भरा है। FEEG एक गाइड की तरह है जो झाड़ियों को बस इतना साफ़ करता है ताकि आप उत्तर की ओर चल सकें, लेकिन यह सुनिश्चित करता है कि आप कांटों में न फंस जाएं। यह "जो आप करना चाहते हैं" और "जो सुरक्षित है" के बीच संतुलन बनाता है।
IFAE ("प्रत्यक्ष ट्रांसपोर्टर" - The Direct Transporter):
- यह कैसे काम करता है: यह सबसे उन्नत उपकरण है। यह केवल धकेलता या निर्देशित नहीं करता; यह गणितीय रूप से आपके कार्य को सीधे विशेषज्ञ संस्करण में "परिवर्तित" करता है, बिना गलती को रिवर्स-इंजीनियर किए।
- उपमा: कल्पना कीजिए कि आपके पास एक पेंटिंग का एक रफ स्केच है। इसे मिटाने और फिर से बनाने के बजाय, यह उपकरण तुरंत आपके स्केच को एक मास्टरपीस में बदल देता है, जबकि उस अनूठी शैली को भी बनाए रखता है जो आपने शुरू की थी। यह "अपूर्ण" से "पूर्ण" तक का एक सीधा पुल है।

"गेटकीपर" (The Gatekeeper): केवल उसे ठीक करें जिसकी ज़रूरत है

GLOVES का सबसे शानदार हिस्सा यह है कि इसे पता है कि कब हस्तक्षेप करना है।

समस्या: यदि आप रोबोट के हर कदम को ठीक करते हैं, तो आप उसके द्वारा लिए गए एक बेहतरीन निर्णय को भी ओवरराइड कर सकते हैं।
GLOVES का समाधान: यह एक "रिवर्स फ्लो" स्कोर का उपयोग करता है। इसे कार्यों के लिए झूठ पकड़ने वाले यंत्र (lie detector) के रूप में समझें।
- यदि रोबोट का कार्य ऐसा दिखता है जैसे वह "एक्सपर्ट क्लब" (इन-डिस्ट्रीब्यूशन) का हिस्सा है, तो गेटकीपर कहता है, "आगे बढ़ें, किसी बदलाव की आवश्यकता नहीं है।"
- यदि कार्य अजीब या खतरनाक दिखता है (आउट-ऑफ-डिस्ट्रीब्यूशन), तो गेटकीपर कहता है, "रुको, पहले मुझे इसे ठीक करने दो।"
परिणाम: रोबोट को मदद केवल तभी मिलती है जब वास्तव में इसकी आवश्यकता होती है, जिससे कंप्यूटिंग पावर बचती है और रोबोट की अपनी "व्यक्तित्व" या इरादे को सुरक्षित रखा जाता है।

उन्होंने क्या परीक्षण किया

शोधकर्ताओं ने इनका परीक्षण किया:

सिमुलेशन (Simulations): भूलभुलैया में नेविगेट करने वाले, कैन रखने वाले, कीपैड पर टाइप करने वाले और चार्जर प्लग करने वाले रोबोट।
वास्तविक रोबोट: एक वास्तविक रोबोट आर्म जो चार्जर प्लग कर रहा है और कॉफी का कप सर्व कर रहा है।

परिणाम:

GLOVES ने 16 में से 13 अलग-अलग परीक्षण परिदृश्यों में मौजूदा तरीकों से बेहतर प्रदर्शन किया।
इसने "अपूर्ण" AI एजेंटों की सफलता दर को 29% तक सुधार दिया।
महत्वपूर्ण बात यह है कि इसने यह सब मूल रोबोट के मस्तिष्क को फिर से प्रशिक्षित या बदले बिना किया। इसने बस ऊपर एक हल्का "करेक्शन लेयर" जोड़ दिया।

सारांश

GLOVES एक ऐसा तरीका है जिससे अपूर्ण रोबोट (या इंसान) को शुरू से फिर से प्रशिक्षित किए बिना विशेषज्ञों की तरह कार्य कराया जा सकता है। यह एक स्मार्ट को-पायलट की तरह काम करता है जो:

रोबोट क्या करना चाहता है, उसे सुनता है।
जाँचता है कि क्या वह कार्य सुरक्षित और विशेषज्ञ जैसा है।
केवल आवश्यकता होने पर क्रिया को पूर्णता की ओर धीरे से धकेलता है।
जब रोबोट अच्छा काम कर रहा होता है, तो उसे ड्राइव करने देता है।

यह एक "शेयर्ड कंट्रोल" (shared control) सिस्टम है जो केवल विशेषज्ञ उदाहरणों के छोटे से हिस्से का उपयोग करके रोबोट को अधिक मजबूत और सफल बनाता है।

तकनीकी सारांश: GLOVES – पॉलिसी अपडेट के बिना फ्लो-आधारित पॉलिसी अनुकूलन

समस्या विवरण
आधुनिक रोबोटिक सिस्टम तेजी से उन एजेंटों पर निर्भर होते हैं जिनके पास पूर्व ज्ञान होता है, जैसे कि मानव ऑपरेटर, इमिटेशन लर्निंग (IL) पॉलिसियाँ, रीइन्फोर्समेंट लर्निंग (RL) पॉलिसियाँ, और प्री-ट्रेन विजन-लैंग्वेज-एक्शन (VLA) मॉडल। हालांकि ये एजेंट कार्य के इरादे (intent) को समझ सकते हैं, लेकिन उनके कार्य अक्सर शोर वाले (noisy), पक्षपाती (biased), विलंबित (delayed), या विशेषज्ञ व्यवहार के साथ असंगत होते हैं, विशेष रूप से जब उन्हें ज़ीरो-शॉट या डोमेन-शिफ्टेड परिदृश्यों में तैनात किया जाता है। मानक समाधानों में एजेंट को कार्य-विशिष्ट डेटा पर फाइन-ट्यून करना शामिल है; हालाँकि, यह अक्सर अव्यवहार्य या अवांछनीय होता है क्योंकि एजेंट एक मानव हो सकता है, मॉडल एक ब्लैक-बॉक्स API हो सकता है, बड़े पैमाने पर प्रदर्शन (demonstrations) एकत्र करना कठिन हो सकता है, या बड़े मॉडलों को अपडेट करने की लागत अत्यधिक हो सकती है। यह शोध पत्र एजेंट को अपडेट किए बिना निष्पादन के समय (execution time) एजेंट के कार्यों को अनुकूलित करने की चुनौती का समाधान करता है, विशेष रूप से इमेज-कंडीशन्ड एक्शन-चंक अनुकूलन के लिए।

कार्यप्रणाली: GLOVES
लेखक GLOVES (एक फ्लो-आधारित अनुकूलन विधियों का परिवार) प्रस्तावित करते हैं, जो फ्लो मैचिंग का उपयोग करके गैर-विशेषज्ञ कार्यों को विशेषज्ञ एक्शन डिस्ट्रीब्यूशन की ओर ट्रांसपोर्ट करके उन्हें सुधारता है। यह फ्रेमवर्क एक हल्का साझा-नियंत्रण (shared-control) मॉड्यूल के रूप में कार्य करता है जो एजेंट के इरादे को सुरक्षित रखते हुए कार्य की सफलता में सुधार करता है।

मुख्य तंत्र (Flow Matching):
GLOVX एक कंडीशनल फ्लो $v_\theta(x, t | c)$ सीखता है जो एक सुलभ स्रोत वितरण (गौसियन नॉइज़) को विजुअल ऑब्जर्वेशन $c$ पर आधारित एक लक्ष्य विशेषज्ञ वितरण (expert distribution) में मैप करता है। प्रशिक्षण के दौरान, यह सीमित विशेषज्ञ प्रदर्शनों से एक विशेषज्ञ फ्लो सीखता है। जब उपलब्ध हो, तो यह अपूर्ण एजेंट कार्यों से एक एजेंट फ्लो भी सीख सकता है।
OOD गेट के माध्यम से चयनात्मक हस्तक्षेप (Selective Intervention):
एक प्रमुख नवाचार विशेषज्ञ फ्लो का उपयोग स्वयं एक प्राकृतिक आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्टर के रूप में करना है। एक अलग अनिश्चितता मॉडल प्रशिक्षित करने के बजाय, सिस्टम एक प्रस्तावित एक्शन चंक $a_u$ का मूल्यांकन उसके लेटेंट रिप्रेजेंटेशन $\hat{z} = F^{-1}_\theta(a_u)$ का अनुमान लगाने के लिए विशेषज्ञ फ्लो को रिवर्स करके करता है। स्कोर $s(a_u) = \|\hat{z}\|^2_2$ एक नॉन-कन्फॉर्मिटी मेट्रिक के रूप में कार्य करता है।

यदि स्कोर यह संकेत देता है कि क्रिया इन-डिस्ट्रीब्यूशन है (विशेषज्ञ प्रायर के साथ सुसंगत है), तो इसे बिना किसी बदलाव के निष्पादित किया जाता है।
यदि क्रिया OOD है, तो सिस्टम उसे सुधारने के लिए हस्तक्षेप करता है।
यह तंत्र वैध कार्यों के अनावश्यक संपादन से बचाता है और कंप्यूटेशनल ओवरहेड को कम करता है।

अनुकूलन वेरिएंट्स (Adaptation Variants):
पेपर कार्यों को परिष्कृत करने के लिए GLOVES परिवार के भीतर तीन विशिष्ट विधियों का परिचय देता है:

FPAS (Flow-Prior Action Sampling): एजेंट के कमांड के आसपास एक स्थानीय सैंपलिंग-आधारित खोज को निर्देशित करने के लिए OOD स्कोर का उपयोग करता है। यह विचलित (perturbed) उम्मीदवारों को सैंपल करता है, उच्च OOD स्कोर वाले या मूल एक्शन से बहुत दूर जाने वाले उम्मीदवारों को दंडित करता है, और चंक को पुनरावर्ती रूप से परिष्कृत करता है।
FEEG (Flow Editing with Energy Guidance): सीधे सीखे गए विशेषज्ञ फ्लो को एक ऐसा एक्शन उत्पन्न करने के लिए निर्देशित करता है जो विशेषज्ञ जैसा हो लेकिन उपयोगकर्ता के इरादे के अनुरूप हो। यह फ्लो ट्रेजेक्टरी को रेगुलराइज करने के लिए एक एनर्जी फंक्शन $E(x) = \frac{1}{2}\|x - a_u\|^2$ का उपयोग करता है, जो एजेंट के प्रति निष्ठा और विशेषज्ञ वितरण के प्रति अनुरूपता के बीच संतुलन बनाता है।
IFAE (Inversion-Free Action-Chunk Editing): FlowAlign से प्रेरित, यह विधि डिफ्यूजन-आधारित एडिटर्स में सामान्य "नॉइज़-देन-डिनोइज़" इन्वर्जन स्टेप से बचती है। यह एजेंट और विशेषज्ञ फ्लो के बीच कपल्ड फ्लो ट्रेजेक्टरीज का उपयोग करके एजेंट के एक्शन चंक को सीधे विशेषज्ञ वितरण की ओर ट्रांसपोर्ट करता है, जिससे कार्य-निर्भर "असिस्टेंस डेप्थ" हाइपरपैरामीटर चुनने की आवश्यकता समाप्त हो जाती है।

प्रमुख योगदान

अपडेट के बिना पॉलिसी अनुकूलन: GLOVES पॉलिसी पैरामीटर्स को संशोधित किए बिना निष्पादन के समय ब्लैक-बॉक्स एजेंटों (मानव और VLAs सहित) को अनुकूलित करने में सक्षम बनाता है।
एकीकृत फ्रेमवर्क: यह पॉलिसी अनुकूलन और साझा स्वायत्तता (shared autonomy) को एक एकल एक्शन-करेक्शन फ्रेमवर्क में एकीकृत करता है।
स्रोत-सुसंगत सुधार (Source-Consistent Correction): उन विधियों के विपरीत जिन्हें आंशिक-डिफ्यूजन फिडेलिटी-कन्फॉर्मिटी ट्रेडऑफ हाइपरपैरामीटर चुनने की आवश्यकता होती है, GLOVES (विशेष रूप से IFAE) स्पष्ट इन्वर्जन के बिना एजेंट के प्रस्ताव के साथ सुसंगत रहने वाला सोर्स-टू-एक्सपर्ट ट्रांसपोर्ट करता है।
अंतर्निहित OOD डिटेक्शन: विधि चयनात्मक हस्तक्षेप (कब सहायता करनी है यह तय करने के लिए) और सुधार दोनों के लिए सीखे गए विशेषज्ञ फ्लो का उपयोग करती है, जिससे अलग से विसंगति डिटेक्टरों (anomaly detectors) की आवश्यकता समाप्त हो जाती है।
डेटा दक्षता: सिस्टम को एडॉप्टर को प्रशिक्षित करने के लिए केवल कुछ विशेषज्ञ प्रदर्शनों या पुन: प्रयोज्य सफल स्किल सेगमेंट की आवश्यकता होती है।

प्रायोगिक परिणाम
लेखकों ने चार सिमुलेशन कार्यों (Slalom, CAN placement, Keypad entry, Charger Plug) और दो वास्तविक-विश्व रोबोट कार्यों (Charger Insertion, Cup Serving) में GLOVES का मूल्यांकन किया।

स्टोकेस्टिक रैपर एजेंट: सिमुलेशन में, GLOVES वेरिएंट्स ने 16 में से 13 स्टोकेस्टिक-रैपर सेटिंग्स (जिसमें शोर वाले, विलंबित, धीमे और पक्षपाती एजेंट शामिल हैं) में सर्वश्रेष्ठ सफलता दर प्राप्त की।
VLA एजेंट: फाइन-ट्यून किए गए VLA एजेंटों के लिए, GLOVES ने सिमुलेशन में सफलता दर में 29.03% तक सुधार किया।
वास्तविक-विश्व प्रदर्शन: वास्तविक रोबोटों पर, GLOसे्स ने लगातार बेसलाइन्स (DDPM-आधारित और कंसिस्टेंसी मॉडल-आधारित शेयर्ड ऑटोनॉमी विधियों) को पछाड़ दिया और फाइन-ट्यून किए गए VLAs के प्रदर्शन में सुधार किया।
दक्षता: OOD गेट ने वैध कार्यों को सफलतापूर्वक फ़िल्टर किया, यह सुनिश्चित किया कि सुधार केवल तभी लागू किए जाएं जब आवश्यक हो, जिससे इन्फरेंस लागत कम हुई।

महत्व और दावे
पेपर का दावा है कि GLOVES फाइन-ट्यूनिंग की कंप्यूटेशनल और डेटा लागत के बिना अपूर्ण एजेंटों में सुधार के लिए एक हल्का और मजबूत फ्रेमवर्क प्रदान करता है। फ्लो मैचिंग का लाभ उठाकर, यह विधि एक चयनात्मक हस्तक्षेप तंत्र प्रदान करती है जो एजेंट के इरादे के संरक्षण और विशेषज्ञ व्यवहार के पालन के बीच संतुलन बनाता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एजेंट की प्रकृति (मानव या AI) के प्रति काफी हद तक तटस्थ है और इसके लिए विशेषज्ञ पॉलिसी, रिवॉर्ड डिज़ाइन, या सिस्टम डायनेमिक्स के ज्ञान की आवश्यकता नहीं है। परिणाम बताते हैं कि एक्शन-लेवल अनुकूलन (फ्लो ट्रांसपोर्ट के माध्यम से) पूर्ण स्वायत्तता या मॉडल रिट्रेनिंग का एक प्रभावी विकल्प है, विशेष रूप से उन परिदृश्यों में जहाँ एजेंट अपडेट प्रतिबंधित हैं या डेटा दुर्लभ है।