🤖 AI

Elastic Queries Reinforcement Learning: Self-Aware Policy Execution for VLA Models

यह शोध पत्र इलास्टिक क्वेरीज़ रीइन्फोर्समेंट लर्निंग (EQRL) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो विज़न-लैंग्वेज-एक्शन (VLA) मॉडल्स को अवस्था की कठिनाई के आधार पर इन्फरेंस स्टेप्स और एक्शन चंक लंबाई को गतिशील रूप से अनुकूलित करके बेहतर बनाता है, जिससे रोबोटिक हेरफेर में कार्य सफलता को बनाए रखते हुए या उसमें सुधार करते हुए कम्प्यूटेशनल लागत को कम किया जा सकता है।

मूल लेखक: Ge Wang, Xinyu Tan, Xiang Li, Man Luo, Chengsi Yao, Shenhao Yan, Jiahao Yang, Fan Feng, Honghao Cai, Xiangyuan Wang, Zhixin Mai, Yiming Zhao, Yatong Han, Zhen Li

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ge Wang, Xinyu Tan, Xiang Li, Man Luo, Chengsi Yao, Shenhao Yan, Jiahao Yang, Fan Feng, Honghao Cai, Xiangyuan Wang, Zhixin Mai, Yiming Zhao, Yatong Han, Zhen Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, उच्च प्रशिक्षित रोबोट शेफ है। इस शेफ ने दुनिया की हर कुकबुक पढ़ रखी है (जिसे "विज़न-लैंग्वेज-एक्शन" या VLA मॉडल कहा जाता है) और उसे ठीक से काटने, चलाने और परोसने का सटीक ज्ञान है। हालाँकि, अभी वह थोड़ा कठोर है। वह जो कुछ भी कर रहा हो, एक सख्त, अपरिवर्तनीय दिनचर्या का पालन करता है:

कोई भी कदम उठाने से पहले वह ठीक 10 सेकंड के लिए रुककर सोचता है।
वह अपने दिमाग में अगले 5 कदमों की योजना बनाता है।
वह बिना यह देखे कि कुछ गलत तो नहीं हुआ, उन 5 कदमों को पूरा करता है।
फिर अगले 5 कदमों की योजना बनाने के लिए वह फिर से 10 सेकंड का विराम लेता है।

समस्या:
यह "एक ही आकार सबके लिए" (one-size-fits-all) वाली दिनचर्या अक्षम है।

आसान क्षण: जब शेफ चम्मच उठाने के लिए रसोई में इधर-उधर चल रहा होता है, तो उसे गहराई से सोचने के लिए 10 सेकंड की आवश्यकता नहीं होती। वह इसे 1 सेकंड में कर सकता है। साथ ही, उसे 5 कदमों की योजना बनाने की भी आवश्यकता नहीं है; वह बस चम्मच उठा सकता है और चलते रह सकता है।
कठिन क्षण: जब शेफ एक छोटे से कप में गर्म सूप डाल रहा होता है ताकि कुछ गिरे नहीं, तो उसे उन 10 सेकंड के गहन विचार की सख्त जरूरत होती है। साथ ही, उसे हर एक बूंद के बाद अपने काम की जांच करने की भी आवश्यकता होती है, न कि 5 कदम पूरे होने तक इंतजार करने की।

वर्तमान में, रोबोट आसान कार्यों के बारे में बहुत अधिक सोचने में समय बर्बाद कर रहा है और कठिन कार्यों के बारे में पर्याप्त नहीं सोच रहा है।

समाधान: EQRL (इलास्टिक क्वेरीज रीइन्फोर्समेंट लर्निंग)
लेखकों ने इस पेपर में एक "स्मार्ट मैनेजर" (जिसे अडैप्टर कहा जाता है) बनाया है जो रोबोट शेफ और रसोई के बीच बैठता है। यह मैनेजर वर्तमान स्थिति की कठिनाई के आधार पर रोबोट की दिनचर्या को खींच (stretch) सकता है या सिकोड़ (shrink) सकता है।

यह कैसे काम करता है, यहाँ एक रोड ट्रिप सादृश्य (Analogy) दिया गया है:

1. लचीली समय सारणी (The "Traffic Light" System)

एक निश्चित दिनचर्या के बजाय, मैनेजर सामने के रास्ते (रोबोट की वर्तमान स्थिति) को देखता है और तुरंत दो चीजें तय करता है:

कितना "सोचना" है (डीनॉइजिंग बजट): यदि रास्ता एक सीधा, खाली हाईवे है (आसान स्थिति), तो मैनेजर रोबोट को कहता है, "ज्यादा मत सोचो, बस एक त्वरित नज़र डाल लो।" यदि रास्ता पत्थरों के गिरने वाले एक अराजक निर्माण क्षेत्र (construction zone) जैसा है (कठिन स्थिति), तो मैनेजर कहता है, "रुको! गहराई से सोचो और हर कोण का विश्लेषण करो।"
जांच करने से पहले कितनी दूर तक ड्राइव करना है (चंक लेंथ): हाईवे पर, मैनेजर कहता है, "मैप चेक करने से पहले 5 मील तक ड्राइव करें।" निर्माण क्षेत्र में, वे कहते हैं, "10 फीट चलें, रुकें, मैप देखें, फिर चलें।"

यह लचीलापन "इलास्टिक क्वेरीज" कहलाता है। जब चीजें कठिन होती हैं, तो रोबंड अपनी सोचने का समय बढ़ा देता है और अपनी ड्राइविंग दूरी को छोटा कर देता है, और जब चीजें आसान होती हैं, तो वह इसके विपरीत करता है।

2. "कठिनाई सेंसर" (द क्रिटिक)

मैनेजर को कैसे पता चलता है कि चीजें कठिन हैं? वे केवल अनुमान नहीं लगाते।

सिस्टम में "जजों" की एक टीम (एक क्रिटिक एन्सेम्बल) होती है। ये जज स्थिति को देखते हैं और एक योजना कितनी अच्छी है, इस पर वोट देते हैं।
यदि सभी जज सहमत हैं, तो स्थिति आसान है।
यदि जज बहस कर रहे हैं और असहमत हैं, तो स्थिति कठिन है।
मैनेजर इस असहमति का उपयोग संकेत के रूप में करता है: "हे, जज भ्रमित हैं! यह एक कठिन हिस्सा है। चलिए धीमे चलते हैं, अधिक सोचते हैं, और अपने काम की बार-बार जांच करते हैं।"

3. परिणाम: दौड़ को हारे बिना ऊर्जा बचाना

इस सिस्टम का परीक्षण कंप्यूटर सिमुलेशन (जैसे वीडियो गेम) और वास्तविक रोबोट पर किया गया।

परिणाम: "इलास्टिक" विधि का उपयोग करने वाले रोबोटों ने कठोर रोबोटों के समान ही (या उससे भी बेहतर) सफलतापूर्वक अपने कार्य पूरे किए।
जीत: क्योंकि उन्होंने आसान कार्यों के बारे में सोचने में समय बर्बाद करना बंद कर दिया, इसलिए उन्होंने 20% से 24% कम कंप्यूटिंग पावर (कम "ब्रेन साइकल्स") का उपयोग किया।
वास्तविक दुनिया: तरल पदार्थ डालने या वस्तुओं को हिलाने वाले वास्तविक रोबोटों पर, इलास्टिक रोबोट अधिक तेज़ और कुशल थे, उन्होंने अपनी "ब्रेन पावर" केवल तभी खर्च की जब वे कुछ गिराने या छलकने वाले थे।

सारांश

EQRL को एक रोबोट को अपनी सीमाओं को जानने के लिए सिखाने के रूप में समझें। एक स्थिर गति से मैराथन दौड़ने के बजाय, रोबोट सीखता है कि समतल जमीन पर आसानी से जॉगिंग कैसे करनी है और खड़ी ढलान पर आने पर केवल तीव्र फोकस के साथ स्प्रिंट कैसे करना है। यह "लचीला" होकर काम को तेजी से और कम ऊर्जा के साथ पूरा करता है।

तकनीकी सारांश: इलास्टिक क्वेरीज़ रीइन्फोर्समेंट लर्निंग (EQRL)

समस्या विवरण

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल रोबोटिक मैनिपुलेशन के लिए शक्तिशाली जनरेटर के रूप में उभरे हैं, जो आमतौर पर टेम्पोरल रूप से सुसंगत एक्शन चंक्स (action chunks) उत्पन्न करने के लिए फ्लो-आधारित या डिफ्यूजन-आधारित आर्किटेक्चर का उपयोग करते हैं। हालाँकि, वर्तमान निष्पादन इंटरफेस कठोर हैं: वे निश्चित डिनोइजिंग बजट (सैंपलिंग स्टेप्स) और निश्चित एक्शन चंक लंबाई का उपयोग करते हैं, चाहे स्थिति (state) कितनी भी कठिन क्यों न हो। यह कठोरता अक्षमता की ओर ले जाती है; आसान अवस्थाएं (जैसे मुक्त-स्थान आंदोलन) अक्सर अत्यधिक गणना और बार-बार पुन: योजना (replanning) प्राप्त करती हैं, जबकि कठिन अवस्थाएं (जैसे संपर्क-समृद्ध संरेखण या रिकवरी) अपर्याप्त फीडबैक और कम्प्यूटेशनल संसाधनों से जूझ सकती हैं। मौजूदा पोस्ट-ट्रेनिंग विधियां जो लेटेंट-स्पेस स्टीयरिंग के माध्यम से VLAs को अनुकूलित करती हैं, वे निष्पादन अनुसूची (सैंपलिंग बजट और चंक लंबाई) को मैनुअल हाइपरपैरामीटर के रूप में छोड़ देती हैं, जिससे पॉलिसी को स्थिति की कठिनाई के आधार पर कंप्यूट आवंटित करने से रोका जाता है।

कार्यप्रणाली: EQRL फ्रेमवर्क

लेखक इलास्टिक क्वेरीज़ रीइन्फोर्समेंट लर्निंग (EQRL) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो फ्रोजन (frozen) VLA मॉडल को फाइन-ट्यून किए बिना, लेटेंट स्टीयरिंग, डिनोइजिंग बजट और एक्शन चंक लंबाई पर एक संयुक्त निर्णय समस्या के रूप में VLA निष्पादन को मानता है।

1. लेटेंट-शेड्यूल क्वेरी एक्शन्स

प्रत्येक क्वेरी $j$ पर, एक हल्का RL अडैप्टर (एक्टर) वर्तमान स्थिति $o_{t_j}$ को देखता है और एक संयुक्त एक्शन $u_j = (w_j, z^K_j, z^C_j)$ आउटपुट करता है:

$w_j$ : एक लेटेंट स्टीयरिंग वेरिएबल जो फ्रोजन VLA सैंपलर को निर्देशित करता है।
$z^K_j, z^C_j$ : डिनोइजिंग बजट ( $K$ ) और चंक लंबाई ( $C$ ) के लिए बेस शेड्यूल्स के आसपास रेसिडुअल्स (residuals) का प्रतिनिधित्व करने वाले निरंतर शेड्यूल वेरिएबल्स।

2. कठिनाई-निर्देशित शेड्यूल पैरामीटराइजेशन

यह सुनिश्चित करने के लिए कि शेड्यूल कठिनाई के प्रति जागरूक हो, EQRL एक क्रिटिक एन्सेम्बल $\{Q^{(i)}_\psi\}$ का उपयोग करता है जिसे संयुक्त लेटेंट-शेड्यूल एक्शन स्पेस पर प्रशिक्षित किया गया है।

कठिनाई सिग्नल: सिस्टम बेस शेड्यूल पर क्रिटिक एन्सेम्बल के मतभेद (disagreement/standard deviation) से एक स्टेट-डिफिकल्टी सिग्नल $s(o)$ प्राप्त करता है। उच्च मतभेद उच्च कठिनाई को दर्शाता है।
शेड्यूल प्रायर: यह सिग्नल एक "शेड्यूल प्रायर" उत्पन्न करता है जो कठिन अवस्थाओं को अधिक डिनोइजिंग स्टेप्स ( $K$ ) और छोटे चंक्स ( $C$ ) आवंटित करता है, और आसान अवस्थाओं को कम स्टेप्स/लंबे चंक्स देता है।
अंतिम शेड्यूल: अंतिम निष्पादन पैरामीटर इस कठिनाई-व्युत्पन्न प्रायर और एक्टर के सीखे गए रेसिडुअल्स का एक संयोजन है, जिसे वैध पूर्णांक रेंज तक क्लिप किया गया है।

3. क्वेरी-लेवल लर्निंग ऑब्जेक्टिव

EQRL समस्या को क्वेरी-लेवल मैक्रो-एक्शन रीइन्फोर्समेंट लर्निंग के रूप में तैयार करता है:

मैक्रो-ट्रांजिशन: लंबाई $C$ का एक चंक निष्पादित करना पर्यावरण में एक मैक्रो-ट्रांजिशन प्रेरित करता है। बेलमैन बैकअप एक चंक-डिपेंडेंट डिस्काउंट फैक्टर $\gamma^L$ (जहाँ $L$ वास्तव में निष्पादित स्टेप्स हैं) का उपयोग करता है।
रिवॉर्ड स्ट्रक्चर:
- टास्क रिवॉर्ड: एक सफल एपिसोड के अंतिम क्वेरी को एक टर्मिनल सक्सेस बोनस दिया जाता है।
- कंप्यूट कॉस्ट: एक एपिसोड-लेवल एमोर्टाइज्ड नंबर-ऑफ-फंक्शन-इवैल्यूएशन (NFE) बजट लागू किया जाता है। लागत कुल डिनोइजिंग स्टेप्स और कुल निष्पादित एक्शन्स के अनुपात ( $\sum K / \sum C$ ) द्वारा परिभाषित की जाती है। बजट बैंड से अधिक होने वाले एपिसोड पर दंड लगाया जाता है, जबकि इसके भीतर रहने वाले एपिसोड को बचत बोनस मिलता है।
ऑप्टिमाइजेशन: एक्टर को क्रिटिक के Q-वैल्यू को अधिकतम करने के साथ-साथ एंट्रॉपी बनाए रखने के लिए मैक्सिमम-एंट्रॉपी ऑब्जेक्टिव (SAC-स्टाइल) का उपयोग करके अनुकूलित किया जाता है। एक सहायक एलाइनमेंट लॉस एक्टर के स्थानीय कंप्यूट आवंटन को क्रिटिक-व्युत्पन्न कठिनाई सिग्नल के साथ मेल खाने के लिए प्रोत्साहित करता है।

मुख्य योगदान

इलास्टिक निष्पादन का फॉर्मूलेशन: यह पेपर फ्रोजन VLA निष्पादन को एक क्वेरी-लेवल RL समस्या के रूप में तैयार करता है जहाँ पॉलिसी संयुक्त रूप से लेटेंट स्टीयरिंग, डिनोइजिंग बजट और एक्शन चंक लंबाई का चयन करती है।
क्रिटिक-व्युत्पन्न कठिनाई मार्गदर्शन: यह एक तंत्र पेश करता है जो क्रिटिक एन्सेम्बल के मतभेद से स्टेट-डिपेंडेंट कंप्यूट आवंटन सिग्नल प्राप्त करता है, जिससे पॉलिसी को यह "जानने" में सक्षम बनाया जाता है कि कब अधिक कंप्यूट खर्च करना है।
वेरिएबल-लेंथ मैक्रो-एक्शन RL: लेखक चंक-डिपेंडेंट डिस्काउंटिंग और एक एपिसोड-लेवल एमोर्टाइज्ड NFE ऑब्जेक्टिव का उपयोग करके वेरिएबल-लेंथ चंक्स के लिए एक ट्रेनिंग फ्रेमवर्क विकसित करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने LIBERO और ALOHA सिमुलेशन बेंचमार्क, साथ ही ऑफलाइन और ऑनलाइन रियल-रोबोट मैनिपुलेशन कार्यों (DISCOVER रोबोटिक्स प्लेटफॉर्म का उपयोग करके) पर EQRL का मूल्यांकन किया।

सिमुलेशन प्रदर्शन: EQRL ने बेसलाइन्स (DSRL, RLinf-Noise, RLinf-SDE) की तुलना में स्टेट-ऑफ-द-आर्ट या बेहतर सफलता दर हासिल की और साथ ही इन्फरेंस लागत को काफी कम कर दिया।
- LIBERO-4Tasks पर, EQML ने Success AUC में 0.04 का सुधार किया और सापेक्ष NFE को 24.3% कम कर दिया।
- ALOHA-Cube पर, EQRL ने 100% अंतिम सफलता प्राप्त की (DSRL के 0.94 के मुकाबले) और सापेक्ष NFE को 20.0% कम कर दिया।
रियल-रोबोट प्रदर्शन: ऑफलाइन और ऑनलाइन दोनों सेटिंग्स में, EQRL ने समान या उच्च कार्य सफलता बनाए रखते हुए सापेक्ष NFE को लगभग 32% कम किया और वॉल-क्लॉक ट्राजेक्टरी समय को 11–17% कम किया।
एब्लेशन स्टडीज: "Put Cheese" कार्य पर प्रयोगों ने प्रदर्शित किया कि लाभ केवल औसत कंप्यूट बजट को कम करने के कारण नहीं हैं। वे वेरिएंट जिन्होंने केवल स्टेप्स को समायोजित किया, केवल चंक्स को समायोजित किया, या कठिनाई जागरूकता के बिना एक निश्चित बजट का उपयोग किया, वे खराब प्रदर्शन करते रहे। यह संयुक्त शेड्यूलिंग और क्रिटिक-व्युद्ध कठिनाई जागरूकता की आवश्यकता की पुष्टि करता है।

महत्व और दावे

पेपर का दावा है कि VLA निष्पादन मौलिक रूप से एक स्टेट-डिपेंडेंट रिसोर्स-एलोकेशन समस्या है। EQRL यह प्रदर्शित करता है कि एक फ्रोजन VLA पॉलिसी को एक हल्के अडैप्टर के माध्यम से "इलास्टिक" बनाया जा सकता है जो गतिशील रूप से कंप्यूट संसाधनों को आवंटित करना सीखता है।

फाइन-ट्यूनिंग के बिना दक्षता: विधि प्री-ट्रेन किए गए VLA के व्यवहार संबंधी पूर्वग्रहों (behavioral priors) को सुरक्षित रखती है और निष्पादन दक्षता को अनुकूलित करती है, जिससे पूर्ण-मॉडल फाइन-ट्यूनिंग की लागत बचती है।
अनुकूली निष्पादन: कठिन चरणों (जैसे संपर्क संरेखण) पर अधिक कंप्यूट और फीडबैक खर्च करके और आसान चरणों (जैसे मुक्त-स्थान दृष्टिकोण) पर कम करके, EQRL इन्फरेंस लागत और कार्य सफलता के बीच के ट्रेड-ऑफ को बेहतर बनाता है।
व्यावहारिकता: परिणाम बताते हैं कि इलास्टिक क्वेरीइंग वास्तविक दुनिया के रोबोट लर्निंग के लिए एक व्यवहार्य इंटरफेस है, जो कम्प्यूटेशनल बचत को व्यावहारिक गति और बेहतर संपर्क-समय ट्रेड-ऑफ में बदल देती है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें उल्लेख है कि ऑफलाइन प्रशिक्षण वातावरण फीडबैक के बिना विभिन्न शेड्यूल्स के कारणत्मक प्रभावों (causal effects) को पूरी तरह से नहीं देख सकता है, और वर्तमान रियल-रोबोट अनुकूलन के लिए प्रति-कार्य फाइन-ट्यूनिंग की आवश्यकता होती है, जो बहुत अलग मैनिपुलेशन कौशल के बीच सामान्यीकरण को सीमित करती है।