💻 computer science

Rethink Before You Execute: Adaptive Execution for World Action Models

यह शोध पत्र TempoWAM को पेश करता है, जो वर्ल्ड एक्शन मॉडल्स (World Action Models) के लिए एक हल्का अनुकूलन योग्य निष्पादन ढांचा (lightweight adaptive execution framework) है, जो एक निश्चित एक्शन होराइजन के बजाय वास्तविक समय में कार्य प्रगति की निगरानी के आधार पर गतिशील रूप से यह निर्णय लेता है कि कब पुन: योजना (replan) बनानी है, जिससे सिम्युलेटेड और वास्तविक दुनिया के रोबोटिक कार्यों में दक्षता-सफलता के संतुलन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Feng Ye, Yiming Zhao, Yong Yu, Hongxu Zhou, Yong Pan, Yuan Xue, Peng Jia, Chuanmin Jia

प्रकाशित 2026-08-11

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Feng Ye, Yiming Zhao, Yong Yu, Hongxu Zhou, Yong Pan, Yuan Xue, Peng Jia, Chuanmin Jia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कोई काम करना सिखा रहे हैं, जैसे सैंडविच बनाना या एक बिखरे हुए कमरे को व्यवस्थित करना। इसे करने के लिए, वैज्ञानिक "वर्ल्ड एक्शन मॉडल" (World Action Model) नामक चीज़ का उपयोग करते हैं। इस मॉडल को एक सुपर-स्मार्ट, भविष्यवादी क्रिस्टल बॉल की तरह समझें। केवल रोबोट को यह बताने के बजाय कि आगे क्या करना है, यह क्रिस्टल बॉल वर्तमान दृश्य को देखती है और भविष्य के कई कदमों और प्रत्येक कदम के बाद कमरा कैसा दिखेगा, इसका पूर्वानुमान लगाती है। यह बिल्कुल वैसा ही है जैसे रोबलेट सबसे अच्छे रास्ते का पता लगाने के लिए भविष्य के सपने देख रहा हो।

हालाँकि, इसमें एक पेंच है। अतीत में, इस तरह के क्रिस्टल बॉल का उपयोग करने वाले रोबोटों को एक बहुत ही कठोर नियम का पालन करना पड़ता था: "10 कदम आगे का अनुमान लगाओ, पहले 5 करो, फिर रुक जाओ और फिर से अनुमान लगाओ।" यह एक ऐसे जीपीएस (GPS) की तरह है जो आपको हर बार नए निर्देश मांगने से पहले ठीक 5 मील तक गाड़ी चलाने के लिए मजबूर करता है, चाहे आपने अभी-अभी ट्रैफ़िक जाम में प्रवेश किया हो या सड़क पूरी तरह से साफ़ हो। यह नियम अक्षम है। कभी-कभी रोबोट एक चिकनी हाईवे पर बिना किसी बाधा के चल रहा होता है और उसे लंबे समय तक नए निर्देशों की आवश्यकता नहीं होती; अन्य समय में, वह एक अराजक निर्माण क्षेत्र में हो सकता है जहाँ हर एक कदम गलत हो सकता है, और उसे तुरंत रुककर फिर से सोचने की आवश्यकता होती है। बड़ा सवाल यह है कि हम एक रोबोट को यह कैसे सिखा सकते हैं कि कदमों को गिनने के बजाय, उसे कब रुकना है और मदद मांगनी है?

यही वह समस्या है जिसे TempoWAM नामक एक नई विधि के पीछे के शोधकर्ताओं ने हल करने का प्रयास किया है। वे तर्क देते हैं कि रोबोटों को केवल कदमों को नहीं गिनना चाहिए; उन्हें कार्य की प्रगति (progress) को देखना चाहिए। यदि रोबोट सफलतापूर्वक आगे बढ़ रहा है, तो उसे चलते रहना चाहिए। यदि वह पहिए घुमा रहा है या गलतियाँ कर रहा है, तो उसे तुरंत रुकना चाहिए और पुनर्गणना (replan) करनी चाहिए।

इसे साकार करने के लिए, टीम ने एक "रिकरेंट प्रोग्रेस मॉनिटर" (Recurrent Progress Monitor) बनाया। कल्पना कीजिए कि यह मुख्य रोबोट मस्तिष्क के बगल में बैठा एक छोटा, सुपर-फास्ट सह-पायलट है। जबकि मुख्य मस्तिष्क भविष्य के कार्यों की एक लंबी सूची की कल्पना करने में व्यस्त है, यह सह-पायलट लगातार स्कोर की जाँच कर रहा है। यह देखता है कि रोबोट कहाँ है, उसे क्या करने के लिए कहा गया था, और उसने अब तक क्या किया है, और एक सरल प्रश्न पूछता है: "क्या हम वास्तव में लक्ष्य के करीब पहुँच रहे हैं?"

यदि सह-पायलट कहता है, "हाँ, हम सुचारू रूप से चल रहे हैं!" तो रोबोट पहले से तय किए गए कार्यों को निष्पादित करना जारी रखता है, जिससे समय और ऊर्जा बचती है। लेकिन यदि सह-पायलट महसूस करता है कि रोबोट फंस गया है या योजना बिगड़ रही है, तो वह चिल्लाता है, "रुक जाओ! फिर से योजना बनाओ!" और मुख्य मस्तिष्क को निर्देशों का एक नया सेट तैयार करने के लिए ट्रिगर करता है। यह प्रणाली "प्लग-एंड-प्ले" (plug-and-play) है, जिसका अर्थ है कि इसे मौजूदा रोबोट मस्तिष्क में बिना पूरे सिस्टम को फिर से प्रशिक्षित किए जोड़ा जा सकता है। यह एक पुरानी कार में स्मार्ट क्रूज कंट्रोल जोड़ने जैसा है; इंजन वही रहता है, लेकिन कार बहुत अधिक कुशलता से चलती है।

शोधकर्ताओं ने कंप्यूटर सिमुलेशन और वास्तविक रोबोटों पर इस विचार का परीक्षण किया। उन्होंने पाया कि आसान कार्यों पर, जैसे कप उठाना, TempoWAM ने उन मामलों में "सोचने" (या अनुमान लगाने) की संख्या को लगभग 26.9% कम कर दिया, क्योंकि इसने योजना पर अधिक भरोसा किया। बहुत कठिन, जटिल कार्यों पर, जैसे कि एक नाजुक हैंड क्रीम की बोतल को पैक करना, सफलता दर 13.3 अंक बढ़ गई क्योंकि रोबोट ने एक खराब योजना को जबरदस्ती लागू करने के बजाय जल्दी ही अपनी रणनीति पर पुनर्विचार किया।

यह पेपर स्पष्ट रूप से "फिक्स्ड हॉरिज़न्स" (केवल कदमों को गिनना) के उपयोग के विरुद्ध तर्क देता है कि यह रोबोट चलाने का सबसे अच्छा तरीका नहीं है। वे यह भी दिखाते हैं कि अन्य विधियाँ, जो यह अनुमान लगाने की कोशिश करती हैं कि कोई योजना कितनी अच्छी है कि रोबोट का मस्तिष्क कितना "भ्रमित" है, उतनी प्रभावी नहीं हैं जितनी कि केवल यह देखना कि कार्य वास्तव में पूरा हो रहा है या नहीं। परिणाम बताते हैं कि घड़ी के बजाय प्रगति पर नज़र रखकर, रोबोट सरल कार्यों के लिए तेज़ और ऊर्जा बचाने वाले और जटिल कार्यों के लिए स्मार्ट और विफलताओं से बचने वाले बन सकते हैं।

तकनीकी सारांश: निष्पादन से पहले पुनर्विचार करें: वर्ल्ड एक्शन मॉडल्स के लिए अनुकूली निष्पादन (Adaptive Execution)

समस्या विवरण (Problem Statement)

वर्ल्ड एक्शन मॉडल्स (WAMs) रोबोटिक मैनिपुलेशन के लिए एक प्रतिमान (paradigram) का प्रतिनिधित्व करते हैं जो भविष्य के कार्यों और पर्यावरणीय विकास का संयुक्त रूप से पूर्वानुमान लगाते हैं। मानक WAM परिनियोजन (deployment) में भविष्य के कार्यों के एक "चंक" (chunk) को उत्पन्न करना और फिर पुन: नियोजन (replanning) चरण को ट्रिगर करने से पहले उस चंक के एक निश्चित प्रीफ़िक्स (fixed prefix) को निष्पादित करना शामिल है। लेखक तर्क देते हैं कि यह निश्चित निष्पादन क्षितिज (fixed execution horizon) निष्पादन गतिकी (execution dynamics) के साथ मौलिक रूप से मेल नहीं खाता है।

जैसा कि पेपर में दर्शाया गया है, एक्शन चंक्स की विश्वसनीयता चरण-निर्भर (stage-dependent) होती है:

आसान चरण (Easy stages): चंक्स कई चरणों तक सटीक रहते हैं, जिससे बार-बार पुन: नियोजन करना कम्प्यूटेशनल रूप से व्यर्थ हो जाता है।
कठिन चरण (Hard stages): कुछ ही चरणों के बाद त्रुटियां तेजी से संचित होती हैं, जिससे एक निश्चित क्षितिज विफलता के प्रति संवेदनशील हो जाता है यदि वह पर्याप्त जल्दी पुन: नियोजन नहीं करता है।

मौजूदा अनुकूली निष्पादन विधियां एक्शन एंट्रॉपी (action entropy), प्रेडिक्शन कंसिस्टेंसी (prediction consistency), या अटेंशन वेट्स (attention weights) जैसे प्रॉक्सी मेट्रिक्स पर निर्भर करती हैं। लेखक तर्क देते हैं कि ये अपर्याप्त हैं क्योंकि वे इस महत्वपूर्ण कारक को स्पष्ट रूप से नहीं मापते हैं जो निष्पादन के लिए आवश्यक है: क्या कार्य वास्तव में आगे बढ़ रहा है? एक अनुक्रम सुचारू (कम एंट्रॉपी वाला) हो सकता है, फिर भी प्रगति न करे, या उच्च-एंट्रॉपी वाला होकर भी कार्य को आगे बढ़ा सकता है। इसके अलावा, कई मौजूदा विधियां (जैसे भविष्य की कल्पना के माध्यम से सत्यापन) अत्यधिक कम्प्यूटेशनल लागत पेश करती हैं या ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) की आवश्यकता रखती हैं, जो परिनियोजन के लिए अव्यवहारिक है।

कार्यप्रणाली (Methodology): TempoWAM

पेपर TempoWAM (Timing Execution by Monitoring Progress Online) का प्रस्ताव करता है, जो एक हल्का, प्लग-एंड-प्ले निष्पादन तंत्र है जो स्टेप काउंट के बजाय अनुमानित कार्य प्रगति के आधार पर निष्पादन क्षितिज को अनुकूलित करता है। इसमें दो प्राथमिक घटक शामिल हैं:

1. रिकरेंट प्रोग्रेस मॉनिटर (Recurrent Progress Monitor - RPM)

RPM एक हल्का मॉड्यूल है जो उस कार्य प्रगति ( $v_t \in [0, 1]$ ) का अनुमान लगाता है जो वर्तमान उम्मीदवार कार्यों को निष्पादित करने पर प्राप्त की जा सकती है। यह निम्नलिखित इनपुट लेता है:

वर्तमान अवलोकन ( $o_t$ ): बेस WAM के फ्रोजन विजुअल बैकबोन के माध्यम से एनकोडेड।
कैंडिडेट एक्शन प्रीफ़िक्स ( $c^{rem}_t$ ): शेष चंक से अगले $n_t$ कार्य, जो एक रिकरेंट एनकोडर द्वारा एनकोडेड हैं।
निष्पादन इतिहास ( $v_{t-1}$ ): पिछला प्रगति अनुमान, जिसे टेम्पोरल कॉन्टेक्स्ट बनाए रखने के लिए एक लर्नड प्रोजेक्शन के माध्यम से इंजेक्ट किया जाता है।
टास्क इंस्ट्रक्शन ( $\ell$ ): बेस WAM से एम्बेड किया गया।

मॉड्यूल इन फीचर्स को एकत्रित करने और एक प्रगति अनुमान आउटपुट करने के लिए एक GRU कोर का उपयोग करता है। इसे समय-आधारित प्रगति लेबल ( $y_u = u/T_{ep}$ ) के विरुद्ध बाइनरी क्रॉस-एंट्रॉपी लॉस का उपयोग करके प्रदर्शन प्रक्षेपवक्रों (demonstration trajectories) पर प्रशिक्षित किया गया है, जिसे स्थिरता और विजुअल नॉइज़ के प्रति मजबूती सुनिश्चित करने के लिए स्मूथनेस और हिस्ट्री-कंसिस्टेंसी रेगुलराइजेशन के साथ बढ़ाया गया है।

2. एडेप्टिव एक्जीक्यूशन प्रोटोकॉल (Adaptive Execution Protocol - AEP)

AEP यह तय करता है कि वर्तमान चंक का निष्पादन जारी रखना है या शेष भाग को हटाकर पुन: नियोजन करना है। यह अवलोकित प्रगति दर ( $\rho^{cur}_t$ ) की तुलना आवश्यक प्रगति दर ( $\rho^{need}_t$ ) से करके कार्य करता है।

प्रगति दर (Progress Rate): पूर्ण प्रगति के बजाय, सिस्टम प्रति चरण उन्नति की दर का मूल्यांकन करता है।
कैलिब्रेशन (Calibration): प्रशिक्षण पर्यवेक्षण और परिनियोजन वास्तविकता के बीच के अंतर को पाटने के लिए, प्रोटोकॉल एक दो-टाइमस्केल कैलिब्रेशन फैक्टर ( $\kappa_{final}$ $κ_{f ina l}$ ) का उपयोग करता है:
- ऑफलाइन कैलिब्रेशन: एक कार्य-विशिष्ट फैक्टर ( $\kappa_{task}$ ) लीस्ट स्क्वायर्स फिटिंग के माध्यम से प्रदर्शन एपिसोड से प्राप्त किया जाता है।
- ऑनलाइन एडैप्टेशन:
  - इंट्रा-एपिसोड (Intra-episode): एक एक्सपोनेंशियल मूविंग एवरेज (EMA) एकल एपिसोड के भीतर ड्रिफ्ट को ट्रैक करने के लिए फैक्टर को अपडेट करता है।
  - इंटर-एपिसोड (Inter-episode): एक स्केलिंग फैक्टर ( $\delta'$ ) लक्ष्य ( $s^*$ ) के सापेक्ष सफलता दर के आधार पर समायोजित होता है। यदि सफलता लक्ष्य से कम है, तो प्रोटोकॉल को सख्त बनाया जाता है (जल्दी पुन: नियोजन); यदि अधिक है, तो इसे शिथिल किया जाता है (कम पुन: नियोजन) ताकि दक्षता में सुधार हो सके।

निर्णय नियम यह है: यदि कैलिब्रेटेड अनुपात $r_t \ge 1$ है, तो निष्पादन जारी रहता है; अन्यथा, चंक को हटा दिया जाता है, और एक नए प्रेडिक्शन के लिए WAM को बुलाया जाता है।

मुख्य योगदान (Key Contributions)

मानदंड में बदलाव (Shift in Criterion): लेखक प्रदर्शित करते हैं कि केवल एक्शन की तर्कसंगतता का आकलन करना अनुकूली निष्पादन के लिए अपर्याप्त है। वे तर्क देते हैं कि पुन: नियोजन कब करना है, इसका निर्णय लेने के लिए कार्य प्रगति एक स्वाभाविक और आवश्यक मानदंड है।
प्लग-एंड-प्ले आर्किटेक्चर: TempoWAM को एक हल्के एड-ऑन के रूप में डिज़ाइन किया गया है। इसके लिए बैकबोन WAM को संशोधित करने या पुन: प्रशिक्षित करने की आवश्यकता नहीं है। यह पूरी तरह से निष्पादन परत पर संचालित होता है, जिससे यह विभिन्न WAM आर्किटेक्चर (FastWAM और Motus पर प्रदर्शित) के साथ संगत है।
दक्षता-सफलता ट्रेड-ऑफ (Efficiency-Success Trade-off): यह विधि आसान चरणों पर चंक पुन: उपयोग को गतिशील रूप से बढ़ाकर और कठिन चरणों पर शीघ्र पुन: नियोजन को ट्रिगर करके, कम्प्यूटेशनल लागत (इन्फरेंस कॉल्स) और कार्य सफलता के बीच एक बेहतर संतुलन प्राप्त करती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिमुलेशन बेंचमार्क (LIBERO, RoboTwin 2.0) और वास्तविक दुनिया के रोबोटिक कार्यों पर TempoWAM का मूल्यांकन किया।

RoboTwin 2.0:
- शॉर्ट-होराइजन टास्क: TempoWAM ने फिक्स्ड होराइजन की तुलना में WAM इन्फरेंस कॉल्स को कम करते हुए सफलता दर को सुरक्षित रखा या थोड़ा सुधारा।
- लॉन्ग-होराइजन टास्क: इसने 12 या 24 स्टेप्स के फिक्स्ड होराइजन से बेहतर प्रदर्शन करते हुए, निष्पादित स्टेप्स को कम करते हुए सफलता दर में 1.54 पॉइंट्स (क्लीन) और 0.87 पॉइंट्स (रैंडमाइज्ड) का सुधार किया।
- तुलना: इसने ऑटो-होराइजन (अटेंशन-आधारित) और AAC (एंट्रॉपी-आधारित) जैसे अनुकूली बेसलाइन्स को काफी पीछे छोड़ दिया, जो या तो सफलता में सुधार करने में विफल रहे या अत्यधिक कम्प्यूटेशनल लागत का कारण बने।
LIBERO बेंचमार्क:
- TempoWAM ने सभी चार सूट्स (Long, Spatial, Object, Goal) में सफलता दर बनाए रखते हुए औसत WAM कॉल्स को 14.88 से घटाकर 12.46 कर दिया।
- LIBERO-10 सूट पर, इसने कॉल्स को कम करते हुए सफलता को 95.00% से 95.60% तक सुधारा।
वास्तविक दुनिया के रोबोट:
- तीन कार्यों (ड्रिंक्स लेना, पिक एंड प्लेस, हैंड क्रीम पैक करना) पर, TempoWAM ने सबसे आसान कार्य ("take drinks") पर कॉल्स को 26.9% कम किया और सामान्य कठिन कार्यों पर सफलता में 13.3 प्रतिशत अंक का सुधार किया (विशेष रूप से "pack hand cream" कार्य पर, जो मूल्यांकित सेट में सबसे कठिन है)।
- क्रॉस-बैकबोन जनरलाइजेशन: बिना पुन: प्रशिक्षण के Motus WAM के साथ जुड़े होने पर, TempoWAM ने विशेष रूप से "move_can_pot" कार्य पर सफलता में 59 पॉइंट्स का सुधार किया, जो इसकी आर्किटेक्चर-अज्ञेय (architecture-agnostic) प्रकृति की पुष्टि करता है।
कम्प्यूटेशनल ओवरहेड:
- RPM नगण्य ओवरहेड जोड़ता है। विजुअल एनकोडिंग के साथ, यह एक अनुकूलित WAM इन्फरेंस कॉल के समय का 3.54% उपभोग करता है; साझा फीचर्स के साथ, यह गिरकर 0.34% हो जाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि TempoWAM वर्तमान WAM परिनियोजन की एक महत्वपूर्ण सीमा को संबोधित करता है: फिक्स्ड निष्पादन क्षितिज की कठोरता। यह तर्क देते हुए कि निष्पादन निर्णयों को अनुमानित कार्य प्रगति में आधारित करके, सिस्टम अनिश्चितता प्रॉक्सी या पूर्व-निर्धारित स्टेप काउंट के बजाय वातावरण की वास्तविक स्थिति के अनुकूल होता है।

लेखक जोर देते हैं कि उनका दृष्टिकोण प्रगति-जागरूक (progress-aware) और कुशल है। इसके लिए महंगी भविष्य की कल्पना या ऑनलाइन RL प्रशिक्षण की आवश्यकता नहीं है। इसके बजाय, यह एक हल्के रिकरेंट मॉनिटर और एक कैलिब्रेटेड प्रोटोकॉल का लाभ उठाता है ताकि निष्पादन क्षितिज को गतिशील रूप से समायोजित किया जा सके। परिणाम बताते हैं कि WAMs के लिए, पुन: नियोजन का निर्णय इस बात से प्रेरित होना चाहिए कि क्या शेष क्रियाएं अभी भी कार्य को आगे बढ़ा रही हैं, जो एक ऐसी क्षमता है जिसे TempoWAM सिमुलेशन और वास्तविक दुनिया के डोमेन में लगातार प्रदान करता है।

पेपर निष्कर्ष निकालता है कि जबकि समय-आधारित लेबल गैर-दोहराव वाले, प्रगति-मोनोटोनिक कार्यों के लिए मान्य हैं (जो उनके मूल्यांकित बेंचमार्क को कवर करते हैं), भविष्य के कार्यों में आवधिक (periodic) या सममित (symmetric) कार्यों को संभालने की आवश्यकता होगी जहाँ अवलोकन-से-लेबल मैपिंग एक-से-एक नहीं होती है।