🤖 AI

TempoVLA: Learning Speed-Controllable Vision-Language-Action Policies

TempoVLA एक गति-नियंत्रणीय विजन-लैंग्वेज-एक्शन पॉलिसी पेश करता है जो वेरिएबल-स्पीड ट्राजेक्टरी ऑग्मेंटेशन (VSTA) और स्पष्ट स्पीड कंडीशनिंग का लाभ उठाता है ताकि रोबोटों को तेज़ ट्रांजिट और धीमी, सटीक संपर्क चरणों, दोनों के लिए अपनी निष्पादन गति को गतिशील रूप से समायोजित करने में सक्षम बनाया जा सके, जिससे मौजूदा मॉडलों की निश्चित-गति सीमाओं को दूर किया जा सके।

मूल लेखक: Dong Jing, Jingchen Nie, Tianqi Zhang, Jiaqi Liu, Huaxiu Yao, Zhiwu Lu, Mingyu Ding

प्रकाशित 2026-06-05

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Dong Jing, Jingchen Nie, Tianqi Zhang, Jiaqi Liu, Huaxiu Yao, Zhiwu Lu, Mingyu Ding

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक रोबोट है जिसने किसी इंसान को एक बार काम करते हुए देखकर कोई कार्य सीखा है, जैसे कपों को एक के ऊपर एक रखना या तौलिया तह करना। समस्या यह है कि वह रोबोट एक "एक-गति" (one-speed) वाली दुनिया में फंसा हुआ है। यदि इंसान का प्रदर्शन धीमा था, तो रोबोट हमेशा धीरे ही चलेगा। यदि इंसान का प्रदर्शन तेज़ था, तो रोबोट हमेशा तेज़ी से दौड़ता रहेगा। वह काम के किसी नाजुक हिस्से के लिए धीमा होने या खाली जगह में चलते समय तेज़ होने का निर्णय नहीं ले सकता।

TempoVLA एक नया सिस्टम है जो रोबोट को उसकी गति के लिए एक "वॉल्यूम नॉब" (volume knob) देता है। यह एक ही रोबोट मस्तिष्क को एक ही कार्य को कमांड पर 0.5x गति (सुपर स्लो और सावधान), 1x गति (सामान्य), या 2x गति (सुपर फास्ट) पर करने की अनुमति देता है।

उन्होंने इसे कैसे किया, इसे दो सरल भागों में विभाजित किया गया है:

1. "वीडियो एडिटर" (डेटा पक्ष)

रोबोट को सिखाने से पहले, शोधकर्ताओं को प्रशिक्षण वीडियो को ठीक करना था। उन्होंने एक चतुर टूल बनाया जिसे VSTA (Variable-Speed Trajectory Augmentation) कहा जाता है।

एक रोबोट के प्रदर्शन को एक फिल्म की तरह समझें।

तेज़ बनाने के लिए: एडिटर कई क्रमिक फ्रेम लेता है और उन्हें एक बड़े जंप (jump) में मिला देता है। यह फिल्म के उबाऊ हिस्सों को छोड़कर सीधे एक्शन तक पहुँचने जैसा है।
धीमा बनाने के लिए: एडिटर एक बड़ी गति को लेकर उसे कई छोटे, धीमे चरणों में विभाजित कर देता है। यह किसी विशिष्ट दृश्य में "स्लो-मोशन" प्रभाव जोड़ने जैसा है।

महत्वपूर्ण बात यह है कि यह संपादन इस बात को नहीं बदलता कि रोबकल क्या कर रहा है (semantics), बल्कि केवल यह कि वह इसे कितनी तेज़ी से करता है। उन्होंने एक मूल प्रदर्शन को लिया और उसे छह अलग-अलग गतियों पर किए गए एक ही कार्य की लाइब्रेरी में बदल दिया।

2. "स्पीड डायल" (मॉडल पक्ष)

एक बार जब रोबोट के पास तेज़ और धीमी गति के उदाहरणों की यह लाइब्रेरी हो जाती है, तो वे उसे एक नया करतब सिखाते हैं। वे रोबोट को एक सरल "स्पीड डायल" (एक नंबर जैसे 0.5, 1.0, या 1.5) देते हैं जिसे वह काम करते समय देख सकता है।

यदि आप रोबोट को कहते हैं, "इसे 1.5x गति पर करो," तो रोबोट अपने प्रशिक्षण डेटा को देखता है, तेज़ उदाहरणों को देखता है, और बड़े, साहसी मूव्स (moves) का अनुमान लगाता है।
यदि आप कहते हैं, "इसे 0.5x गति पर करो," तो वह धीमे उदाहरणों को देखता है और बहुत छोटे, सतर्क मूव्स का अनुमान लगाता है।

रोबोट को हर नई गति के लिए शून्य से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। वह बस "स्पीड डायल" को सुनने और उसके अनुसार अपनी मांसपेशियों की गतिविधियों को समायोजित करने के लिए सीख जाता है।

"स्मार्ट पायलट" बोनस

पेपर यह भी दिखाता है कि आप इस रोबोट को एक "स्मार्ट पायलट" (एक बड़ा AI लैंग्वेज मॉडल) के साथ जोड़ सकते हैं। आपको "धीरे हो जाओ" टाइप करने के बजाय, स्मार्ट पायलट रोबोट के कैमरा फीड को देखता है।

परिदृश्य: रोबोट एक खाली मेज के ऊपर से हाथ बढ़ा रहा है।
- स्मार्ट पायलट: "रास्ता साफ़ है! तेज़ चलो!" (रोबोट तेज़ हो जाता है)।
परिदृश्य: रोबोट एक नाजुक कप को पकड़ने वाला है।
- स्मार्ट पायलट: "खतरा क्षेत्र! धीमा हो जाओ!" (रोबोट बहुत धीमी गति पर आ जाता है)।

यह एक ऐसा रोबोट बनाता है जो सुरक्षित होने पर स्वाभाविक रूप से तेज़ होता है और जब उसे सटीकता की आवश्यकता होती है तो धीमा हो जाता है, और यह सब बिना मानवीय हस्तक्षेप के होता है।

उन्होंने क्या पाया

लचीलापन (Flexibility): रोबोट सफलतापूर्वक चलते समय अपनी गति बदल सकता है।
बेहतर प्रदर्शन: आश्चर्यजनक रूप से, इन मिश्रित गतियों पर रोबोट को प्रशिक्षित करने से वह सामान्य गति (1x) पर भी बेहतर प्रदर्शन करता है, जो केवल सामान्य गति पर प्रशिक्षित रोबोटों से बेहतर है। ऐसा लगता है कि विभिन्न गतियों पर चलना सीखने से रोबोट कार्य को बेहतर ढंग से समझने में मदद मिलती है।
सीमाएँ: एक भौतिक सीमा है। यदि आप रोबोट को बहुत तेज़ (जैसे 4x गति) जाने के लिए कहते हैं, तो रोबोट के भौतिक मोटर और कंट्रोलर उसके मस्तिष्क के निर्देशों के साथ तालमेल नहीं बिठा पाते, और वह अपने लक्ष्य को चूकने लगता है। लेकिन एक उचित सीमा (0.5x से 1.5x) के भीतर, यह पूरी तरह से काम करता है।

संक्षेप में, TempoVLA एक कठोर, एकल-गति वाले रोबोट को एक लचीले कार्यकर्ता में बदल देता है जो अपनी गति खुद चुन सकता है, जिससे यह नाजुक कार्यों के लिए सुरक्षित और नियमित कार्यों के लिए तेज़ बन जाता है।

तकनीकी सारांश: TempoVLA

समस्या विवरण

मौजूदा विजन-लैंग्वेज-एक्शन (VLA) मॉडल रोबोटिक मैनिपुलेशन के लिए अपने प्रशिक्षण प्रदर्शनों (demonstrations) से एक एकल, निश्चित निष्पादन गति (execution speed) विरासत में प्राप्त करते हैं। यह कठोरता एक महत्वपूर्ण सीमा है क्योंकि वास्तविक दुनिया के मैनिपुलेशन कार्य कम-जोखिम वाले ट्रांजिट चरणों (तेज़ निष्पादन की आवश्यकता) और उच्च-जोखिम वाले संपर्क चरणों (सटीक गति की मांग) के बीच बदलते रहते हैं। गति परिवर्तन के वर्तमान प्रयास—जैसे कि मॉडल कम्प्रेशन, KV-कैश पुन: उपयोग, या सुदृढीकरण शिक्षण (reinforcement learning)—आमतौर पर पॉलिसी को एक अलग निश्चित गति पर स्थानांतरित करते हैं, न कि स्पष्ट, ऑन-डिमांड नियंत्रण सक्षम करते हैं। इसके अलावा, ये विधियाँ मुख्य रूप से त्वरण (acceleration) पर ध्यान केंद्रित करती हैं, जिससे मंदी (deceleration)—जो परिशुद्धता और नाजुक हैंडओवर के लिए आवश्यक है—का क्षेत्र काफी हद तक अनछुआ रह जाता है। मुख्य चुनौती एक ही VLA को इसके मूल आर्किटेक्चर को स्क्रैच से पुन: प्रशिक्षित किए बिना या नया डेटा एकत्र किए बिना, स्पष्ट, द्विदिश गति नियंत्रण (bidirectional speed control) से लैस करना है।

कार्यप्रणाली

लेखक TempoVLA का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो एक एकल VLA पॉलिसी को एक स्पष्ट स्केलर स्थिति $s$ द्वारा नियंत्रित परिवर्तनीय गति पर कार्यों को निष्पादित करने में सक्षम बनाता है। यह दृष्टिकोण दो युग्मित घटकों से मिलकर बना है: एक डेटा-साइड ऑग्मेंटेशन रणनीति और एक मॉडल-साइड कंडीशनिंग तंत्र।

1. परिवर्तनीय-गति प्रक्षेपवक्र ऑग्मेंटेशन (Variable-Speed Trajectory Augmentation - VSTA)

VSTA एक ऑनलाइन डेटा ऑग्मेंटेशन रणनीति है जो किसी भी मौजूदा प्रदर्शन को मोशन सिमेंटिक्स को सुरक्षित रखते हुए एक लक्षित गति $s$ के अनुसार पुनः समयबद्ध (re-times) करती है। यह तीन चरणों में कार्य करता है:

मोशन-कंसिस्टेंट सेगमेंटेशन: प्रदर्शनों को मोशन मोड (स्थिर, अनुवाद, घूर्णन, या अनुवाद-और-घूर्णन) और ग्रिपर घटनाओं के आधार पर खंडित (segment) किया जाता है। मोड परिवर्तन या दिशा परिवर्तन पर सीमाएँ रखी जाती हैं ताकि सिमेंटिक निरंतरता सुनिश्चित हो सके।
चंक-स्तरीय गति रूपांतरण (Chunk-Level Speed Transform): प्रत्येक खंड के भीतर, लक्षित गति $s$ को $q$ स्रोत फ्रेम को $p$ आउटपुट फ्रेम में मैप करके प्राप्त किया जाता है ( $s = q/p$ )। प्रत्येक चंक के कुल मोशन $\Delta$ को संचित किया जाता है और फिर रैखिक इंटरपोलेशन (linear interpolation) के माध्यम से $p$ समान-परिमाण वाले चरणों में पुन: विभाजित किया जाता है। यह चंक के भीतर के प्रक्षेपवक्र आकार को बदलते हुए चंक के एकीकृत मोशन को सुरक्षित रखता है। यह ऑपरेशन उन एक्शन स्पेस के लिए मान्य है जो योग (addition) के अंतर्गत बंद हैं (जैसे, कार्टेशियन ट्रांसलेशन, जॉइंट वेलोसिटी, और एक्सिस-एंगल वेक्टर्स)।
ऑनलाइन चंक-स्टार्ट सैंपलिंग: री-टाइमिंग प्रक्रिया के दौरान ऑब्जर्वेशन को हटाने से बचने के लिए, प्रत्येक ट्रेनिंग सैंपल के लिए चंक्स का शुरुआती ऑफसेट रैंडमाइज किया जाता है। यह सुनिश्चित करता है कि प्रशिक्षण के दौरान, प्रत्येक सोर्स फ्रेम अंततः एक वैध चंक स्टार्ट के रूप में कार्य करेगा, जिससे ट्रेनिंग सिग्नल में योगदान मिलेगा।

2. स्पीड कंडीशनिंग मैकेनिज्म

पॉलिसी $\pi_\theta(o_t, s)$ को बढ़े हुए डेटासेट पर प्रशिक्षित किया जाता है जहाँ गति स्केलर $s$ को एक स्पष्ट कंडीशनिंग इनपुट के रूप में दिया जाता है। पेपर तीन हल्के इंजेक्शन स्कीम्स का मूल्यांकन करता है:

टेक्स्टुअल प्रीफिक्स (Textual Prefix): भाषा निर्देश में एक वाक्यांश जोड़ना (जैसे, "कार्य को 1.5x गति पर करें")।
स्पीड-मॉड्यूलेटेड RMSNorm: $s$ को एम्बेड करने के लिए एक छोटे MLP का उपयोग करना और इसे टाइमस्टेप एम्बेडिंग में जोड़ना, जो फिर एक्शन एक्सपर्ट लेयर्स के RMSNorm को मॉड्यूलेट करता है।
स्पीड एंकर्स के साथ सॉफ्ट प्रॉम्प्ट (Soft Prompt with Speed Anchors): एनकोडर इनपुट में डिस्क्रीट स्पीड एंकर्स से संबंधित सीखने योग्य सॉफ्ट-प्रॉम्ट टोकन डालना।

प्रयोगों से संकेत मिलता है कि गति नियंत्रण को न्यूनतम इंजीनियरिंग प्रयास के साथ इंजेक्ट किया जा सकता है और यह विशिष्ट कंडीशनिंग मैकेनिज्म से काफी हद तक स्वतंत्र है, जिसमें सरलता और लचीलेपन के लिए टेक्स्टुअल प्रीफिक्स को डिफ़ॉल्ट चुना गया है।

3. VLM शेड्यूलर के साथ डायनेमिक स्पीड कंट्रोल

निश्चित कमांड के परे, TempoVLA एक उच्च-स्तरीय विजन-लैंग्वेज मॉडल (VLM) के साथ जुड़कर स्वचालित डायनेमिक स्पीड शेड्यूलिंग का समर्थन करता है। VLM दृश्य का अवलोकन करता है और प्रति-चंक स्पीड कमांड भेजता है, जिससे सिस्टम बिना मानवीय हस्तक्षेप के कम-जोखिम वाले ट्रांजिट के दौरान त्वरित और उच्च-जोखिम वाले संपर्क चरणों के दौरान धीमा हो सकता है।

मुख्य परिणाम

सिमुलेशन (LIBERO बेंचमार्क)

व्यवहार्यता (Feasibility): VSTA ने नगण्य मोशन एरर ( $< 5 \times 10^{-8}$ ) के साथ स्प्रेड्स की एक श्रृंखला (0.5x से 2x) में निष्देय प्रदर्शन उत्पन्न किए।
प्रदर्शन लाभ: VSTA के साथ प्रशिक्षण से सिंगल-स्पीड बेसलाइन की तुलना में डिफ़ॉल्ट 1x सफलता दर में सुधार होता है। पीक परफॉर्मेंस अक्सर मध्यम गति (1.25x या 1.5x) पर होती है, जो यह सुझाव देती है कि VSTA टेलीऑपरेशन डेटा में "रिदम पैडिंग" को कंप्रेस करके अधिक निर्णायक निष्पादन की ओर ले जाता है।
ग्रैनुलैरिटी: प्रशिक्षण में सूक्ष्म गति ग्रैनुलैरिटी (जैसे, 7-स्पीड रेंज) को मोटे रेंज की तुलना में सभी गतियों के लिए बेहतर प्रदर्शन मिलता है।
सीमाएं: अत्यधिक गति (जैसे, 4x) पर, प्रदर्शन गिर जाता है क्योंकि लो-लेवल कंट्रोलर एक सिंगल कंट्रोल इंटरवल के भीतर बड़े एक्शन मैग्नीट्यूड को ट्रैक करने में असमर्थ होता है, न कि पॉलिसी की विफलता के कारण।

वास्तविक दुनिया के प्रयोग

सेटअप: पांच कार्यों (पिक-एंड-प्लेस और डिफॉर्मेबल ऑब्जेक्ट मैनिपुलेशन) में 7-DoF फ्रैंका आर्म और पैरेलल ग्रिपर पर तैनात।
सफलता दर: VSTA ने डिफ़ॉल्ट 1x सफलता दर को 80.0% (बेसलाइन) से बढ़ाकर 88.0% कर दिया।
डायनेमिक शेड्यूलिंग: GPT-4o शेड्यूलर के साथ जोड़े जाने पर, सिस्टम ने 96% औसत सफलता दर प्राप्त की, जो सर्वश्रेष्ठ फिक्स्ड-स्पीड कॉन्फ़िगरेशन से बेहतर थी। शेड्यूलर ने चरणों (फ्री-स्पेस बनाम कॉन्टैक्ट) की सही पहचान की और गति को तदनुसार समायोजित किया, हालांकि यह रूढ़िवादी रहा और शायद ही कभी अधिकतम 1.5x गति भेजी।
वास्तविक गति: निष्पादित गति कमांड की गई गति का बारीकी से पालन करती है (जैसे, 1.25x कमांड के लिए 1.29x वास्तविक), जो पॉलिसी प्रेडिक्शन के हार्डवेयर निष्पादन में निष्ठापूर्ण अनुवाद की पुष्टि करती है।

महत्व और दावे

पेपर का दावा है कि TempoVLA मौजूदा VLAs में द्विदिश गति नियंत्रण के लिए एक लाइटवेट, प्लग-एंड-प्ले समाधान प्रदान करता है। इसके प्राथमिक योगदान हैं:

द्विदिश नियंत्रण: यह एक ही पॉलिसी से त्वरण और मंदी दोनों को सक्षम करता है, जो मुख्य रूप से त्वरण पर केंद्रित पिछले कार्यों के अंतर को संबोधित करता है।
डेटा दक्षता: यह नया डेटा एकत्र किए बिना, मौजूदा प्रदर्शनों को पुनः समयबद्ध (re-time) करके इसे प्राप्त करता है।
निहित ऑग्मेंटेशन (Implicit Augmentation): डेटा को पुनः समयबद्ध करने की प्रक्रिया एक प्रभावी ऑग्मेंटेशन के रूप में कार्य करती है जो डिफ़ॉल्ट 1x प्रदर्शन में सुधार करती है, जिससे पॉलिसी को फिक्स्ड ऑब्जर्वेशन-टू-मैग्निट्यूड मैपिंग को याद करने के बजाय सूक्ष्म ऑब्जेक्ट-और-गोल-अवेयर फीचर्स सीखने के लिए मजबूर किया जाता है।
डायनेमिक शेड्यूलिंग: यह प्रदर्शित करता है कि निष्पादन गति एक उच्च-स्तरीय रीजनर (VLMs) के लिए एक नया कंट्रोल चैनल बन सकती है, जिससे चरण-जागरूक निष्पादन संभव होता है जहाँ रोबोट स्वायत्त रूप से गति और परिशुद्धता के बीच संतुलन बनाता है।

लेखक इस बात पर जोर देते हैं कि हालांकि पॉलिसी स्वयं गति की एक विस्तृत श्रृंखला का समर्थन करती है, वास्तविक गति की ऊपरी सीमा लो-लेवल कंट्रोलर के ट्रैकिंग बैंडविड्थ द्वारा निर्धारित होती है, जो यह सुझाव देता है कि भविष्य के कार्यों में पॉलिसी के स्पीड-कंट्रोल एनवेलप का पूर्ण उपयोग करने के लिए कंट्रोलर को को-ट्यून करना शामिल हो सकता है।