💻 computer science

Inference-time Policy Steering via Vision and Touch

ViTaL एक नवीन विज़ुओ-टैक्टाइल इन्फरेंस-टाइम स्टीयरिंग फ्रेमवर्क है जो उच्च-स्तरीय विज़ुअल मोड चयन को निम्न-स्तरीय टैक्टाइल-गाइडेड एक्शन रिफाइनमेंट के साथ जोड़कर संपर्क-समृद्ध हेरफेर (कॉन्टैक्ट-रिच मैनिपुलेशन) के लिए प्री-ट्रेंड रोबोट नीतियों को उन्नत करता है, जिससे यूनिमोडल और नैव फ्यूजन बेसलाइन की तुलना में सफलता दर में महत्वपूर्ण सुधार प्राप्त होता है।

मूल लेखक: Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को नाजुक कार्य करना सिखा रहे हैं, जैसे कि एक पिपेट से किसी विशिष्ट कप में तरल डालना या बिना निशान छोड़े मेज को पोंछना। आपके पास एक ऐसा रोबोट है जो पहले से ही हिलने-डुलने में काफी अच्छा है (इसका "बेस पॉलिसी"), लेकिन यह कभी-कभी गलतियाँ करता है क्योंकि यह "महसूस" नहीं कर पाता कि यह क्या कर रहा है या यह बहुत दूर तक नहीं देख पाता।

यह शोध पत्र ViTaL (विज़ुओ-टैक्टाइल लेटेंट स्टीयरिंग) नामक एक नई प्रणाली पेश करता है ताकि इन गलतियों को बिना रोबोट को शुरू से फिर से प्रशिक्षित किए, वास्तविक समय में ठीक किया जा सके। ViTaL को एक स्मार्ट को-पायलट के रूप में समझें जो रोबोट के बगल में बैठता है, उसकी हर हरकत को देखता है, और रोबोट द्वारा क्रिया निष्पादित करने से पहले ही सुधार की सलाह देता है।

ViTaL कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. समस्या: आँखें बनाम हाथ

लेखकों ने पाया कि जटिल कार्यों के लिए केवल एक इंद्रिय पर निर्भर रहना पर्याप्त नहीं है:

दृष्टि (आँखें) "बड़ी तस्वीर" के लिए अच्छी हैं: यह रोबोट को बता सकती है, "आप लाल कप के बजाय नीले कप की ओर बढ़ रहे हैं।" लेकिन आँखें यह नहीं बता सकतीं कि रोबोट ड्रॉपर को कितनी जोर से दबा रहा है या उसकी पकड़ ढीली हो रही है।
स्पर्श (हाथ) "विवरण" के लिए अच्छे हैं: यह महसूस कर सकता है कि रोबोट कितना दबाव डाल रहा है। लेकिन स्पर्श अकेले यह नहीं जानता कि रोबोट किस कप की ओर लक्षित है; वह बस इतना जानता है कि "मैं कुछ पकड़े हुए हूँ।"

यदि आप केवल आँखों का उपयोग करते हैं, तो रोबोट सही कप की ओर लक्ष्य तो रख सकता है लेकिन ड्रॉपर को कुचल सकता है। यदि आप केवल स्पर्श का उपयोग करते हैं, तो रोबोट ड्रॉपर को बिल्कुल सही तरीके से पकड़ सकता है लेकिन तरल को गलत कप में डाल सकता है।

2. समाधान: एक दो-चरणीय "को-पायलट" प्रणाली

ViTaL इस काम को दो स्तरों में विभाजित करके हल करता है, जैसे कि एक जनरल और एक विशेषज्ञ:

स्तर 1: जनरल (दृष्टि)
सिस्टम पहले भविष्य में बहुत दूर तक देखता है (जैसे लंबी सड़क की ओर देखना)। यह पूछता है: "यदि रोबोट ऐसा करता है, तो क्या वह सही गंतव्य पर पहुँचेगा?" यह जो कुछ भी देखता है उसके आधार पर सबसे अच्छी समग्र योजना चुनता है। इसे विजुअल मोड सिलेक्शन कहा जाता है।
- उपमा: कल्पना कीजिए कि एक GPS आपको बता रहा है, "शहर पहुँचने के लिए हाईवे लें।" उसे अभी गड्ढों की चिंता नहीं है; उसे बस गंतव्य की चिंता है।
स्तर 2: विशेषज्ञ (स्पर्श)
एक बार जब "जनरल" हाईवे चुन लेता है, तो "विशेषist" तुरंत अगले कुछ कदमों पर ध्यान केंद्रित करता है। वह पूछता है: "क्या रोबोट स्टीयरिंग व्हील को बहुत कसकर पकड़ रहा है? क्या वह किसी झटके से टकराने वाला है?" यह सुनिश्चित करने के लिए रोबोट की गतिविधियों को सूक्ष्म रूप से बदलता है कि संपर्क कैसा महसूस हो रहा है। इसे टैक्टाइल रिफाइनमेंट कहा जाता है।
- उपमा: अब कल्पना कीजिए कि आपके बगल में एक ड्राइविंग इंस्ट्रक्टर बैठा है, जो कह रहा है, "एक्सीलेटर को थोड़ा कम करें, आप इस मोड़ के लिए बहुत तेज़ जा रहे हैं।" वे आपका गंतव्य नहीं बदलते; वे बस वहां सुरक्षित रूप से पहुँचने के लिए आपको बेहतर तरीके से चलाने में मदद करते हैं।

3. गुप्त सूत्र: "इमेजिनेशन इंजन"

बिना रोबोट को वास्तव में टकराए या नुकसान पहुँचाए, ViTaL एक लेटेंट वर्ल्ड मॉडल का उपयोग करता है। इसे रोबोट की कल्पना के रूप में समझें।

रोबोट के हिलने से पहले, वह "कल्पना" करता है कि आगे क्या होगा।
यह भविष्य की एक मानसिक फिल्म बनाता है, जिसमें कैमरा क्या देखेगा (कप) और सेंसर क्या महसूस करेंगे (दबाव) दोनों शामिल होते हैं।
फिर यह मानसिक फिल्म की निर्देशों के साथ जाँच करता है। यदि फिल्म दिखाती है कि रोबोट तरल गिरा रहा है, तो यह उस योजना को खारिज कर देता है और एक अलग योजना आज़माता है।

4. "टेक्स्ट-टू-फीलिंग" ट्रांसलेटर

एक नए तरीके से निर्देश देने के बारे में एक अनूठी दावा है। रोबोट को यह बताने के लिए जटिल गणितीय कोड लिखने के बजाय कि "5 न्यूटन का बल लगाएँ," यह प्रणाली साधारण अंग्रेजी को समझती है।

आप रोबोट को कह सकते हैं: "हल्के से पकड़ें" या "ज़ोर से पकड़ें।"
सिस्टम इन शब्दों को सीधे रोबोट की "महसूस करने वाली" भाषा में अनुवादित करता है। यह जाँचता है कि क्या रोबोट की कल्पित पकड़ "हल्के" या "भारी" के अहसास से मेल खाती है। यह पहली बार है जब लेखकों ने रोबोटिक स्पर्श के लिए ऐसा करने का दावा किया है।

5. परिणाम: क्या यह काम करता है?

टीम ने वास्तविक दुनिया के तीन कार्यों पर ViTaL का परीक्षण किया:

पिपेटिंग: कपों के बीच तरल स्थानांतरित करना।
पोंछना (Wiping): सतह को साफ करना।
इंसर्शन (Insertion): एक पेग को छेद में डालना।

निष्कर्ष थे:

बेहतर सफलता: ViTaL ने रोबोट की मूल "बेस" पॉलिसी की तुलना में सफलता दर में 51% का सुधार किया।
एकल इंद्रियों से बेहतर: इसने केवल आँखों या केवल स्पर्श का उपयोग करने वाले सिस्टम को कम से कम 33% से पीछे छोड़ा।
केवल मिलाने से बेहतर: इसने एक "नाइव" (naive) सिस्टम को भी पीछे छोड़ा जिसने केवल आँखों और स्पर्श को एक साथ मिलाने की कोशिश की थी, और इसे कम से कम 20% से बेहतर प्रदर्शन किया।

सारांश

संक्षेप में, ViTaL एक स्मार्ट प्रणाली है जो रोबोट को सही लक्ष्य चुनने के लिए आगे देखने और कार्य को कोमलता से करने के लिए वर्तमान को महसूस करने की अनुमति देती है। यह एक आदर्श टीम की तरह कार्य करता है: एक साथी रास्ता तय करता है, और दूसरा साथी कार को सुचारू रूप से चलाता है, यह सुनिश्चित करता है कि रोबोट न केवल ऐसा दिखे कि वह सही काम कर रहा है, बल्कि वास्तव में वह इसे सही ढंग से महसूस भी करे।

तकनीकी सारांश: विज़न और टच के माध्यम से इन्फरेंस-टाइम पॉलिसी स्टीयरिंग (ViTaL)

समस्या विवरण (Problem Statement)

इन्फरेंस-टाइम स्टीयरिंग (Inference-time steering) तैनाती के दौरान पुन: प्रशिक्षण (re-training) के बिना पूर्व-प्रशिक्षित जनरेटिव रोबोट पॉलिसियों (जैसे डिफ्यूजन पॉलिसियों) को अनुकूलित करती है, जो निष्पादन से पहले उम्मीदवार क्रियाओं (candidate actions) को सत्यापित या परिष्कृत करती है। जबकि हालिया विधियाँ दीर्घ-क्षितिज (long-horizon) कार्य सत्यापन के लिए विजुअल ऑब्जर्वेशन का सफलतापूर्वक उपयोग करती हैं, केवल विज़न कॉन्टैक्ट-रिच मैनिपुलेशन (contact-rich manipulation) के लिए अपर्याप्त है। पिपेटिंग, वाइपिंग या इंसर्शन जैसे कार्यों में, सफलता वैश्विक सेमेंटिक प्रगति (जो विज़न के माध्यम से देखी जा सकती है) और सूक्ष्म स्थानीय भौतिक अंतःक्रियाओं (जैसे संपर्क बल और ग्रैस्प स्थिरता, जो स्पर्श/टच के माध्यम से देखी जा सकती है) दोनों पर निर्भर करती है।

वर्तमान दृष्टिकोण इन मोडैलिटीज़ को एकीकृत करने में दो प्राथमिक चुनौतियों का सामना करते हैं:

विभिन्न टेम्पोरल स्केल्स पर मोडैलिटी-डिपेंडेंट ऑब्जर्वेबिलिटी: विजुअल परिणाम अक्सर सेमेंटिक मोड्स को पहचानने के लिए दीर्घ-क्षितिज भविष्यवाणियों (long-horizon predictions) की आवश्यकता रखते हैं (जैसे सही कप की ओर बढ़ना), जबकि टैक्टाइल परिणाम स्थानीय और क्षणिक होते हैं (जैसे दबाने के दौरान बल का प्रयोग), जो अक्सर दीर्घ-क्षितिज विजुअल भविष्यवाणियों में ओझल हो जाते हैं।
बहु-मोडल रिवॉर्ड मॉडलिंग: एक एकीकृत रिवॉर्ड फंक्शन को परिभाषित करना कठिन है क्योंकि विजुअल और टैक्टाइल परिणामों का सापेक्ष महत्व कार्य के चरणों के अनुसार बदल जाता है। एक एकल रिवॉर्ड फंक्शन वैश्विक कार्य प्रगति और सूक्ष्म संपर्क आवश्यकताओं (जैसे कोमल पकड़ और छोड़ने के बीच अंतर करना) के बीच संतुलन बनाने में संघर्ष करता है।

कार्यप्रणाली: ViTaL फ्रेमवर्क (Methodology: ViTaL Framework)

लेखक ViTaL (विसुओ-टैक्टाइल लेटेंट स्टीयरिंग) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो मल्टीमॉडल गाइडेंस को एक बाई-लेवल ऑप्टिमाइज़ेशन समस्या के रूप में स्वरूपित करता है। यह दृष्टिकोण स्टीयरिंग को दो चरणों में विभाजित करता है जो विज़न और टच के प्राकृतिक टाइमस्केल्स के अनुरूप है:

1. बाई-लेवल ऑप्टिमाइज़ेशन फॉर्मूलेशन (Bi-level Optimization Formulation)

उद्देश्य एक विजुअल प्रायर (visual prior) का पालन करते हुए एक टास्क-कंडीशन्ड रिवॉर्ड को मैक्सिमाइज करने वाली एक्शन सीक्वेंस $a^*_{t:t+h}$ का चयन करना है।

इनर ऑप्टिमाइज़ेशन (विजुअल मोड सिलेक्शन): सिस्टम बेस पॉलिसी से लॉन्ग-होरिज़न एक्शन सीक्वेंस ( $H$ स्टेप्स) सैंपल करता है। इन्हें भविष्य की अवस्थाओं की भविष्यवाणी करने के लिए एक विसुओ-टैक्टाइल लेटेंट वर्ल्ड मॉडल का उपयोग करके रोल आउट किया जाता है। एक विजुअल वेरीफायर टास्क गोल की ओर सेमेंटिक प्रगति के आधार पर इन भविष्यवाणियों को स्कोर करता है। उच्चतम विजुअल रिवॉर्ड $\bar{a}_{t:t+H}$ वाली सीक्वेंस को ग्लोबल बिहेवियर मोड के रूप में चुना जाता है।
आउटर ऑप्टिमाइज़ेशन (टैक्टाइल रिफाइनमेंट): चुनी गई विजुअल सीक्वेंस के पहले $h$ स्टेप्स एक "एक्शन एंकर" के रूप में कार्य करते हैं। सिस्टम इस एंकर को रिफाइन करने के लिए शॉर्ट-होरिज़न ( $h$ स्टेप्स) डिफ्यूजन एडिटिंग करता है। एक टैक्टाइल वेरीफायर अनुमानित टैक्टाइल फ्यूचर्स को स्कोर करता है, और पॉलिसी को उन क्रियाओं के पक्ष में रीवेट (reweight) किया जाता है जो विजुअल प्लान के करीब रहते हुए स्थानीय संपर्क बाधाओं को संतुष्ट करती हैं।

2. विसुओ-टैक्टाइल लेटेंट वर्ल्ड मॉडल (Visuo-Tactile Latent World Model)

आउटकम-बेस्ड स्टीयरिंग को सपोर्ट करने के लिए, ViTaL एक सीखा हुआ लेटेंट वर्ल्ड मॉडल ( $p_\phi$ ) उपयोग करता है जो सीधे लेटेंट स्पेस में भविष्य के विजुअल और टैक्टाइल स्टेट्स की भविष्यवाणी करता है।

आर्किटेक्चर: यह ऑब्जर्वेशन को लेटेंट स्टेट्स ( $z_v, z_\tau$ ) में मैप करने के लिए फ्रोजन एनकोडर (विज़न के लिए DINOv3, टैक्टाइल के लिए AnyTouch) का उपयोग करता है। एक एक्शन-कंडीशन्ड ट्रांसफार्मर रिकर्सिवली भविष्य के जॉइंट लेटेंट्स की भविष्यवाणी करता है।
दक्षता (Efficiency): लेटेंट स्पेस में काम करके, मॉडल हर उम्मीदवार क्रिया के लिए पूर्ण इमेज या टैक्टाइल मैप को डिकोड करने की कम्प्यूटेशनल लागत से बचता है, जिससे कुशल टेक्स्ट-कंडीशन्ड गाइडेंस संभव होती है।

3. सेमेंटिकली-अलाइन्ड वेरीफायर (Semantically-Aligned Verifiers)

ViTaL विजुअल और टैक्टाइल रीजनिंग को जोड़ने के लिए एक साझा टास्क रिप्रेजेंटेशन के रूप में भाषा का उपयोग करता है। एक विजन-लैंग्वेज मॉडल (VLM) हाई-लेवल निर्देशों को फेज-लेवल टेक्स्टुअल ऑब्जेक्टिव्स ( $\ell^v_p, \ell^\tau_p$ ) में विभाजित करता है।

विजुअल वेरीफायर: अनुमानित विजुअल लेटेंट्स को RGB इमेज में डिकोड करता है और सेमेंटिक प्रगति (जैसे, "क्या रोबोट नीले कप की ओर बढ़ रहा है?") का मूल्यांकन करने के लिए एक ज़ीरो-शॉट रिवॉर्ड मॉडल (ROBOMETER) का उपयोग करता है।
टैक्टाइल वेरीफायर: अनुमानित टैक्टाइल लेटेंट एम्बेडिंग और संपर्क ऑब्जेक्टिव (जैसे, "हल्का सा पकड़ें") के टेक्स्ट एम्बेडिंग के बीच कोसाइन सिमिलरिटी की गणना करता है। यह एक टेक्स्ट-कंडीशन्ड टैक्टाइल रिवॉर्ड बनता है, जिससे सिस्टम बिना किसी टास्क-स्पेसिफिक रिवॉर्ड फंक्शन को हाथ से डिज़ाइन किए या टैक्टाइल इमेज को डिकोड किए, टैक्टाइल फ्यूचर्स को स्कोर कर सकता है।

4. इन्फरेंस-टाइम ऑप्टिमाइज़ेशन (Inference-time Optimization)

स्टीयरिंग प्रक्रिया सैंपलिंग-बेस्ड विजुअल सिलेक्शन के साथ टैक्टाइल रिफाइनमेंट के लिए डिफ्यूजन एडिटिंग को जोड़ती है:

विजुअल स्टेज: $N$ लॉन्ग-होरिज़न ट्राजेक्टरीज सैंपल करता है, उन्हें वर्ल्ड मॉडल में रोल आउट करता है, और विजुअल वेरीफायर के आधार पर सर्वश्रेष्ठ को चुनता है।
टैक्टाइल स्टेज: चुनी गई विजुअल एंकर को डिफ्यूजन एडिटिंग के लिए एक कंडीशन के रूप में मानता है। यह एंकर को आंशिक रूप से नॉइज़ करता है और डिनोइजिंग प्रोसेस को उच्च टैक्टाइल रिवॉर्ड वाले एक्शन्स की ओर बायस (bias) करता है, जो प्रभावी रूप से कॉन्टैक्ट एग्जीक्यूशन को रिफाइन करता है।

मुख्य योगदान (Key Contributions)

बाई-लेवल मल्टी-मोडल गाइडेंस: एक ऐसा फ्रेमवर्क जो विज़न का उपयोग लॉन्ग-होरिज़न सेमेंटिक मोड सिलेक्शन के लिए और टच का उपयोग टारगेटेड शॉर्ट-होरिज़न कॉन्टैक्ट रिफाइनमेंट के लिए करता है, जो मोडैलिटी के बीच टेम्पोरल स्केल मिसमैच को संबोधित करता है।
लैंग्वेज-कंडीशन्ड टैक्टाइल रिवॉर्ड: एक नवीन टैक्टाइल वेरीफायर का परिचय जो अलाइन्ड लेटेंट स्पेस में टेक्स्ट डिस्क्रिप्शन का उपयोग करके अनुमानित टैक्टाइल फ्यूचर्स को स्कोर करता है। यह फ्लेक्सिबल, लैंग्वेज-ड्रिवन कॉन्टैक्ट रीजनिंग को सक्षम बनाता है और स्केलेबल, डेमोन्स्ट्रेशन-फ्री टैक्टाइल वेरिफिकेशन प्रदान करता है।
लेटेंट वर्ल्ड मॉडलिंग: एक विसुओ-टैक्टाइल लेटेंट वर्ल्ड मॉडल का एकीकरण जो डिकोडिंग के बिना लेटेंट स्पेस में कुशल, डायरेक्ट मल्टीमॉडल आउटकम स्कोरिंग की अनुमति देता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने फ्रैंका एमिका (Franka Emika) रोबोट और जेलसाइट मिनी (GelSight Mini) सेंसर्स का उपयोग करके तीन वास्तविक दुनिया के कॉन्टैक्ट-रिच मैनिपुलेशन कार्यों पर ViTaL का मूल्यांकन किया: पिपेट ट्रांसफर, वाइपिंग, और पेग इंसर्शन।

प्रदर्शन लाभ (Performance Gains): ViTaL ने बेस पॉलिसी की तुलना में समग्र कार्य सफलता में 51% का सुधार किया। इसने यूनिमोडल स्टीयरिंग (केवल विज़न या केवल टच) से कम से कम 33% बेहतर प्रदर्शन किया और नेइव मल्टीमोडल फ्यूजन (सिंपल रिवॉर्ड समेशन) से कम से कम 20% अधिक बेहतर प्रदर्शन किया।
विफलता मोड (Failure Modes): विज़न-ओनली स्टीयरिंग अक्सर ग्लोबल अलाइनमेंट में सफल रही लेकिन स्थानीय संपर्क त्रुटियों (जैसे तरल पदार्थ गिरना) के कारण विफल रही। टैक्टाइल-ओनली स्टीयरिंग ने संपर्क में सुधार किया लेकिन अक्सर ग्लोबल लक्ष्य को मिस कर दिया। ViTaL ने इन दोनों विफलता मोडों को सफलतापूर्वक संबोधित किया।
रिवॉर्ड सटीकता (Reward Accuracy): प्रस्तावित वेरीफायर ने अनुमानित फ्यूचर्स की ग्राउंड ट्रुथ के मुकाबले हाई प्रेफरेंस-ऑर्डर एक्यूरेसी (विजुअल के लिए लगभग 85%, टैक्टाइल के लिए 81%) प्राप्त की, जो लेटेंट वर्ल्ड मॉडल और सेमेंटिक वेरीफायर की विश्वसनीयता को प्रदर्शित करती है।
दक्षता (Efficiency): बाई-लेवल दृष्टिकोण ने नेइव फ्यूजन की तुलना में सफलता और इन्फरेंस स्पीड के बीच बेहतर ट्रेड-ऑफ प्रदान किया, जो प्रति इन्फरेंस स्टेप केवल 0.05 सेकंड जोड़ते हुए विफलता दर को काफी कम करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ViTaL प्री-ट्रेंड रोबोट पॉलिसियों को बिना पुन: प्रशिक्षण या व्यापक टास्क-स्पेसिफिक रिवॉर्ड इंजीनियरिंग के कॉन्टैक्ट-रिच कार्यों के लिए मजबूत बनाने की दिशा में एक महत्वपूर्ण कदम है। विजुअल मोड सिलेक्शन और टैक्टाइल रिफाइनमेंट में स्टीयरिंग समस्या को विभाजित करके, यह विधि विज़न (ग्लोबल कॉन्टेक्स्ट) और टच (लोकल प्रिसिजन) की पूरक शक्तियों का लाभ उठाती है।

लेखक इस बात पर जोर देते हैं कि उनका टेक्स्ट-कंडीशन्ड टैक्टाइल रिवॉर्ड रोबोटिक मैनिपुलेशन के लिए अपनी तरह का पहला है, जो फ्लेक्सिबल, लैंग्वेज-ड्रिवन कॉन्टैक्ट रीजनिंग को सक्षम बनाता है। वे सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि सिस्टम की फिडेलिटी लेटेंट वर्ल्ड मॉडल पर निर्भर करती है (जहाँ कंपाउंडिंग एरर्स वेरिफिकेशन को प्रभावित कर सकते हैं) और आधुनिक VLMs की तुलना में टैक्टाइल एनकोडर वर्तमान में छोटे डेटासेट्स पर प्री-ट्रेन किए गए हैं। हालांकि, परिणाम बताते हैं कि मल्टीमोडल इन्फरेंस-टाइम स्टीयरिंग, अधिक अनुकूलनीय और विश्वसनीय रोबोटिक मैनिपुलेशन की दिशा में एक व्यवहार्य मार्ग है।