🤖 machine learning

Contrastive Representation Regularization for Vision-Language-Action Models

यह शोध पत्र रोबोट स्टेट-अवेयर कॉन्ट्रास्टिव लॉस (RS-CL) का परिचय देता है, जो एक हल्का प्रतिनिधित्व नियमितीकरण (representation regularization) तकनीक है जो विजन-लैंग्वेज-एक्शन मॉडल के प्रतिनिधित्व को रोबोटिक प्रोप्रियोसेप्टिव अवस्थाओं के साथ संरेखित करता है, जिससे सिम्युलेटेड और वास्तविक दुनिया के मैनिपुलेशन बेंचमार्क पर प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: "स्मार्ट दिमाग" बनाम "भोंडे हाथ"

कल्पना कीजिए कि आपने एक ऐसा रोबोट बनाया है जिसका दिमाग दुनिया के बारे में अविश्वसनीय रूप से स्मार्ट है। उसने लाखों किताबें पढ़ी हैं और अरबों तस्वीरें देखी हैं। वह जानता है कि "कैबिनेट का दरवाजा" क्या होता है, "खुलना" का क्या मतलब है, और इसे बेहतरीन अंग्रेजी में कैसे वर्णित किया जाए। यह एक विज़न-लैंग्वेज मॉडल (VLM) है।

हालाँकि, जब आप इस रोबोट को वास्तव में कैबिनेट खोलने के लिए कहते हैं, तो वह संघर्ष करता है। क्यों? क्योंकि जबकि उसका दिमाग दरवाजे की अवधारणा (concept) को समझता है, उसे यह नहीं पता कि उसके अपने हाथ हिलते समय कैसा महसूस करते हैं। वह "प्रोपियोसेप्शन" (proprioception) को नहीं समझता—यानी अपने जोड़ों की स्थिति का आंतरिक बोध, वह कितनी शक्ति का उपयोग कर रहा है, या अंतरिक्ष में उसका हाथ ठीक कहाँ है।

यह शोध पत्र तर्क देता है कि वर्तमान रोबोट उन कुशल शेफ की तरह हैं जिन्होंने कभी चाकू छुआ तक नहीं है। वे जानते हैं कि सलाद कैसा दिखना चाहिए, लेकिन वे सब्जियां नहीं काट सकते क्योंकि उनमें शारीरिक "एहसास" की कमी है।

समस्या: "विजुअल ट्रैप" (दृश्य जाल)

शोधकर्ताओं ने पाया कि जब ये रोबोट सीखने की कोशिश करते हैं, तो वे आसपास के दृश्यों से विचलित हो जाते हैं।

पुराना तरीका: यदि आप रोबोट को लाल दीवार वाले किचन में कैबिनेट खोलने का एक वीडियो दिखाते हैं, और नीली दीवार वाले किचन में कैबिनेट खोलने का दूसरा वीडियो दिखाते हैं, तो रोबोट का दिमाग सोचता है, "ये दो बिल्कुल अलग कार्य हैं!" वह उन्हें बैकग्राउंड के रंग या फर्नीचर की शैली के आधार पर वर्गीकृत करता है।
वास्तविकता: दोनों ही मामलों में रोबोट के हाथ की गति लगभग एक जैसी होती है। हाथ के ऊपर उठने और हैंडल को पकड़ने का "एहसास" समान है, भले ही दीवार का रंग बदल जाए।

क्योंकि रोबोट का दिमाग दृश्य (लाल दीवार बनाम नीली दीवार) पर केंद्रित है न कि भौतिक अवस्था (हाथ की स्थिति) पर, यह भारी गलतियाँ करता है, खासकर जब उसे सटीकता की आवश्यकता होती है, जैसे कप को बिना गिराए उठाना।

समाधान: "रोबोट स्टेट-अवेयर कॉन्ट्रास्टिव लॉस" (RS-CL)

लेखक एक नया प्रशिक्षण तरीका पेश करते हैं जिसे RS-CL कहा जाता है। इसे रोबोट के दिमाग के लिए एक "भौतिक वास्तविकता जांच" (physical reality check) के रूप में सोचें।

1. "सॉफ्ट सुपरविजन" की उपमा

कल्पना कीजिए कि आप एक छात्र को गोला बनाना सिखा रहे हैं।

पुरानी विधि: आप बस कहते हैं, "एक गोला बनाओ।" छात्र एक पोस्टर पर बने गोले की तस्वीर देखता है और उसकी स्याही की नकल करने की कोशिश करता है।
RS-CL विधि: आप छात्र का हाथ पकड़ते हैं और कहते हैं, "महसूस करो कि तुम्हारी कलाई कैसे हिल रही है? जब तुम्हारा हाथ यहाँ है, तो गोला छोटा है। जब तुम्हारा हाथ वहाँ है, तो गोला बड़ा है।"

RS-CL इसे डिजिटल रूप से करता है। यह रोबोट के आंतरिक सेंसरों (इसके "प्रोपियोसेप्टिव स्टेट") को देखता है और दिमाग को बताता है: "यदि रोबोट का हाथ स्थिति A में है, और किसी अन्य समय यह स्थिति B में है, और वे स्थितियाँ बहुत समान हैं, तो आपके दिमाग के आंतरिक मानचित्र को इन दोनों क्षणों को समान मानना चाहिए, भले ही बैकग्राउंड पूरी तरह से अलग क्यों न हो।"

यह एक "सॉफ्ट" वेट सिस्टम का उपयोग करता है। यदि रोबोट का हाथ लगभग एक ही जगह पर है, तो दिमाग को इसे समान मानने के लिए एक हल्का सा संकेत मिलता है। यदि हाथ दूर है, तो इसे अलग मानने का संकेत मिलता है। यह दिमाग को दृश्य (scenery) के बजाय गति (movement) पर ध्यान केंद्रित करने के लिए मजबूर करता है।

2. "व्यू कटऑफ" (View Cutoff) तकनीक

रोबोट के पास अक्सर कई कैमरे होते हैं (जैसे कि कलाई का कैमरा और कमरे का कैमरा)।

समस्या: यदि आप रोबोट को पूरे दृश्य के साथ प्रशिक्षित करते हैं, तो वह कलाई के कैमरे पर बहुत अधिक निर्भर हो सकता है और कमरे को अनदेखा कर सकता है, या इसके विपरीत।
समाधान: शोधकर्ताओं ने व्यू कटऑफ नामक एक विधि का आविष्कार किया। कल्पना कीजिए कि आप एक नक्शा पढ़ रहे हैं, लेकिन आप अपने हाथ से उसका आधा हिस्सा ढक देते हैं। आप अपने दिमाग को केवल दिखाई देने वाले आधे हिस्से का उपयोग करके पूरी तस्वीर समझने के लिए मजबूर करते हैं।
यह कैसे काम करता है: कंप्यूटर प्रशिक्षण के दौरान एक कैमरा व्यू को बेतरतीब ढंग से "मास्क आउट" (छिपा) देता है। यह रोबोट के दिमाग को एक ऐसा प्रतिनिधित्व (representation) सीखने के लिए मजबूर करता है जो तब भी काम करे जब एक कैमरा ब्लॉक हो या कोण बदल जाए। यह रोबोट की समझ को "व्यू-इनवेरिएंट" (view-invariant) बनाता है (मतलब, आप इसे किसी भी कोण से देखें, क्रिया वही रहती है)।

परिणाम: "भोंडेपन" से "सटीकता" तक

इस शोध पत्र का परीक्षण एक सिम्युलेटेड किचन (RoboCasa-Kitchen) और एक वास्तविक रोबोट आर्म पर किया गया।

सिमुलेशन: इस सुधार से पहले, सर्वश्रेष्ठ रोबोट लगभग 65.7% बार सफल होते थे। RS-CL के साथ, वे बढ़कर 69.7% हो गए।
"पिक-एंड-प्लेस" की जीत: सबसे बड़ा सुधार उन कार्यों में देखा गया जिनमें सटीकता की आवश्यकता होती है, जैसे किसी छोटी वस्तु को उठाना और उसे एक कटोरे में रखना। सफलता दर 30.3% से बढ़कर 41.5% हो गई। यह एक ऐसे रोबोट से ऊपर उठने जैसा है जो आधा समय कप गिरा देता है और अब लगभग हमेशा सही काम करता है।
वास्तविक रोबोट: एक वास्तविक भौतिक रोबोट आर्म पर, कठिन कार्यों के लिए सफलता दर 45.0% से बढ़कर 58.3% हो गई।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

शोध पत्र का दावा है कि यह विधि हल्की (lightweight) है और इसे आसानी से जोड़ा जा सकता है। आपको रोबोट के दिमाग को फिर से बनाने या उसे करोड़ों नए वीडियो दिखाने की आवश्यकता नहीं है। आप बस मौजूदा प्रशिक्षण प्रक्रिया में इस "भौतिक वास्तविकता जांच" (RS-CL) को जोड़ देते हैं।

यह "दरवाजा क्या है यह जानने" (Vision-Language) और "दरवाजा खोलने के लिए अपना हाथ कैसे हिलाना है यह जानने" (Action) के बीच के अंतर को पाटता है। रोबोट के दिमाग को अपनी भौतिक संवेदनाओं के साथ अपने विचारों को संरेखित करने के लिए मजबूर करके, रोबोट वास्तव में चीजों को इधर-उधर घुमाने के काम में बहुत बेहतर हो जाता है।

एक वाक्य में सारांश

यह शोध पत्र रोबोट को बैकग्राउंड के दृश्यों को देखना बंद करने और अपने शरीर की गतिविधियों पर ध्यान केंद्रित करना सिखाता है, जिसके परिणामस्वरूप बहुत सुचारू और सटीक भौतिक क्रियाएं प्राप्त होती हैं।

तकनीकी सारांश: विजन-लैंग्वेज-एक्शन मॉडल्स के लिए कंट्रास्टिव रिप्रेजेंटेशन रेगुलराइजेशन

समस्या विवरण

विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स ने प्री-ट्रेन्ड विजन-लैंग्वेज मॉडल्स (VLMs) से समृद्ध सिमेंटिक रिप्रेजेंटेशन का लाभ उठाकर रोबोटिक मैनिपुलेशन में महत्वपूर्ण क्षमता प्रदर्शित की है। हालांकि, एक गंभीर सीमा बनी हुई है: सामान्य-उद्देश्य वाले VLMs से प्राप्त रिप्रेजेंटेशन अक्सर रोबोटिक कंट्रोल के लिए उप-इष्टतम (suboptimal) होते हैं। जबकि VLMs को बड़े पैमाने पर विजुअल इंस्ट्रक्शन डेटासेट्स पर प्रशिक्षित किया जाता है, उनमें रोबोटिक मोडैलिटीज, विशेष रूप से लो-लेवल कंट्रोल एक्शन्स और प्रोप्रियोसेप्टिव जानकारी (जैसे जॉइंट पोजीशन, एंड-इफेक्टर स्टेट्स) का स्पष्ट एक्सपोजर नहीं होता है।

परिणामस्वरूप, जब VLA मॉडल्स फ्रोजन (frozen) VLM रिप्रेजेंटेशंस पर कंडिशन होते हैं, तो एम्बेडिंग्स विजुअल अपीयरेंस (जैसे सीन लेआउट, बैकग्राउंड टेक्सचर) द्वारा हावी हो जाती हैं, न कि कंट्रोल-रेलेवेंट फैक्टर्स द्वारा। यह मिसअलाइनमेंट ऐसे रिप्रेजेंटेशंस की ओर ले जाता है जो रोबोट के फिजिकल स्टेट या सटीक एक्शन प्रेडिक्शन के लिए आवश्यक सिग्नल्स को कैप्चर करने में विफल रहते हैं, जिससे सटीक पोजिशनिंग की आवश्यकता वाले कार्यों में उप-इष्टतम प्रदर्शन होता है।

कार्यप्रणाली: रोबोट स्टेट-अवेयर कंट्रास्टिव लॉस (RS-CL)

VLM रिप्रेजेंटेशंस और रोबोटिक सिग्नल्स के बीच मिसअलाइनमेंट को संबोधित करने के लिए, लेखक रोबोट स्टेट-अवेयर कंट्रास्टिव लॉस (RS-CL) का प्रस्ताव करते हैं। यह एक सरल, प्रभावी रिप्रेजेंटेशन रेगुलराइजेशन तकनीक है जिसे अतिरिक्त ट्रेनिंग स्टेज या क्यूरेटेड डेटासेट्स की आवश्यकता के बिना VLM एम्बेडिंग्स और रोबोट प्रोप्रियोसेप्टिव स्टेट्स के बीच के अंतर को पाटने के लिए डिज़ाइन किया गया है।

मुख्य घटक

रिप्रेजेंटेशन-लेवल ऑग्मेंटेशन (व्यू कटऑफ):
VLM के माध्यम से कई फॉरवर्ड पास की आवश्यकता वाले महंगे डेटा-लेवल ऑग्मेंटेशन करने के बजाय, लेखक "व्यू कटऑफ" पेश करते हैं। यह ऑपरेशन VLM आउटपुट से सिंगल ऑब्जर्वेशन व्यू के अनुरूप फीचर स्लाइस को रैंडमली मास्क करता है। यह न्यूनतम कंप्यूटेशनल ओवरहेड के साथ रिप्रेजेंटेशन स्तर पर वैकल्पिक एम्बेडिंग्स बनाता है, जिससे विविध कंट्रास्टिव पेयर्स को कुशलतापूर्वक बनाना संभव होता है।
लर्नबल समराइजेशन टोकन:
VLM सीक्वेंस (जो आमतौर पर लंबी होती हैं) पर कंट्रास्टिव लर्निंग लागू करने की उच्च कंप्यूटेशनल लागत को संभालने के लिए, एक लर्नबल समराइजेशन टोकन को VLM आउटपुट के साथ जोड़ा जाता है। एडैप्टर इस टोकन को प्रोसेस करके एक कॉम्पैक्ट रिप्रेजेंटेटिव एम्बेडिंग ( $z$ ) बनाता है जिसका उपयोग कंट्रास्टिव लर्निंग के लिए किया जाता है, जबकि ओरिजिनल एम्बेडिंग्स ( $h$ ) एक्शन डिकोडर के लिए उपलब्ध रहती हैं।
सॉफ्ट-वेटेड कंट्रास्टिव ऑब्जेक्टिव:
RS-CL एक सुपरवाइज्ड कंट्रास्टिव लर्निंग फ्रेमवर्क का उपयोग करता है जो InfoNCE लॉस पर आधारित है। मानक कंट्रास्टिव लॉस के विपरीत, जो सभी नेगेटिव पेयर्स को समान मानते हैं, RS-CL रोबोट के प्रोप्रियोसेप्टिव स्टेट्स ( $q_i, q_j$ ) के बीच यूक्लिडियन डिस्टेंस के आधार पर सिमिलैरिटी स्कोर को सॉफ्ट वेट्स असाइन करता है।
- मैकेनिज्म: वे पेयर्स जिनके प्रोप्रियोसेप्टिव डिस्टेंस कम हैं (समान फिजिकल स्टेट्स), उन्हें उच्च वेट असाइन किए जाते हैं, जो मॉडल को उनके एम्बेडिंग्स को रिप्रेजेंटेशन स्पेस में करीब लाने के लिए प्रोत्साहित करता है। बड़े डिस्टेंस वाले पेयर्स को कम वेट दिया जाता है।
- फॉर्मूला: लॉस को एक वेटेड वेरिएंट के रूप में परिभाषित किया गया है:
  $\mathcal{L}_{RS-CL} = - \sum_{i,j} w_{ij} \log \frac{\exp(\text{sim}(z_i, \tilde{z}_j)/\tau)}{\sum_k \exp(\text{sim}(z_i, \tilde{z}_k)/\tau)}$
  जहाँ $w_{ij}$ प्रोप्रियोसेप्टिव स्टेट्स के रिलेटिव डिस्टेंस से कंप्यूट किया जाता है।
ट्रेनिंग इंटीग्रेशन:
RS-CL स्टैंडर्ड एक्शन प्रेडिक्शन लॉस (जैसे फ्लो-मैचिंग लॉस) के साथ एक ऑक्सिलरी ऑब्जेक्टिव के रूप में संचालित होता है। कुल ऑब्जेक्टिव $\mathcal{L} = \mathcal{L}_{FM} + \lambda \mathcal{L}_{RS-CL}$ है। वेटिंग कोएफिशिएंट $\lambda$ को ट्रेनिंग के दौरान डीके (decay) किया जाता है, जो शुरुआती चरणों में रिप्रेजेंटेशन रिफाइनमेंट पर और बाद के चरणों में सटीक एक्शन प्रेडिक्शन पर जोर देता है। यह मौजूदा VLA पाइपलाइन्स के साथ संगत सिंगल-स्टेज, एंड-टू-एंड ट्रेनिंग की अनुमति देता है।

मुख्य योगदान

नवेल ऑब्जेक्टिव: RS-CL का परिचय, जो निरंतर डिस्टेंस-बेस्ड सॉफ्ट सुपरविजन का उपयोग करके VLM रिप्रेजेंटेशंस को रोबोट प्रोप्रियोसेप्टिव स्टेट्स के साथ स्पष्ट रूप से अलाइन करता है।
एफिशिएंट डिज़ाइन: एक रिप्रेजेंटेशन-लेवल ऑग्मेंटेशन स्ट्रैजी ("व्यू कटऑफ") का विकास जो अतिरिक्त VLM फॉरवर्ड पास के बिना लाइटवेट, स्टेबल कंट्रास्टिव लर्निंग को सक्षम बनाता है।
कंपैटिबिलिटी: यह प्रदर्शन करना कि RS-CL स्टैंडर्ड VLA ट्रेनिंग पाइपलाइन्स के साथ पूरी तरह से संगत है, जिसमें किसी अतिरिक्त डेटा क्यूरेशन या मल्टी-स्टेज ट्रेनिंग प्रक्रिया की आवश्यकता नहीं है।

प्रयोगात्मक परिणाम

लेखकों ने सिमुलेशन बेंचमार्क और रियल-रोबोट प्रयोगों में RS-CL का मूल्यांकन किया।

सिमुलेशन बेंचमार्क

RoboCasa-Kitchen: RS-CL ने 69.7% की स्टेट-ऑफ-द-आर्ट सक्सेस रेट हासिल की (300 प्रदर्शनों का उपयोग करके), जो बेसलाइन GR00T N1.5 (65.7%) और अन्य मजबूत बेसलाइन्स जैसे $\pi_0$ (62.5%) को पीछे छोड़ देती है। विशेष रूप से, इसने पिक-एंड-प्लेस कार्यों में महत्वपूर्ण बढ़त दी, जिससे सफलता दर 30.3% से बढ़कर 41.5% (+11.2%) हो गई, जो कि सटीक पोजिशनिंग की आवश्यकता वाला एक श्रेणी है।
LIBERO: RS-CL ने औसत सफलता दर को 95.7% से बढ़ाकर 96.4% कर दिया, जो विभिन्न मल्टीटास्क सूट्स में मजबूती प्रदर्शित करता है।
एफिशिएंसी: Time-Contrastive Networks (TCN) की तुलना में, RS-CL ने काफी कम कंप्यूटेशनल ओवरहेड (2.91 $\times 10^{12}$ FLOPs बनाम 7.53 $\times 10^{12}$ TCN के लिए) के साथ उच्च सफलता दर प्राप्त की, क्योंकि यह टेम्पोरली स्ट्रक्चर्ड डेटा माइनिंग और अतिरिक्त फॉरवर्ड पास से बचता है।

रियल-रोबोट प्रयोग

सेटअप: प्रयोग फ्रैंका रिसर्च 3 आर्म और रोबोटिक 2F-85 ग्रिपर पर किए गए।
परफॉरमेंस: चुनौतीपूर्ण मैनिपुलेशन कार्यों पर, RS-CL ने सफलता दर को 45.0% से 58.3% (+13.3%) तक सुधार दिया।
जनरलाइजेशन: पद्धति ने विजुअल वेरिएशंस, फिजिकल प्रॉपर्टी बदलाव (अनसीन ऑब्जेक्ट्स), लाइटिंग कंडीशंस और लैंग्वेज ग्राउंडिंग के प्रति बेहतर मजबूती दिखाई। इसने आंशिक ऑक्लूजन (जैसे ढक्कन बंद करना) वाले कार्यों में भी बेहतर प्रदर्शन दिखाया, जिसका श्रेय व्यू-इनवेरिएंट रिप्रेजेंटेशंस को दिया गया है।

फ्रॉम-स्क्रैच ट्रेनिंग

विभिन्न प्री-ट्रेन्ड VLM बैकबोन (Qwen2.5-VL, SigLIP2, GR00T N1.5) पर VLA मॉडल्स को स्क्रैच से ट्रेन करते समय, RS-CL ने सभी आर्किटेक्चर में लगातार प्रदर्शन में सुधार किया। यह उन बेसलाइन्स से बेहतर रहा जो VLMs को रोबोटिक्स डेटासेट्स पर और अधिक प्रशिक्षित करने पर निर्भर थे (जैसे RoboBrain, VeBrain), जो यह सुझाव देता है कि RS-CL के माध्यम से स्पष्ट अलाइनमेंट केवल जनरल डोमेन अडैप्टेशन की तुलना में अधिक प्रभावी है।

महत्व और दावे

पेपर का दावा है कि RS-CL प्रभावी रूप से "मोडैलिटी गैप" को संबोधित करता है जो जनरल-परपस VLMs और रोबोटिक कंट्रोल की विशिष्ट मांगों के बीच मौजूद है। रोबोट प्रोप्रियोसेप्टिव स्टेट्स के साथ रिप्रेजेंटेशंस को स्पष्ट रूप से अलाइन करके, यह विधि एम्बेडिंग स्पेस को केवल विजुअल अपीयरेंस के बजाय कंट्रोल-रेलेवेंट सिग्नल्स (जैसे टास्क प्रोग्रेस और रोबोट पोज) को कैप्चर करने के लिए नया आकार देती है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण लाइटवेट और सीमलेस है, जो जटिल मल्टी-स्टेज ट्रेनिंग या बड़े पैमाने पर क्यूरेटेड रोबोटिक्स डेटासेट्स की आवश्यकता को टालता है। परिणाम बताते हैं कि रिप्रेजेंटेशन लर्निंग प्रक्रिया में सीधे रोबोट स्टेट सिग्नल्स को शामिल करना सटीक एक्शन प्रेडिक्शन के लिए महत्वपूर्ण है, विशेष रूप से उन कार्यों के लिए जिनमें सटीक पोजिशनिंग की आवश्यकता होती है। यह कार्य भविष्य के अनुसंधान को अन्य सेंसर सिग्नल्स (जैसे ऑब्जेक्ट पोज, टैक्टाइल फीडबैक) को एकीकृत करने की दिशा में प्रोत्साहित करता है ताकि VLA क्षमताओं को और आगे बढ़ाया जा सके।