💻 computer science

CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

यह शोध पत्र CAST का प्रस्ताव करता है, जो रोबोटिक डेटासेट को बढ़ाने के लिए काउंटरफैक्चुअल लेबल उत्पन्न करने हेतु विजन-लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे बिना किसी अतिरिक्त डेटा संग्रह के विजन-लैंग्वेज-एक्शन मॉडल्स की निर्देश-अनुपालन क्षमताओं में महत्वपूर्ण सुधार होता है।

मूल लेखक: Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

प्रकाशित 2026-06-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को घर में रास्ता खोजने या वस्तुओं को उठाने के बारे में सिखाने की कोशिश कर रहे हैं। आप उसे एक वीडियो दिखाते हैं जिसमें एक रोबोट गलियारे में चल रहा है और दाएं मुड़ रहा है। आप रोबोट से कहते हैं, " 'सीधे जाओ' का मतलब यह है।"

समस्या यह है कि रोबोट थोड़ा आलसी छात्र है। वह ध्यान देता है कि हर बार जब वह गलियारा देखता है, तो वीडियो में रोबोट दाएं मुड़ जाता है। इसलिए, वह एक शॉर्टकट सीख लेता है: "अगर मैं गलियारा देखूँ, तो मैं दाएं मुड़ जाऊँगा।" वह आपके विशिष्ट निर्देशों (जैसे "नीली मेज पर बाएं मुड़ें") को सुनना बंद कर देता है क्योंकि उसे लगता है कि गलियारे का चित्र ही उसे सब कुछ बता देने के लिए काफी है। शोध पत्र की तकनीकी शब्दावली में, इसे "पोस्टीरियर कोलैप्स" (posterior collapse) कहा जाता है—रोबोट आपकी आवाज़ को अनदेखा कर देता है और केवल वही अनुमान लगाता है जो वह देख रहा है।

CAST समाधान: "क्या होगा अगर?" का खेल

इस पेपर के लेखक, जो UC बर्कले और प्रिंसटन से हैं, इस समस्या को ठीक करने के लिए एक चतुर तरकीब लेकर आए हैं। वे इसे CAST (काउंटरफैक्टुअल लेबल्स इम्प्रूव इंस्ट्रक्शन फॉलोइंग) कहते हैं।

CAST को एक रोबोट के लिए रचनात्मक लेखन कोच (creative writing coach) के रूप में समझें। केवल उस एक रास्ते को दिखाने के बजाय जो रोबोट ने वास्तव में लिया था, कोच रोबोट को "क्या होगा अगर?" (What If?) का खेल खेलने के लिए कहता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

मूल दृश्य: रोबोट के पास खुद को एक गलियारे में चलते हुए देखने का एक वीडियो है।
"क्या होगा अगर?" वाला प्रश्न: शोधकर्ता एक अत्यंत बुद्धिमान AI (एक विज़न-लैंग्वेज मॉडल) का उपयोग करते हैं, जो उसी गलियारे को देखता है और पूछता है, "हे, यहाँ रोबोट और क्या कर सकता था?"
- मूल: "सीधे जाओ।"
- काउंटरफैक्टुअल (क्या होगा अगर): "नारंगी मेज पर दाएं मुड़ें," या "बाईं ओर की दीवार के साथ चलें।"
रास्ता बनाना: AI केवल एक वाक्य ही नहीं बनाता; वह उस नए वाक्य से मेल खाने वाला एक नकली वीडियो पथ भी बनाता है। वह कल्पना करता है, "ठीक है, यदि रोबोट नारंगी मेज पर दाएं मुड़ता, तो अगले कुछ सेकंड कैसे दिखते?"
नया सबक: अब, रोबोट के पास बिल्कुल उसी गलियारे के लिए दो सबक हैं:
- सबक A: "सीधे जाओ" (वास्तविक वीडियो)।
- सबक B: "नारंगी मेज पर दाएं मुड़ें" (बनाया गया वीडियो)।

यह सब कुछ कैसे बदल देता है

इस तरकीब से पहले, रोबोट गलियारा देखता था और सोचता था, "मैं इसे जानता हूँ! मैं दाएं मुड़ता हूँ!" उसे आपके शब्दों को सुनने की आवश्यकता नहीं थी।

CAST के बाद, रोबोट वही गलियारा देखता है लेकिन महसूस करता है: "रुको, कभी-कभी मैं सीधा जाता हूँ, और कभी-कभी मैं नारंगी मेज पर दाएं मुड़ता हूँ। केवल चित्र ही मुझे यह नहीं बता सकता कि मुझे क्या करना है। मुझे यह जानने के लिए कि कौन सा रास्ता लेना है, आपके विशिष्ट शब्दों को सुनना ही होगा।"

परिणाम

शोधकर्ताओं ने दो प्रकार के रोबोटों पर इसका परीक्षण किया:

नेविगेशन रोबोट: वे रोबोट जो घर के अंदर और बाहर घूमते हैं।
मैनिपुलेशन रोबोट: रोबोटिक हाथ जो ब्रोकली या चम्मच जैसी चीजों को उठाते हैं।

उन्होंने पाया कि इस "क्या होगा अगर" वाले डेटा का उपयोग करके (बिना किसी नया वास्तविक दुनिया का वीडियो एकत्र किए), रोबोट निर्देशों का पालन करने में बहुत बेहतर हो गए।

नेविगेशन में, सफलता की दर इस तरकीब के बिना प्रशिक्षित रोबोटों की तुलना में दोगुनी हो गई।
मैनिपुलेशन कार्यों में (जैसे कि आस-पास की वस्तुओं से ध्यान भटकने के बावजूद वस्तुओं को उठाना), रोबोट में 27% का सुधार हुआ।

मुख्य बात

CAST एक रोबोट को "वैकल्पिक वास्तविकताओं" का पुस्तकालय देने जैसा है। रोबोट को यह दिखाकर कि एक ही दृश्य कई अलग-अलग परिणामों की ओर ले जा सकता है, यह उसे अनुमान लगाने के बजाय ध्यान से सुनने के लिए मजबूर करता है। यह एक ऐसे रोबोट को बदल देता है जो केवल "देखकर अनुमान लगाता है" और उसे एक ऐसे रोबोट में बदल देता है जो वास्तव में "सुनता है और कार्य करता है।"

तकनीकी सारांश: CAST – विजन-लैंग्वेज-एक्शन मॉडल्स में इंस्ट्रक्शन फॉलोइंग को बेहतर बनाने के लिए काउंटरफैक्चुअल लेबल्स

समस्या विवरण
सामान्यवादी रोबोटों (Generalist robots) के पास विविध, ओपन-वोकैबुलरी भाषा निर्देशों का पालन करने की क्षमता होनी चाहिए। जबकि विजन-लैंग्वेज-एक्शन (VLA) मॉडल भाषा को रोबोटिक क्रियाओं में मैप करने के लिए एक आशाजनक आर्किटेक्चर प्रदान करते हैं, वे वर्तमान में सूक्ष्म-स्तरीय (fine-grained) निर्देश पालन करने में संघर्ष कर रहे हैं। एक प्राथमिक सीमा मौजूदा रोबोट डेटासेट में भाषाई विविधता और लैंग्वेज ग्राउंडिंग की कमी है। कई डेटासेट्स में, अवलोकन (observations) विशिष्ट क्रियाओं के साथ अत्यधिक सह-संबंधित होते हैं (जैसे, दराज का होना "दराज खोलने" का संकेत देता है), जिससे पोस्टीरियर कोलैप्स (posterior collapse) की स्थिति उत्पन्न होती है। इस घटना में, पॉलिसी भाषा इनपुट को अनदेखा करना और केवल दृश्य अवलोकनों से कार्यों का अनुमान लगाना सीख लेती है क्योंकि भाषा कोई अतिरिक्त भविष्य कहनेवाला (predictive) जानकारी प्रदान नहीं करती है। इसके अलावा, मौजूदा डेटासेट्स अक्सर समान अवलोकनों के लिए सूक्ष्म-स्तरीय कार्य विविधता की कमी रखते हैं, और कुछ नेविगेशन डेटासेट्स में तो भाषा लेबल भी नहीं होते हैं। इन मुद्दों को हल करने के लिए डेटा क्यूरेशन को बढ़ाना महंगा और थकाऊ है।

कार्यप्रणाली: सिंथेटिक ट्राजेक्टरीज के साथ काउंटरफैक्चुअल ऑग्मेंटेशन (CAST)
लेखक CAST का प्रस्ताव करते हैं, जो एक डेटा ऑग्मेंटेशन फ्रेमवर्क है जो मौजूदा, बिना क्यूरेट किए गए रोबोटिक ट्राजेक्टरी डेटासेट्स के लिए काउंटरफैक्चुअल भाषा लेबल और सिंथेटिक क्रियाएं उत्पन्न करने के लिए विजन-लैंग्वेज मॉडल्स (VLMs) का लाभ उठाता है। मुख्य अंतर्दृष्टि यह है कि जब मॉडल को एक ही अवलोकन से जुड़ी कई अलग-अलग क्रियाओं पर प्रशिक्षित किया जाता है (लेकिन अलग-अलग निर्देशों द्वारा संचालित होती है), तो मॉडल सही क्रिया की भविष्यवाणी करने के लिए भाषा इनपुट पर ध्यान देने के लिए मजबूर हो जाता है, जिससे पोस्टीरियर कोलैप्स कम हो जाता है।

CAST पाइपलाइन चार मुख्य चरणों में कार्य करती है:

निर्णय बिंदु पहचान (Decision Point Identification): मौजूदा ट्राजेक्टरीज को व्यवहारिक परिवर्तनों (जैसे, मुड़ना, रुकना) के आधार पर परमाणु खंडों (atomic chunks) में विभाजित किया जाता है। ये सीमाएं निर्णय बिंदु के रूप में कार्य करती हैं।
काउंटरफैक्चुअल निर्देश जनरेशन: प्रत्येक निर्णय बिंदु पर, वर्तमान अवलोकन और मूल ट्राजेक्टरी संदर्भ के साथ एक VLM (विशेष रूप से Gemini 2.5 Pro) को क्वेरी किया जाता है। VLM संभावित काउंटरफैक्चुअल निर्देश (जैसे, "दाएं मुड़ने" के बजाय "बाएं मुड़ें") और संबंधित परमाणु कमांड (जैसे, "बाएं मुड़ें") उत्पन्न करता है।
सिंथेटिक एक्शन जनरेशन: एक पूर्व-प्रशिक्षित परमाणकी नीति (atomic policy - $\pi_a$ ), जिसे सरल परमाणु कमांड (जैसे, "आगे बढ़ें," "बाएं मुड़ें") का पालन करने के लिए वास्तविक रोबोट डेटा पर प्रशिक्षित किया गया है, का उपयोग इन काउंटरफैक्चुअल निर्देशों के लिए वास्तविक एक्शन चंक्स उत्पन्न करने के लिए किया जाता है। यह नीति मूल ट्राजेक्टरी से अलग होकर एक नया, संभावित "काउंटरफैक्चुअल एंडिंग" बनाती है।
डेटासेट ऑग्मेंटेशन: मूल ट्राजेक्टरीज को इन नए $(observation, counterfactual\_instruction, counterfactual\_action)$ टुपल्स के साथ संवर्धित (augment) किया जाता है। इस विस्तारित डेटासेट का उपयोग अंतिम VLA पॉलिसी, जिसे CounterfactualVLA कहा जाता है, को प्रशिक्षित करने के लिए किया जाता है।

लेखक म्यूचुअल इंफॉर्मेशन (mutual information) के आधार पर एक सैद्धांतिक प्रेरणा प्रदान करते हैं। वे तर्क देते हैं कि अवलोकन ( $o$ ) की स्थिति में क्रिया ( $a$ ) और भाषा ( $\ell$ ) के बीच म्यूचुअल इंफॉर्मेशन $I(a; \ell|o)$ को अधिकतम करके भाषा पालन में सुधार किया जाता है। एक दिए गए अवलोकन के लिए परमाणु कमांड की एंट्रॉपी ( $H(\ell_a|o)$ ) को बढ़ाते हुए, जबकि यह सुनिश्चित किया जाता है कि परमाणु कमांड पूर्ण निर्देश से अनुमानित हो ( $H(\ell_a|\ell, o)$ ), CAST प्रभावी रूप से इस म्यूचुअल इंफॉर्मेशन के निचले स्तर (lower bound) को ऊपर धकेलता है।

कार्यान्वयन विवरण
लेखक दो डोमेन में CAST को लागू करते हैं:

नेविगेशन: GNM डेटासेट (इनडोर/आउटडोर) का उपयोग करते हुए, वे अनलेबल डेटा के लिए प्रारंभिक लेबल उत्पन्न करने हेतु एक हिंडसाइट रीलेबलिंग पाइपलाइन का उपयोग करते हैं। वे ट्राजेक्टरीज को परमाणु व्यवहारों (बाएं/दाएं मुड़ना, आगे बढ़ना, रुकना) में विभाजित करते हैं ताकि परमाणु नीति को प्रशिक्षित किया जा सके। VLM काउंटरफैक्चुअल नेविगेशन प्रॉम्प्ट उत्पन्न करता है, और परमाणु नीति संबंधित एक्शन चंक्स को सिंथेसाइज करती है।
मैनिपुलेशन: Bridge डेटासेट का उपयोग करते हुए, वे मौजूदा कार्य-स्तर के लेबल और उप-कार्य विभाजनों (जैसे, "उठाना," "स्थानांतरित करना") को परमाणु कमांड के रूप में उपयोग करते हैं। VLM काउंटरफैक्चुअल कार्य (जैसे, किसी वस्तु को किसी अन्य सतह पर रखना) उत्पन्न करता है, और एक पूर्व-प्रशिक्षित स्टीयरेबल पॉलिसी क्रियाओं को उत्पन्न करती है।

दोनों मामलों में, अंतिम CounterfactualVLA, 3B PaliGemma VLM का एक फाइन-ट्यून्ड संस्करण है, जिसे टेम्पोरल कंसिस्टेंसी सुनिश्चित करने के लिए 'एक्शन चंकिंग' का उपयोग करके संवर्धित डेटासेट पर प्रशिक्षित किया गया है।

प्रायोगिक परिणाम
लेखक अपने तरीके का मूल्यांकन कई दृष्टिकोणों से करते हैं:

लेबल की गुणवत्ता: मानव जजों ने वस्तुओं, गति और दृश्य ग्राउंडिंग के संबंध में उत्पन्न लेबल की सटीकता का मूल्यांकन किया। काउंटरफैक्चुअल लेबल सटीक और तर्कसंगत पाए गए।
नेविगेशन प्रदर्शन: CounterfactualVLA का परीक्षण तीन वातावरणों (ऑफिस, किचन, आउटडोर पार्क) में 27 इंस्ट्रक्शन-फॉलोइंग कार्यों पर किया गया। इन कार्यों में ऑब्जेक्ट नेविगेशन, रेफरेंशियल नेविगेशन (स्थानिक संबंध), और निरंतर नेविगेशन शामिल थे।
- CounterfactualVLA ने बिना संवर्धित डेटा वाले VLAs की तुलना में 27% बेहतर प्रदर्शन किया।
- इसने बेसलाइन की तुलना में दोगुनी सफलता दर प्राप्त की।
- इसने डोमेन के स्टेट-ऑफ-द-आर्ट तरीकों को भी पीछे छोड़ दिया।
मैनिपुलेशन प्रदर्शन: डिस्ट्रैक्टर्स (distractors) के साथ पिक-एंड-प्लेस कार्यों पर मूल्यांकन करने पर, विधि ने मानक डेटा के साथ प्रशिक्षित VLA की तुलना में 27% प्रदर्शन सुधार दिखाया।

महत्व और दावे
यह शोध पत्र दावा करता है कि CAST अतिरिक्त वास्तविक दुनिया के डेटा संग्रह की आवश्यकता के बिना VLA पॉलिसियों की स्टीयरेबिलिटी और इंस्ट्रक्शन-फॉलोइंग क्षमताओं को सुधारने के लिए एक स्केलेबल, डेटा-कुशल तरीका प्रदान करता है। ऑफ-द-शेल्फ VLMs का उपयोग करके काउंटरफैक्चुअल डेटा उत्पन्न करके, यह विधि वर्तमान डेटासेट्स में निहित "पोस्टीरियर कोलैप्स" के मुद्दे को संबोधित करती है। लेखक इस कार्य को "वास्तविक ओपन-सेट रोबोटिक लैंग्वेज फॉलोइंग की ओर एक पहला कदम" के रूप में प्रस्तुत करते हैं, जो यह प्रदर्शित करता है कि मौजूदा डेटासेट्स को सिंथेटिक काउंटरफैक्जल्स के साथ संवर्धित करना विविध वातावरणों में जटिल, सूक्ष्म-स्तरीय कमांड का पालन करने की रोबोट की क्षमता को महत्वपूर्ण रूप से बढ़ा सकता है। आगे के अनुसंधान को सुगम बनाने के लिए कोड, डेटा और चेकपॉइंट्स को ओपन-सोर्स किया गया है।

इसी तरह के और पेपर