ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies

एक ऐसी दुनिया की कल्पना करें जहाँ रोबोट केवल कठोर नियमों के साथ प्रोग्राम किए जाने के बजाय, इंसानों को देखकर और उनकी नकल करके काम करना सीख रहे हैं, ठीक वैसे ही जैसे एक बच्चा अपने माता-पिता को देखकर जूते के फीते बांधना सीखता है। यह क्षेत्र विज़न-लैंग्वेज-एक्शन (VLA) कहलाता है, जहाँ एक रोबोट अपने "आँखों" (कैमरों) और "दिमाग" (भाषा मॉडल) का उपयोग यह तय करने के लिए करता है कि आगे क्या करना है। इस दृष्टिकोण के साथ बड़ी समस्या यह है कि रोबोट अक्सर केवल सफल उदाहरणों से ही सीखता है। यह साइकिल चलाने के बारे में केवल उन वीडियो को देखकर सीखने जैसा है जिनमें लोग कभी गिरे ही नहीं। यदि रोबोट लड़खड़ाने लगता है या हैंडल बार छोड़ देता है, तो उसे तब तक पता नहीं चलता कि वह विफल हो रहा है जब तक कि पूरी चीज़ दुर्घटनाग्रस्त न हो जाए। उसके पास यह बताने के लिए कोई आंतरिक "अंतर्ज्ञान" (gut feeling) नहीं है कि, "हे, तुम बहुत अच्छा कर रहे हो!" या "रुको! तुम वह सैंडविच गिराने वाले हो!"

यह शोध पत्र उस लापता "अंतर्ज्ञान" पर प्रहार करता है। शोधकर्ताओं ने रोबोट के लिए एक दूसरा, छोटा दिमाग बनाने की कोशिश की जो एक 'प्रोग्रेस बार' (प्रगति पट्टी) की तरह काम करे। केवल कार्य पूरा होने का इंतज़ार करने और फिर "अच्छा काम किया" या "विफल" कहने के बजाय, यह नया सिस्टम रोबोट को वास्तविक समय में, फ्रेम-दर-फ्रेम देखता है। यह जवाब देने की कोशिश करता है: "अभी हम फिनिश लाइन के कितने करीब हैं?" और "क्या हमने अभी कोई गलती की?" इसका लक्ष्य अर्ध-स्वायत्त (semi-autonomous) रोबोटों को सुरक्षित और अधिक सहायक बनाना है, ताकि एक मानव ऑपरेटर को किसी आपदा के होने का इंतज़ार करते हुए स्क्रीन को घूरना न पड़े।

---

रोबोट का "प्रोग्रेस बार" जो जानता है कि आप कब फंस गए हैं

ValueFormer से मिलिए, एक नया टूल जिसे रोबोट को प्रगति का अहसास कराने के लिए डिज़ाइन किया गया है। एक रोबोट के सैंडविच बनाने की कोशिश करने के बारे में सोचें। उसे नीचे वाला बन रखना होगा, पैटी डालनी होगी, चीज़, टमाटर, लेट्यूस, और अंत में ऊपर वाला बन रखना होगा। यदि रोबोट लेट्यूस पर अटक जाता है, तो केवल सफल कहानियों पर प्रशिक्षित एक मानक रोबोट शायद हमेशा लेट्यूस पकड़ने की कोशिश करता रहेगा, या इससे भी बुरा, वह उसे छोड़कर खाली पैटी पर ऊपर का बन रख देगा, यह सोचकर कि सब ठीक है। उसे पता ही नहीं चलता कि वह मुसीबत में है।

इस शोध पत्र के लेखकों ने महसूस किया कि सबसे बड़ी बाधा एक नया शानदार रोबलेट ब्रेन बनाना नहीं थी; बल्कि यह तय करना था कि रोबोट को हर एक सेकंड में यह कैसे सिखाया जाए कि "अच्छा करने" का क्या मतलब है।

"सब कुछ या कुछ नहीं" लेबलिंग की समस्या

कल्प_िए कि आप एक छात्र के गणित के टेस्ट को ग्रेड दे रहे हैं। यदि आप उन्हें केवल अंत में ग्रेड देते हैं, तो आपको पता नहीं चलेगा कि वे कब अटके थे। क्या वे पहले प्रश्न में विफल हुए, या आखिरी में?

• पुराना तरीका: अधिकांश रोबोटों को कार्य के अंत में एक साधारण "सफलता/विफलता" स्विच के साथ प्रशिक्षित किया जाता है। यदि सैंडविच बन गया, तो यह 1 है। यदि यह गड़बड़ हो गया, तो यह 0 है।
• दोष: यह बहुत 'स्पार्स' (विरल) है। यदि रोबोट बीच में कोई गलती करता है लेकिन चलता रहता है, तो अंत में मिलने वाला "0" रोबोट को यह नहीं बताता कि कौन सा हिस्सा खराब था। यह एक धावक को यह बताने जैसा है कि, "तुम दौड़ हार गए," बिना यह बताए कि वह दूसरे मील पर लड़खड़ाया था।

शोधकर्ताओं ने एक अलग दृष्टिकोण अपनाया। वे एक सघन लेबल (dense label) चाहते थे, एक स्कोर जो हर सेकंड के एक अंश में अपडेट होता है, जो सटीक रूप से दिखाता है कि रोबोट लक्ष्य के कितने करीब है। लेकिन यहाँ पेचीदा बात यह है: यदि आप रोबोट को केवल यह बताते हैं कि "तुम विफल रहे, इसलिए तुम्हारा स्कोर 0 है" पूरे असफल प्रयास के लिए, तो रोबोट भ्रमित हो जाता है। वह शुरुआती कुछ सेकंड देखता है (जहाँ वह अच्छा कर रहा था) और सोचता है, "रुको, मैं बहुत अच्छा कर रहा था, लेकिन तुम कह रहे हो कि मैं विफल हो रहा हूँ? इसका मतलब मैं शुरुआत से ही विफल हो रहा हूँ!" यह रोबोट को भ्रमित करता है और अच्छे प्रयासों पर भी उसका प्रदर्शन खराब कर देता है।

"सफलता-फिर-क्षय" (Success-Then-Decay) समाधान

इस शोध पत्र की मुख्य सफलता गलतियों को लेबल करने का एक चतुर तरीका है जिसे "स्टेज-अवेयर, सक्सेस-देन-डिके" कहा जाता है।

कल्पना कीजिए कि रोबोट एक पहाड़ चढ़ रहा है (सैंडविच बना रहा है)।

1. चढ़ाई: जैसे-जैसे वह चढ़ता है, उसका "प्रगति स्कोर" सुचारू रूप से बढ़ता जाता है।
2. फिसलन: यदि वह फिसलता है और गिर जाता है (गलती करता है), तो स्कोर तुरंत शून्य नहीं होता है। इसके बजाय, यह उन हिस्सों के लिए उच्च रहता है जो उसने सही ढंग से किए (नीचे का बन और पैटी) और फिर धीरे-धीरे कम (decay) होता जाता है क्योंकि उसे एहसास होता है कि वह मुसीबत में है।
3. परिणाम: यह रोबोट को सिखाता है कि प्रयास का पहला आधा हिस्सा वास्तव में अच्छा था, लेकिन अंत बुरा था। यह उस काम के लिए "आंशिक क्रेडिट" को सुरक्षित रखता है जो उसने गलती से पहले किया था।

लेखकों ने इसकी तुलना गलतियों को लेबल करने के चार अन्य तरीकों (जैसे स्कोर को तुरंत शून्य कर देना, या पूरे स्कोर को कम कर देना) से की। उन्होंने पाया कि उनका "स्मूथ डिके" (सुचारू क्षय) तरीका एकमात्र ऐसा था जिसने रोबोट को भ्रमित नहीं किया। इसने रोबोट को यह सीखने में मदद की कि एक असफल प्रयास में भी शुरुआत में मूल्य था, जिससे बाद के सफल प्रयासों पर उसके अनुमानों का "पतन" (collapse) होने से रोका जा सका।

दो सिर, एक दिमाग

ValueFormer एक छोटा, कुशल मॉडल है जो मुख्य रोबोट ब्रेन के साथ चलता है। इसमें एक अनूठा "डुअल-हेड" डिज़ाइन है, जैसे एक रोबोट की दो अलग-अलग प्रकार की आँखें हों:

1. स्मूथ आई ($V_{mc}$): यह एक निरंतर, कोमल प्रगति स्कोर (0 से 1) देता है। यह ऑपरेटर को बताता है, "हम 60% पूरे हो गए हैं," या "हम रुक रहे हैं।" यह समग्र प्रगति को ट्रैक करने के लिए बेहतरीन है।
2. शार्प आई ($V_{bin}$): यह एक बाइनरी अलार्म है। जैसे ही कोई गलती होती है, यह "खतरा!" पर आ जाता है। इसे त्रुटियों को जल्दी से पकड़ने के लिए डिज़ाइन किया गया है, जैसे जब रोबोट लेट्यूस गिरा देता है, ताकि मानव हस्तक्षेप कर सके इससे पहले कि पूरा सैंडविच बर्बाद हो जाए।

शोध पत्र दिखाता है कि सैंडविच बनाने के 1,427 वास्तविक रोबोट एपिसोड पर प्रशिक्षण देकर, इस सिस्टम ने चार अलग-अलग पैटर्न को पहचानना सीख लिया:

• साफ सफलता (Clean Success): स्कोर लगातार ऊपर चढ़ता है।
• पुनः प्रयास के साथ सफलता (Success-with-Retry): स्कोर तब गिरता है जब रोबोट लड़खड़ाता है (जैसे पैटी गिराना) लेकिन एक बार जब वह इसे ठीक कर लेता है तो वापस ऊपर चढ़ जाता है।
• जल्दी पतन (Early Collapse): स्कोर ऊपर जाता है, फिर गिर जाता है और कम ही रहता है क्योंकि रोबोट ने जल्दी में गलती कर दी।
• अटक कर छटपटाना (Stuck-Scratching): स्कोर कम रहता है क्योंकि रोबोट बस अपनी जगह पर घूम रहा है।

वास्तविक दुनिया के परिणाम

जब शोधकर्ताओं ने इस "प्रोग्रेस बार" का उपयोग रोबोट को सीखने में मदद करने के लिए किया, तो परिणाम उत्साहजनक थे। रोबोट के अपने "अंतर्ज्ञान" का उपयोग करके उसके प्रशिक्षण डेटा को वेट (weight) देने से (उसे उन हिस्सों पर अधिक ध्यान देने के लिए कहना जहाँ वह संघर्ष कर रहा था), उन्होंने सैंडविच बनाने के कार्य में रोब manera की सफलता दर को 70% से बढ़ाकर 85% कर दिया। उन्होंने एक विशिष्ट बुरी आदत को भी खत्म कर दिया जहाँ रोबोट उस सामग्री को उठाने की कोशिश करता रहता था जिसे वह पहले ही सफलतापूर्वक रख चुका था (एक "रिपीट-पिक" त्रुटि)।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि जबकि सुधार वास्तविक है, सैंपल साइज (अंतिम परीक्षण में 20 सैंडविच) छोटा है, इसलिए परिणाम "सुझावात्मक" हैं न कि एक गारंटीकृत, हल की गई समस्या। उन्होंने यह भी पाया कि सिस्टम को प्रतिक्रिया देने के लिए थोड़ा समय चाहिए—लग लगभग 5 से 10 सेकंड—क्योंकि यह निर्णय लेने से पहले जो हुआ उसका एक संक्षिप्त इतिहास देखता है।

इसे तेज़ बनाना

अंत में, टीम को यह सुनिश्चित करना था कि यह नया "प्रोग्रेस बार" रोबोट को धीमा न कर दे। एक ही कंप्यूटर चिप पर दो दिमाग चलाना कठिन है। उन्होंने पाया कि मुख्य लागत "सोचने" वाले हिस्से की नहीं, बल्कि "देखने" वाले हिस्से (कैमरा इमेज को प्रोसेस करना) की थी। इमेज प्रोसेसिंग को अनुकूलित करके (बैचिंग तकनीक और "bf16" नामक एक विशिष्ट गणितीय प्रारूप का उपयोग करके), उन्होंने प्रगति की जांच करने में लगने वाले समय को 3 से 5 गुना कम कर दिया। इससे सिस्टम बिना किसी लैग के मुख्य रोबोट ब्रेन वाले कंप्यूटर चिप पर 2 Hz (एक सेकंड में दो बार) की गति से सुचारू रूप से चल सका।

संक्षेप में, ValueFormer रोबोट को यह कहने का एक तरीका देता है कि, "मैं ठीक हूँ, लेकिन मैंने अभी चीज़ गिरा दी है, और मुझे मदद की ज़रूरत है," बजाय इसके कि वह अंत में चुपचाप विफल हो जाए। यह एक अंधे नकल को एक ऐसे अर्ध-स्वायत्त साथी में बदल देता है जिसे पता होता है कि वह कब मुसीबत में है।