Sword: Style-Robust World Models as Simulators via Dynamic Latent Bootstrapping for VLA Policy Post-Training
यह शोध पत्र Sword का प्रस्ताव करता है, जो एक सुदृढ़ वर्ल्ड मॉडल फ्रेमवर्क है जो क्लोज्ड-लूप रोलआउट्स में सामान्यीकरण विफलताओं और त्रुटि संचय को कम करने के लिए स्ट्रक्चर-गाइडेड स्टाइल ऑग्मेंटेशन और डायनेमिक लेटेंट बूटस्ट्रैपिंग का उपयोग करता है, जिससे LIBERO बेंचमार्क पर विजन-लैंग्वेज-एक्शन पॉलिसियों की फिडेलिटी और रिइन्फोर्समेंट लर्निंग पोस्ट-ट्रेनिंग सफलता को महत्वपूर्ण रूप से बढ़ाया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कोई काम करना सिखा रहे हैं, जैसे कि एक कप उठाना। आमतौर पर, आपको रोबोट को वास्तविक दुनिया में अभ्यास करने के लिए छोड़ना पड़ता है, जो धीमा, महंगा और जोखिम भरा है यदि वह कुछ तोड़ देता है। इस समस्या को हल करने के लिए, वैज्ञानिक "वर्ल्ड मॉडल्स" (World Models) का उपयोग करते हैं। एक वर्ल्ड मॉडल को एक सुपर-स्मार्ट वीडियो गेम इंजन के रूप में सोचें जिसका उपयोग रोबोट अपने मन के भीतर अभ्यास करने के लिए कर सकता है। अपने असली हाथ को हिलाने के बजाय, रोबोट भविष्य की कल्पना करता है: "अगर मैं अपना हाथ इस तरह हिलाता हूँ, तो अगला दृश्य ऐसा होगा।"
हालाँकि, रोबोट के लिए वर्तमान वीडियो गेम इंजनों में दो बड़ी समस्याएँ हैं:
- वे दृश्यों को लेकर बहुत चूज़ी (picky) होते हैं। यदि आप वास्तविक दुनिया में रोशनी या मेज का रंग बदल देते हैं, तो रोबोट की कल्पना भ्रमित हो जाती है और वह मतिभ्रम (hallucinations) करने लगता है (ऐसी चीजें देखने लगता है जो वहाँ नहीं हैं)।
- वे जितना अधिक खेलते हैं, उतना ही खराब होते जाते हैं। यदि रोबोट घटनाओं के एक लंबे क्रम की कल्पना करने की कोशिश करता है, तो पहले कुछ सेकंड की छोटी गलतियाँ जमा होती रहती हैं, जिससे बाकी का वीडियो धुंधला और निरर्थक बन जाता है।
यह पेपर इन समस्याओं को ठीक करने के लिए Sword नामक एक नया सिस्टम पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. "स्टाइल-चेंजिंग" जिम (स्ट्रक्चर-गाइडेड स्टाइल ऑग्मेंटेशन)
समस्या: कल्पना कीजिए कि एक रोबोट है जिसने केवल नीली दीवारों और तेज़ रोशनी वाले कमरे में अभ्यास किया है। यदि आप उसे पीले रंग की दीवारों और कम रोशनी वाले कमरे में रखते हैं, तो वह घबरा जाता है क्योंकि उसने कभी यह नहीं सीखा कि "दीवारें" दीवार ही होती हैं, चाहे उनका रंग कुछ भी हो। उसने भौतिकी (physics) के बजाय पेंट को याद कर लिया था।
Sword का समाधान: लेखकों ने रोबोट को एक "स्टाइल-चेंजिंग जिम" में रखा। वे प्रशिक्षण वीडियो का रूप लगातार बदलने के लिए एक विशेष टूल का उपयोग करते हैं—दीवारों को लाल बनाना, रोशनी को मंद करना, मेज को लकड़ी जैसा बनाना, या रोबोट के हाथ का रंग बदलना।
- एक शर्त: वे रंगों को केवल बेतरतीब ढंग से नहीं बदलते; वे एक "सुरक्षा जाल" (ज्यामितीय मार्गदर्शन/geometric guidance) का उपयोग करते हैं ताकि यह सुनिश्चित हो सके कि रोबोट वस्तुओं के स्थान को न खो दे। मेज का रंग बदल सकता है, लेकिन वह अचानक एक तैरते हुए बादल में नहीं बदल सकती।
- परिणाम: रोबोट विशिष्ट रंगों को याद करना बंद कर देता है और भौतिकी के वास्तविक नियमों को सीखना शुरू कर देता है। वह सीख जाता है कि "यदि मैं कप को धकेलता हूँ, तो वह फिसलेगा," चाहे कप कैसा भी दिख रहा हो। यह उसे नए, अनदेखे वातावरण को संभालने में बहुत बेहतर बनाता है।
2. "सेल्फ-करेक्टिंग रिहर्सल" (डायनामिक लेटेंट बूटस्ट्रैपिंग)
समस्या: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। कक्षा में (प्रशिक्षण के दौरान), शिक्षक उन्हें पिछले प्रश्नों के उत्तर देते हैं ताकि वे अगले प्रश्न पर ध्यान केंद्रित कर सकें। इसे "टीचर फोर्सिंग" (Teacher Forcing) कहा जाता है। लेकिन वास्तविक परीक्षा में (इन्फरेंस के दौरान), छात्र को अगले प्रश्न को हल करने के लिए अपने पिछले उत्तरों को याद रखना पड़ता है। यदि उन्होंने शुरुआत में एक छोटी सी गलती की है, तो वे त्रुटियों के चक्र में फंस जाते हैं।
Sword का समाधान: लेखकों ने डायनामिक लेटेंट बूटस्ट्रैपिंग नामक एक "सेल्फ-करेक्टिंग रिहर्सल" विधि बनाई है।
- हमेशा रोबोट को अभ्यास के दौरान सटीक "ग्राउंड ट्रुथ" उत्तर देने के बजाय, वे धीरे-धीरे रोबोट को अगले कदम के शुरुआती बिंदु के रूप में अपने खुद के अनुमानों का उपयोग करने देना शुरू करते हैं।
- "मेमोरी ट्रिक": ऐसा करने के लिए कि रोबोट की मेमोरी विस्फोट न हो (जिसके लिए विशाल कंप्यूटर स्टोरेज की आवश्यकता होगी), वे रोबोट के "विचारों" को एक छोटे, कुशल कैश (एक हाई-स्पीड नोटपैड की तरह) में संकुचित करते हैं, न कि पूरे वीडियो फ्रेम को सहेजते हैं।
- परिणाम: रोबमान अभी सीखते समय ही अपनी गलतियों से उबरना सीख जाता है। वह बिल्कुल उसी तरह अभ्यास करता है जैसे वह वास्तविक दुनिया में प्रदर्शन करेगा, इसलिए जब उसे वास्तव में कार्य करना होता है, तो वह कुछ ही सेकंडों में बिखरता नहीं है।
परिणाम
टीम ने LIBERO नामक एक मानक रोबोट बेंचमार्क पर Sword का परीक्षण किया।
- विजुअल क्वालिटी: जब लंबी घटनाओं के क्रम की कल्पना करने के लिए कहा गया, तो Sword ने वीडियो को स्पष्ट और साफ रखा। पुराना तरीका (WoVR) धुंधला हो गया और ऐसी चीजें देखने लगा जो वहाँ नहीं थीं (मतिभ्रम)।
- मजबूती (Robustness): जब रोशनी या बैकग्राउंड बदला गया, तो Sword पूरी तरह से काम करता रहा। पुराना तरीका तुरंत विफल हो गया।
- सफलता दर: जब उन्होंने Reinforcement Learning का उपयोग करके एक रोबोट पॉलिसी को प्रशिक्षित करने के लिए Sword का उपयोग किया, तो रोबोट पुराने सिम्युलेटर की तुलना में कार्यों को बहुत अधिक बार सफलतापूर्वक पूरा कर सका।
संक्षेप में: Sword रोबोट के लिए एक बेहतर "ड्रीम मशीन" है। यह उन्हें सतही विकर्षणों (जैसे रोशनी के बदलाव) को अनदेखा करना सिखाता है और उन्हें अपनी गलतियों को संभालने के लिए प्रशिक्षित करता है, जिसके परिणामस्वरूप एक ऐसा रोबोट मिलता है जो भविष्य की सटीक कल्पना कर सकता है और वास्तविक दुनिया में सुरक्षित रूप से कार्य कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।