🤖 AI

Accurate and Efficient World Modeling with Masked Latent Transformers

यह शोध पत्र EMERALD को प्रस्तुत करता है, जो एक कुशल वर्ल्ड मॉडल है जो सटीक प्रक्षेप पथ (ट्रैजेक्टरी) उत्पन्न करने के लिए स्थानिक लेटेंट स्टेट्स (spatial latent states) को MaskGIT भविष्यवाणियों के साथ जोड़ता है, और 10 मिलियन स्टेप्स के भीतर मानव विशेषज्ञों से आगे निकलकर Crafter बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Maxime Burchi, Radu Timofte

प्रकाशित 2026-02-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maxime Burchi, Radu Timofte

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को Minecraft जैसा एक जटिल वीडियो गेम खेलना सिखा रहे हैं। ऐसा करने के लिए, रोबोट को एक "वर्ल्ड मॉडल" (world model) की आवश्यकता होगी—एक मानसिक मानचित्र जो उसे यह समझने में मदद करे कि यदि वह कोई निश्चित कदम उठाता है तो आगे क्या होगा।

लंबे समय तक, सबसे अच्छे रोबोट (जैसे Dreamer परिवार) गेम की दुनिया को छोटे, संक्षिप्त सारांशों में संकुचित करके सीखते थे। इसे एक हाई-डेफिनिशन फिल्म को केवल कुछ धुंधली तस्वीरों के रूप में याद रखने जैसा समझें। हालांकि यह तेज़ है, लेकिन रोबोट अक्सर महत्वपूर्ण विवरणों को मिस कर देता है, जैसे कि गुफा में छिपा हुआ हीरा या पीछे से आता हुआ कोई कंकाल दुश्मन। क्योंकि वे तस्वीरें धुंधली होती हैं, इसलिए रोबोट गलतियाँ करता है।

दूसरी ओर, नए तरीकों ने पूरी हाई-डेफिनिशन वीडियो को अपनी मेमोरी में रखने की कोशिश की। इससे रोबोट सब कुछ स्पष्ट रूप से देख पाता था, लेकिन यह इतना भारी और धीमा था कि रोबोट गेम में माहिर होने की गति से सीख नहीं पा रहा था।

EMERALD का आगमन: "स्मार्ट स्केच आर्टिस्ट"

लेखकों ने एक नया रोबक ब्रेन बनाया जिसे EMERALD कहा जाता है। उन्होंने एक ऐसा तरीका खोजा जिससे उन्हें दोनों दुनियाओं का सर्वश्रेष्ठ मिल सके: उच्च सटीकता और उच्च गति। उन्होंने इसे कैसे किया, यहाँ इसके सरल उदाहरण दिए गए हैं:

1. "ग्रुप की गई" मेमोरी (स्पेशियल लेटेंट स्टेट - Spatial Latent State)

पूरी गेम स्क्रीन को एक छोटे बिंदु में सिकोड़ने के बजाय (पिछले तरीकों की तरह), EMERALD स्क्रीन को छोटे टाइल्स के ग्रिड में तोड़ देता है, जैसे कि एक मोज़ेक (mosaic)।

उदाहरण: कल्पना करें कि आप अपने दोस्त को जंगल की तस्वीर का वर्णन कर रहे हैं। इसके बजाय कि आप कहें "यह एक हरा धब्बा है," आप कहते हैं, "बाईं ओर एक पेड़ है, बीच में एक नदी है, और दाईं ओर एक लोमड़ी है।"
लाभ: यह रोबोट को पूरी हाई-डेफिनिशन इमेज को स्टोर किए बिना विशिष्ट विवरणों (जैसे लोमड़ी या हीरा) को ट्रैक करने की अनुमति देता है। यह दुनिया के पिक्सेल को नहीं, बल्कि उसकी संरचना को याद रखता है।

2. "खाली जगह भरने" की तकनीक (MaskGIT)

यही असली सफलता का मंत्र है। जब रोबोट भविष्य की कल्पना करने की कोशिश करता है (अगले फ्रेम की भविष्यवाणी करता है), तो वह हर एक पिक्सेल को क्रमवार तरीके से शुरू से बनाने की कोशिश नहीं करता। ऐसा करने में बहुत समय लगेगा। इसके बजाय, यह MaskGIT नामक तकनीक का उपयोग करता है।

उदाहरण: इसे "मैड लिब्स" (Mad Libs) गेम या क्रॉसवर्ड पहेली की तरह समझें जहाँ कुछ शब्द गायब हैं।
1. रोबोट वर्तमान दृश्य को देखता है।
2. वह अनुमान लगाता है कि गायब हिस्से (मास्क्ड टोकन) क्या हो सकते हैं।
3. वह उन्हें एक-एक करके नहीं, बल्कि एक साथ (पैरेलल में) भर देता है।
4. यदि कोई अनुमान अजीब लगता है, तो वह अगले राउंड में उसे जल्दी से ठीक कर देता है।
लाभ: यह एक ऐसे चित्रकार की तरह है जो एक बार में पेंटिंग की पूरी रूपरेखा (outline) तैयार करता है, और फिर बारीकी से सुधार करता है, बजाय इसके कि वह एक-एक छोटा बिंदु बनाकर पेंट करे। यह बहुत तेज़ है लेकिन फिर भी बहुत सटीक है।

3. "सपनों वाली" अवस्था (The "Dreaming" Phase)

पुराने Dreamer रोबोटों की तरह, EMERALD भी "सपनों" के माध्यम से सीखता है। यह वास्तव में गेम को छुए बिना अपने दिमाग के अंदर (अपने लेटेंट स्पेस में) हजारों संभावित भविष्यों का अनुकरण (simulate) करता है।

उदाहरण: किसी पार्टी में जाने से पहले, आप अपने मन में अभ्यास करते हैं: "यदि मैं हेलो कहता हूँ, तो वे मुस्कुरा सकते हैं। यदि मैं अपना ड्रिंक गिरा देता हूँ, तो वे हंस सकते हैं।" आप यह अपने मन में करते हैं ताकि आपको वास्तव में ड्रिंक गिराने की ज़रूरत न पड़े।
अंतर: क्योंकि EMERALD के "सपने" बहुत स्पष्ट हैं (मोज़ेक मेमोरी और खाली स्थान भरने वाली तकनीक के कारण), यह धुंधली तस्वीरों वाले रोबोटों की तुलना में बहुत तेज़ी से सीखता है और कम गलतियाँ करता है।

परिणाम: इंसानों को पछाड़ना

शोधकर्ताओं ने इसका परीक्षण Crafter बेंचमार्क पर किया, जो एक कठिन गेम है जिसमें दीर्घकालिक स्मृति और तेज़ आँखों की आवश्यकता होती है।

स्कोर: EMERALD ने 58.1% स्कोर किया, जबकि सर्वश्रेष्ठ मानव विशेषज्ञों ने 50.5% स्कोर किया।
उपलब्धि: यह केवल 10 मिलियन स्टेप्स के प्रशिक्षण के साथ इस गेम में मानव विशेषज्ञों को हराने वाला पहला तरीका था।
उपलब्धियां: इसने सफलतापूर्वक गेम की सभी 22 संभावित उपलब्धियों को कम से कम एक बार अनलॉक किया, जिसमें हीरे इकट्ठा करने और लोहे की तलवार बनाने जैसे कठिन कार्य शामिल हैं।

यह क्यों महत्वपूर्ण है

पेपर का दावा है कि EMERALD यह साबित करता है कि आपको तेज़ होने और सटीक होने के बीच किसी एक को चुनने की ज़रूरत नहीं है। एक "स्पेशियल" ग्रिड का उपयोग करके और "मास्किंग" तकनीक के माध्यम से, रोबोट दुनिया को स्पष्ट रूप से देख सकता है और तेज़ी से सीख सकता है।

लेखक यह भी बताते हैं कि यह तरीका पुराने गेम्स (जैसे Atari) पर भी अच्छा काम करता है, जो इसे रोबोट को उनकी दुनिया समझने के लिए सिखाने का एक बहुमुखी उपकरण बनाता है। उन्होंने अपना कोड जारी कर दिया है ताकि अन्य लोग भी इसे आज़मा सकें।

संक्षेप में: EMERALD एक ऐसा रोबोट है जो हाई-डेफिनिशन में सपने देखकर सीखता है, लेकिन यह इसे इतनी कुशलता से करता है कि यह एक जटिल सर्वाइवल गेम में मानव विशेषज्ञों को भी मात दे देता है।

तकनीकी सारांश: मास्क्ड लेटेंट ट्रांसफॉर्मर के साथ सटीक और कुशल विश्व मॉडलिंग

समस्या विवरण
मॉडल-आधारित सुदृढीकरण aprendizaje (RL) एल्गोरिदम, विशेष रूप से ड्रीमर (Dreamer) श्रृंखला, एक लेटेंट वर्ल्ड मॉडल के भीतर सिम्युलेटेड प्रक्षेप पथों (trajectories) पर एजेंटों को प्रशिक्षित करके महत्वपूर्ण सफलता प्राप्त कर चुके हैं। हालाँकि, एक महत्वपूर्ण सीमा मौजूद है: मानक दृष्टिकोणों (जैसे, DreamerV3) में संकुचित लेटेंट स्पेस के कारण अक्सर महत्वपूर्ण पर्यावरणीय विवरणों का नुकसान हो जाता है, जिससे Crafter जैसे जटिल वातावरणों में एजेंट का प्रदर्शन गिर जाता है। इसके विपरीत, उच्च सटीकता का लक्ष्य रखने वाले हालिया तरीके, जैसे कि $\Delta$ -IRIS और DIAMOND, अक्सर एजेंटों को पुनर्गठित पिक्सेल छवियों से सीधे प्रशिक्षित करने की आवश्यकता रखते हैं। यह दृष्टिकोण प्रशिक्षण दक्षता को कम करता है और एजेंट को वर्ल्ड मॉडल द्वारा सीखी गई समृद्ध आंतरिक प्रस्तुतियों (जैसे, दीर्घकालिक स्मृति) का लाभ उठाने से रोकता है। चुनौती एक ऐसा विश्व मॉडलिंग दृष्टिकोण विकसित करने की है जो सूक्ष्म विवरणों को पकड़ने में सटीक होने के साथ-साथ प्रशिक्षण और अनुमान (inference) में कुशल भी हो।

कार्यप्रणाली: EMERALD
लेखक EMERALD (इफिशिएंट मास्कड लेटेंट ट्रांसफॉर्मर वर्ल्ड मॉडल) प्रस्तावित करते हैं, जो एक ट्रांसफॉर्मर-आधारित RL एल्गोरिदम है जिसे सटीकता और दक्षता के बीच के संतुलन को संबोधित करने के लिए डिज़ाइन किया गया है। इस आर्किटेक्चर में तीन प्राथमिक घटक शामिल हैं:

MaskGIT के साथ स्थानिक लेटेंट अवस्था (Spatial Latent State): पिछले तरीकों के विपरीत जो अवलोकनों को एक एकल वेक्टर में संकुचित करते हैं, EMERALD एक स्थानिक लेटेंट अवस्था ( $z_t$ ) का उपयोग करता है। इस अवस्था को एक फ्लैट वेक्टर के बजाय टोकन के ग्रिड के रूप में दर्शाया जाता है। इन टोकन को कुशलतापूर्वक डिकोड करने के लिए, मॉडल MaskGIT (मास्क्ड जेनरेटिव इमेज ट्रांसफॉर्मर) का उपयोग करता है। ऑटोरिग्रेसिव अनुक्रमिक डिकोडिंग (जो धीमी होती है) के बजाय, MaskGIT शेड्यूल्ड पैरेलल डिकोडिंग का उपयोग करता है। प्रशिक्षण के दौरान, टोकन को कोसाइन शेड्यूल के अनुसार मास्क किया जाता है, और मॉडल उन्हें समानांतर में भविष्यवाणी करता है। कल्पना (inference) के दौरान, मॉडल सामंजस्य सुनिश्चित करने और मतिभ्रम (hallucinations) से बचने के लिए कई चरणों (जैसे, $S=3$ ) में भविष्यवाणियों को परिष्कृत करता है।
टेम्पोरल ट्रांसफॉर्मर नेटवर्क: मॉडल दीर्घकालिक निर्भरता (long-range dependencies) को संभालने के लिए एक टेम्पोरल मास्कड ट्रांसफॉर्मर (TSSM) को एकीकृत करता है। यह मास्कड सेल्फ-अटेंशन का उपयोग करके स्थानिक लेटेंट अवस्थाओं को संसाधित करता है ताकि एक टेम्पोरल हिडन स्टेट ( $h_t$ ) उत्पन्न की जा सके। यह DreamerV3 में उपयोग किए जाने वाले GRUs के साथ RSSM को प्रतिस्थापित करता है, जिससे रिकरेंट प्रोसेसिंग बाधाओं के बिना ऐतिहासिक संदर्भ को बेहतर ढंग से मॉडल किया जा सके।
लेटेंट स्पेस एक्टर-क्रिटिक लर्निंग: एजेंट (एक्टर और क्रिटिक नेटवर्क) को पूरी तरह से वर्ल्ड मॉडल की आंतरिक प्रस्तुतियों का उपयोग करके लेटेंट स्पेस के भीतर प्रशिक्षित किया जाता है। यह एजेंट को वर्ल्ड मॉडल की सीखी गई स्मृति और स्थानिक विशेषताओं का लाभ उठाने की अनुमति देता है, जैसा कि पिक्सेल-आधारित दृष्टिकोणों में होता है जहाँ एजेंट को पुनर्गठित छवियों से प्रस्तुतियों को फिर से सीखना पड़ता है।

प्रशिक्षण उद्देश्य एक संयुक्त लॉस फंक्शन को कम करना है जिसमें शामिल हैं:

मास्किंग लॉस ( $L_{mask}$ ): लक्षित लेटेंट स्टेट और अनुमानित मास्कड टोकन के बीच KL डाइवर्जेंस।
डायनेमिक्स लॉस ( $L_{dyn}$ ): यह सुनिश्चित करने के लिए नियमितीकरण कि एनकोडर प्रस्तुतियों को हिडन स्टेट से अनुमानित किया जा सके।
रिकंस्ट्रक्शन लॉस ( $L_{rec}$ ): इनपुट ऑब्जर्वेशन का पिक्सेल-स्तरीय पुनर्गठन।
रिवॉर्ड और कंटीन्यूएशन लॉस ( $L_{rew}, L_{con}$ ): पर्यावरणीय रिवॉर्ड और एपिसोड निरंतरता फ्लैग की भविष्यवाणी करना।

मुख्य योगदान

नवाचार आर्किटेक्चर: एक विश्व मॉडल का परिचय जो स्थानिक लेटेंट अवस्थाओं के साथ MaskGIT भविष्यवाणियों को जोड़ता है, जिससे ऑटोरिग्रेसिव डिकोडिंग की कम्प्यूटेशनल लागत के बिना उच्च-निष्ठा (high-fidelity) प्रक्षेप पथ जनरेशन संभव होता है।
दक्षता और सटीकता: यह विधि लगभग पूर्ण इमेज रिकंस्ट्रक्शन प्राप्त करती है (कम पिक्सेल एरर और डायमंड्स एवं स्केलेटन एरो जैसे विवरणों के संरक्षण द्वारा प्रमाणित) जबकि लेटेंट स्पेस में एजेंट को रखकर उच्च प्रशिक्षण दक्षता बनाए रखती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह दृष्टिकोण Crafter वातावरण पर नए बेंचमार्क स्थापित करता है, जो पिछले मॉडल-आधारित तरीकों और मानव विशेषज्ञ प्रदर्शन को भी पीछे छोड़ देता है।

परिणाम
10 मिलियन एनवायरनमेंट स्टेप्स के बजट के साथ Crafter बेंचमार्क पर मूल्यांकन:

अचीवमेंट स्कोर: EMERALD ने 58.1% का स्कोर प्राप्त किया, जो पिछले सर्वश्रेष्ठ (DreamerV3 XL 39.6%) से अधिक है और मानव विशेषज्ञ प्रदर्शन (50.5%) को भी पार कर गया है।
अचीवमेंट कवरेज: एजेंट ने मूल्यांकन के दौरान कम से कम एक बार सभी 22 उपलब्धियों को सफलतापूर्वक अनलॉक किया, जो मजबूत दीर्घकालिक योजना और धारणा को प्रदर्शित करता है।
प्रशिक्षण दक्षता: EMERALD ने RTX 3090 पर 27 फ्रेम्स प्रति सेकंड (FPS) एकत्र किए, जो $\Delta$ -IRIS (12 FPS) और DreamerV3 XL (23 FPS) की तुलना में काफी तेज़ है, जबकि स्कोर में उनसे बेहतर प्रदर्शन किया।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि स्थानिक लेटेंट अवस्थाओं और ट्रांसफॉर्मर आर्किटेक्चर का संयोजन महत्वपूर्ण है। स्थानिक लेटेंट्स को हटाने या एकल डिकोडिंग स्टेप का उपयोग करने से प्रदर्शन और भविष्यवाणी सटीकता में काफी कमी आई।

महत्व और दावे
यह पेपर दावा करता है कि EMERALD विश्व मॉडल की सटीकता और प्रशिक्षण दक्षता के बीच के तनाव को हल करके मॉडल-आधारित RL में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। स्थानिक लेटेंट स्पेस में पैरेलल डिकोडिंग के लिए MaskGIT का उपयोग करके, यह विधि एजेंटों को उन महत्वपूर्ण पर्यावरणीय विवरणों को देखने की अनुमति देती है जो पहले संकुचित वेक्टर प्रस्तुतियों में खो जाते थे। लेखक इस बात पर जोर देते हैं कि यह 10 मिलियन स्टेप्स के भीतर Crafter बेंचमार्क पर मानव विशेषज्ञ प्रदर्शन को पार करने वाला पहला तरीका है। इसके अलावा, यह कार्य दर्शाता है कि मास्कड अटेंशन के साथ ट्रांसफॉर्मर-आधारित आर्किटेक्चर प्रभावी रूप से लॉन्ग-रेंज डिपेंडेंसी और स्थानिक संबंधों को मॉडल कर सकते हैं, जो जटिल, मेमोरी-इंटेंसिव वातावरण के लिए रिकरेंट मॉडलों के विकल्प के रूप में एक स्केलेबल विकल्प प्रदान करते हैं। लेखक इस कार्य को Minecraft जैसे जटिल डोमेन में अधिक सक्षम स्वायत्त एजेंटों की ओर एक कदम के रूप में देखते हैं।

1. "ग्रुप की गई" मेमोरी (स्पेशियल लेटेंट स्टेट - Spatial Latent State)

2. "खाली जगह भरने" की तकनीक (MaskGIT)

3. "सपनों वाली" अवस्था (The "Dreaming" Phase)

परिणाम: इंसानों को पछाड़ना

यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर