Game2World Engine: Unlocking In-the-Wild Gameplay Videos for World Model Training
यह शोध पत्र Game2World प्रस्तुत करता है, जो एक व्यापक ढांचा है जिसमें UI एसेट निष्कर्षण के लिए G2WEngine और मास्क-मुक्त HUD हटाने के लिए GameCleaner मॉडल शामिल है, जो कच्चे गेमप्ले वीडियो को उच्च-गुणवत्ता वाले, UI-मुक्त प्रशिक्षण डेटा में बदल देता है जो वर्ल्ड मॉडल के प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को यह समझना सिखाने की कोशिश कर रहे हैं कि भौतिक दुनिया कैसे चलती और बदलती है। इसे करने के लिए, शोधकर्ताओं को वस्तुओं के बीच होने वाली अंतःक्रियाओं, प्रकाश के बदलावों और समय के साथ दृश्यों के विकसित होने को दर्शाने वाले विशाल वीडियो की आवश्यकता होती है। वर्षों से, वैज्ञानिक डेटा के एक आदर्श स्रोत के रूप में वीडियो गेम की ओर देखते आए हैं। गेम अनंत, विविध वातावरण प्रदान करते हैं जहाँ हर क्रिया का एक स्पष्ट परिणाम होता है, जो दृश्य अनुभवों का एक समृद्ध पुस्तकालय प्रदान करते हैं जिसे वास्तविक दुनिया में कैप्चर करना कठिन है। हालाँकि, इन खेलों के कच्चे फुटेज (raw footage) का उपयोग करने के साथ एक बड़ी समस्या है। जब कोई व्यक्ति गेम खेलता है, तो स्क्रीन डिजिटल ओवरले से भरी होती है: हेल्थ बार, मानचित्र, एमो काउंटर और चैट विंडो। ये तत्व स्वयं गेम की दुनिया का हिस्सा नहीं हैं; ये खिलाड़ी के लाभ के लिए जोड़े गए स्क्रीन-स्पेस सजावट हैं। यदि कोई कंप्यूटर इन ओवरले से भरे वीडियो से सीखता है, तो वह भ्रमित हो जाता है, और गेम के नियमों को इंटरफ़ेस के नियमों के साथ मिला देता है।
शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नई प्रणाली विकसित की है, जो प्रभावी रूप से डिजिटल कचरे को हटाकर नीचे छिपी शुद्ध गेम दुनिया को प्रकट करती है। उन्होंने एक ऐसा ढांचा तैयार किया है जो स्वचालित रूप से इन ऑन-स्क्रीन इंटरफेसों की पहचान कर सकता है, उन्हें वीडियो से हटा सकता है, और यहाँ तक कि गायब पृष्ठभूमि को भी भर सकता है ताकि दृश्य पूर्ण और स्वाभाविक दिखाई दे। ऐसा करके, उन्होंने लाखों घंटों के अस्त-व्यस्त गेमप्ले फुटेज को साफ, उच्च-गुणवत्ता वाले प्रशिक्षण डेटा में बदल दिया है। उनका कार्य यह दर्शाता है कि जब कंप्यूटर इन साफ किए गए वीडियो से सीखते हैं, तो वे गति और दृश्य गुणवत्ता को समझने में काफी बेहतर हो जाते हैं, जिससे उनके प्रदर्शन में एक मापने योग्य अंतर आता है। यह सफलता यह सुझाव देती है कि इंटरनेट गेमप्ले वीडियो का विशाल, अप्रयुक्त पुस्तकालय अंततः अधिक बुद्धिमान और सक्षम कृत्रिम बुद्धिमत्ता प्रणालियों के निर्माण के लिए उपयोग किया जा सकता है।
इस परियोजना का मूल एक नया डेटा इंजन है जिसे G2WEngine कहा जाता है। शोधकर्ताओं ने महसूस किया कि कंप्यूटर को दुनिया के बारे में सिखाने के लिए, उन्हें पहले यह सिखाना होगा कि क्या दुनिया नहीं है। उन्होंने गेम इंटरफेस के लिए एक विस्तृत वर्गीकरण प्रणाली बनाकर शुरुआत की, जिसमें कंपास और हेल्थ बार से लेकर चैट लॉग और पॉप-अप नोटिफिकेशन तक सब कुछ विशिष्ट श्रेणियों में व्यवस्थित किया गया। इस प्रणाली का उपयोग करते हुए, इंजन सैकड़ों अलग-अलग खेलों के हजारों वास्तविक गेमप्ले वीडियो को स्कैन करता है। यह सावधानीपूर्वक डिजिटल संपत्तियों—जैसे हेल्थ बार या मानचित्रों की वास्तविक छवियों—को निकालता है और उन्हें पुन: प्रयोज्य, पारदर्शी टुकड़ों में बदल देता है। इससे सिस्टम यह समझ पाता है कि ये इंटरफेस वास्तव में कैसे दिखते हैं और वे आमतौर पर स्क्रीन पर कहाँ दिखाई देते हैं।
एक बार जब सिस्टम इंटरफेस को समझ लेता है, तो यह एक विशाल नए डेटासेट को बनाने के लिए विपरीत दिशा में कार्य करता है। यह गेम की दुनिया के साफ, इंटरफ़ेस-मुक्त वीडियो क्लिप लेता है और फिर कृत्रिम रूप से निकाले गए इंटरफेस को उन पर वापस जोड़ देता है, जिससे "पहले" और "बाद" के फुटेज के सटीक जोड़े बन जाते हैं। यह प्रक्रिया 96,000 सिंथेटिक वीडियो जोड़े उत्पन्न करती है जहाँ कंप्यूटर जानता है कि साफ दुनिया कैसी दिखती है और क्लटर्ड (cluttered) संस्करण कैसा दिखता है। यह सुनिश्चित करने के लिए कि सिस्टम वास्तविक दुनिया के डेटा पर काम करे, उन्होंने वास्तविक इंटरनेट वीडियो से 1,000 से अधिक क्लिप भी एकत्र किए, जो 303 अलग-अलग खेलों को कवर करते हैं। सिंथेटिक और वास्तविक डेटा का यह संयोजन एक कठोर परीक्षण आधार प्रदान करता है कि क्या हटाने की यह प्रक्रिया दबाव में भी सफल रहती है।
इसके बाद शोधकर्ताओं ने एक विशेष मॉडल को प्रशिक्षित किया, जिसे उन्होंने GameCleaner नाम दिया, ताकि वह हटाने के कार्य को निष्पादित कर सके। पिछले तरीकों के विपरीत, जिनमें उपयोगकर्ताओं को उन तत्वों के चारों ओर मैन्युअल रूप से बॉक्स खींचने की आवश्यकता होती थी जिन्हें वे हटाना चाहते थे, GameCleaner स्वचालित रूप से कार्य करता है। यह दृश्य संदर्भ (visual context) की गहरी समझ का उपयोग करके यह पहचानता है कि छवि का कौन सा हिस्सा गेम की दुनिया है और कौन सा डिजिटल ओवरले है। जब यह एक हेल्थ बार या मानचित्र को हटाता है, तो यह केवल पिक्सेल को मिटाता नहीं है; बल्कि यह उनके पीछे के छिपे हुए परिदृश्य का पुनर्निर्माण करता है, जिससे यह सुनिश्चित होता है कि पृष्ठभूमि सुसंगत बनी रहे और पात्रों की गति सुचारू रहे। इस मॉडल का परीक्षण अन्य वीडियो संपादन उपकरणों के विरुद्ध किया गया और यह काफी श्रेष्ठ सिद्ध हुआ, जिसने अत्यधिक सटीकता के साथ दृश्य के मूल स्वरूप को बनाए रखते हुए इंटरफेस को सफलतापूर्वक हटाया।
इस कार्य के परिणामों का परीक्षण एक नियंत्रित प्रयोग में किया गया ताकि यह देखा जा सके कि क्या साफ किया गया डेटा वास्तव में कोई अंतर पैदा करता है। शोधकर्ताओं ने दो समान वीडियो-जेनरेशन मॉडल को प्रशिक्षित किया: एक मूल, क्लटर्ड गेमप्ले वीडियो पर और दूसरा नए साफ किए गए संस्करणों पर। साफ डेटा पर प्रशिक्षित मॉडल काफी बेहतर प्रदर्शन करता है। इसने बहुत उच्च मोशन क्वालिटी और बेहतर समग्र दृश्य निष्ठा (visual fidelity) के साथ वीडियो उत्पन्न किए। विशेष रूप से, साफ किए गए डेटा पर प्रशिक्षित मॉडल ने गति को पकड़ने में 18.8 प्रतिशत का सुधार और अपने समग्र प्रदर्शन स्कोर में 6.83 प्रतिशत का सुधार दिखाया। यह सिद्ध करता है कि डिजिटल ओवरले केवल दृश्य शोर (visual noise) नहीं थे; वे सक्रिय रूप से सीखने की प्रक्रिया को भ्रमित कर रहे थे, और शॉर्टकट के रूप में कार्य कर रहे थे जो कंप्यूटर को वातावरण की गतिशीलता को वास्तव में समझने से रोक रहे थे।
इस शोध का प्रभाव केवल वीडियो को साफ दिखने बनाने तक ही सीमित नहीं है। इंटरफ़ेस को दुनिया से सफलतापूर्वक अलग करके, शोधकर्ताओं ने बेहतर 'वर्ल्ड मॉडल्स' बनाने के लिए एक स्केलेबल मार्ग खोल दिया है। ये मॉडल भविष्य की कृत्रिम बुद्धिमत्ता की नींव हैं जो जटिल वातावरण में नेविगेट कर सकते हैं, भौतिक अंतःक्रियाओं का अनुकरण कर सकते हैं, और यहाँ तक कि रोबोट को नियंत्रित भी कर सकते हैं। महंगे, कस्टम-निर्मित सिमुलेटर की आवश्यकता के बिना इंटरनेट गेमप्ले डेटा की विशाल मात्रा को संसाधित करने की क्षमता का अर्थ है कि इन प्रणालियों के लिए उपलब्ध प्रशिक्षण डेटा का भंडार अब प्रभावी रूप से असीमित है। टीम ने अपना डेटासेट, कोड और मॉडल सार्वजनिक रूप से उपलब्ध करा दिया है, जिससे अन्य वैज्ञानिकों को इस आधार पर आगे बढ़ने के लिए आमंत्रित किया गया है। उनका कार्य यह प्रदर्शित करता है कि सही उपकरणों के साथ, इंटरनेट के अराजक, इंटरफ़ेस-भारी वीडियो को मशीनों को यह सिखाने के लिए एक स्वच्छ, संरचित संसाधन में बदला जा सकता है कि दुनिया वास्तव में कैसे चलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।