Matrix-game 2.0: An open-source real-time and streaming interactive world model
मैट्रिक्स-गेम 2.0 एक ओपन-सोर्स, रियल-टाइम इंटरैक्टिव वर्ल्ड मॉडल है जो उपयोगकर्ता के इनपुट के आधार पर 25 FPS पर उच्च गुणवत्ता वाले, मिनट-लंबे वीडियो उत्पन्न करने के लिए एक स्केलेबल डेटा पाइपलाइन, एक्शन इंजेक्शन और फ्यू-स्टेप डिस्टिलेशन का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं, लेकिन केवल अपने पात्र को चलाने के लिए बटन दबाने के बजाय, आप स्वयं वास्तविकता के निर्देशक हैं। हर बार जब आप अपने माउस को हिलाते हैं या कोई की (key) दबाते हैं, तो दुनिया तुरंत आपके आदेश के अनुसार बदल जाती है, जिससे वास्तविक समय में एक बिल्कुल नई, हाई-डेफिनिशन फिल्म बनती है।
यही Matrix-Game 2.0 का मूल विचार है, जो Skywork AI द्वारा विकसित एक नया AI सिस्टम है। यहाँ कुछ रोज़मर्रा के उदाहरणों का उपयोग करके बताया गया है कि यह कैसे काम करता है।
1. समस्या: "स्लो मोशन" की समस्या
पिछले AI वीडियो मॉडल भारी, धीमी गति से चलने वाले ट्रकों की तरह थे।
- समस्या: एक वीडियो बनाने के लिए, उन्हें एक भी फ्रेम बनाने से पहले पूरी फिल्म को शुरू से अंत तक देखना पड़ता था। उन्हें एक भी वाक्य लिखने से पहले पूरी कहानी के बारे में "सोचना" पड़ता था।
- परिणाम: इसमें बहुत समय लगता था। आप वास्तविक समय में उनके साथ संवाद नहीं कर सकते थे। यदि आप अपने पात्र को बाईं ओर ले जाते, तो AI को यह समझने में सेकंड या मिनट लग जाते कि अगला फ्रेम कैसा दिखना चाहिए। यह किसी ऐसे व्यक्ति के साथ बातचीत करने जैसा था जिसे आपके प्रश्न का उत्तर देने से पहले एक उपन्यास लिखना पड़ता है।
2. समाधान: "इंस्टेंट शेफ" (तुरंत खाना बनाने वाला रसोइया)
Matrix-Game 2.0 एक सुपर-फास्ट शेफ की तरह है जो आपके ऑर्डर देते समय ही एक जटिल भोजन तैयार कर सकता है।
- रियल-टाइम कुकिंग: पूरे भोजन की योजना पहले बनाने के बजाय, शेफ आपके वर्तमान ऑर्डर (आपके माउस मूवमेंट) को देखता है, एक प्लेट (एक वीडियो फ्रेम) बनाता है, और तुरंत पूछता है, "आगे क्या?"
- गति: यह हर सेकंड 25 फ्रेम का वीडियो बना सकता है। यह इतना तेज़ है कि यह एक प्री-रिकॉर्डेड मूवी के बजाय एक लाइव वीडियो गेम जैसा महसूस होता है।
3. उन्होंने AI को कैसे प्रशिक्षित किया: "वर्चुअल सिम्युलेटर"
इस AI को एक अच्छा शेफ बनना सिखाने के लिए, उन्हें व्यंजनों (डेटा) के एक विशाल पुस्तकालय की आवश्यकता थी। लेकिन वास्तविक दुनिया में फिल्मांकन करना अव्यवस्थित और महंगा है।
- प्रशिक्षण का मैदान: वास्तविक लोगों की फिल्म बनाने के बजाय, उन्होंने दो विशाल वर्चुअल प्लेग्राउंड बनाए:
- Unreal Engine: एक हाई-एंड 3D गेम इंजन जहाँ उन्होंने रोबोट्स को दीवारों से बचकर चलने और घूमने के लिए प्रोग्राम किया।
- GTA 5: उन्होंने प्रसिद्ध गेम Grand Theft Auto V को हैक किया ताकि खिलाड़ियों को कार चलाते और दुनिया के साथ इंटरैक्ट करते हुए रिकॉर्ड किया जा सके।
- सीक्रेट सॉस: इन गेम्स में, कंप्यूटर को ठीक पता होता है कि किस मिलीसेकंड में कौन सा बटन दबाया गया था और कैमरे ने क्या देखा था। इसने AI को कारण-और-प्रभाव (cause-and-effect) सीखने के लिए एक आदर्श "पाठ्यपुस्तक" बनाई: "यदि मैं 'W' दबाता हूँ, तो कार आगे बढ़ती है।"
4. जादू का तरीका: "स्व-शिक्षण" (डिस्टिलेशन)
आमतौर पर, AI हर कदम के लिए "सही उत्तर" (ग्राउंड ट्रुथ) को देखकर सीखता है। लेकिन एक लंबे वीडियो में, यदि AI शुरुआत में एक छोटी सी गलती करता है, तो वह गलती एक ढलान से लुढ़कते हुए बर्फ के गोले (snowball) की तरह बड़ी होती जाती है और अंत में क्रैश हो जाती है।
- समाधान: Matrix-Game 2.0 Self-Forcing नामक तकनीक का उपयोग करता है। कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। उत्तर कुंजी देखने के बजाय, छात्र को अपने पिछले उत्तरों को खुद ग्रेड करना होता है और उनका उपयोग अगले प्रश्न का उत्तर देने के लिए करना होता है।
- परिणाम: यह AI को चलते समय अपनी गलतियों को सुधारना सीखने के लिए मजबूर करता है, जिससे "स्नोबॉल क्रैश" रुक जाता है और वीडियो मिनटों तक स्मूथ और वास्तविक दिखता है।
5. यह क्या कर सकता है?
- अनंत कहानियाँ: आप Minecraft की दुनिया की एक तस्वीर से शुरुआत कर सकते हैं, आगे बढ़ने के लिए एक की (key) दबा सकते हैं, और AI उस दुनिया को एक्सप्लोर करने का एक निरंतर, उच्च-गुणवत्ता वाला वीडियो जनरेट करेगा।
- अजीबोगरीब जगहें: यह वास्तविक दुनिया की तस्वीरों पर भी काम करता है। आप अपने "वर्चुअल कैमरा" को सड़क की एक फोटो की ओर मोड़ सकते हैं, और AI आपको उस सड़क पर चलते हुए, ट्रैफिक और इमारतों के प्रति प्रतिक्रिया करते हुए सिम्युलेट करेगा।
- गति: यह एक सिंगल शक्तिशाली कंप्यूटर चिप पर 25 FPS (फ्रेम प्रति सेकंड) पर चलता है। इसका मतलब है कि आप इसे लाइव खेल सकते हैं, बिल्कुल एक वीडियो गेम की तरह।
निचोड़ (The Bottom Line)
Matrix-Game 2.0 एक रियल-टाइम वर्ल्ड सिम्युलेटर है। यह "वीडियो देखने" और "वीडियो के भीतर जीने" के बीच के अंतर को पाटता है।
- पुराना AI: "मुझे पूरी फिल्म के बारे में सोचने दें... ठीक है, यह रहा पहला फ्रेम।" (इंटरैक्ट करने के लिए बहुत धीमा)।
- Matrix-Game 2.0: "आप बाईं ओर मुड़े? यह रहा अगला फ्रेम। आप दाईं ओर मुड़े? यह रहा अगला फ्रेम।" (तत्काल इंटरैक्शन)।
निर्माताओं ने अपना कोड और AI का "दिमाग" भी सार्वजनिक रूप से जारी कर दिया है, इस उम्मीद में कि अन्य शोधकर्ता और गेम डेवलपर्स इसका उपयोग स्वायत्त ड्राइविंग सिमुलेशन से लेकर इमर्सिव वीडियो गेम्स तक, अगली पीढ़ी की इंटरैक्टिव दुनिया बनाने के लिए करेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।