ReWorld: An Interactive World Model with Long-Horizon Memory
ReWorld एक इंटरैक्टिव वर्ल्ड मॉडल है जो मिश्रित अटेंशन मैकेनिज्म के माध्यम से प्रशिक्षण के दौरान इन क्षमताओं को अलग करके और पोज-इंडेक्स्ड लैंडमार्क रिट्रीवल सिस्टम के माध्यम से अनुमान (इन्फरेंस) के दौरान उन्हें एकीकृत करके शॉर्ट-होराइजन कंट्रोल और लॉन्ग-होराइजन मेमोरी के बीच संरचनात्मक तनाव को हल करता है, जिससे विविध विजुअल डोमेन में बेहतर एक्शन फिडेलिटी, वीडियो क्वालिटी और मिनट-लॉन्ग टेम्पोरल कंसिस्टेंसी प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी कंप्यूटर की कल्पना करें जो एक वीडियो देख सकती है और फिर अगले फ्रेम की भविष्यवाणी कर सकती है, जैसे कि वह उस दृश्य के भीतर जी रही हो। यह एक "वर्ल्ड मॉडल" (विश्व मॉडल) का वादा है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जिसे ऐसे वातावरण को सिम्युलेट करने के लिए डिज़ाइन किया गया है जहाँ एक एजेंट घूम और कार्य कर सके। इन प्रणालियों को वास्तव में जीवंत महसूस कराने के लिए, उन्हें एक साथ तीन कठिन कार्य करने होंगे: उन्हें उपयोगकर्ता के आदेशों पर तुरंत प्रतिक्रिया देनी होगी, उन्हें यह याद रखना होगा कि उपयोगकर्ता के जाने और वापस आने पर कोई स्थान कैसा दिखता था, और उन्हें वास्तविक समय में बिना मेमोरी खत्म हुए नया वीडियो जनरेट करना होगा। चुनौती यह रही है कि ये लक्ष्य अक्सर एक-दूसरे से टकराते हैं। तेजी से प्रतिक्रिया करने के लिए, एक प्रणाली को केवल तत्काल अतीत पर ध्यान केंद्रित करने की आवश्यकता होती है, लेकिन किसी दूरस्थ स्थान को याद रखने के लिए, उसे एक विशाल इतिहास को थामे रखने की आवश्यकता होती है। यदि कोई प्रणाली एक ही सरल दृष्टिकोण के साथ दोनों को करने की कोशिश करती है, तो वह आमतौर पर एक या दूसरे में विफल हो जाती है, या तो अतीत को भूल जाती है या वर्तमान में लड़खड़ा जाती है।
शोधकर्ताओं ने अब ReWorld नामक एक प्रणाली बनाई है जो इस तनाव को हल करती है, क्योंकि यह कंप्यूटर को एक साथ दो अलग-अलग तरीकों से सोचने के लिए प्रशिक्षित करती है। हांगकांग और अलीबाबा के संस्थानों के साथ मिलकर काम करने वाली इस टीम ने एक ऐसा मॉडल बनाया है जो उपयोगकर्ता की कैमरा गतिविधियों का अनुसरण कर सकता है, फोटोरियलिस्टिक और गेम जैसे संसारों का उच्च-गुणवत्ता वाला वीडियो स्ट्रीम कर सकता है, और मिनटों पहले देखे गए विशिष्ट दृश्यों को याद रख सकता है, भले ही कैमरा बहुत दूर चला गया हो और वापस आ गया हो। मुख्य खोज यह है कि प्रणाली को अल्पकालिक प्रतिक्रिया और दीर्घकालिक स्मृति के बीच चयन करने की आवश्यकता नहीं है; इसके बजाय, यह इन कार्यों को अपनी सीखने की प्रक्रिया के दौरान अलग करती है और फिर वास्तव में चलते समय उन्हें सावधानीपूर्वक प्रबंधित करती है।
ReWorld की सफलता का मूल आधार यह है कि यह अपने ध्यान (अटेंशन) को कैसे व्यवस्थित करता है। कई आर्टिफिशियल इंटेलिजेंस मॉडलों में, प्रणाली यह तय करने के लिए कि आगे क्या उत्पन्न करना है, अब तक देखे गए सभी सूचनाओं को देखती है। ReWorld इस काम को अपने मस्तिष्क के विभिन्न हिस्सों में विभाजित करता है। कुछ हिस्से केवल बहुत हालिया अतीत (जैसे पिछले कुछ सेकंड) को देखने के लिए प्रशिक्षित होते हैं, ताकि यह सुनिश्चित हो सके कि बटन दबाने से तत्काल और सटीक कैमरा मूवमेंट हो। अन्य हिस्से पूरे इतिहास को देखने के लिए प्रशिक्षित होते हैं, जिससे प्रणाली यह पहचान पाती है कि बहुत समय पहले देखा गया एक विशिष्ट चट्टान का निर्माण या इमारत वही है जिसे वह अब देख रही है। महत्वपूर्ण रूप से, शोधकर्ताओं ने इन भूमिकाओं को सिस्टम के निश्चित हिस्सों को आवंटित नहीं किया। इसके बजाय, उन्होंने प्रशिक्षण के दौरान भूमिकाओं को बेतरतीब ढंग से बदला, जिससे प्रत्येक हिस्सा यह सीखने में सक्षम हुआ कि तत्काल प्रतिक्रियाओं और दूर की स्मृतियों को कैसे संभालना है। यह सुनिश्चित करता है कि प्रणाली अतीत को देखने के एक विशिष्ट तरीके पर निर्भर न हो जाए, जो अत्यंत महत्वपूर्ण है क्योंकि वास्तविक दुनिया में, प्रणाली हमेशा अपने पूरे इतिहास को मेमोरी में नहीं रख सकती।
जब इस प्रणाली को काम पर लगाया जाता है, तो इसे एक समय में कितनी जानकारी रखी जा सकती है, इसकी एक सख्त सीमा का सामना करना पड़ता है। इसे संभालने के लिए, ReWorld एक चतुर फाइलिंग सिस्टम का उपयोग करता है। जैसे-जैसे वीडियो चलता है, यह सबसे हालिया फ्रेमों की एक छोटी, लगातार अपडेट होने वाली विंडो रखता है। जब पुराने फ्रेम इस विंडो से बाहर निकलते हैं, तो उन्हें केवल हटाया नहीं जाता है। इसके बजाय, प्रणाली जांचती है कि क्या कैमरा इतनी दूर चला गया है कि उस स्थान का एक स्नैपशॉट सहेजना उचित हो। यदि ऐसा है, तो प्रणाली उस दृश्य का एक उच्च-गुणवत्ता वाला "लैंडमार्क" (चिह्न) सहेज लेती है। ये लैंडमार्क एक अलग, सीमित बैंक में संग्रहीत किए जाते हैं। जब कैमरा मुड़ता है और उस स्थान की ओर वापस जाता है जहाँ वह पहले गया था, तो प्रणाली इस बैंक में उस लैंडमार्क की खोज करती है जो वर्तमान दृश्य से मेल खाता है और उसे सक्रिय मेमोरी में वापस खींच लेती है। यह प्रणाली को एक मिनट पहले के दृश्य को याद रखने की अनुमति देता है बिना बीच के हर एक फ्रेम को स्टोर किए।
इसे काम करने योग्य बनाने के लिए, शोधकर्ताओं को मॉडल को एक बहुत ही विशिष्ट प्रकार के डेटा का उपयोग करके सिखाना पड़ा। उन्होंने वास्तविक दुनिया के वीडियो, वीडियो गेम और कंप्यूटर-जनरेटेड वातावरण के फुटेज को मिलाया, लेकिन उन्होंने कुछ असामान्य किया: उन्होंने सुनिश्चित किया कि एक एकल कमांड, जैसे कि आगे बढ़ने के लिए कुंजी दबाना, हर प्रकार के फुटेज में कैमरे को बिल्कुल समान भौतिक दूरी तक ले जाए। इसने गति की एक एकीकृत भाषा बना दी। उन्होंने एक विशेष प्रशिक्षण तकनीक का भी उपयोग किया जहाँ वे कभी-कभी मॉडल से वीडियो के कुछ हिस्सों को छिपा देते थे, जिससे उसे अधूरा इतिहास होने पर भी दृश्य को पुनर्गठित करने के लिए मजबूर किया जा सके। इसने मॉडल को उसकी सीमित मेमोरी बैंक की वास्तविकता के लिए तैयार किया, यह सुनिश्चित करते हुए कि जब उसे निरंतर डेटा स्ट्रीम के बजाय कुछ प्रमुख लैंडमार्क्स पर निर्भर रहना पड़े, तो वह भ्रमित न हो।
इस दृष्टिकोण के परिणाम आश्चर्यजनक हैं। उन परीक्षणों में जहाँ कैमरा दूर गया और फिर शुरुआती बिंदु पर वापस आया, ReWorld उल्लेखनीय सटीकता के साथ मूल दृश्य को पुनर्जीवित करने में सक्षम रहा, भले ही कैमरा एक मिनट या उससे अधिक समय तक चला हो। अन्य प्रणालियाँ, जो हाल के फ्रेमों की एक साधारण स्लाइडिंग विंडो रखने पर निर्भर करती हैं, उस शुरुआती बिंदु को याद रखने में विफल रहीं जब वह विंडो से बाहर निकल गया। ReWorld ने कमांड का पालन करने में भी श्रेष्ठता सिद्ध की, जिसमें कैमरा बिना किसी विचलन के ठीक इच्छानुसार चलता है। सिस्टम 704 x 1280 पिक्सेल के रिज़ॉल्यूशन पर वीडियो जनरेट कर सकता है, जो इतना तेज़ है कि इंटरैक्टिव महसूस हो सके, और यह यथार्थवादी परिदृश्यों से लेकर शैलीबद्ध गेम वर्ल्ड तक विभिन्न शैलियों में इस गुणवत्ता को बनाए रखता है।
शोधकर्ताओं ने पाया कि उनकी विधि काम करती है क्योंकि यह नियंत्रण और स्मृति की विभिन्न आवश्यकताओं का सम्मान करती है। सिस्टम को अल्पकालिक कमांड और दीर्घकालिक रिकॉल को अलग-अलग संभालने के लिए प्रशिक्षित करके, और फिर एक स्मार्ट रिट्रीवल सिस्टम का उपयोग करके पुरानी स्मृतियों को केवल आवश्यकता पड़ने पर वापस लाने के लिए, उन्होंने एक ऐसा वर्ल्ड मॉडल बनाया है जो उत्तरदायी और सुसंगत दोनों महसूस होता है। उन्हें अतीत को याद रखने के लिए एक विशाल, सर्वज्ञ इकाई होने की आवश्यकता नहीं है; उन्हें बस ज़रूरत पड़ने पर अतीत के सही टुकड़े को खोजना आना चाहिए। यह दृष्टिकोण मॉडल को मानक कंप्यूटर हार्डवेयर पर चलने की अनुमति देता है जबकि एक निरंतरता का अहसास बनाए रखता है जो पहले इंटरैक्टिव वीडियो जनरेशन के लिए असंभव था। यह कार्य सुझाव देता है कि इंटरैक्टिव AI का भविष्य केवल मॉडलों को बड़ा बनाने में नहीं है, बल्कि उन्हें इस बारे में स्मार्ट बनाने में है कि वे पहले से सीखी गई जानकारी को कैसे व्यवस्थित और एक्सेस करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।