Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds
यह शोध पत्र JoyAI-Echo-1.5 को प्रस्तुत करता है, जो एक एकीकृत ऑडियो-विजुअल जनरेशन सिस्टम है जिसमें निरंतर चरित्र स्थिरता के लिए क्रॉस-शॉट मेमोरी वाला एक लॉन्ग-वीडियो वेरिएंट और इंटरैक्टिव नेविगेशन के लिए ज्यामितीय कैमरा नियंत्रण वाला एक वर्ल्ड-मॉडल वेरिएंट शामिल है, जो लंबी अवधि की कहानी कहने (लॉन्ग-होरिज़न स्टोरीटेलिंग) और इंटरैक्टिव वर्ल्ड जनरेशन में अत्याधुनिक प्रदर्शन प्राप्त करने के लिए रोलआउट-अवेयर ट्रेनिंग के माध्यम से अनुकूलित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ एक कंप्यूटर न केवल एक एकल वीडियो क्लिप बना सकता है, बल्कि एक पूरी कहानी भी बुन सकता है, जिससे पात्र पहले दृश्य से लेकर अंतिम दृश्य तक एक जैसे दिखते और सुनाई देते हैं, या फिर एक दर्शक को एक डिजिटल परिदृश्य के माध्यम से घूमने दे सके, जहाँ वह अपनी गर्दन घुमा सके और बिना किसी अस्थिरता के आगे बढ़ सके। यह वीडियो जनरेशन का अग्रिम मोर्चा है, एक ऐसा क्षेत्र जहाँ आर्टिफिशियल इंटेलिजेंस चलती-फिरती छवियों और ध्वनि को संश्लेषित करना सीख रहा है। वर्षों से, ये सिस्टम कुशल चित्रकारों की तरह रहे हैं जो एक सुंदर पोर्ट्रेट तो बना सकते हैं लेकिन एक पूरी गैलरी बनाने में संघर्ष करते हैं जहाँ हर चेहरा सुसंगत बना रहे, या एक ऐसे कहानीकार की तरह जो कुछ वाक्यों के बाद ही कथानक भूल जाता है। चुनौती अलग-थलग क्षणों से आगे बढ़कर लंबी, सुसंगत कहानियों और इंटरैक्टिव दुनियाओं का निर्माण करने की रही है जो विकसित होते समय बिखर न जाएं या अपनी पहचान न खो दें।
जॉय फ्यूचर एकेडमी के शोधकर्ताओं की एक टीम ने एक नया सिस्टम, JoyAI-Echo-1.5 पेश किया है, जिसे इन विशिष्ट समस्याओं को हल करने के लिए डिज़ाइन किया गया है। केवल बेहतर एकल क्लिप बनाने के बजाय, यह सिस्टम दो विशिष्ट लेकिन संबंधित लक्ष्यों पर ध्यान केंद्रित करता है: लंबी कहानियाँ बनाना जहाँ पात्र और आवाजें सुसंगत रहें, और इंटरैक्टिव दुनिया बनाना जो उपयोगकर्ता की गतिविधियों के प्रति सटीक रूप से प्रतिक्रिया दे। शोधकर्ताओं ने पाया कि कंप्यूटर को पिछले दृश्यों को "याद रखने" का तरीका देकर और उसे गति के ज्यामिति (geometry) को समझने के लिए प्रशिक्षित करके, वे वीडियो के विस्तारित अनुक्रम उत्पन्न कर सकते हैं जो स्थिर रहते हैं और मूल निर्देशों के प्रति सच्चे रहते हैं।
इस सिस्टम का पहला भाग लंबी कहानियों की समस्या का समाधान करता है। पिछले प्रयासों में, यदि कोई पात्र एक दृश्य में दिखाई देता था, और फिर वीडियो एक नए स्थान पर कट जाता था, तो वह पात्र थोड़ा अलग दिखने या बदली हुई आवाज़ में बोलने के साथ वापस आ सकता था। JoyAI-Echo-1.5 इसे एक 'मेमोरी बैंक' बनाकर हल करता है। जैसे-जैसे सिस्टम एक कहानी बनाता है, यह पिछले शॉट्स से विशिष्ट दृश्य और ऑडियो विवरणों को सहेजता है। जब कोई पात्र पुन: प्रकट होता है, तो सिस्टम यह सुनिश्चित करने के लिए इस स्मृति का परामर्श लेता है कि उनका चेहरा, पहनावा और आवाज़ पहले स्थापित विवरणों से मेल खाती हो। यह पिछले दृश्य के पूर्ण ऑडियो को देखकर वक्ता के अद्वितीय स्वर को पकड़ने के लिए करता है, न कि केवल एक छोटे अंश को, और विभिन्न कोणों से पात्र की छवियों को सहेजकर करता है। यह कंप्यूटर को शॉट्स का एक ऐसा अनुक्रम उत्पन्न करने की अनुमति देता है जो एक निरंतर फिल्म जैसा महसूस होता है, जहाँ एक नायक अपनी पहचान खोए बिना विभिन्न वातावरणों के माध्यम से यात्रा कर सकता है।
सिस्टम का दूसरा भाग इंटरैक्टिव दुनियाओं के लिए डिज़ाइन किया गया है, जहाँ एक उपयोगकर्ता एक डिजिटल वातावरण का पता लगाने के लिए कैमरा नियंत्रित करना चाह सकता है। अतीत में, कंप्यूटर को "आगे बढ़ें" या "बाएँ मुड़ें" जैसा कमांड देने से अक्सर झटकेदार, अप्राकृतिक गति होती थी या एक दृश्य जो वीडियो चलते रहने के साथ धीरे-धीरे विकृत और बदल जाता था। नया सिस्टम इन कमांड्स को अंतरिक्ष में कैमरे के हिलने के एक सटीक, गणितीय विवरण में अनुवादित करता है। यह दुनिया को एक स्थिर, त्रि-आयामी स्थान के रूप में मानता है जो कैमरे से स्वतंत्र रूप से अस्तित्व में है। जब कोई उपयोगकर्ता हिलता है, तो सिस्टम सटीक पथ की गणना करता है और वीडियो को उसके अनुसार समायोजित करता है, यह सुनिश्चित करता है कि दीवारें, वस्तुएं और प्रकाश व्यवस्था कितनी भी लंबी खोज के बावजूद सुसंगत बनी रहें। यह एक सहज, निरंतर अनुभव की अनुमति देता है जहाँ डिजिटल दुनिया एक ठोस और वास्तविक चीज़ महसूस होती है, न कि एक बदलता हुआ भ्रम।
इन सिस्टमों को उपयोगी बनाने के लिए पर्याप्त तेज़ बनाने हेतु, शोधकर्ताओं ने उन्हें प्रशिक्षित करने का एक नया तरीका भी विकसित किया है। आमतौर पर, उच्च गुणवत्ता वाला वीडियो बनाने के लिए गणना के कई चरणों की आवश्यकता होती है, जिसमें बहुत समय लगता है। टीम ने सिस्टम को अपनी गलतियों से सीखने के लिए प्रशिक्षित किया, जिसमें सिस्टम को वीडियो उत्पन्न करने और फिर तुरंत उस वीडियो को सुधारने के लिए कहा गया जो उसने अभी बनाया है। इस प्रक्रिया में, जिसे 'सेल्फ-ग्रेडिएंट फोर्सिंग' नामक तकनीक कहा जाता है, सिस्टम को तब भी स्थिर होने में मदद मिलती है जब वह अपने आप लंबे अनुक्रम उत्पन्न कर रहा होता है। उन्होंने जनरेशन प्रक्रिया को संकुचित करने के लिए एक विधि का भी उपयोग किया, जिससे सिस्टम ध्वनी और छवि के बीच सूक्ष्म विवरणों या सिंक्रनाइज़ेशन को खोए बिना, दर्जनों के बजाय केवल कुछ ही चरणों में उच्च गुणवत्ता वाला वीडियो बना सकता है।
इस कार्य के परिणामों का परीक्षण अन्य अग्रणी सिस्टमों के विरुद्ध किया गया था। लंबी कहानियों से संबंधित परीक्षणों में, नया सिस्टम पात्रों को सुसंगत बनाए रखने और बोले गए शब्दों को होंठों की गति (lip movements) से मिलाने में किसी भी पिछले मॉडल की तुलना में बेहतर था। इंटरैक्टिव दुनिया के परीक्षणों में, इसने वातावरण के आकार को बनाए रखने और उपयोगकर्ता के मूवमेंट कमांड का सटीक रूप से पालन करने में अपने प्रतिस्पर्धियों से अधिक अंक प्राप्त किए। एक विशिष्ट परीक्षण ने दिखाया कि सिस्टम साठ सेकंड का निरंतर वीडियो उत्पन्न कर सकता है जहाँ कैमरा एक जटिल दृश्य के माध्यम से चलता है, और सिस्टम पूरे समय सही परिप्रेक्ष्य और दृश्य गुणवत्ता बनाए रखता है, जो एक ऐसा कार्य है जिसे अन्य मॉडल दृश्य के भटकने या विकृत होने के बिना प्राप्त करने में संघर्ष करते हैं।
यह शोध बताता है कि निरंतर कहानियों और स्थिर इंटरैक्टिव दुनियाओं को बनाने की कुंजी इस बात में निहित है कि कंप्यूटर अतीत को कैसे याद रखता है और वर्तमान की ज्यामिति को कैसे समझता है। दृश्य और ऑडियो विवरणों के लिए एक मजबूत स्मृति के साथ गति की सटीक समझ को जोड़कर, सिस्टम ऐसी सामग्री उत्पन्न कर सकता है जो समय के साथ सुसंगत महसूस होती है। हालाँकि चुनौतियाँ बनी हुई हैं, विशेष रूप से बहुत लंबी और जटिल गतिविधियों के दौरान कैमरे को पूरी तरह से स्थिर रखने में, यह कार्य एक महत्वपूर्ण प्रगति को प्रदर्शित करता है। यह दिखाता है कि आर्टिफिशियल इंटेलिजेंस अलग-थलग क्लिप बनाने से आगे बढ़कर संपूर्ण कथाओं और विकसित होती दुनियाओं को बनाए रख सकता है, जो अधिक इमर्सिव और विश्वसनीय डिजिटल अनुभवों के द्वार खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।