OmniMate: Open-Ended Real-Time Streaming Audio-Visual Generation for Interactive Avatars
ओमनीमेट (OmniMate) एक एकीकृत ढांचा है जो एडेप्टिव रिस्पॉन्स प्रोग्रेशन के लिए जनरेशन प्रोग्रेस कंट्रोलर और दीर्घकालिक क्रॉस-मोडल पहचान निरंतरता सुनिश्चित करने के लिए मल्टी-रेफरेंस कंडीशनिंग मॉड्यूल पेश करके उच्च-गुणवत्ता वाले, कम-विलंबता वाले, ओपन-एंडेड रियल-टाइम स्ट्रीमिंग ऑडियो-विजुअल अवतार जनरेशन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक ऐसे दोस्त से बात कर रहे हैं जो कंप्यूटर स्क्रीन के अंदर रहता है। आप चाहते हैं कि वह न केवल बोले, बल्कि अपने हाथ हिलाए, पलकें झपकाए और आपकी आवाज़ पर वास्तविक समय (real-time) में प्रतिक्रिया दे, बिल्कुल एक असली इंसान की तरह। यह "इंटरैक्टिव अवतारों" का सपना है। लंबे समय तक, इन डिजिटल पात्रों को बनाना एक फिल्म बनाने जैसा था: आपको "प्ले" दबाने से पहले हर संवाद और हर हाव-भाव की योजना बनानी पड़ती थी। लेकिन हाल ही में, वैज्ञानिकों ने "डिफ्यूजन मॉडल" (diffusion models) बनाए हैं, जो जादुई पेंटब्रश की तरह हैं जो टेक्स्ट से तुरंत उच्च गुणवत्ता वाले वीडियो और ध्वनियाँ बना सकते हैं। यह तकनीक इतनी बेहतर हो गई है कि अब यह किसी पात्र को ऑडियो के साथ तालमेल बिठाकर बोलने और हिलने-डुलने में सक्षम है। हालाँकि, इसमें एक पेंच है: ये मॉडल आमतौर पर तब सबसे अच्छा काम करते हैं जब उन्हें ठीक-ठीक पता हो कि बातचीत कितनी लंबी होगी। यदि आप एक मुक्त प्रवाह वाली बातचीत करने की कोशिश करते हैं जहाँ कंप्यूटर को यह अनुमान लगाना पड़ता है कि कब बोलना बंद करना है और कब सुनना शुरू करना है, तो पात्र अक्सर भ्रमित हो जाता है, बहुत लंबे समय तक बोलता रहता है, या कुछ मिनटों के बाद एक अलग व्यक्ति जैसा दिखने लगता है। यह शोध पत्र ठीक इसी समस्या को संबोधित करता है: एक ऐसा डिजिटल दोस्त कैसे बनाया जाए जो आपसे हमेशा के लिए चैट कर सके, बिना अपना चेहरा या आवाज़ खोए, और बिना आपके शब्दों के पीछे छूटे।
इस प्रोजेक्ट के पीछे के शोधकर्ताओं ने, जो ज़ियान जियाओतोंग यूनिवर्सिटी और चाइना टेलीकॉम की एक टीम है, OmniMate नामक एक नया सिस्टम बनाया है। OmniMate को एक सुपर-स्मार्ट डिजिटल कठपुतली संचालक (puppeteer) के रूप में समझें जो एक अंतहीन बातचीत को संभाल सकता है। पिछले सिस्टमों के विपरीत, जो बातचीत लंबी होने पर लड़खड़ा सकते हैं या उपयोगकर्ता के बीच में टोकने पर अटक सकते हैं, OmniMate स्वाभाविक रूप से बहने के लिए डिज़ाइन किया गया है, जो "बोलने" और "सुनने" के मोड के बीच तुरंत स्विच कर सकता है और साथ ही पात्र को बिल्कुल वैसा ही दिखने और सुनने में सक्षम बनाता है।
OmniMate की सफलता का रहस्य दो चतुर युक्तियों में छिपा है जिनका उपयोग वह सतर्क रहने के लिए करता है। पहली, यह जेनरेशन प्रोग्रेस कंट्रोलर (GPC) का उपयोग करता है। कल्पना कीजिए कि आप एक कहानी की किताब पढ़ रहे हैं, लेकिन आपको नहीं पता कि कितने पन्ने बाकी हैं। आमतौर पर, आप अंत से आगे बढ़ सकते हैं या बहुत जल्दी रुक सकते हैं। GPC एक अंतर्निहित पेज काउंटर की तरह है जो अवतार को ठीक-ठीक बताता है कि उसकी प्रतिक्रिया का कितना हिस्सा अभी बनना बाकी है। यह सिस्टम द्वारा बनाए गए हर छोटे वीडियो और ऑडियो खंड के लिए एक "प्रोग्रेस बार" प्रदान करता है। यह अवतार को यह जानने में सक्षम बनाता है कि वाक्य को ठीक कब समाप्त करना है और आपके अगले इनपुट की प्रतीक्षा करते हुए, सहजता से वापस "सुनने" वाली मुद्रा में कैसे बदलना है। इसके बिना, अवतार बोलने के बाद भी बोलता रह सकता है, या अजीब तरह से जम सकता है।
दूसरी युक्ति मल्टी-रेफरेंस कंडीशनिंग मॉड्यूल (MRCM) है। क्या आपने कभी गौर किया है कि यदि आप किसी व्यक्ति की फोटो को एक अजीब कोण से देखते हैं, तो वे थोड़े अलग लग सकते हैं? लंबे वीडियो में, डिजिटल अवतार अक्सर "आइडेंटिटी ड्रिफ्ट" (identity drift) का शिकार होते हैं, जहाँ उनका चेहरा धीरे-धीरे किसी और में बदलने लगता है, या उनकी आवाज़ का स्वर बदल जाता है। OmniMate इसे लगातार खुद को याद दिलाकर हल करता है कि पात्र कौन है। केवल वीडियो के पहले फ्रेम को देखने के बजाय, यह कई संदर्भ फोटो और पात्र की आवाज़ के एक नमूने का एक "मेमोरी बैंक" रखता है। जैसे-जैसे वीडियो चलता है, यह लगातार इन संदर्भों की जाँच करता है, जैसे कि एक चित्रकार पोर्ट्रेट को देखते हुए यह सुनिश्चित करने के लिए कि नाक और आँखें सही रहें, जिससे यह सुनिश्चित होता है कि पात्र 10 सेकंड या 10 मिनट तक बात करे, बिल्कुल वैसा ही दिखता और सुनाई देता है।
टीम ने VerseBench नामक एक बेंचमार्क पर OmniMate का परीक्षण किया, जो वास्तविक बातचीत का अनुकरण करता है। परिणाम प्रभावशाली थे: सिस्टम 27.64 फ्रेम प्रति सेकंड (FPS) की गति से वीडियो और ऑडियो उत्पन्न कर सकता है, जिसका "टाइम-टू-फर्स्ट-फ्रेम" (वीडियो दिखाना शुरू करने में लगने वाला समय) केवल 3.49 सेकंड है। यह इतना तेज़ है कि एक वास्तविक, लाइव बातचीत जैसा महसूस हो। परीक्षणों में, OmniMate ने लंबी अवधि में पात्र के चेहरे और आवाज़ को सुसंगत बनाए रखने में अन्य शीर्ष मॉडलों को पीछे छोड़ दिया। जहाँ अन्य सिस्टम एक मिनट के बाद धुंधले दिखने लगते हैं या अपनी आवाज़ बदलने लगते हैं, वहीं OmniMate 240 सेकंड तक के परीक्षणों में भी स्थिर रहा।
हालाँकि, लेखक सावधानी से यह भी नोट करते हैं कि सिस्टम अभी भी पूर्ण नहीं है। यदि सिस्टम प्रतिक्रिया के लिए गलत समय का अनुमान लगा लेता है, तो अवतार एक शब्द को काट सकता है या खुद को दोहरा सकता है। इसके अलावा, यदि पात्र को कुछ ऐसा करने की आवश्यकता है जो उनके रूप को नाटकीय रूप से बदल दे, जैसे कि कोई बड़ा वेशभूषा परिवर्तन, तो सिस्टम पहचान को सुसंगत बनाए रखने में संघर्ष कर सकता है। लेकिन कुल मिलाकर, OmniMate एक बड़ी प्रगति का सुझाव देता है: वास्तविक समय में हमसे चैट करने, खुद को याद रखने और अतीत की अजीब गड़बड़ियों के बिना हमारी प्रतिक्रिया देने वाले डिजिटल दोस्तों का एक तरीका। यह आज के स्थिर, पूर्व-नियोजित वीडियो को कल की गतिशील, जीवंत बातचीत में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।