Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control
यह शोध पत्र एक मानव-केंद्रित वीडियो वर्ल्ड मॉडल प्रस्तुत करता है जो ट्रैक किए गए हेड और हैंड पोज़ (head and hand poses) पर जनरेटिव वीडियो को कंडीशन करके इंटरैक्टिव, एगोसेंट्रिक (egocentric) वर्चुअल वातावरण को सक्षम बनाता है, जिससे मौजूदा बेसलाइनों की तुलना में टास्क परफॉरमेंस और कथित नियंत्रण (perceived control) में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ हेडसेट के माध्यम से दिखने वाले डिजिटल वातावरण को कलाकारों की उन टीमों द्वारा महीनों तक हर पेड़, चट्टान और उपकरण को मॉडल करने में नहीं बनाया जाता है। इसके बजाय, ये दुनियाएँ तुरंत प्रकट होती हैं, जो पूरी तरह से आपकी अपनी गतिविधियों और इरादों से आकार लेती हैं। यह 'एक्सटेंडेड रियलिटी' नामक एक नए क्षेत्र का वादा है, जो प्रशिक्षण, शिक्षा और मनोरंजन के लिए इमर्सिव (तल्लीन करने वाले) अनुभव बनाने के लिए भौतिक और डिजिटल को आपस में मिलाता है। वर्षों से, इन वातावरणों को बनाना कठिन और महंगा रहा है, जिसके लिए विशेष सॉफ़्टवेयर और श्रम-साध्य डिज़ाइन की आवश्यकता होती है। हालाँकि, आर्टिफिशियल इंटेलिजेंस की एक नई पीढ़ी उभरी है जो टेक्स्ट विवरण या बुनियादी कीबोर्ड इनपुट जैसे सरल कमांड पर प्रतिक्रिया देते हुए वास्तविक समय (रियल-टाइम) में वीडियो उत्पन्न कर सकती है। जबकि ये सिस्टम शानदार दृश्य बना सकते हैं, उन्हें मानव शरीर की सूक्ष्म, सटीक गतिविधियों, विशेष रूप से हाथों को समझने में संघर्ष करना पड़ा है। इस समझ के बिना, एक उपयोगकर्ता किसी वस्तु को पकड़ने के लिए हाथ हिला सकता है, और कंप्यूटर बस उस इशारे को अनदेखा कर देगा या वस्तु को गलत जगह पर ले जाएगा, जिससे उपस्थिति (प्रेजेंस) का भ्रम टूट जाएगा।
स्टैनफोर्ड यूनिवर्सिटी, NYU शंघाई और UNC चैपल हिल के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने की दिशा में एक महत्वपूर्ण कदम उठाया है। उन्होंने एक प्रणाली विकसित की है जिसे वे "जेनरेटेड रियलिटी" कहते हैं, जो आर्टिफिशियल इंटेलिजेंस को वास्तविक समय में एक व्यक्ति के सिर और हाथों को देखने और उन विशिष्ट गतिविधियों के प्रति प्रतिक्रिया देने वाला एक वीडियो जगत तुरंत उत्पन्न करने की अनुमति देती है। मुख्य चुनौती जिसे उन्होंने हल किया वह थी AI को मानव हाथों की जटिल, त्रि-आयामी ज्यामिति (थ्री-डी ज्योमेट्री) समझाना। स्क्रीन पर एक साधारण कर्सर के विपरीत, एक हाथ में प्रति उंगली बीस गतिशील जोड़ होते हैं, और यह अक्सर अपने कुछ हिस्सों को दृष्टि से छिपा लेता है। शोधकर्ताओं ने पाया कि पिछले तरीके, जो केवल टेक्स्ट प्रॉम्प्ट या सरल शरीर की रूपरेखा का उपयोग करके वीडियो को नियंत्रित करने की कोशिश करते थे, इस निपुणता को पकड़ने में विफल रहे। इसे ठीक करने के लिए, उन्होंने वीडियो जनरेटर में हाथ की गति के डेटा को फीड करने के विभिन्न तरीकों का परीक्षण किया। उन्होंने पाया कि सबसे प्रभावी तरीका एक हाइब्रिड दृष्टिकोण था: हाथ के कंकाल के द्वि-आयामी (टू-डी) रेखाचित्र को त्रि-आयामी मापों के एक सेट के साथ जोड़ना जो प्रत्येक उंगली के जोड़ के सटीक कोण का वर्णन करता है। इस संयोजन ने AI को 'सेल्फ-ऑक्लूजन' (स्व-अवरोध) से होने वाले भ्रम को दूर करने में सक्षम बनाया, जहाँ हाथ का एक हिस्सा दूसरे को रोकता है, जिससे यह सुनिश्चित हुआ कि उत्पन्न हाथ शारीरिक रूप से सही दिखें, भले ही वे आंशिक रूप से छिपे हों या फ्रेम के किनारे के पास हों।
शोधकर्ताओं ने इस हाइब्रिड रणनीति का उपयोग करके एक "टीचर" मॉडल बनाया, जो उच्च गुणवत्ता वाला वीडियो उत्पन्न कर सकता था लेकिन वास्तविक समय के उपयोग के लिए बहुत धीमा था। सिस्टम को इंटरैक्टिव बनाने के लिए, उन्होंने इस जटिल मॉडल को एक तेज़, "स्टूडेंट" संस्करण में रूपांतरित (डिस्टिल) किया जो पिछले फ्रेम के आधार पर नए फ्रेम उत्पन्न करते हुए चरण-दर-चरण तरीके से काम करता है। इसने सिस्टम को एक रिमोटली स्ट्रीम किए गए H100 GPU पर ग्यारह फ्रेम प्रति सेकंड की गति से चलने में सक्षम बनाया, जिसमें उपयोगकर्ता की गति और वीडियो की प्रतिक्रिया के बीच केवल 1.4 सेकंड का विलंब होता है। इस सेटअप में, एक उपयोगकर्ता एक कमर्शियल वर्चुअल रियलिटी हेडसेट पहनता है जो उनके सिर की स्थिति और हाथों की मुद्रा को ट्रैक करता है। जैसे ही उपयोगकर्ता अपना सिर हिलाता है, वीडियो में कैमरा दृश्य तदनुसार बदल जाता है। जैसे ही वे अपने हाथ हिलाते हैं, वीडियो में आभासी हाथ उन सटीक गतियों की नकल करते हैं, जिससे वे दृश्य में वस्तुओं के साथ बातचीत कर पाते हैं। यह सिस्टम पहले से बने 3D एसेट्स पर निर्भर नहीं है; इसके बजाय, यह पूरी तरह से उपयोगकर्ता के ट्रैक किए गए डेटा द्वारा निर्देशित होकर वातावरण और इंटरैक्शन को शून्य से बनाता है।
यह देखने के लिए कि क्या वास्तव में यह सिस्टम काम करता है, शोधकर्ताओं ने मानव स्वयंसेवकों के साथ एक अध्ययन आयोजित किया। उन्होंने प्रतिभागियों को आभासी वातावरण में तीन विशिष्ट कार्य करने के लिए कहा: एक हरा बटन दबाना, एक जार खोलना, और एक स्टीयरिंग व्हील घुमाना। उन्होंने दो स्थितियों की तुलना की: एक जहाँ सिस्टम केवल उपयोगकर्ता की सिर की स्थिति को जानता था और उपयोगकर्ता क्या करना चाहता है इसका अनुमान लगाने के लिए टेक्स्ट निर्देशों पर निर्भर था, और दूसरी जहाँ सिस्टम ने उनके हाथों को भी ट्रैक किया। परिणाम स्पष्ट थे। जब सिस्टम केवल टेक्स्ट निर्देशों पर आधारित था, तो वह कार्यों को पूरा करने में तीन प्रतिशत से भी कम बार सफल रहा, अक्सर गलत वस्तु की ओर हाथ बढ़ाता या तंत्र के साथ बातचीत करने में विफल रहता। जब सिस्टम ने ट्रैक किए गए हाथ के डेटा का उपयोग किया, तो सफलता दर बढ़कर 71 प्रतिशत से अधिक हो गई। संख्याओं से परे, प्रतिभागियों ने नियंत्रण की एक बहुत मजबूत भावना की रिपोर्ट की। एक से सात के पैमाने पर, उन्होंने अपने नियंत्रण की भावना को 4.21 रेट किया जब उनके हाथों को ट्रैक किया गया था, तुलनात्मक रूप से केवल 1.74 जब सिस्टम केवल टेक्स्ट पर निर्भर था। यह सुझाव देता है कि अपने हाथों को आभासी दुनिया के साथ तालमेल में चलते हुए देखना उस स्थान के भीतर वास्तव में उपस्थित और सक्षम महसूस करने के लिए महत्वपूर्ण है।
हालाँकि यह सिस्टम एक बड़ी छलांग का प्रतिनिधित्व करता है, शोधकर्ता इसकी वर्तमान सीमाओं के बारे में स्पष्ट हैं। वीडियो की गुणवत्ता और गति अभी भी आधुनिक कमर्शियल वर्चुअल रियलिटी हेडसेट के सुचारू, हाई-डेफिनिशन अनुभव से मेल नहीं खाती है, और यदि वीडियो जनरेशन को रीसेट किए बिना बहुत लंबे समय तक चलाया जाता है तो इमेज क्वालिटी थोड़ी खराब हो सकती है। हालाँकि, "जीरो-शॉट" तरीके से एक प्रतिक्रियाशील, इंटरैक्टिव दुनिया उत्पन्न करने की क्षमता—जिसका अर्थ है कि हर परिदृश्य के लिए पहले एक विशिष्ट 3D मॉडल बनाने की आवश्यकता नहीं है—एक शक्तिशाली क्षमता है। यह तकनीक इमर्सिव लर्निंग और प्रशिक्षण के द्वार खोलती है जहाँ उपयोगकर्ता एक सुरक्षित, जेनरेटेड वातावरण में जटिल शारीरिक कार्यों का अभ्यास कर सकते हैं जो उनकी हर हरकत के अनुकूल होता है। मानव गति और मशीन जनरेशन के बीच की खाई को पाटकर, यह कार्य हमें एक ऐसे भविष्य के करीब ले जाता है जहाँ डिजिटल दुनिया हमें न केवल शब्दों के साथ, बल्कि हमारे अपने शरीर की पूर्ण निपुणता के साथ जवाब देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।