REFA: Real-time Egocentric Facial Animations for Virtual Reality
REFA इन्फ्रारेड कैमरों और एक बड़े पैमाने के, विविध डेटासेट पर प्रशिक्षित डिस्टिलेशन-आधारित मशीन लर्निंग दृष्टिकोण का उपयोग करके VR में वास्तविक समय में, गैर-दखल देने वाली चेहरे के भाव ट्रैकिंग के लिए एक नवीन प्रणाली प्रस्तुत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक वर्चुअल रियलिटी (VR) हेडसेट पहना हुआ है। आप एक आभासी पार्क में अपने दोस्त के डिजिटल अवतार के साथ समय बिता रहे हैं। आप मुस्कुराते हैं, लेकिन आपका अवतार एकदम भावहीन रहता है। यह अजीब लगता है, है ना? यह बिल्कुल वैसा ही है जैसे किसी ऐसे व्यक्ति से बातचीत करने की कोशिश करना जिसने प्लास्टिक का मास्क पहना हो।
मेटा के 'रियलिटी लैब्स' का यह शोध पत्र इस समस्या को ठीक करने का एक नया तरीका बताता है। उन्होंने एक ऐसा सिस्टम बनाया है जो आपके VR अवतार को आपके चेहरे के हाव-भावों—जैसे मुस्कान, त्योरियां चढ़ाना और भौहें उठाना—को वास्तविक समय में, पूरी तरह से और स्वाभाविक रूप से दोहराने की अनुमति देता है।
उन्होंने इसे कैसे किया, इसे कुछ सरल उपमाओं के माध्यम से समझाया गया है:
1. "छिपी हुई आँखें" (हार्डवेयर)
अधिकांश फेस-ट्रैकिंग सिस्टम के लिए आपको अतिरिक्त कैमरों को पहनने या किसी बड़े स्टूडियो सेटअप के सामने बैठने की आवश्यकता होती है। यह शोध पत्र कहता है, "आइए कैमरों को हेडसेट के अंदर ही रख दें।"
VR हेडसेट को हाई-टेक धूप के चश्मे की तरह समझें। बाहर से आपको देखने के बजाय, मेटा ने पांच छोटे, अदृश्य "इन्फ्रारेड नेत्रों" (कैमरों) को चश्मे के रिम के अंदर छिपा दिया है। ये कैमरे आपके चेहरे की ओर नीचे देखते हैं। चूंकि ये इन्फ्रारेड लाइट का उपयोग करते हैं, इसलिए ये अंधेरे में भी आपकी गतिविधियों को देख सकते हैं, और खेलते समय आपको परेशान नहीं करते।
2. "डिजिटल मूर्तिकार" (डेटा)
कंप्यूटर को यह सिखाने के लिए कि "मुस्कान" कैसी दिखती है, आपको लाखों उदाहरणों की आवश्यकता होती है। लेकिन लाखों वास्तविक लोगों को कैमरों के सामने स्थिर बैठने के लिए मनाना असंभव है। इसलिए, उन्होंने तीन-चरणीय विधि का उपयोग किया:
- वास्तविक दुनिया: उन्होंने 18,000 वास्तविक लोगों को रिकॉर्ड करने के लिए एक विशेष सेटअप का उपयोग किया।
- डिजिटल जुड़वां (सिंथेटिक डेटा): उन्होंने कंप्यूटर में "डिजिटल मानव" बनाए। ये उन्नत वीडियो गेम पात्रों की तरह हैं। डिजिटल होने के कारण, कंप्यूटर को बिल्कुल सटीक पता होता है कि हर मांसपेशी कितनी हिल रही है। यह एक ऐसी पाठ्यपुस्तक की तरह है जहाँ हर शब्द पूरी तरह से सही स्थान पर रखा गया है।
- कलाकार का स्पर्श: उन्होंने पेशेवर कलाकारों से यह परिभाषित करवाया कि एक "परफेक्ट" अभिव्यक्ति कैसी दिखनी चाहिए, ताकि कंप्यूटर केवल गति ही न सीखे, बल्कि अभिव्यक्ति के भाव को भी समझे।
3. "छात्र-शिक्षक" पद्धति (प्रशिक्षण)
यह सबसे कठिन हिस्सा था। वास्तविक लोगों से प्राप्त डेटा थोड़ा "शोर भरा" (noisy) था—शायद कैमरा फिसल गया हो, या व्यक्ति अजीब तरह से हिल गया हो। यदि आप एक छात्र को एक अस्त-व्यस्त, गलत पाठ्यपुस्तक से पढ़ाते हैं, तो छात्र गलतियाँ सीख जाएगा।
इसे ठीक करने के लिए, उन्होंने इटरेटिव डिस्टिलेशन (Iterative Distillation) का उपयोग किया।
कल्पना कीजिए कि एक छात्र (AI) एक शिक्षक (डेटा) से सीखने की कोशिश कर रहा है। शुरू में, शिक्षक थोड़ा अव्यवस्थित है और कुछ गलत उत्तर दे रहा है। लेकिन हार मानने के बजाय, छात्र नोट्स लेता है, पैटर्न को समझने की कोशिश करता है, और फिर खुद को "सिखाता" है। फिर, छात्र वापस शिक्षक की ओर देखता है और कहता है, "रुको, मुझे लगता है कि यह वास्तव में एक मुस्कान थी, न कि एक त्योरी।" कई बार आगे-पीछे जाने के बाद, छात्र अंततः मूल अस्त-व्यस्त पाठ्यपुस्तक से भी अधिक स्मार्ट बन जाता है। यह प्रक्रिया त्रुटियों को "साफ" करती है और गतिविधियों को सुचारू और अभिव्यंजक बनाती है।
यह क्यों मायने रखता है?
अतीत में, VR एक मशीन में भूत होने जैसा महसूस होता था—आप दुनिया को देख सकते थे, लेकिन आप दूसरों के साथ वास्तव में "वहाँ" नहीं हो सकते थे।
चेहरे की ट्रैकिंग को आसान, स्वचालित और अदृश्य बनाकर, मेटा डिजिटल दुनिया में "मानवीयता" को वापस लाने की कोशिश कर रहा है। जल्द ही, जब आप VR में अपने दोस्त को आंख मारेंगे, तो वे केवल एक तैरता हुआ सिर नहीं देखेंगे; वे आपको देखेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।