GazePrior: Zero-Shot AR/VR Eye Tracking via Learned 3D Gaze Reconstruction
यह शोध पत्र GazePrior को प्रस्तुत करता है, जो एक ज़ीरो-शॉट आई ट्रैकिंग विधि है जो मौजूदा उपकरणों से यथार्थवादी, विविध और सटीक रूप से एनोटेट किए गए प्रशिक्षण डेटा को संश्लेषित करने के लिए एक सीखे हुए 3D प्रायर (prior) का लाभ उठाती है, जिससे महंगे नए डेटा संग्रह की आवश्यकता के बिना नए AR/VR हार्डवेयर पर उच्च-प्रदर्शन वाली आई ट्रैकिंग सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को आपकी आँखों को पढ़ना सिखाने की कोशिश कर रहे हैं। इसे सटीक रूप से करने के लिए, रोबोट को हर संभव दिशा में, हर तरह की रोशनी में और हर संभव कोण से देखते हुए मानव आँखों के लाखों चित्रों की आवश्यकता होगी।
आमतौर पर, ये तस्वीरें प्राप्त करने के लिए कंपनियों को एक नया कैमरा सेटअप बनाना पड़ता है, हजारों स्वयंसेवकों को ढूंढना पड़ता है और तस्वीरें लेने में महीनों का समय लगता है। जब भी वे स्मार्ट चश्मे की एक नई जोड़ी डिजाइन करते हैं, तो यह बहुत महंगा, धीमा और एक लॉजिस्टिक दुःस्वप्न बन जाता है।
समस्या: "नया कैमरा" दुविधा
आई-ट्रैकिंग कैमरों को अलग-अलग चश्मों की तरह समझें। यदि आप चश्मा (कैमरा) बदलते हैं, तो आँख देखने का तरीका थोड़ा बदल जाता है। "चश्मा A" पर प्रशिक्षित एक मॉडल अक्सर तब विफल हो जाता है जब आप उसे "चश्मा B" पहना देते हैं। पारंपरिक रूप से, इसे ठीक करने के लिए, आपको "चश्मा B" के साथ वास्तव में तस्वीरों का एक पूरा नया सेट लेना होगा।
समाधान: GazePrior (एक "सार्वभौमिक नेत्र ब्लूप्रिंट")
GazePrior के पीछे के शोधकर्ताओं ने एक चतुर शॉर्टकट निकाला है। नई तस्वीरें लेने के बजाय, उन्होंने एक "सार्वभौमिक नेत्र ब्लूप्रिंट" बनाया।
यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:
- मास्टर मूर्तिकार (3D प्रायर): कल्पना कीजिए कि एक मास्टर मूर्तिकार है जिसने हजारों वास्तविक लोगों की आँखों का अध्ययन किया है। यह मूर्तिकार केवल एक चेहरा याद नहीं करता; वह आँखों, पलकों और भौंहों के एक साथ हिलने के नियमों को सीखता है। वह समझता है कि जब एक आँख बाईं ओर देखती है, तो पलक केवल स्थिर नहीं रहती—वह थोड़ा खिसक जाती है। यह "मूर्तिकार" एक कंप्यूटर मॉडल है जिसे 3D प्रायर कहा जाता है। यह छिपे हुए पैटर्न को सीखता है कि हर कोण, हर व्यक्ति और हर रोशनी में आँखें कैसी दिखती हैं।
- विरल सुराग (पुराना डेटा): शोधकर्ताओं ने आँखों की मौजूदा तस्वीरें लीं जो पुराने कैमरा सेटअप (जो पहले से ही सही "गज़ दिशा" के साथ लेबल किए गए हैं) से ली गई थीं। उन्हें नई तस्वीरों की आवश्यकता नहीं थी; उन्हें बस इन पुराने, विरल सुरागों की आवश्यकता थी।
- जादुई अनुवाद (रीटारगेटिंग): अब, कल्पना कीजिए कि आप देखना चाहते हैं कि वे वही आँखें एक बिल्कुल नए कैमरे के लेंस के माध्यम से कैसी दिखेंगी जो अभी तक बनाया भी नहीं गया है।
- "मूर्तिकार" पुरानी तस्वीरों को लेता है।
- वह उस क्षण में आँख का एक पूर्ण 3D मॉडल पुनर्गठित करने के लिए अपने "सार्वभौमिक नेत्र ब्लूप्रिंट" का उपयोग करता है।
- फिर वह उस आँख की एक बिल्कुल नई छवि "रेंडर" (बनाता) करता है जैसे कि उसे नए कैमरे के लेंस के माध्यम से देखा जा रहा हो।
यह एक बड़ी बात क्यों है
पिछले तरीकों ने एक 2D फोटो लेने और बस आँख के गोले को नई दिशा में देखने के लिए "वार्पिंग" या खींचने की कोशिश की थी। यह एक आँख के फ्लैट स्टिकर को लेने और उसे घुमाने की कोशिश करने जैसा है; यह अक्सर नकली दिखता है, और पलकें स्वाभाविक रूप से नहीं हिलती हैं।
GazePrior अलग है क्योंकि यह एक वास्तविक 3D मॉडल बनाता है। यह समझता है कि आँखें गोल वस्तुएं हैं और पलकें लचीली त्वचा हैं। इस कारण से, जब यह एक नए कैमरे के लिए नई छवियां उत्पन्न करता है, तो पलकें स्वाभाविक रूप से झपकती हैं, पलकें रोशनी को सही ढंग से पकड़ती हैं, और आँख पर प्रतिबिंब वास्तविक दिखता है।
परिणाम
शोधकर्ताओं ने परीक्षण किया कि उन्होंने केवल इन कंप्यूटर-जनरेटेड छवियों का उपयोग करके एक आई-ट्रैकिंग AI को प्रशिक्षित किया।
- परीक्षण: उन्होंने AI को एक नए डिवाइस (Meta Aria हेडसेट) पर काम करने के लिए प्रशिक्षित करने की कोशिश की, बिना उसे उस विशिष्ट डिवाइस द्वारा ली गई एक भी वास्तविक फोटो दिखाए।
- निष्कर्ष: AI ने लगभग उतना ही अच्छा प्रदर्शन किया जितना कि यदि इसे उस विशिष्ट डिवाइस द्वारा ली गई वास्तविक तस्वीरों पर प्रशिक्षित किया गया होता। इसने सभी पिछले "जीरो-शॉट" तरीकों (वे तरीके जो बिना नए डेटा के काम करने की कोशिश करते हैं) को एक महत्वपूर्ण अंतर से पीछे छोड़ दिया।
संक्षेप में
GazePrior एक मास्टर शेफ की तरह है जो केवल कुछ सामग्रियों और एक रेसिपी का उपयोग करके एक जटिल व्यंजन को पूरी तरह से बना सकता है, बिना हर बार ताज़ा सामान खरीदने के लिए बाज़ार जाने की आवश्यकता के। यह कंपनियों को पुराने डेटा से उत्पन्न "आभासी" डेटा का उपयोग करके नए आई-ट्रैकिंग चश्मे को डिजाइन और टेस्ट करने की अनुमति देता है, जिससे बड़े पैमाने पर वास्तविक दुनिया के फोटो शूट की लागत और समय बचता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।