Offline Dynamic AOI Generation and Runtime Gaze Mapping for 360° Video in Virtual Reality: A Systems and Feasibility Study
यह शोध पत्र 360° VR आई-ट्रैकिंग के लिए एक ऑफलाइन-टू-रनटाइम पाइपलाइन प्रस्तुत और मान्य करता है जो गतिशील रुचि के क्षेत्रों (areas of interest) को उत्पन्न करने के लिए ओपन-वोकैबुलरी डिटेक्टरों का उपयोग करता है और फ्रेम-सिंक्रोनाइज्ड गेज़ मैपिंग करता है, जिसमें डिटेक्शन कवरेज और प्रोसेसिंग दक्षता के बीच संतुलन बनाने के लिए ग्राउंडिंग डीआईएनओ (Grounding DINO) और वाईओएलओ-वर्ल्ड (YOLO-World) जैसे मॉडलों का बेंचमार्किंग किया गया है और साथ ही भविष्य के परिशोधन के लिए प्रमुख तकनीकी चुनौतियों की पहचान की गई है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक व्यक्ति क्या देख रहा है जब उसने एक ऐसा हेडसेट पहना हुआ है जो उसे एक पूर्ण, 360-डिग्री दुनिया दिखाता है। एक सपाट फिल्म (flat movie) में, आप आसानी से किसी व्यक्ति या कार के चारों ओर एक बॉक्स बना सकते हैं और कह सकते हैं, "वे इसे देख रहे हैं।" लेकिन एक गोलाकार वीडियो (spherical video) में, दुनिया देखने वाले के चारों ओर लिपटी होती है। जैसे-जैसे वस्तुएं छवि के किनारों पर चलती हैं, वे खिंच सकती हैं, सिकुड़ सकती हैं, या दो हिस्सों में बंट सकती हैं। इन इमर्सिव वातावरणों में लोग कैसे ध्यान देते हैं, इसका अध्ययन करने के लिए, शोधकर्ताओं को इन चलती हुई वस्तुओं की पहचान करने और दर्शक की आंखों के पीछा करने के लिए एक तरीका चाहिए। यही वर्चुअल रियलिटी में आई-ट्रैकिंग की मुख्य चुनौती है: उस चीज़ का एक विश्वसनीय मानचित्र बनाना जो लगातार बदल रही है और उपयोगकर्ता के चारों ओर घूम रही है।
स्पेन के कैडिज़ विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नई प्रणाली बनाई है। उन्होंने एक दो-चरणीय प्रक्रिया बनाई है जो वस्तुओं की पहचान करने के कठिन कार्य को हेडसेट पहनने के वास्तविक क्षण से अलग करती है। सबसे पहले, वे एक 360-डिग्री वीडियो लेते हैं और शक्तिशाली कंप्यूटर प्रोग्रामों का उपयोग करके इसे स्कैन करते हैं, जो सरल टेक्स्ट विवरणों के आधार पर लोगों, जानवरों या वस्तुओं जैसी विशिष्ट चीजों की तलाश करते हैं। ये प्रोग्राम पाई गई वस्तुओं के चारों ओर अदृश्य बॉक्स बनाते हैं। टीम फिर इन बॉक्सों को एक विशेष डिजिटल मानचित्र में बदल देती है जिसे हेडसेट पढ़ सकता है। बाद में, जब कोई प्रतिभागी हेडसेट पहनकर वीडियो देखता है, तो सिस्टम इस मानचित्र का उपयोग यह तुरंत जानने के लिए करता है कि व्यक्ति फ्रेम-दर-फ्रेम किस वस्तु को देख रहा है, बिना वीडियो चलते समय भारी कंप्यूटर कार्य किए।
यह जांचने के लिए कि क्या यह प्रणाली काम करती है, शोधकर्ताओं ने इसे तीन अलग-अलग प्रकार के वीडियो के साथ आज़माया: लोगों और लैपटॉप वाला एक कमरा, एक जंगल का दृश्य, और शेर और गज़ेल (gazelles) वाला एक वन्यजीव क्लिप। उन्होंने यह देखने के लिए भी तीन अलग-अलग कंप्यूटर प्रोग्रामों का परीक्षण किया कि वस्तुओं को खोजने के लिए कौन सा सबसे अच्छा है। एक प्रोग्राम, जिसे Grounding DINO कहा जाता है, सबसे विस्तृत था, जिसने कठिन दृश्यों में भी सबसे अधिक वस्तुओं को पाया, लेकिन इसे वीडियो को प्रोसेस करने में लंबा समय लगा। दूसरा प्रोग्राम, YOLO-World, अविश्वसनीय रूप से तेज़ था—पहले वाले से लगभग नौ गुना तेज़—लेकिन इसने कई वस्तुओं को छोड़ दिया, विशेष रूप से वन्यजीव क्लिप में छोटे जानवरों को। तीसरा विकल्प, OWLv2, बीच में कहीं था। शोधकर्ताओं ने पाया कि कोई भी एक प्रोग्राम हर स्थिति के लिए एकदम सही नहीं था; सबसे अच्छा चुनाव पूरी तरह से इस बात पर निर्भर करता था कि वीडियो में क्या था।
जब उन्होंने आठ स्वयंसेवकों के साथ पूर्ण प्रणाली का परीक्षण किया, तो तकनीक सुचारू रूप से काम करती रही। हेडसेट ने सफलतापूर्वक ट्रैक किया कि प्रतिभागी कहाँ देख रहे थे और उनकी उन निगाहों को उन वस्तुओं से मिलाया जिन्हें कंप्यूटर ने पहचाना था। सिस्टम ने हर बार रिकॉर्ड किया जब किसी व्यक्ति ने किसी चीज़ पर ध्यान केंद्रित किया, जिससे उनके ध्यान का एक विस्तृत लॉग तैयार हुआ। हालाँकि, अध्ययन ने यह भी उजागर किया कि सिस्टम कहाँ संघर्ष करता है। वन्यजीव वीडियो में, सिस्टम अक्सर जानवरों को नोटिस करने में विफल रहा। ऐसा इसलिए हुआ क्योंकि जानवर छोटे थे, तेज़ी से चल रहे थे, और कभी-कभी वीडियो के उन हिस्सों में दिखाई देते थे जहाँ छवि स्वाभाविक रूप से विकृत (distorted) होती है। कंप्यूटर प्रोग्रामों को इन छोटे, बदलते लक्ष्यों को खोजने में कठिनाई हुई, जिसका अर्थ है कि सिस्टम ने वास्तव में प्रतिभागियों द्वारा जानवरों को देखे जाने के कई क्षणों को मिस कर दिया।
शोधकर्ताओं ने निष्कर्ष निकाला कि उनकी विधि भविष्य के अध्ययनों के लिए एक ठोस आधार है। यह सिद्ध करता है कि आप स्वचालित रूप से इन अटेंशन मैप्स को बना सकते हैं और वास्तविक समय के वर्चुअल रियलिटी प्रयोगों में इनका उपयोग कर सकते हैं। ऑफलाइन तैयारी और लाइव प्रयोग के बीच का अलगाव इस प्रक्रिया को विश्वसनीय और दोहराने योग्य बनाता है। हालाँकि, उन्होंने यह भी स्पष्ट किया कि यह तकनीक अभी हर प्रकार के वीडियो के लिए तैयार नहीं है। जबकि यह लोगों के साथ कमरे जैसे स्पष्ट, संरचित दृश्यों के लिए अच्छी तरह काम करती है, इसे जटिल प्राकृतिक वातावरणों में छोटे, तेज़ गति वाले ऑब्जेक्ट्स को संभालने के लिए अभी भी सुधार की आवश्यकता है। अध्ययन यह दावा नहीं करता है कि उसने 360-डिग्री वीडियो में आई-ट्रैकिंग की समस्या को पूरी तरह से हल कर लिया है, बल्कि इसने एक कामकाजी ब्लूप्रिंट और उन विशिष्ट बाधाओं की एक स्पष्ट सूची प्रदान की है जिन्हें अभी पार करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।