GazeOnce360: Fisheye-Based 360{\deg} Multi-Person Gaze Estimation with Global-Local Feature Fusion
यह शोधपत्र GazeOnce360 प्रस्तुत करता है, जो एक एकल ऊपर की ओर मुख किए हुए फिशआई (fisheye) कैमरे से कई लोगों की 3D दृष्टि दिशाओं (gaze directions) का अनुमान लगाने के लिए एक नवीन एंड-टू-एंड मॉडल है, जिसे नए MPSGaze360 सिंथेटिक डेटासेट और एक डुअल-रेज़ोल्यूशन आर्किटेक्चर द्वारा समर्थित किया गया है जो गंभीर फिशआई विरूपण (distortion) को संभालने के लिए वैश्विक संदर्भ को स्थानीय नेत्र विशेषताओं के साथ संलयित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त कॉफी शॉप में एक गोल मेज के चारों ओर बैठे हैं। आप बिल्कुल सटीक रूप से जानना चाहते हैं कि आपके आस-पास के सभी लोग क्या देख रहे हैं—शायद यह देखने के लिए कि कौन मेनू में रुचि ले रहा है, कौन विचलित है, या कौन आपसे आँखें मिला रहा है।
अतीत में, ऐसा करने के लिए, आपको मेज के चारों ओर कैमरों के साथ लोगों की एक टीम या दर्पण और लेंस की एक जटिल प्रणाली की आवश्यकता होती। यह महंगा, बोझिल और गलतियों के प्रति संवेदनशील होता।
मिलिए "GazeOnce360" से।
इस नई तकनीक को अपनी मेज के ठीक बीच में रखे गए एक सुपर-पावर्ड, सर्वव्यापी नेत्र के रूप में सोचें, जो सीधे ऊपर छत की ओर देख रहा है। यह एक विशेष "फिशआई" (fisheye) कैमरा है (जैसे कि सुरक्षा या 360-डिग्री फोटो के लिए उपयोग किए जाने वाले कैमरे) जो देख सकता है कि एक पूर्ण घेरे में आपके चारों ओर कौन है।
यहाँ यह शोध पत्र इस सफलता को सरल अवधारणाओं में तोड़कर समझाता है:
1. समस्या: "फनहाउस मिरर" (Funhouse Mirror) प्रभाव
मुख्य चुनौती यह है कि फिशआई कैमरे फनहाउस मिरर की तरह होते हैं। वे सब कुछ खींच देते हैं और विकृत कर देते हैं।
- यदि आप एक सामान्य फोटो में दूर किनारे पर खड़े व्यक्ति को देखते हैं, तो उसका चेहरा सामान्य दिखता है।
- एक फिशआई फोटो में, वही चेहरा खिंचा हुआ, पिचका हुआ और घुमा हुआ दिखाई देता है।
- पिछले तरीकों ने इसे ठीक करने का प्रयास किया—वे विकृत छवि को लेते थे, उसे टुकड़ों में काटते थे, उन्हें सीधा करते थे, और फिर अनुमान लगाते थे कि लोग कहाँ देख रहे हैं। यह एक पहेली को हल करने जैसा है जहाँ आप पहले उसे टुकड़ों में अलग करते हैं, प्रत्येक टुकड़े को ठीक करते हैं, और फिर उसे वापस जोड़ते हैं। यह धीमा है, और यदि आप एक टुकड़े पर गलती करते हैं, तो पूरी तस्वीर गलत हो जाती है।
2. समाधान: "एक-चरण" वाला जादू का खेल
लेखकों ने GazeOnce360 नामक एक नया AI मॉडल बनाया है। इस बहु-चरणीय पहेली पद्धति के बजाय, यह मॉडल एक जादूगर की तरह है जो एक ही बार में पूरी तस्वीर देख लेता है।
- यह सीधे विकृत, खिंची हुई फिशआई छवि को देखता है।
- यह पहले छवि को "ठीक करने" की कोशिश नहीं करता; इसके बजाय, यह विकृति को एक स्वाभाविक दृश्य के रूप रूप में समझना सीख जाता है।
- यह तुरंत आपको बता देता है: "बाईं ओर वाला व्यक्ति कॉफी कप की ओर देख रहा है," और "दाईं ओर वाला व्यक्ति आपकी ओर देख रहा है।"
3. यह कैसे काम करता है: "डुअल-लेंस" रणनीति
तेज़ और सटीक होने के लिए, मॉडल एक चतुर दोहरी-रिज़ॉल्यूशन (dual-resolution) तकनीक का उपयोग करता है। कल्पना कीजिए कि एक सुरक्षा गार्ड के पास भीड़ को देखने के दो तरीके हैं:
- वाइड-एंगल व्यू (लो-रेज): गार्ड दूर से पूरे कमरे को देखता है। वे देख सकते हैं कि कहाँ हर कोई खड़ा है और समूह कैसे व्यवस्थित है, लेकिन वे उनकी आँखों के विवरण नहीं देख सकते।
- ज़ूम-इन व्यू (हाई-रेज): फिर गार्ड प्रत्येक व्यक्ति के चेहरे पर ज़ूम करता है ताकि यह देख सके कि उनकी पुतलियाँ वास्तव में किस दिशा में इशारा कर रही हैं।
GazeOnce360 इन दोनों दृश्यों को जोड़ता है। यह लोगों को खोजने के लिए "वाइड-एंगल" का उपयोग करता है और उनकी आँखों को पढ़ने के लिए "ज़ूम-इन" का उपयोग करता है। फिर यह इस जानकारी को एक साथ मिला देता है ताकि इसे पता चल सके कि कौन क्या देख रहा है, बिना फिशआई लेंस के विकृत किनारों से भ्रमित हुए।
4. गुप्त नुस्खा: रोटेशनल कन्वोल्यूशन (Rotational Convolution)
मानक AI सीधी चीजों को देखने का आदी होता है। यदि आप बिल्ली की तस्वीर को घुमाते हैं, तो एक सामान्य AI भ्रमित हो सकता है। लेकिन एक 360-डिग्री फिशआई दृश्य में, लोग हर दिशा में घूम सकते हैं।
लेखकों ने अपने AI को एक विशेष उपकरण दिया है जिसे रोटेशनल कन्वोल्यूशन कहा जाता है।
- उपमा: कल्पना कीजिए कि एक मानक टॉर्च जो केवल सीधे आगे चमकती है। यदि आप अपना सिर घुमाते हैं, तो रोशनी उसका पीछा नहीं करती है।
- नया टूल: यह एक 360-डिग्री स्पॉटलाइट की तरह है जो वस्तु के साथ घूमता है। फिशआई लेंस द्वारा चेहरे को चाहे कितना भी घुमाया या खींचा गया हो, AI का "स्पॉटलाइट" उसके अनुरूप घूमता है, जिससे यह सुनिश्चित होता है कि वह हमेशा आँखों को स्पष्ट रूप से देख सके।
5. प्रशिक्षण का मैदान: "वर्चुअल रियलिटी" क्लासरूम
आप आसानी से एक रोबोट को वास्तविक लोगों के साथ यह करना नहीं सिखा सकते क्योंकि यह जानना कठिन है कि एक इंसान वास्तव में कहाँ देख रहा है (आपको उनसे पूछना होगा, और वे झूठ बोल सकते हैं या भूल सकते हैं)।
इसलिए, लेखकों ने एक विशाल आभासी दुनिया बनाई (Unreal Engine नामक गेम इंजन का उपयोग करके)।
- उन्होंने विभिन्न त्वचा के रंगों, उम्र और कपड़ों वाले हजारों डिजिटल लोग बनाए।
- उन्होंने उन्हें एक आभासी मेज के चारों ओर रखा और उन्हें विशिष्ट दिशाओं में देखने के लिए प्रोग्राम किया।
- क्योंकि यह एक कंप्यूटर सिमुलेशन है, कंप्यूटर को पता होता है कि हर पुतली (pupil) सटीक रूप से कहाँ देख रही है, पिक्सेल तक।
- उन्होंने इस "नकली" डेटा पर AI को प्रशिक्षित किया, और आश्चर्यजनक रूप से, इसने इतनी अच्छी तरह से सीखा कि यह वास्तविक दुनिया की तस्वीरों पर भी पूरी तरह से काम करता है!
यह क्यों मायने रखता है?
यह केवल एक कूल टेक डेमो नहीं है; इसके वास्तविक दुनिया में उपयोग हैं:
- स्मार्ट ऑफिस: मेज पर रखा एक रोबोट यह जान सकता है कि क्या पूरी टीम बोर हो रही है या चर्चा में शामिल है।
- सर्विस काउंटर: एक बैंक या होटल डेस्क यह देख सकता है कि क्या कोई ग्राहक ब्रोशर देख रहा है या मदद का इंतज़ार कर रहा है।
- वर्चुअल रियलिटी: यह VR इंटरैक्शन को अधिक स्वाभाविक बना सकता है क्योंकि यह समझ सकता है कि आप और अन्य लोग 360-डिग्री स्थान में कहाँ देख रहे हैं।
संक्षेप में: GazeOnce360 एक स्मार्ट, तेज़ और लचीली प्रणाली है जो एक विकृत, 360-डिग्री दृश्य को मानवीय ध्यान की स्पष्ट समझ में बदल देती है, और वह भी बिना कैमरों की एक टीम या किसी जटिल सेटअप के। यह कंप्यूटर को कमरे को "पढ़ने" की क्षमता देने जैसा है, चाहे कमरा कैसा भी व्यवस्थित हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।