EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset
यह शोध पत्र वास्तविक दुनिया के बाहरी नेविगेशन में ईगोसेंट्रिक पैदल यात्री की दृष्टि (आई गेज़) की भविष्यवाणी करने की चुनौती को संबोधित करने के लिए मेटा के प्रोजेक्ट आरिया चश्मे के माध्यम से कैप्चर किए गए गेज़-एनोटेटेड वीडियो के एक बड़े पैमाने के, विविध संग्रह का लाभ उठाते हुए, ईगोकैंपस डेटासेट और ईगोकैंपसनेट मॉडल को प्रस्तुत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त विश्वविद्यालय परिसर (यूनिवर्सिटी कैंपस) में टहल रहे हैं। आप केवल अपने पैरों से आगे नहीं बढ़ रहे हैं; आपकी आँखें लगातार दुनिया को स्कैन कर रही हैं। आप एक दोस्त को हाथ हिलाते हुए देखते हैं, एक सड़क के साइन को देखते हैं, एक साइकिल से बचते हैं, और एक सुंदर इमारत को निहारते हैं। आपका मस्तिष्क हर सेकंड हजारों छोटे निर्णय ले रहा है कि कहाँ देखना है और किसे अनदेखा करना है।
यह शोध पत्र कंप्यूटर को ठीक इसी प्रक्रिया को समझने में मदद करने के बारे में है: जब लोग बाहर टहल रहे होते हैं, तो वे कहाँ देखते हैं?
यहाँ इस शोध पत्र का विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:
1. समस्या: "अंधा" रोबोट
कल्पना कीजिए कि आप एक रोबोट बना रहे हैं जो इंसानों के साथ चलकर चलता है। यदि रोबोट को यह नहीं पता कि इंसान कहाँ देख रहे हैं, तो यह एक भीड़ भरे कमरे में नाचने की कोशिश करने वाले उस व्यक्ति की तरह है जिसने आँखों पर पट्टी बाँध रखी हो। वह लोगों से टकरा सकता है या महत्वपूर्ण संकेतों को मिस कर सकता है।
"आई ट्रैकिंग" (आँखों की गतिविधियों को ट्रैक करना) पर पिछला अधिकांश शोध एक अंधेरे कमरे में कंप्यूटर स्क्रीन को देखते हुए बैठे व्यक्ति के अध्ययन जैसा था। वह उपयोगी तो है, लेकिन वह हमें यह नहीं बताता कि जब लोग वास्तव में बाहर टहल रहे होते हैं, बाधाओं से बच रहे होते हैं और वास्तविक दुनिया में रास्ता खोज रहे होते हैं, तब वे कैसे देखते हैं।
2. समाधान: "EgoCampus" डेटासेट
शोधकर्ताओं ने डेटा का एक विशाल नया पुस्तकालय बनाया जिसे EgoCampus कहा जाता है।
- उपमा (Analogy): इसे एक विशाल "आई-ट्रैकिंग मूवी कलेक्शन" की तरह समझें।
- उन्होंने इसे कैसे बनाया: उन्होंने 82 अलग-अलग लोगों को विशेष चश्मे (Meta के Project Aria) दिए। ये चश्मे एक हाई-टेक जासूसी गैजेट की तरह हैं। इनमें सामने की तरफ कैमरे हैं ताकि वे देख सकें कि व्यक्ति क्या देख रहा है, और अंदर छोटे सेंसर हैं जो सटीक रूप से ट्रैक करते हैं कि व्यक्ति की आँखें कहाँ देख रही हैं।
- सामग्री: वे 82 लोगों को एक विश्वविद्यालय परिसर के 25 अलग-अलग रास्तों पर लेकर गए (लगभग 6 किलोमीटर कुल)।
- परिणाम: उन्होंने 32 घंटों का वीडियो कैप्चर किया, लेकिन इससे भी महत्वपूर्ण बात यह है कि उन्होंने "आँखें कहाँ गईं" इसके 3.5 मिलियन फ्रेम कैप्चर किए। उन्होंने यह भी रिकॉर्ड किया कि लोग कैसे चल रहे थे (GPS, गति, सिर का घूमना) ताकि संदर्भ (context) को समझा जा सके।
यह विशेष क्यों है?
अन्य अधिकांश डेटासेट रसोई में खाना बनाते हुए लोगों के छोटे क्लिप की तरह हैं (इनडोर, स्थिर)। यह डेटासेट एक शहर में चलते हुए लोगों की एक निरंतर फिल्म की तरह है, जो मौसम, अन्य लोगों और बदलते दृश्यों से निपट रहे हैं।
3. मस्तिष्क: "EgoCampusNet" (भविष्यवाणी मॉडल)
एक बार जब उनके पास डेटा आ गया, तो उन्होंने EgoCampusNet नामक एक कंप्यूटर मस्तिष्क (एक AI मॉडल) बनाया।
- उपमा: कल्पना कीजिए कि आप एक छात्र को यह अनुमान लगाना सिखा रहे हैं कि एक ड्राइवर अगली बार कहाँ देखेगा।
- पुराना तरीका: आप छात्र को सड़क की एक अकेली फोटो दिखाते हैं और पूछते हैं, "ड्राइवर कहाँ देखेगा?" (यह कठिन है क्योंकि आपको नहीं पता कि उस फोटो से पहले क्या हुआ था)।
- EgoCampusNet का तरीका: आप छात्र को वर्तमान क्षण तक की सड़क का एक वीडियो क्लिप दिखाते हैं, साथ ही वर्तमान फोटो भी। AI सीखता है कि यदि कार बाईं ओर मुड़ रही है, तो ड्राइवर संभवतः बाईं ओर देखेगा। यदि कोई पैदल यात्री सामने आता है, तो ड्राइवर उन्हें देखेगा।
- यह कैसे काम करता है: मॉडल चलने के "मूवी" (वीडियो इतिहास) और वर्तमान दृश्य के "स्नैपशॉट" को देखता है। यह दोनों को मिलाकर अनुमान लगाता है कि आँखें अगली बार कहाँ टिकेंगी।
4. खोज: हम वास्तव में क्या देखते हैं?
शोधकर्ताओं ने डेटा का विश्लेषण किया और कुछ दिलचस्प पैटर्न पाए:
- "सेंटर बायस" (केंद्र का झुकाव): जब लोग सीधे चलते हैं, तो वे अपनी दृष्टि के केंद्र की ओर थोड़ा देखते हैं (जहाँ वे जा रहे हैं)। यह कार चलाने जैसा है; आप सड़क की ओर देखते हैं, डैशबोर्ड की ओर नहीं।
- "डिस्ट्रेक्शन" (ध्यान भटकना) कारक: जब लोग अपना सिर तेजी से घुमाते हैं (जैसे जब वे कोई आवाज सुनते हैं या किसी दोस्त को देखते हैं), तो वे यादृच्छिक (random) चीजों को नहीं देख रहे होते हैं। वे लैंडमार्क्स (इमारतें, पेड़) या नेविगेशन संकेतों (अन्य लोग, पथ के संकेत) को देख रहे होते हैं।
- आश्चर्य: भले ही हमें लगता है कि हम लोगों को देखते समय उनके चेहरों को देखते हैं, लेकिन चलते समय के व्यस्त परिदृश्य में, लोग अक्सर रास्ते या दूर की विशेषताओं पर अपनी आँखें रखते हैं, न कि अनिवार्य रूप से हर गुजरने वाले व्यक्ति से नजरें मिलाते हैं।
5. यह क्यों मायने रखता है?
यह केवल शानदार वीडियो बनाने के बारे में नहीं है। यह सुरक्षा और सहयोग के बारे में है।
- सेल्फ-ड्राइविंग कारें: यदि कार को पता है कि पैदल यात्री कहाँ देख रहा है, तो उसे पता चल जाएगा कि क्या पैदल यात्री जागरूक है या वह अपने फोन से विचलित है।
- रोबोट सहायक: यदि कोई रोबोट आपके साथ चल रहा है, तो उसे यह जानने की आवश्यकता है कि क्या आप किसी खतरे को देख रहे हैं ताकि वह रुक सके, या क्या आप किसी मानचित्र को देख रहे हैं ताकि वह आपका इंतजार कर सके।
- वर्चुअल रियलिटी (VR): यह भविष्यवाणी करने में मदद करता है कि आपकी आँखें स्वाभाविक रूप से कहाँ जाना चाहती हैं, जिससे VR दुनिया अधिक वास्तविक महसूस होती है।
सारांश
यह शोध पत्र मानव ध्यान (attention) को समझने के लिए एक मानचित्र और दिशा-सूचक यंत्र (मैप और कंपास) की तरह है।
- मानचित्र (डेटासेट): उन्होंने "चलते समय लोग कहाँ देखते हैं" का अब तक का सबसे विस्तृत मानचित्र बनाया।
- दिशा-सूचक यंत्र (AI मॉडल): उन्होंने एक ऐसा उपकरण बनाया जो उस मानचित्र का उपयोग करके यह अनुमान लगाता है कि व्यक्ति अगली बार कहाँ देखेगा।
यह समझकर कि मनुष्य अपनी आँखों के साथ दुनिया में कैसे चलते हैं, हम ऐसे रोबोट और कारें बना सकते हैं जो सुरक्षित, स्मार्ट और अधिक स्वाभाविक हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।