EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input
EgoGazeLite एक हल्का, ऑन-डिवाइस ड्यूल-प्रोसेस गेज़ प्रेडिक्टर है जो अनुमानित दृष्टि (गेज़) के आधार पर वीडियो को सटीक रूप से क्रॉप करके मल्टीमॉडल LLMs के लिए टोकन-कुशल एगोसेंट्रिक वीडियो समझ को सक्षम बनाता है, जिससे समर्पित आई-ट्रैकिंग हार्डवेयर की आवश्यकता समाप्त हो जाती है और साथ ही उपभोक्ता हार्डवेयर पर रीयल टाइम में संचालित होते हुए विवरण की गुणवत्ता भी बनी रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने स्मार्ट चश्मा पहना है जो आपकी आँखों के माध्यम से दुनिया को देख सकता है और आप क्या कर रहे हैं, इसका वर्णन कर सकता है। यह तकनीक एक सर्जन को जटिल प्रक्रिया याद रखने में मदद करने, एक मैकेनिक को मरम्मत के माध्यम से मार्गदर्शन करने, या दृष्टिबाधित व्यक्ति की सहायता करने के लिए परिवेश का वर्णन करके उन्हें विवरण देने का वादा करती है। इसे काम करने के लिए, चश्मे को एक शक्तिशाली आर्टिफिशियल इंटेलिजेंस सिस्टम को वीडियो फीड भेजना होगा जो छवियों और भाषा को समझने में सक्षम हो। हालाँकि, इसमें एक बड़ी बाधा है: हाई-डेफिनिशन वीडियो भेजने के लिए भारी मात्रा में डेटा की आवश्यकता होती है, जो एक छोटे पहनने योग्य उपकरण द्वारा आसानी से प्रसारित या प्रोसेस करने की क्षमता से कहीं अधिक है। ये कंप्यूटर सिस्टम जो इन वीडियो को समझते हैं, वे भी तब संघर्ष करते हैं जब उन्हें एक साथ बहुत अधिक दृश्य जानकारी दी जाती है, क्योंकि वे पिक्सेल की विशाल मात्रा से अभिभूत हो जाते हैं।
शोधकर्ताओं ने केवल इस बात पर ध्यान केंद्रित करके इस डेटा समस्या को हल करने का एक चतुर तरीका खोजा है कि व्यक्ति वास्तव में कहाँ देख रहा है। पूरे विस्तृत दृश्य को भेजने के बजाय, सिस्टम वीडियो को क्रॉप (छोटा) कर सकता है ताकि केवल उस छोटे क्षेत्र को दिखाया जा सके जहाँ पहनने वाले की दृष्टि टिकी हुई है। यह डेटा की मात्रा को लगभग नब्बे प्रतिशत कम कर देता है, जिससे कार्य बहुत तेज़ और सस्ता हो जाता है। अब तक, इस दृष्टिकोण के लिए चश्मे के भीतर निर्मित एक विशेष, महंगे हार्डवेयर की आवश्यकता थी जो आँखों की गतिविधियों को सटीक रूप से ट्रैक कर सके। इस समर्पित हार्डवेयर के बिना, सिस्टम को पता नहीं चल पाता कि कहाँ देखना है, जिससे स्मार्ट चश्मों की क्षमता अधूरी रह जाती थी।
एक शोध दल ने अब यह प्रदर्शित किया है कि एक समर्पित आई-ट्रैकिंग सेंसर वास्तव में आवश्यक नहीं है। उन्होंने एक हल्का सॉफ्टवेयर प्रोग्राम विकसित किया है जो केवल वीडियो स्ट्रीम का विश्लेषण करके यह अनुमान लगा सकता है कि व्यक्ति कहाँ देख रहा है। 'एगोगेज़लाइट' (EgoGazeLite) नामक यह प्रोग्राम सीधे एक मानक स्मार्टफोन पर चलता है और इतना सटीक है कि यह महंगे हार्डवेयर सेंसर की जगह ले सकता है। शोधकर्ताओं ने परीक्षण करने के लिए वीडियो क्लिप्स को एक आर्टिफिशियल इंटेलिजेंस सिस्टम में डाला, उन्हें वास्तविक आई-ट्रैकिंग डेटा या सॉफ्टवेयर के अनुमान के आधार पर क्रॉप किया। इसके बाद उन्होंने आर्टिफिशियल इंटेलिजेंस से वीडियो में होने वाली क्रियाओं का वर्णन करने को कहा। परिणामों ने दिखाया कि अनुमानित दृष्टि (ग़ेज) से उत्पन्न विवरण, वास्तविक आई-ट्रैकिंग डेटा से उत्पन्न विवरणों के लगभग समान थे। प्रत्येक परीक्षण मामले में, सॉफ्टवेयर का अनुमान हार्डवेयर के माप के समान ही अच्छा रहा, जिससे यह सिद्ध हुआ कि सिस्टम विशेष सेंसर के बिना भी काम कर सकता है।
यह सॉफ्टवेयर उल्लेखनीय रूप से कुशल है। यह इतना छोटा है कि आधुनिक स्मार्टफोन के प्रोसेसर जैसे उपभोक्ता-ग्रेड हार्डवेयर पर वास्तविक समय (रियल-टाइम) में चल सकता है, और प्रत्येक वीडियो फ्रेम के अनुमान और क्रॉपिंग को बाईस मिलीसेकंड से भी कम समय में पूरा कर सकता है। यह गति महत्वपूर्ण है क्योंकि इसका अर्थ है कि सिस्टम बिना किसी देरी (लैग) के लाइव वीडियो फीड के साथ तालमेल बिठा सकता है। शोधकर्ताओं ने इस सॉफ्टवेयर को लोगों द्वारा विभिन्न कार्य करने जैसे कि खाना बनाना, साइकिल की मरम्मत करना, फुटबॉल खेलना और सी पी आर (CPR) देने के हजारों घंटों के वीडियो पर प्रशिक्षित किया। जब उन्होंने नए, अनदेखे वीडियो पर सिस्टम का परीक्षण किया, तो इसने उच्च सटीकता के साथ सफलतापूर्वक पहचान लिया कि व्यक्ति कहाँ देख रहा है। यह सॉफ्टवेयर दो अलग-अलग तरीकों से ध्यान केंद्रित करना सीखकर काम करता है: एक जो दृश्य में चमकीले या गतिशील तत्वों पर आधारित है, और दूसरा जो इस पर आधारित है कि व्यक्ति एक क्षण पहले कहाँ देख रहा था। यह अगले फोकस बिंदु का अनुमान लगाने के लिए इन दोनों सुरागों को जोड़ता है।
यह सुनिश्चित करने के लिए कि उनके निष्कर्ष मजबूत हों, शोधकर्ताओं ने मूल्यांकन के लिए केवल एक विधि पर भरोसा नहीं किया। उन्होंने वीडियो विवरण उत्पन्न करने के लिए दो अलग-अलग बड़े लैंग्वेज मॉडल का उपयोग किया और फिर उन विवरणों को स्वचालित स्कोरिंग सिस्टम और अन्य उन्नत आर्टिफिशियल इंटेलिजेंस मॉडलों द्वारा जज करवाया। उन्होंने अनुमानित दृष्टि से प्राप्त विवरणों की गुणवत्ता की तुलना वास्तविक हार्डवेयर सेंसर से प्राप्त 'ग्राउंड ट्रुथ' और एक सरल बेसलाइन (जो केवल स्क्रीन के केंद्र को क्रॉप करती है) से की। परिणाम स्पष्ट थे: अनुमानित दृष्टि द्वारा उत्पन्न विवरण केंद्र क्रॉप की तुलना में काफी बेहतर थे और हार्डवेयर-आधारित दृष्टि के समान ही थे। वास्तव में, सॉफ्टवेयर का अनुमान वास्तविक आई-ट्रैकिंग डेटा के इतना करीब था कि दस अलग-अलग परीक्षण परिदृश्यों में से किसी में भी अंतर को महत्वपूर्ण रूप से मापा नहीं जा सका।
यह कार्य गेज़-अवेयर (दृष्टि-जागरूक) आर्टिफिशियल इंटेलिजेंस के व्यापक प्रसार के लिए एक बड़ी बाधा को दूर करता है। यह सिद्ध करके कि एक सॉफ्टवेयर मॉडल हार्डवेयर सेंसर की जगह ले सकता है, शोधकर्ताओं ने दिखाया है कि भविष्य के स्मार्ट चश्मों को उपयोगी होने के लिए महंगे, अत्यधिक ऊर्जा खपत करने वाले आई-ट्रैकिंग घटकों से बोझिल होने की आवश्यकता नहीं है। इस सिस्टम को किसी भी ऐसे डिवाइस पर तैनात किया जा सकता है जिसमें कैमरा और एक मानक प्रोसेसर हो, जिससे दैनिक गतिविधियों की एक विस्तृत श्रृंखला में किफायती, वास्तविक समय की सहायता का मार्ग खुल जाता है। हालांकि यह अध्ययन विशिष्ट डेटासेट और मॉडलों पर किया गया था, लेकिन परिणाम इन प्रणालियों को बनाने के तरीके में एक मौलिक बदलाव का सुझाव देते हैं, जो विशेष हार्डवेयर से हटकर बुद्धिमान, हल्के वजन वाले सॉफ्टवेयर की ओर जाता है जो केवल यह देखकर मानव ध्यान को समझ सकता है कि हम क्या देख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।