LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World
यह शोध पत्र LAMP का प्रस्ताव करता है, जो एक नवीन फ्रेमवर्क है जो ज्ञात डिवाइस मोशन का उपयोग करके पहले 2D डिटेक्शंस को एक मेट्रिक 3D वर्ल्ड फ्रेम में एकीकृत करके और फिर इस 3D रे क्लाउड (ray cloud) पर एक स्पैटियो-टेम्पोरल ट्रांसफार्मर को फिट करके, गतिशील एगोजेंट्रिक मल्टी-कैमरा सेटिंग्स में सुदृढ़ 3D मानव गति ट्रैकिंग प्राप्त करता है, जिससे गंभीर एगोज़मोशन (egomotion) और अवरोधों (occlusions) जैसी चुनौतियों से निपटने के लिए ऑब्जर्वर और टारगेट मोशन को प्रभावी ढंग से अलग किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक जोड़ी हाई-टेक स्मार्ट चश्मा पहना हुआ है जिसमें आपके सिर के चारों ओर चार छोटे कैमरे लगे हैं, जैसे कि आपके सिर के किनारों पर आँखें हों। आप एक व्यस्त कॉफी शॉप में घूम रहे हैं, अपना सिर तेजी से घुमा रहे हैं, और लोग आपके चारों ओर घूम रहे हैं। आपका लक्ष्य यह है कि एक कंप्यूटर समझ सके कि बाकी सभी लोग वास्तव में आपके आसपास 3D दुनिया में कहाँ खड़े हैं और कैसे चल रहे हैं।
यह वह चुनौती है जिसे LAMP पेपर हल करता है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:
समस्या: "कांपता हाथ" और "बदलती आँखें"
लोगों को ट्रैक करने वाले अधिकांश कंप्यूटर प्रोग्राम उन कैमरों के लिए डिज़ाइन किए गए हैं जो ट्राइपॉड पर स्थिर रहते हैं या किसी व्यक्ति द्वारा धीरे से पकड़े जाते हैं। वे तब भ्रमित हो जाते हैं जब:
- कैमरा हिल रहा हो: क्योंकि चश्मा आपके सिर पर है, इसलिए हर बार जब आप सिर हिलाते या मोड़ते हैं, तो कैमरा तेजी से हिलता है। कंप्यूटर सोचता है कि लोग हिल रहे हैं, जबकि वास्तव में आप हिले थे।
- नज़रिया बदल जाता है: चार कैमरों के साथ, एक व्यक्ति बाएं कैमरे द्वारा देखा जा सकता है, फिर सामने वाले कैमरे द्वारा, और फिर आपके सिर घुमाने पर दाएं कैमरे द्वारा। पुराने सिस्टम अक्सर लोगों का पीछा खो देते हैं या इस "हैंड-ऑफ" (एक कैमरे से दूसरे कैमरे पर जाने) के दौरान भ्रमित हो जाते हैं या इस बात को लेकर उलझन में पड़ जाते हैं कि वे कितनी दूर हैं।
- डेटा गायब हो जाता है: कभी-कभी कोई व्यक्ति खंभे के पीछे होता है या मेज से ढका होता है। कंप्यूटर केवल उनका एक हिस्सा ही देख पाता है।
समाधान: LAMP (लोकेलाइजेशन अवेयर मल्टी-कैमरा पीपल ट्रैकिंग)
लेखकों ने इसे LAMP नामक एक नए तरीके से हल करने का प्रस्ताव दिया है। इसे एक दो-चरणीय जादू की तरह समझें जो "आप" को "उनसे" अलग करता है।
चरण 1: "स्थिरिंग प्लेटफॉर्म" (किरणों को ऊपर उठाना)
कल्पना कीजिए कि आप एक चलते हुए शहर का नक्शा बनाने की कोशिश कर रहे हैं, लेकिन आपका हाथ अनियंत्रित रूप से कांप रहा है। इमारतों को बनाने की कोशिश करने के बजाय, पहले अपने हाथ को एक स्थिर, अदृश्य प्लेटफॉर्म से लॉक कर दें।
LAMP इसे चश्मे के अंतर्निहित सेंसरों (जो पहले से ही जानते हैं कि चश्मा 3D स्पेस में कैसे हिल रहा है) का उपयोग करके करता है।
- पुराना तरीका: कैमरा हिलते समय व्यक्ति कहाँ है, इसका अनुमान लगाने की कोशिश करना।
- LAMP का तरीका: यह कैमरों से मिलने वाली धुंधली, हिलती हुई 2D तस्वीरों को तुरंत एक स्थिर 3D दुनिया के नक्शे में "लिफ्ट" (ऊपर उठा) देता है। यह चश्मे की ज्ञात गति का उपयोग करके झटके (shake) को खत्म करता है। अब, कंप्यूटर व्यक्ति को 3D कमरे में स्थिर खड़ा देखता है, भले ही कैमरा इधर-उधर घूम रहा हो।
चरण 2: "पहेली सुलझाने वाला" (ट्रांसफॉर्मर)
एक बार जब 3D "किरणें" (दृष्टि रेखाएं) इस स्थिर दुनिया में ऊपर उठ जाती हैं, तो LAMP एक स्मार्ट AI मस्तिष्क (जिसे Transformer कहा जाता है) का उपयोग करके पहेली को हल करता है।
- यह सभी चार कैमरों से आने वाली दृष्टि रेखाओं को देखता है।
- यह खाली जगहों को भर देता है। यदि कैमरा A एक बायां हाथ देखता है और कैमरा B एक दाहिना पैर देखता है, तो AI जानता है कि वे एक ही व्यक्ति के हैं क्योंकि वह समझता है कि मानव शरीर स्वाभाविक रूप से कैसे चलता है।
- यह इन टुकड़ों को जोड़कर व्यक्ति के चलने का एक सुचारू, निरंतर 3D एनीमेशन बनाता है, भले ही वह आंशिक रूप से छिपा हुआ हो या कैमरा दृश्य बदल गया हो।
यह विशेष क्यों है?
- यह एक "विश्व-प्रथम" ट्रैकर है: अधिकांश ट्रैकर्स कहते हैं, "व्यक्ति मेरे बाईं ओर 2 मीटर की दूरी पर है।" LAMP कहता है, "व्यक्ति कमरे में इस विशिष्ट निर्देशांक (coordinate) पर खड़ा है।" यह उन्हें वास्तविक दुनिया में स्थापित करता है, न कि केवल कैमरे के सापेक्ष।
- यह लचीला है: क्योंकि LAMP कैमरे की गति को व्यक्ति की गति से अलग करता है, इसे नकली डेटा (सिमुलेशन) पर प्रशिक्षित किया जा सकता है और फिर यह विभिन्न कैमरा सेटअप वाले वास्तविक चश्मों पर भी पूरी तरह से काम कर सकता है। यह एक सिम्युलेटर में कार चलाना सीखने जैसा है और फिर बिना कुछ दोबारा सीखे किसी भी असली कार को चलाने में सक्षम होना।
- यह अराजकता को संभालता है: पेपर दिखाता है कि LAMP वास्तविक समय में कई लोगों को ट्रैक कर सकता है, भले ही आप तेजी से चल रहे हों, अपना सिर घुमा रहे हों, या लोग एक-दूसरे को रोक रहे हों।
परिणाम
शोधकर्ताओं ने वास्तविक दुनिया के डेटा (प्रोजेक्ट एरिया ग्लास) पर LAMP का परीक्षण किया। उन्होंने पाया कि:
- यह पिछले तरीकों की तुलना में बहुत अधिक सटीकता से लोगों को ट्रैक करता है जो या तो केवल एक कैमरे का उपयोग करते हैं या सिर की गति को ध्यान में नहीं रखते हैं।
- अधिक कैमरों का उपयोग करना (जैसे चश्मे पर मौजूद 4 कैमरे) ट्रैकिंग को बहुत अधिक विश्वसनीय बनाता है, जिससे कमरे का अधिक कवरेज मिलता है और "ब्लाइंड स्पॉट" कम होते हैं।
- यह रियल-टाइम में काम करता है, जिसका अर्थ है कि यह वीडियो रिकॉर्ड करने के बाद नहीं, बल्कि वास्तव में आपके चलते समय भी यह काम कर सकता है।
संक्षेप में, LAMP एक ऐसा सिस्टम है जो आपके सिर से मिलने वाले हिलते हुए, मल्टी-कैमरा दृश्य को आपके आस-पास के लोगों के सटीक 3D मानचित्र में बदल देता है, जिससे कंप्यूटर वास्तविक दुनिया में सामाजिक अंतःक्रियाओं को वास्तव में समझ सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।