A Two-Stage Lightweight Framework for Real Time Static Hand Gesture Recognition for Smart-Home Control

एक ऐसे लिविंग रूम की कल्पना करें जहाँ आप केवल अपना हाथ उठाकर लाइट जला सकते हैं, थर्मोस्टेट को नियंत्रित कर सकते हैं, या वैक्यूम क्लीनर शुरू कर सकते हैं। न कोई रिमोट कंट्रोल, न वॉयस कमांड, और न ही किसी शारीरिक स्पर्श की आवश्यकता है। सहज, संपर्क रहित (contactless) इंटरैक्शन का यह दृष्टिकोण स्मार्ट-होम तकनीक का लक्ष्य है, लेकिन इसे एक वास्तविक घर में विश्वसनीय रूप से काम कराना आश्चर्यजनक रूप से कठिन है। मानव हाथ एक जटिल आकार है जो लगातार बदलता रहता है, और यह दुनिया की उन विचलनों (distractions) से भरा होता है जो कैमरे को आसानी से भ्रमित कर सकते हैं: जैसे त्वचा के रंग का फर्नीचर, बदलती छायाएं और बिखरा हुआ बैकग्राउंड। एक कंप्यूटर के लिए जेस्चर (इशारे) को समझने के लिए, उसे पहले इस शोर भरे बैकड्रॉप के बीच हाथ को स्पष्ट रूप से खोजना होगा, और फिर यह तय करना होगा कि वह हाथ वास्तव में क्या कर रहा है। यदि सिस्टम बैकग्राउंड की किसी वस्तु को हाथ समझ लेता है, तो यह तब लाइट जला सकता है जब आप केवल हाथ हिला रहे हों। यदि यह बहुत धीमा है, तो इंटरैक्शन सुस्त और अप्राकृतिक महसूस होगा। चुनौती एक ऐसा सिस्टम बनाने की है जो हाथ और दीवार के बीच अंतर करने के लिए पर्याप्त सटीक हो और साथ ही किफायती हार्डवेयर पर चलते हुए तुरंत प्रतिक्रिया देने के लिए पर्याप्त तेज़ हो।

बीजिंग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं ने इस समस्या को हल करने के लिए एक नया तरीका विकसित किया है, जिससे एक दो-चरणीय प्रणाली बनाई गई है जो विशेष रूप से रियल-टाइम होम कंट्रोल के लिए डिज़ाइन की गई है। उनका दृष्टिकोण हाथ को खोजने के कार्य को जेस्चर पहचानने के कार्य से अलग करता है, और इन्हें दो अलग-अलग कार्यों के रूप में देखता है जो मिलकर काम करते हैं। सबसे पहले, सिस्टम एक अत्यधिक कुशल संपादक की तरह कार्य करता है, जो हाथ को बाकी छवि से अत्यधिक सटीकता के साथ काटकर अलग करता है। फिर, एक दूसरा, विशेष कंप्यूटर प्रोग्राम उस अलग किए गए हाथ को देखता है और निर्णय लेता है कि वह किस कमांड का प्रतिनिधित्व करता है। इस तरह काम को विभाजित करके, शोधकर्ता एक ऐसा सिस्टम बनाने में सक्षम हुए जो अविश्वसनीय रूप से सटीक होने के साथ-साथ मानक उपकरणों पर तेज़ी से चलने के लिए पर्याप्त हल्का भी है।

उनके सिस्टम का पहला चरण 'सेगमेंटेशन' पर केंद्रित है, जो हाथ को बैकग्राउंड से अलग करने की प्रक्रिया है। शोधकर्ताओं ने 16 विभिन्न श्रेणियों वाली 8,000 छवियों का एक कस्टम डेटासेट बनाया, जिसमें नौ उंगलियों की संख्या, विभिन्न खुले और बंद हाथ के आकार, और एक विशेष "नो-जेस्चर" (कोई इशारा नहीं) श्रेणी शामिल है। यह अंतिम श्रेणी अत्यंत महत्वपूर्ण है; यह कंप्यूटर को यह सिखाती है कि हाथ मौजूद नहीं है या फ्रेम में आंशिक रूप से ही है, जिससे सिस्टम को किसी के पास से गुजरने पर गलती से कमांड ट्रिगर करने से रोका जा सके। कंप्यूटर को हाथ खोजने के लिए प्रशिक्षित करने हेतु, उन्होंने इमेज-एनालिसिस नेटवर्क के एक प्रसिद्ध संस्करण, जिसे U-Net कहा जाता है, के संशोधित संस्करण का उपयोग किया। उन्होंने इस नेटवर्क को बहुत छोटा और तेज़ बनाने के लिए इसके अनावश्यक हिस्सों को हटाकर इसे सरल बनाया, बिना इसकी बारीकियों को देखने की क्षमता खोए। परिणाम स्वरूप एक ऐसा मॉडल प्राप्त हुआ जो जटिल बैकग्राउंड से आठ मिलीसेकंड से भी कम समय में हाथ को अलग कर सकता है, जो रियल-टाइम इंटरैक्शन के लिए पर्याप्त तेज़ गति है। जब इसे फर्स्ट-पर्सन पर्सपेक्टिव (प्रथम-व्यक्ति परिप्रेक्ष्य) और भारी रुकावटों (occlusion) वाले छवियों के एक अलग और अधिक कठिन सेट पर परखा गया, तब भी सिस्टम ने लगभग 90 प्रतिशत मामलों में हाथ को सही ढंग से पहचाना, जो यह सिद्ध करता है कि यह घर के वास्तविक वातावरण को संभालने में सक्षम है।

एक बार हाथ अलग हो जाने के बाद, दूसरा चरण विशिष्ट जेस्चर की पहचान करने का कार्य संभालता है। शोधकर्ताओं ने एक नया, हल्का क्लासिफिकेशन नेटवर्क 'EdgeHandCNN' डिज़ाइन किया है। पुराने, सरल मॉडलों के विपरीत जो अक्सर समान दिखने वाले इशारों में भ्रमित हो जाते थे, यह नया आर्किटेक्चर उन सूक्ष्म विवरणों पर ध्यान केंद्रित करने के लिए बनाया गया है जो महत्वपूर्ण हैं: फैली हुई उंगलियों की संख्या, उनकी दिशा और हथेली का आकार। यह उच्च-आवृत्ति वाले विवरणों (high-frequency details) पर विशेष ध्यान देता है, जैसे कि उंगलियों के पोरों के तीखे किनारे और हथेली की बनावट, जो "थम्स अप" और "ओके" साइन के बीच मुख्य अंतर हैं। परीक्षण में, इस विशेष नेटवर्क ने लगभग 99.6 प्रतिशत की सफलता दर हासिल की, जिसने लगभग हर स्थिति में जेस्चर को सही ढंग से पहचाना। इसने यह कार्य दो मिलीसेकंड से भी कम समय में किया, जिससे पूरी पहचान प्रक्रिया लगभग तात्कालिक हो गई।

शोधकर्ताओं ने इन दोनों चरणों को एक पूर्ण प्रोटोटाइप सिस्टम में संयोजित किया ताकि यह परीक्षण किया जा सके कि यह व्यवहार में कैसे काम करेगा। उन्होंने एक सॉफ्टवेयर इंटरफेस बनाया जो लाइव वीडियो फीड ले सकता है, उपयोगकर्ता के खड़े होने वाले क्षेत्र को क्रॉप कर सकता है, हाथ को खोज सकता है, और फिर जेस्चर को कमांड में बदल सकता है। सिस्टम में एक सुरक्षा जांच भी शामिल है: यदि कैमरा हाथ का 3% से कम हिस्सा देखता है, तो यह मान लेता है कि कोई जेस्चर नहीं किया जा रहा है और उस फ्रेम को अनदेखा कर देता है, जिससे गलत अलार्म (false alarms) को रोका जा सके। उनके परीक्षणों में, छवि कैप्चर करने से लेकर कमांड जारी करने तक की पूरी प्रक्रिया में 30 से 40 मिलीसेकंड का समय लगा। यह गति एक मानव उपयोगकर्ता के लिए तत्काल महसूस करने के लिए पर्याप्त तेज़ है, जिससे एक सहज अनुभव मिलता है जहाँ घर हाथ हिलते ही प्रतिक्रिया देता है। पूरा सिस्टम बहुत कम मेमोरी और कंप्यूटिंग पावर की आवश्यकता रखता है, जिससे यह महंगे, ऊर्जा-खपत करने वाले सर्वरों की आवश्यकता के बिना मानक होम कंप्यूटरों या भविष्य के एज डिवाइसेस (edge devices) पर चलना संभव बनाता है।

यह अध्ययन प्रदर्शित करता है कि हाथ को खोजने और उसे समझने की समस्या को सावधानीपूर्वक अलग करके, एक ऐसी जेस्चर रिकग्निशन प्रणाली बनाना संभव है जो मजबूत और कुशल दोनों हो। शोधकर्ताओं ने दिखाया कि उनकी विधि प्रभावी रूप से बैकग्राउंड के शोर को फ़िल्टर करती है और एक वास्तविक घर के विविधताओं को संभालती है, जबकि इंटरैक्टिव कंट्रोल के लिए पर्याप्त तेज़ बनी रहती है। उन्होंने पाया कि उनका कस्टम नेटवर्क पुराने, कम गहरे मॉडलों की तुलना में काफी बेहतर प्रदर्शन करता है, जो समान जेस्चर के बीच अंतर करने में संघर्ष करते थे। हालांकि वर्तमान कार्य स्थिर जेस्चर (एक क्षण के लिए मुद्रा बनाए रखना) पर केंद्रित है, शोधकर्ता नोट करते हैं कि भविष्य के कार्य में इसे गतिशील जेस्चर तक विस्तारित किया जा सकता है और यह सुधार किया जा सकता है कि सिस्टम विभिन्न लोगों और प्रकाश स्थितियों के अनुकूल कैसे होता है। फिलहाल, यह कार्य सिद्ध करता है कि एक हल्का, दो-चरणीय दृष्टिकोण वह विश्वसनीय, लो-लेटेंसी (low-latency) इंटरैक्शन प्रदान कर सकता है जिसकी आवश्यकता कॉन्टैक्टलेस स्मार्ट-होम कंट्रोल को एक व्यावहारिक वास्तविकता बनाने के लिए होती है।