UniCon-Former: Unified Convolution Transformer is All You Need for Hand Gesture Recognition

कल्पना कीजिए कि आप एक रोबोट को मानवीय हाथ के इशारों को समझना सिखाने की कोशिश कर रहे हैं, जैसे कि नमस्ते कहना या "रुकने" का संकेत देना। यह कंप्यूटर के लिए एक कठिन काम है क्योंकि इसे एक साथ दो चीजें देखनी पड़ती हैं: आपकी उंगलियों के सूक्ष्म, विशिष्ट विवरण (स्थानीय विशेषताएं/local features) और इस बात का बड़ा चित्र कि आपका पूरा हाथ समय के साथ कैसे हिल रहा है (वैश्विक संदर्भ/global context)। लंबे समय तक, कंप्यूटर इन दोनों चीजों को हल करने के लिए दो अलग-अलग उपकरणों का उपयोग करते थे। एक उपकरण, जिसे 'कन्वोल्यूशनल न्यूरल नेटवर्क' (CNN) कहा जाता था, एक अत्यंत सूक्ष्म जांच करने वाले जासूस की तरह था जो एक एकल फिंगरप्रिंट तो पहचान सकता था लेकिन यदि उसे पूरी कहानी समझने के लिए कहा जाए तो वह खो जाता था। दूसरा उपकरण, जिसे 'ट्रांसफॉर्मर' (Transformer) कहा जाता है, एक महान कथावाचक की तरह था जो एक उपन्यास के हर कथानक बिंदु को जोड़ सकता था, लेकिन यदि उसे किताब के हर एक अक्षर को देखने के लिए कहा जाए तो वह अभिभूत और धीमा हो जाता था। शोधकर्ता एक ऐसा रोबोट बनाने की कोशिश कर रहे थे जो एक तेज जासूस और एक शानदार कथावाचक दोनों हो सके, लेकिन उन्हें मिलाने का मतलब अक्सर यह होता था कि रोबोट बहुत भारी और धीमा हो जाता था।

यहीं से "UniCon-Former" की कहानी शुरू होती है। लेखकों, मल्लिका गर्ग, देबाशिस घोष और प्यारी मोहन प्रधान ने एक स्मार्ट, हल्का रोबोट बनाने की इच्छा जताई जो बहुत अधिक गणित में उलझे बिना गतिशील हाथ के इशारों (गतिविधियों जो समय के साथ होती हैं) को पहचान सके। उन्होंने केवल इन दोनों उपकरणों को आपस में नहीं जोड़ा; बल्कि उन्होंने एक नया तरीका खोजा जिससे वे एक एकीकृत टीम के रूप में काम कर सकें। एक चतुर "पिरामिड" संरचना का उपयोग करके, उन्होंने एक ऐसी प्रणाली बनाई जो विवरणों पर ज़ूम कर सकती है और बड़े चित्र को देखने के लिए ज़ूम आउट भी कर सकती है, और यह सब पिछले मॉडलों की तुलना में कम संसाधनों का उपयोग करके किया जा सकता है। उनका कार्य बताता है कि यह नया दृष्टिकोण इशारों से नियंत्रित गेम, वर्चुअल रियलिटी और सांकेतिक भाषा अनुवाद को बहुत तेज़ और अधिक सटीक बना सकता है, जिससे यह सिद्ध होता है कि एक साधारण लहर को समझने के लिए आपको एक विशाल मस्तिष्क की आवश्यकता नहीं है।

समस्या: जासूस बनाम कथावाचक

यह समझने के लिए कि लेखकों ने UniCon-forma क्यों बनाया, हमें कंप्यूटर विज़न की दुनिया के दो मुख्य पात्रों को देखना होगा।

सबसे पहले, CNN (कन्वोल्यूशनल न्यूरल नेटवर्क) है। इसे एक आवर्धक लेंस (magnifying glass) के साथ एक जासूस के रूप में सोचें। यह एक छवि के छोटे से हिस्से को देखने और यह कहने में अद्भुत है कि, "मैं यहाँ एक अंगूठा देख रहा हूँ, वहाँ एक जोड़ देख रहा हूँ।" यह स्थानीय विवरणों को पहचानने में बहुत अच्छा है। हालाँकि, इसके आवर्धक लेंस की सीमा सीमित है। इसे यह समझने में संघर्ष करना पड़ता है कि आपका हाथ पूरी स्क्रीन पर कैसे घूम रहा है या कुछ सेकंडों में इशारा कैसे बदल रहा है। यह एक ऐसे जासूस की तरह है जो संदिग्ध के जूते की पहचान तो कर सकता है लेकिन आपको यह नहीं बता सकता कि संदिग्ध एक घंटे पहले कहाँ था।

फिर, ट्रांसफॉर्मर (Transformer) है। यह एक महान कथावाचक है। यह "सेल्फ-अटेंशन" नामक तंत्र का उपयोग करता है ताकि इनपुट अनुक्रम (जैसे वीडियो का प्रत्येक फ्रेम) के हर हिस्से को देख सके और यह समझ सके कि वे सभी एक-दूसरे से कैसे संबंधित हैं। यह आसानी से समझ सकता है कि फ्रेम एक में आपके हाथ का ऊपर जाना, फ्रेम दस में आपके हाथ के नीचे जाने से जुड़ा हुआ है। लेकिन, इसमें एक पेंच है: कथावाचक होना महंगा है। हर एक जानकारी को दूसरी जानकारी से जोड़ने के लिए, इसे भारी मात्रा में गणित करना पड़ता है। यह एक स्टेडियम में मौजूद हर व्यक्ति को दूसरे व्यक्ति से मिलवाने के प्रयास जैसा है; प्रयास इतना बढ़ जाता है कि कंप्यूटर धीमा हो जाता है और बहुत अधिक ऊर्जा का उपयोग करता है।

लेखक तर्क देते हैं कि जबकि ट्रांसफॉर्मर शक्तिशाली हैं, वे "उच्च रेडंडेंसी" (high redundancy) से ग्रस्त होते हैं। वे उन चीजों की तुलना करते हैं जिनकी तुलना करने की आवश्यकता नहीं है, जिससे समय और शक्ति बर्बाद होती है। दूसरी ओर, CNN कुशल हैं लेकिन वे बड़े चित्र को मिस कर देते हैं। लक्ष्य एक ऐसा मॉडल बनाना था जो दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त कर सके बिना उनकी कमियों के।

समाधान: फोकस का पिरामिड

लेखक एक नया मॉडल प्रस्तावित करते हैं जिसे UniCon-Former (यूनिफाइड कन्वोल्यूशन ट्रांसफॉर्मर) कहा जाता है। ट्रांसफॉर्मर को पूरे वीडियो के साथ संघर्ष करने देने के बजाय, वे एक "पिरामिड" संरचना पेश करते हैं।

कल्पना कीजिए कि आप एक पहाड़ को देख रहे हैं। यदि आप बिल्कुल शीर्ष से पहाड़ के हर पत्थर को देखने की कोशिश करते हैं, तो यह बहुत भारी हो जाता है। लेकिन यदि आप आधार से शुरू करते हैं और ऊपर चढ़ते हैं, तो आप अपने पास के पत्थरों के विवरण पर ध्यान केंद्रित कर सकते हैं, फिर ढलान के आकार को देखने के लिए पीछे हट सकते हैं, और अंत में पूरे पर्वत श्रृंखला को देखने के लिए शिखर पर पहुँच सकते हैं। UniCon-Former वीडियो फ्रेम के साथ बिल्कुल यही करता है।

यहाँ जादू कैसे होता है:

1. सेटअप: हाथ के इशारे के वीडियो को पहले बुनियादी विशेषताओं को प्राप्त करने के लिए एक मानक CNN (ResNet-18) द्वारा संसाधित किया जाता है।
2. पिरामिड: मॉडल को चरणों (stages) में विभाजित किया गया है। प्रत्येक चरण की शुरुआत में, मॉडल डेटा को सिकोड़ने के लिए एक विशेष "कन्वोल्यूशन ब्लॉक" (C-Block) का उपयोग करता है। यह एक उच्च-रिज़ॉल्यूशन वाली फोटो को अगले स्तर पर भेजने से पहले उसे थोड़ा कंप्रेस करने जैसा है। यह एक पिरामिड आकार बनाता है जहाँ डेटा नेटवर्क में गहराई तक जाने के साथ छोटा और अधिक केंद्रित होता जाता है।
3. मिश्रण: इससे पहले कि डेटा ट्रांसफॉर्मर के "अटेंशन" भाग (जहाँ यह कनेक्शन खोजता है) में प्रवेश करे, यह इस C-Block से गुजरता है। यह ब्लॉक "डेप्थवाइज सेपरेबल कन्वोल्यूशन" का उपयोग करता है, जो एक फैंसी तरीका है यह कहने का कि यह पहले स्थानीय विवरणों को देखकर छवि को कुशलतापूर्वक संसाधित करता है।
4. परिणाम: प्रत्येक चरण में डेटा को सिकोड़कर, मॉडल विभिन्न पैमानों (scales) पर विशेषताएं सीखता है। यह शुरुआत में उंगलियों के सूक्ष्म विवरण सीखता है, और बाद में हाथ की व्यापक गति सीखता है। यह ट्रांसफॉर्मर को बहुत अधिक डेटा से अभिभूत हुए बिना बिंदुओं को जोड़ने का अपना काम करने की अनुमति देता है।

लेखक बताते हैं कि यह दृष्टिकोण मॉडल को "मल्टीस्केल फीचर्स" सीखने में मदद करता है। चूंकि हाथ अलग-अलग आकार और आकृति के होते हैं, और इशारे तेज़ या धीमे हो सकते हैं, इसलिए ज़ूम के विभिन्न स्तरों पर चित्र को देखने में सक्षम होना महत्वपूर्ण है। पिरामिड संरचना कम्प्यूटेशनल लागत को भी कम करती है, जिससे मॉडल एक मानक ट्रांसफॉर्मर की तुलना में हल्का और तेज़ हो जाता है।

प्रयोग: हाथों का परीक्षण

यह देखने के लिए कि क्या उनका विचार काम कर रहा है, टीम ने दो प्रसिद्ध डेटासेट: NVGesture और Briareo पर Uni-Con-Former का परीक्षण किया। इन डेटासेट में लोगों के हाथ के इशारे करने के वीडियो शामिल हैं, जिन्हें विभिन्न प्रकार के कैमरों के साथ कैप्चर किया गया है। कुछ कैमरे केवल रंग (RGB) देखते हैं, कुछ गहराई (depth - कितनी दूर चीजें हैं) देखते हैं, कुछ इन्फ्रारेड (गर्मी) देखते हैं, और कुछ "ऑप्टिकल फ्लो" (पिक्सेल कैसे चलते हैं) देखते हैं।

शोधकर्ताओं ने अपने मॉडल को इन वीडियो पर प्रशिक्षित किया और इसकी तुलना विभिन्न CNN-आधारित मॉडलों और "वैनिला" (मानक) ट्रांसफॉर्मर सहित अन्य प्रसिद्ध मॉडलों से की। उन्होंने "लेट फ्यूजन" (late fusion) नामक तकनीक का उपयोग किया, जिसका अर्थ है कि उन्होंने प्रत्येक प्रकार के कैमरा डेटा पर मॉडल को अलग से प्रशिक्षित किया और फिर सर्वोत्तम उत्तर प्राप्त करने के लिए अंतिम अनुमानों को जोड़ा।

उन्हें क्या मिला?
परिणाम काफी उत्साहजनक थे। NVGesture डेटासेट पर, UniCon-Former ने लगभग हर श्रेणी में मानक ट्रांसफॉर्मर को पछाड़ दिया।

• केवल रंग वाली छवियों को देखते समय, इसने 81.67% सटीकता प्राप्त की, जो मानक ट्रांसफॉर्मर के 76.50% से बेहतर थी।
• डेप्थ (depth) छवियों के साथ, इसने 85.27% हासिल किया, जबकि ट्रांसफॉर्मर का स्कोर 83.00% था।
• जब उन्होंने कई प्रकार के डेटा (जैसे रंग, डेप्थ और इन्फ्रारेड) को मिलाया, तो मॉडल और भी बेहतर हो गया, और 87.97% सटीकता तक पहुँच गया।

Briareo डेटासेट पर, परिणाम और भी प्रभावशाली थे।

• केवल इन्फ्रारेड छवियों का उपयोग करते हुए, मॉडल ने 97.92% सटीकता प्राप्त की, जबकि मानक ट्रांसफॉर्मर को 95.10% मिला।
• जब उन्होंने रंग, इन्फ्रारेड और फ्लो को मिलाया, तो यह 98.61% तक पहुँच गया, जो उनका उच्चतम स्कोर था।

लेखकों ने नोट किया कि मॉडल ने मल्टीमॉडल (multimodal) डेटा का उपयोग करने पर विशेष रूप से अच्छा प्रदर्शन किया। उन्होंने देखा कि अधिक प्रकार के इनपुट जोड़ने से (जैसे "नॉर्मल्स" या "ऑप्टिकल फ्लो" को शामिल करना) आम तौर पर सटीकता में सुधार हुआ, जो यह सुझाव देता है कि मॉडल इशारे को समझने के लिए उपलब्ध सभी जानकारी का प्रभावी ढंग से उपयोग कर सकता है।

दक्षता: कम में अधिक करना

एक सबसे महत्वपूर्ण निष्कर्ष केवल सटीकता के बारे में नहीं था, बल्कि दक्षता के बारे में भी था। लेखकों ने अपने मॉडल की तुलना अन्य मॉडलों से "पैरामीटर्स" (AI के मस्तिष्क कोशिकाएं) और "MACs" (गणितीय संचालन) के आधार पर की।

• UniCon-Former में 19.58 मिलियन पैरामीटर्स हैं और इसके लिए 60.25 Giga MACs की आवश्यकता है।
• तुलना के लिए उपयोग किया गया मानक Transformer में 24.30 मिलियन पैरामीटर्स और 62.92 Giga MACs थे।
• NAS1 जैसे अन्य बड़े खिलाड़ी में 93.90 मिलियन पैरामीटर्स थे।

इसका मतलब है कि UniCon-Former न केवल अधिक सटीक है, बल्कि छोटा और कम कम्प्यूटेशनल रूप से खर्चीला भी है। यह एक ऐसी कार बनाने जैसा है जो प्रतिस्पर्धा से बेहतर माइलेज देती है और तेज़ चलती है। लेखक सुझाव देते हैं कि यह दक्षता उनके मॉडल को लचीला बनाती है और उन वास्तविक दुनिया के अनुप्रयोगों के लिए उपयुक्त बनाती है जहाँ कंप्यूटिंग शक्ति सीमित हो सकती है।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि UniCon-Former, CNN और ट्रांसफॉर्मर की शक्तियों को एकीकृत करने का एक सफल प्रयास है। एक पिरामिड संरचना बनाकर जो डेटा को विभिन्न पैमानों पर संसाधित करती है, मॉडल कुशलतापूर्वक स्थानीय विवरण और वैश्विक संदर्भ दोनों सीख सकता है। प्रयोगों से पता चलता है कि यह दृष्टिकोण अत्याधुनिक परिणाम देता है, जो कम संसाधनों के साथ मौजूदा तरीकों से बेहतर प्रदर्शन करता है।

हालांकि लेखक NVGesture और Briareo डेटासेट के आधार पर अपने परिणामों को लेकर आश्वस्त हैं, वे इसे एक अंतिम, अपरिवर्तनीय समाधान के बजाय अपने डिज़ाइन के एक मजबूत सत्यापन के रूप में प्रस्तुत करते हैं। वे इस बात पर जोर देते हैं कि उनका मॉडल जटिलता और प्रदर्शन के बीच एक बेहतर संतुलन प्रदान करता है, जो जेस्चर रिकग्निशन (इशारा पहचान) को सभी के लिए तेज़, सस्ता और अधिक सटीक बनाने के लिए एक नया रास्ता सुझाता है।