Attention-Enhanced Temporal Convolutional Network for Continuous Word-Level Indian Sign Language Recognition

संचार एक मौलिक मानवीय आवश्यकता है, फिर भी लाखों बधिर या सुनने में अक्षम लोगों के लिए, व्यापक दुनिया तक पहुँचने वाला सेतु अक्सर बोले जाने वाले भाषा की सीमाओं के कारण बाधित हो जाता है। सांकेतिक भाषा (साइन लैंग्वेज) एक समृद्ध, दृश्य समाधान प्रदान करती है, जो जटिल विचारों को व्यक्त करने के लिए हाथों की गति, शरीर की मुद्रा और चेहरे के भावों का उपयोग करती है। हालाँकि, कंप्यूटर को इन इशारों को समझने के लिए सिखाना एक कठिन चुनौती है। एक एकल, स्थिर छवि के विपरीत, सांकेतिक भाषा गति की एक प्रवाहमयी धारा है जहाँ एक संकेत का अर्थ इस बात पर बहुत अधिक निर्भर करता है कि उससे पहले क्या हुआ था और उसके बाद क्या होने वाला है। इसे 'सतत पहचान' (कंटीन्यूअस रिकग्निशन) कहा जाता है, और इसके लिए एक ऐसी प्रणाली की आवश्यकता होती है जो न केवल बनाई जा रही आकृतियों को देख सके, बल्कि उनके बीच के समय और संक्रमण (ट्रांज़िशन) को भी समझ सके। वर्षों से, शोधकर्ताओं ने कंप्यूटर को अलग-थलग पड़े व्यक्तिगत संकेतों को पहचानने के लिए सिखाकर इसे हल करने का प्रयास किया है, लेकिन वास्तविक दुनिया की बातचीत शब्दों के बीच रुकती नहीं है। जीवन के लिए वास्तव में सहायक उपकरण बनाने हेतु, तकनीक को मानवीय अभिव्यक्ति के निरंतर प्रवाह को पढ़ना सीखना होगा।

हाल ही में एक अध्ययन में, भारत के भरतियार विश्वविद्यालय के शोधकर्ताओं अश्वनी सिवन और ई. चंद्र ईश्वरन ने विशेष रूप से निरंतर भारतीय सांकेतिक भाषा को पहचानने के लिए डिज़ाइन की गई एक नई प्रणाली बनाकर इस समस्या का समाधान किया। उनका कार्य एक कठिन कार्य पर केंद्रित है: किसी व्यक्ति के संकेत करते हुए वाक्य के वीडियो को लेना और बिना रुके उस प्रवाह के भीतर प्रत्येक शब्द की सही पहचान करना। टीम ने एक 'डीप लर्निंग फ्रेमवर्क' विकसित किया, जो एक प्रकार का कंप्यूटर प्रोग्राम है जो उदाहरणों से सीखता है, ताकि सिस्टम के "मस्तिष्क" के रूप में कार्य किया जा सके। वीडियो के प्रत्येक पिक्सेल का विश्लेषण करने के बजाय, जो बैकग्राउंड के शोर या प्रकाश में बदलाव से प्रभावित हो सकता है, उनका दृष्टिकोण पहले गति के आवश्यक कंकाल (स्केलेटन) को निकालता है। एक विशेष सॉफ्टवेयर टूल का उपयोग करके, सिस्टम साइन करने वाले के शरीर के प्रमुख बिंदुओं की पहचान करता है, जैसे कि उंगलियों के सिरे, कोहनियों के जोड़ और चेहरे की रूपरेखा। इन बिंदुओं को फिर निर्देशांकों (कोऑर्डिनेट्स) की एक श्रृंखला में बदल दिया जाता है जो गति का वर्णन करते हैं, जिससे इशारा करने के लिए शुद्ध रूप से ध्यान केंद्रित करने हेतु बैकग्राउंड के दृश्य शोर को हटा दिया जाता है।

इस शोध में मुख्य नवाचार इस बात में निहित है कि कंप्यूटर समय के साथ इन गतिविधियों के अनुक्रम को कैसे संसाधित करता है। शोधकर्ताओं ने यह देखने के लिए कई अलग-अलग आर्किटेक्चरल दृष्टिकोणों की तुलना की कि कौन सा साइन लैंग्वेज के प्रवाह को सबसे अच्छी तरह समझ सकता है। उन्होंने उन मॉडलों का परीक्षण किया जो डेटा को चरण-दर-चरण संसाधित करते हैं, ठीक वैसे ही जैसे कोई व्यक्ति एक समय में एक शब्द पढ़कर वाक्य पढ़ सकता है, साथ ही हाइब्रिड मॉडल भी जिनका परीक्षण किया गया जो विभिन्न प्रकार के विश्लेषणों को जोड़ते हैं। हालाँकि, टीम ने पाया कि पारंपरिक तरीके पूर्ण वाक्य को समझने के लिए आवश्यक लंबी दूरी के संबंधों (लॉन्ग-रेंज कनेक्शन) के साथ संघर्ष करते हैं। इससे निपटने के लिए, उन्होंने एक 'टेम्पोरल कन्वोल्यूशनल नेटवर्क' पर आधारित प्रणाली पेश की, जो एक ऐसी संरचना है जिसे डेटा के अनुक्रमों को क्रमवार के बजाय समानांतर (पैरेलल) में देखने के लिए डिज़ाइन किया गया है। यह सिस्टम को एक इशारे के अनुक्रम के पूरे संदर्भ को एक साथ देखने की अनुमति देता है। महत्वपूर्ण रूप से, उन्होंने इसमें एक "अटेंशन मैकेनिज्म" जोड़ा। सांकेतिक भाषा के संदर्भ में, वीडियो का हर क्षण समान रूप से महत्वपूर्ण नहीं होता है; कुछ फ्रेम गति के शिखर को पकड़ते हैं जबकि अन्य केवल संक्रमण (ट्रांज़िशन) होते हैं। अटेंशन मैकेनिज्म एक फिल्टर के रूप में कार्य करता है, कंप्यूटर को इशारे के अनुक्रम के सबसे महत्वपूर्ण हिस्सों पर ध्यान केंद्रित करने और कम प्रासंगिक क्षणों को अनदेखा करने के लिए सिखाता है।

अपने सिस्टम का परीक्षण करने के लिए, शोधकर्ताओं ने स्थापित भारतीय सांकेतिक भाषा शब्दकोशों और तकनीकी पोर्टल्स से प्राप्त लगभग 2,500 वीडियो क्लिप्स का एक डेटासेट संकलित किया, जिसमें 317 अलग-अलग सांकेतिक शब्द शामिल थे। गति को विस्तार से पकड़ने के लिए प्रत्येक वीडियो को 25 फ्रेमों में विभाजित किया गया था। जब उन्होंने अपने प्रयोग चलाए, तो परिणाम स्पष्ट थे। नया सिस्टम, जो टेम्पोरल नेटवर्क को अटेंशन मैकेनिज्म के साथ जोड़ता है, शब्दों की पहचान करने में 94.29 प्रतिशत की सटीकता प्राप्त करने में सफल रहा। यह प्रदर्शन उनके द्वारा परीक्षण किए गए अन्य मॉडलों की तुलना में काफी अधिक था, जिन्होंने 78 से 85 प्रतिशत के बीच सटीकता स्तर प्राप्त किया। डेटा ने दिखाया कि नया दृष्टिकोण न केवल अधिक सटीक था बल्कि अधिक स्थिर भी था, जिसका अर्थ है कि यह उन नए उदाहरणों पर भी अच्छी तरह से काम कर सकता था जिन्हें उसने पहले नहीं देखा था। यह सिस्टम विशेष रूप से उन संकेतों के बीच अंतर करने में प्रभावी साबित हुआ जो दिखने में समान होते हैं—जो सांकेतिक भाषा पहचान में एक सामान्य कठिनाई है—यह सीखकर कि समय के साथ गतिविधियाँ कैसे विकसित होती हैं।

अध्ययन ने यह भी जांचा कि सिस्टम अभी भी किन चुनौतियों का सामना कर रहा है। हालांकि मॉडल अधिकांश इशारों पर उच्च विश्वास के साथ प्रदर्शन करता है, लेकिन यह कभी-कभी उन संकेतों के साथ संघर्ष करता है जिनमें बहुत समान गतिविधियाँ या समय होता है, जो इशारों की दृश्य समानता के कारण एक अंतर्निहित सीमा है। शोधकर्ताओं ने उल्लेख किया कि उनका डेटासेट, हालांकि विविध है, अभी भी विभिन्न क्षेत्रों में साइनिंग की गति या शैली के हर संभावित बदलाव को पूरी तरह से कैप्चर नहीं कर सकता है। इन छोटी बाधाओं के बावजूद, निष्कर्ष बताते हैं कि यह विशिष्ट तकनीकी संयोजन एक मजबूत मार्ग प्रदान करता है। गति के टेम्पोरल संबंधों पर ध्यान केंद्रित करके और महत्वपूर्ण क्षणों को उजागर करने के लिए अटेंशन-आधारित फिल्टर का उपयोग करके, सिस्टम कच्चे वीडियो और सार्थक भाषा के बीच के अंतर को सफलतापूर्वक पाटता है। यह कार्य संचार को अधिक सुलभ बनाने की दिशा में एक ठोस कदम प्रदान करता है, जो एक ऐसा ढांचा पेश करता है जिसे अंततः वास्तविक दुनिया के सहायक उपकरणों में एकीकृत किया जा सकता है ताकि निरंतर बहती सांकेतिक भाषा को सुनने वाले समाज के लिए टेक्स्ट या स्पीच में अनुवादित किया जा सके।