A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

संचार एक मौलिक मानवीय आवश्यकता है, फिर भी लाखों बधिर या कम सुनने वाले लोगों के लिए, व्यापक दुनिया तक पहुँचने वाला सेतु अक्सर टूटा हुआ रहता है। सांकेतिक भाषा इन समुदायों के लिए एक पूर्ण और समृद्ध भाषा के रूप में कार्य करती है, लेकिन एक सार्वभौमिक अनुवाद प्रणाली के बिना, संकेत करने वालों और गैर-संकेत करने वालों के बीच की खाई बनी रहती है। हाल के वर्षों में, वैज्ञानिकों ने इस सेतु को बनाने के लिए कंप्यूटरों की ओर रुख किया है, जिससे मशीनों को हाथों के संकेतों को "देखना" और उन्हें बोले गए या लिखित शब्दों में अनुवाद करना सिखाया जा सके। यह क्षेत्र "देखने" के दो मुख्य तरीकों पर निर्भर करता है। एक दृष्टिकोण हाथ को एक तस्वीर की तरह मानता है, जो अर्थ का अनुमान लगाने के लिए त्वचा और उंगलियों के आकार, रंग और बनावट का विश्लेषण करता है। दूसरा दृष्टिकोण पूरी तरह से चित्र को अनदेखा कर देता है, और इसके बजाय हाथ की सटीक ज्यामिति पर ध्यान केंद्रित करता है, जो जोड़ों और उंगलियों के पोरों की सटीक स्थिति को निर्देशांकों (coordinates) के एक सेट के रूप में मैप करता है। हालांकि प्रत्येक विधि की अपनी ताकत है, लेकिन दोनों ही तब संघर्ष करते हैं जब वास्तविक दुनिया अव्यवस्थित हो जाती है। एक कैमरा-आधारित प्रणाली विफल हो सकती है यदि प्रकाश बदल जाए या पृष्ठभूमि (background) अस्त-व्यस्त हो जाए, जबकि एक ज्यामिति-आधारक प्रणाली उन सूक्ष्म विवरणों को चूक सकती है जो एक संकेत को दूसरे से अलग करते हैं।

एक नए अध्ययन में, भारत के गलगोटिया कॉलेज ऑफ इंजीनियरिंग एंड टेक्नोलॉजी के शोधकर्ताओं ने भारतीय सांकेतिक भाषा के लिए अधिक विश्वसनीय अनुवादक बनाने हेतु इन दो अलग-अलग देखने के तरीकों को मिलाने वाला एक समाधान प्रस्तावित किया है। हाथ की उपस्थिति या उसकी संरचना में से किसी एक को चुनने के लिए कंप्यूटर को मजबूर करने के बजाय, टीम ने एक हाइब्रिड सिस्टम बनाया जो इन दोनों का एक साथ उपयोग करता है। उन्होंने दो अलग-अलग डिजिटल "मस्तिष्क" बनाए: एक जो हाथों की छवियों को देखकर संकेतों को पहचानने के लिए प्रशिक्षित किया गया था, और दूसरा जो 'मीडियापाइप' (MediaPipe) नामक टूल द्वारा पहचाने गए हाथ के लैंडमार्क्स के गणितीय निर्देशांकों को पढ़कर उन्हें पहचानने के लिए प्रशिक्षित किया गया था। नवाचार केवल दो मॉडलों के होने में नहीं है, बल्कि इस बात में है कि वे एक साथ कैसे काम करते हैं। शोधकर्ताओं ने एक स्मार्ट स्विचिंग तंत्र डिजाइन किया है जो एक द्वारपाल (gatekeeper) के रूप में कार्य करता है। वास्तविक समय के संचालन में, सिस्टम लगातार यह जांचता है कि इमेज-आधारित मॉडल अपने अनुमान में कितना आश्वस्त है। यदि खराब रोशनी के कारण इमेज-आधारित मॉडल अनिश्चित है, तो सिस्टम स्वचालित रूप से ज्यामिति-आधारक मॉडल की ओर झुक जाता है, जिसे पर्यावरणीय विविधताओं के प्रति इसकी मजबूती के लिए प्राथमिकता दी जाती है। यदि ज्यामिति स्पष्ट नहीं है, तो यह इमेज पर निर्भर रहता है। इस गतिशील निर्णय लेने की प्रक्रिया को समय के साथ सुव्यवस्थित (smooth out) किया जाता है ताकि अंतिम आउटपुट एक अक्षर से दूसरे अक्षर तक झटके से न बदले या अस्थिर न हो।

टीम ने वर्णमाला और कुछ विशिष्ट कमांडों का प्रतिनिधित्व करने वाली स्थिर हाथ की छवियों के एक बड़े संग्रह का उपयोग करके अपने सिस्टम का परीक्षण किया, जिसमें कुल 87,000 चित्र शामिल थे। उन्होंने अपने इमेज-रीडिंग मॉडल को 'मोबाइलनेटवी2' (MobileNetV2) नामक एक हल्के आर्किटेक्चर का उपयोग करके प्रशिक्षित किया, जो वास्तविक समय के उपयोग के लिए पर्याप्त तेज़ होने के लिए डिज़ाइन किया गया है, और अपने ज्योमेट्री-रीडिंग मॉडल को एक मानक न्यूरल नेटवर्क का उपयोग करके प्रशिक्षित किया जो मीडियापाइप द्वारा पहचाने गए हाथ के 21 प्रमुख बिंदुओं को प्रोसेस करता है। जब उन्होंने व्यक्तिगत मॉडलों का परीक्षण किया, तो परिणाम काफी स्पष्ट थे। नियंत्रित परीक्षणों में इमेज-आधारित मॉडल अविश्वसनीय रूप से सटीक था, जिसने लगभग 100% सटीकता प्राप्त की, लेकिन लाइव कैमरा फीड की परिवर्तनशील स्थितियों का सामना करते समय इसने अनिश्चितता के संकेत दिखाए। ज्यामिति-आधारक मॉडल अपने आप में थोड़ा कम सटीक था, जिसका स्कोर लगभग 97% था, लेकिन यह पृष्ठभूमि या प्रकाश के बावजूद उल्लेखनीय रूप से स्थिर रहा।

जब शोधकर्ताओं ने इन दोनों दृष्टिकोणों को मिलाया, तो परिणाम एक ऐसा सिस्टम था जिसने कच्चे शिखर प्रदर्शन (peak performance) के बजाय स्थिरता को प्राथमिकता दी। हाइब्रिड मॉडल ने परीक्षण में 95% की सटीकता प्राप्त की, जो कि इमेज-ओनली मॉडल के सैद्धांतिक अधिकतम से थोड़ा कम है, लेकिन व्यवहार में कहीं अधिक सुसंगत सिद्ध हुआ। वास्तविक समय के परीक्षणों में, हाइब्रिड सिस्टम ने लगभग 100% का आत्मविश्वास स्तर बनाए रखा, जिससे एकल-मॉडल प्रणालियों में होने वाली हिचकिचाहट और त्रुटियों को प्रभावी ढंग से समाप्त किया जा सका। अध्ययन में पाया गया कि दोनों मॉडलों को कॉन्फिडेंस थ्रेशोल्ड के आधार पर उत्तर चुनने देने और फिर एक छोटे अंतराल के भीतर परिणामों को सुव्यवस्थित करने से, सिस्टम परिवेश की परिवर्तनशील स्थितियों को संभाल सकता है। इस दृष्टिकोण ने ज्यामिति-ओनली मॉडल में देखी गई गलत वर्गीकरणों को सफलतापूर्वक कम किया और स्थिर भविष्यवाणियों को बनाए रखा, जो जेस्चर रिकग्निशन के लिए विजुअल और लैंडमार्क-आधारित विशेषताओं को संयोजित करने की प्रभावशीलता को प्रदर्शित करता है।

शोधकर्ता निष्कर्ष निकालते हैं कि यह हाइब्रिड ढांचा सहायक संचार उपकरणों के लिए एक व्यावहारिक मार्ग प्रदान करता है। यह स्वीकार करते हुए कि कोई भी एक विधि हर स्थिति में पूर्ण नहीं है, और एक ऐसा सिस्टम बनाकर जो गतिशील रूप से उस पद्धति की ओर झुक सके जो किसी भी क्षण सबसे विश्वसनीय हो, उन्होंने एक ऐसा जेस्चर रिकग्नाइज़र बनाया है जो वास्तविक दुनिया के उपयोग के लिए पर्याप्त मजबूत है। यह कार्य यह प्रदर्शित करता है कि दृश्य उपस्थिति को ज्यामितीय संरचना के साथ जोड़ना, जिसे विश्वास-आधारित निर्णय प्रक्रिया द्वारा प्रबंधित किया जाता है, एक ऐसा उपकरण प्रदान करता है जो न केवल सटीक है बल्कि स्थिर और भरोसेमंद भी है, जो सुनने और बधिरों के बीच निर्बाध संचार के वादे को वास्तविकता के एक कदम और करीब लाता है।