Deep Learning-Based Sign Language Recognition from Videos and Cross-Lingual Translation to Indian Vernaculars
यह शोध पत्र एक दो-चरणीय डीप लर्निंग पाइपलाइन प्रस्तुत करता है जो वीडियो से अलग किए गए भारतीय सांकेतिक भाषा के संकेतों को पहचानने के लिए एक फाइन-ट्यून्ड VideoMAE ट्रांसफॉर्मर का उपयोग करता है और प्राप्त अंग्रेजी लेबल को NLLB-200 मॉडल का उपयोग करके हिंदी, तेलुगु और बंगाली में अनुवादित करता है, साथ ही एक Streamlit डेमो प्रदान करता है और एक छोटे पैमाने के डेटासेट पर प्रदर्शन की सीमाओं का विश्लेषण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को हाथों और चेहरों की एक गुप्त भाषा समझने के लिए सिखाने की कोशिश कर रहे हैं, न कि शब्दों की। यह मूल रूप से वही करता है जो यह शोध पत्र करता है, लेकिन एक विशेष मोड़ के साथ: यह इंडियन साइन लैंग्वेज (ISL) को अंग्रेजी को एक बिचौलिए के रूप में उपयोग करके तीन प्रमुख भारतीय भाषाओं (हिंदी, तेलुगु और बंगाली) में अनुवाद करने में मदद करता है।
यहाँ बताया गया है कि उन्होंने इस प्रणाली को कैसे बनाया, रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।
बड़ी तस्वीर: एक दो-चरणीय रिले रेस
शोधकर्ताओं ने कंप्यूटर को सीधे "हाथ के संकेतों" से "हिंदी शब्दों" तक कूदना नहीं सिखाया। यह वैसा ही है जैसे किसी कुत्ते को सीधे फ्रेंच बोलने के लिए सिखाने की कोशिश करना। इसके बजाय, उन्होंने एक दो-चरणीय रिले रेस तैयार की:
- चरण 1 (अनुवादक): एक वीडियो कैमरा एक व्यक्ति को संकेत करते हुए देखता है। एक स्मार्ट AI (VideoMAE) उस वीडियो को देखता है और कहता है, "आह, इस संकेत का अर्थ अंग्रेजी शब्द 'Happy' है।"
- चरण 2 (व्याख्याता): एक बार जब AI को पता चल जाता है कि शब्द "Happy" है, तो वह उस शब्द को दूसरे AI (NLLB) को पास कर देता है। यह दूसरा AI एक बहुभाषी अनुवादक की तरह काम करता है, जो तुरंत अंग्रेजी शब्द "Happy" को "खुश" (हिंदी), "संतोषम" (तेलुगु) और "सुखी" (बंगाली) में बदल देता है।
सामग्री: उन्होंने क्या उपयोग किया
- शिक्षक (VideoMAE): इसे एक ऐसे छात्र के रूप में सोचें जिसने पहले से ही लाखों घंटों के सामान्य वीडियो (जैसे फिल्में और खेल) देखे हैं और क्रियाओं को पहचानना सीख लिया है। शोधकर्ताओं ने इस "सुपर-स्टूडेंट" को लिया और उन्हें विशेष रूप से साइन लैंग्वेज वीडियो पर एक क्रैश कोर्स दिया।
- पाठ्यपुस्तक (डेटासेट): कंप्यूटर स्टोरेज सीमाओं के कारण उनके पास काम करने के लिए बहुत बड़ी लाइब्रेरी नहीं थी। इसके बजाय, उन्होंने IIT मद्रास से एक छोटा, क्यूरेटेड "स्टडी गाइड" इस्तेमाल किया। इसमें केवल 13 विशिष्ट संकेतों (जैसे "loud," "quiet," "hat," "dress," "deaf," "blind") के वीडियो शामिल थे।
- परीक्षण: उन्होंने अपने छोटे अध्ययन गाइड को एक "अभ्यास परीक्षण" (training) और एक "अंतिम परीक्षा" (validation) में विभाजित किया।
प्रदर्शन: रिपोर्ट कार्ड
परिणाम "A-प्लस" और "सुधार की आवश्यकता" का मिश्रण थे, जो सीमित अभ्यास के साथ नया कौशल सीखने के दौरान सामान्य है।
- अभ्यास सत्र (Training): AI ने 13 संकेतों का अध्ययन किया और 99% सटीकता प्राप्त की। यह एक ऐसे छात्र की तरह था जिसने फ्लैशकार्ड्स को पूरी तरह से याद कर लिया हो।
- अंतिम परीक्षा (Validation): नए, अनदेखे वीडियो पर परीक्षण करने पर, सटीकता गिरकर 78% हो गई। यह अभी भी एक ठोस स्कोर है, लेकिन यह दर्शाता है कि AI अवधारणा को वास्तव में समझने के बजाय अभ्यास कार्डों को रटने पर बहुत अधिक केंद्रित था।
जहाँ AI अटक गया (ग्लिच):
पेपर दो विशिष्ट प्रकार के भ्रमों को उजागर करता है, जैसे कि एक छात्र समान दिखने वाले शब्दों को मिला देता है:
- "कपड़ों" का भ्रम: AI कभी-कभी कपड़ों की वस्तुओं के संकेतों में भ्रमित हो जाता है। उदाहरण के लिए, वह "Hat" के संकेत को "Dress" या "Shirt" को "Suit" समझ सकता है। यह समझ में आता है क्योंकि इन संकेतों में अक्सर सिर या धड़ के पास समान हाथ की गतिविधियाँ शामिल होती हैं।
- "भावनाओं" का भ्रम: AI "Beautiful," "Ugly," "Deaf," और "Blind" जैसे अमूर्त (abstract) विषयों के साथ संघर्ष करता है। वह अक्सर उन्हें एक-दूसरे के साथ या "Sad" शब्द के साथ मिला देता है। शोधकर्ताओं को संदेह है कि ऐसा इसलिए है क्योंकि ये संकेत चेहरे के भावों पर बहुत अधिक निर्भर करते हैं, और AI के पास सूक्ष्म अंतरों को सीखने के लिए पर्याप्त उदाहरण नहीं थे।
डेमो: एक उपयोगकर्ता के अनुकूल टूल
टीम ने केवल गणित तक ही सीमित नहीं रहा; उन्होंने एक Streamlit ऐप (एक सरल वेब इंटरफेस) बनाया।
- यह कैसे काम करता है: एक उपयोगकर्ता किसी व्यक्ति के संकेत करने का एक छोटा वीडियो अपलोड करता है।
- क्या होता है: ऐप 16 फ्रेम निकालता है (जैसे 16 त्वरित स्नैपशॉट लेना), इसे AI के माध्यम से चलाता है, और परिणाम प्रदर्शित करता है।
- आउटपुट: यह अंग्रेजी शब्द (जैसे "Happy") दिखाता है और तुरंत इसे हिंदी, तेलुगु और बंगाली लिपियों में अनुवादित करता है।
सीमाएँ: यह सिस्टम अभी क्या नहीं कर सकता
लेखक अपने काम की सीमाओं के बारे में बहुत ईमानदार हैं। यह अभी तक एक जादुई छड़ी नहीं है जो पूरी बातचीत का अनुवाद कर सके।
- एक बार में एक शब्द: सिस्टम केवल अलग किए गए शब्दों (जैसे "Hat") को समझता है। यह "I am wearing a hat" जैसे पूरे वाक्य को नहीं समझ सकता। यह एक ऐसे शब्दकोश की तरह है जो शब्द तो जानता है लेकिन व्याकरण नहीं।
- छोटा शब्दकोश: यह केवल 13 विशिष्ट शब्दों को जानता है। यदि आप कुछ और संकेत करते हैं, तो इसे नहीं पता होगा कि क्या करना है।
- वास्तविक समय की गति नहीं: इसे अपलोड किए गए वीडियो को प्रोसेस करने के लिए डिज़ाइन किया गया है, न कि लाइव साइनर को देखने और तुरंत अनुवाद करने के लिए।
- संदर्भ (Context) की समस्याएँ: क्योंकि यह एकल शब्दों का अनुवाद करता है, यह भ्रमित हो सकता है। उदाहरण के लिए, शब्द "Suit" का अर्थ कपड़ों का एक टुकड़ा भी हो सकता है या किसी को "अनुकूल होना" (to suit someone) भी। बिना पूर्ण वाक्य के, कंप्यूटर को अनुमान लगाना पड़ता है।
निष्कर्ष (Bottom Line)
यह पेपर एक प्रूफ-ऑफ-कॉन्सेप्ट है। यह सिद्ध करता है कि आप एक शक्तिशाली वीडियो AI को ले सकते हैं, उसे कुछ साइन लैंग्वेज शब्द सिखा सकते हैं, और साइन लैंग्वेज और क्षेत्रीय भारतीय भाषाओं के बीच की खाई को पाटने के लिए इसे एक अनुवाद AI से जोड़ सकते हैं। हालांकि यह अभी कोर्टरूम या अस्पताल में मानव व्याख्याकार (interpreter) की जगह लेने के लिए तैयार नहीं है, लेकिन यह एक कार्यशील प्रोटोटाइप है जो भारत में बधिर और सुनने में अक्षम समुदाय के लिए तकनीक को अधिक सुलभ बनाने का मार्ग दिखाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।