JSL-DC: A Word-Level Japanese Sign Language Dataset with Linguist-Derived Descriptions for Distinguishing Confusable Signs
यह शोध पत्र JSL-DC को प्रस्तुत करता है, जो 36.7K वीडियो और भ्रमित करने वाले संकेतों के लिए भाषाविद्-व्युत्पन्न विवरणों वाला सबसे बड़ा बधिर-केंद्रित जापानी सांकेतिक भाषा डेटासेट है, जो एक नए मॉडल को चुनौतीपूर्ण उपसमुच्चयों पर अत्याधुनिक पहचान विधियों से 9.8% बेहतर प्रदर्शन करने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कई बधिर बच्चों के लिए, भाषा विकास के सबसे महत्वपूर्ण वर्ष कक्षा में प्रवेश करने से पहले ही समाप्त हो जाते हैं। इस दौरान, वे संचार करना सीखने के लिए अपने माता-पिता पर निर्भर रहते हैं। फिर भी, आंकड़े बताते हैं कि पचानवे प्रतिशत बधिर बच्चे ऐसे सुनने वाले माता-पिता से पैदा होते हैं जिन्हें सांकेतिक भाषा का ज्ञान नहीं होता। यह घर में एक मौन अंतराल (साइलेंट गैप) पैदा करता है, जहाँ माता-पिता अपने बच्चों के साथ जुड़ने के लिए संघर्ष करते हैं क्योंकि उनके पास बुनियादी जरूरतों, भावनाओं या अवधारणाओं को व्यक्त करने के लिए शब्दावली का अभाव होता है। हालांकि ऑनलाइन वीडियो माता-पिता को सीखने में मदद करने के लिए मौजूद हैं, लेकिन वास्तविक दक्षता के लिए व्यावहारिक अभ्यास की आवश्यकता होती है, एक ऐसी विधि जिसे सही उपकरणों के बिना बड़े पैमाने पर लागू करना कठिन साबित हुआ है। प्रभावी शिक्षण सहायता बनाने के लिए, कंप्यूटर वैज्ञानिकों को वीडियो डेटा के विशाल पुस्तकालयों की आवश्यकता होती है जो यह दिखा सकें कि विभिन्न लोग सांकेतिक भाषा के शब्दों को कैसे प्रदर्शित करते हैं। हालाँकि, जापानी सांकेतिक भाषा (JSL) के लिए ऐसा डेटा दुर्लभ रहा है, जो अक्सर एक व्यक्ति या शब्दों के एक छोटे समूह तक सीमित था, जिससे कंप्यूटर के लिए एक नए उपयोगकर्ता से भाषा को पहचानना असंभव हो जाता है।
शोधकर्ताओं की एक टीम ने अब JSL-DC के निर्माण के साथ इस कमी को पूरा कर दिया है, जो जापानी सांकेतिक भाषा का अब तक का सबसे बड़ा वीडियो संग्रह है। इस परियोजना के पीछे एक सरल लेकिन गहरा अहसास था: कंप्यूटर को सांकेतिक भाषा समझने के लिए सिखाने हेतु, डेटा उन लोगों से आना चाहिए जो इसका उपयोग प्रतिदिन करते हैं। संकेतों की नकल करने के लिए अभिनेताओं या छात्रों को काम पर रखने के बजाय, शोधकर्ताओं ने उन्नीस बधिर वयस्कों को भर्ती किया जो जापानी सांकेतिक भाषा को अपने संचार के प्राथमिक माध्यम के रूप में उपयोग करते हैं। इन प्रतिभागियों ने स्वयं को 270 विशिष्ट शब्द करते हुए रिकॉर्ड किया, जिन्हें विशेष रूप से सुनने वाले माता-पिता को उनके छोटे बच्चों के साथ संवाद करने में मदद करने के लिए चुना गया था। परिणामी डेटासेट में 36,000 से अधिक वीडियो शामिल हैं, जो पिछले किसी भी जापानी सांकेतिक भाषा संग्रह की तुलना में तीन गुना अधिक है।
इस कार्य का वास्तविक नवाचार केवल डेटा की मात्रा में नहीं, बल्कि इसके चयन के तरीके में निहित है। शोधकर्ताओं ने प्रारंभिक बाल संचार के लिए सबसे उपयोगी शब्दों को चुनने के लिए बधिर भाषाविदों (linguists) के साथ मिलकर काम किया, जिसमें संज्ञाओं के बजाय क्रियाओं और विशेषणों को प्राथमिकता दी गई, क्योंकि ये प्रारंभिक वाक्यों के निर्माण खंड होते हैं। इससे भी महत्वपूर्ण बात यह है कि टीम ने संकेतों के उन जोड़ों की पहचान की जो अनभिज्ञ व्यक्ति की दृष्टि में लगभग समान दिखते हैं लेकिन जिनका अर्थ भिन्न होता है। कई मामलों में, ये संकेत केवल सूक्ष्म चेहरे की गतिविधियों या मुखाकृति (mouth shapes) में भिन्न होते हैं, जो ऐसे संकेत हैं जिन्हें मानक कंप्यूटर विज़न मॉडल अक्सर अनदेखा कर देते हैं। इसे हल करने के लिए, भाषाविदों ने लिखित विवरण प्रदान किए जो समझाते थे कि इन भ्रमित करने वाले जोड़ों के बीच अंतर कैसे किया जाए। उन्होंने उदाहरण के तौर पर उल्लेख किया कि "कड़वा" (bitter) और "तीखा" (spicy) के संकेतों में एक ही हाथ की हरकतें होती हैं, लेकिन उन्हें अलग करने के लिए अलग-अलग मुखाकृति की आवश्यकता होती है।
शोधकर्ताओं ने फिर यह परीक्षण किया कि क्या ये मानवीय विवरण वास्तव में कंप्यूटर की संकेतों को पहचानने की क्षमता में सुधार कर सकते हैं। उन्होंने एक प्रणाली बनाई जो पहले मानक वीडियो विश्लेषण का उपयोग करके संकेत की पहचान करती है, और फिर, यदि वह संकेत भ्रमित करने वाले जोड़ों में से एक था, तो अंतिम निर्णय लेने के लिए विशेष रूप से मुख की गतिविधियों की जांच करती है। इस दृष्टिकोण ने, जो सीधे भाषाविदों के नोट्स से प्रेरित था, कठिन संकेतों पर कंप्यूटर की सटीकता में काफी सुधार किया। सिस्टम ने मौजूदा सर्वोत्तम तरीकों की तुलना में भ्रमित करने वाले शब्दों को लगभग दस प्रतिशत अधिक बार सही ढंग से पहचाना। यह सिद्ध करता है कि मशीन लर्निंग मॉडल में मानवीय भाषाई ज्ञान को शामिल करना उस अंतर को पाट सकता है जहाँ शुद्ध दृश्य डेटा विफल हो जाता है।
टीम ने यह भी प्रदर्शित किया कि इस तकनीक को एक लोकप्रिय आर्केड गेम को सीखने के उपकरण में बदलकर वास्तविक दुनिया में कैसे लागू किया जा सकता है। इस संस्करण में, खिलाड़ी एक रंगीन गेंद को अन्य गेंदों के क्षेत्र में छोड़ने के लिए संकेत करते हैं। यदि कंप्यूटर संकेत को सही ढंग से पहचानता है, तो गेंद का रंग मेल खाता है और वह स्क्रीन को साफ कर देती है; यदि संकेत गलत है, तो गेंद का रंग गलत होता है। यह इंटरैक्टिव गेम सुनने वाले माता-पिता को कम दबाव वाले वातावरण में अभ्यास करने और उनके प्रदर्शन पर तत्काल प्रतिक्रिया प्राप्त करने की अनुमति देता है। संपूर्ण डेटासेट, भाषाई विवरण और गेम सॉफ्टवेयर के साथ, आगे के अनुसंधान और विकास को गति देने के लिए सार्वजनिक रूप से जारी किया जा रहा है।
इस परियोजना को बधिर समुदाय के केंद्र में रखकर—शब्दों के चयन से लेकर प्रत्येक वीडियो की अंतिम समीक्षा तक—शोधकर्ताओं ने यह सुनिश्चित किया कि डेटा प्रामाणिक और विश्वसनीय है। प्रत्येक वीडियो की बधिर विशेषज्ञों द्वारा दो बार जाँच की गई ताकि यह सुनिश्चित किया जा सके कि संकेत सही ढंग से किए गए हैं और पृष्ठभूमि में कोई व्यक्तिगत जानकारी गलती से कैप्चर नहीं हुई है। इस कठोर प्रक्रिया ने प्रारंभिक रिकॉर्डिंग के लगभग दस प्रतिशत हिस्से को छानकर अलग कर दिया, जिससे एक स्वच्छ, उच्च-गुणवत्ता वाला संसाधन प्राप्त हुआ। यह कार्य सुझाव देता है कि सांकेतिक भाषा तकनीक का भविष्य भाषाविदों और इंजीनियरों के बीच सहयोग में निहित है, जिसमें मशीनों को निर्देशित करने के लिए मानवीय अंतर्दृष्टि का उपयोग किया जाता है। जैसे-जैसे ये उपकरण बेहतर होंगे, वे जापान के घरों में संचार के अंतर को पाटने की दिशा में एक मूर्त मार्ग प्रदान करेंगे, जिससे माता-पिता अंततः अपने बच्चों की भाषा बोल सकेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।