A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
यह शोध पत्र सूक्ष्म-स्तरीय संकेत भाषा पहचान को आगे बढ़ाने के लिए 15 प्रतिभागियों से 160 हस्त-आकृतियों (handshape) की श्रेणियों के लिए 144,000 RGB छवियों का एक बड़े पैमाने पर, HamNoSys-आधारित डेटासेट प्रस्तुत करता है और विषय-निर्भर (subject-dependent) एवं लीव-वन-सब्जेक्ट-आउट (leave-one-subject-out) मूल्यांकन प्रोटोकॉल के तहत विभिन्न डीप लर्निंग और मशीन लर्निंग मॉडलों का उपयोग करके बेसलाइन प्रदर्शन स्थापित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सांकेतिक भाषाएँ पूर्ण, जटिल भाषाएँ हैं जिनका अपना व्याकरण और संरचना है, जिनका उपयोग दुनिया भर में लाखों लोगों द्वारा किया जाता है। जिस प्रकार बोली जाने वाली भाषाएँ ध्वनियों से बनी होती हैं, उसी प्रकार सांकेतिक भाषाएँ हाथों, चेहरे और शरीर की शारीरिक गतिविधियों से बनी होती हैं। सबसे महत्वपूर्ण निर्माण खंडों में से एक हाथ द्वारा बनाई जाने वाली आकृति है। उंगली का थोड़ा सा मुड़ा होना या अंगूठे की अलग स्थिति किसी संकेत के अर्थ को पूरी तरह से बदल सकती है, ठीक वैसे ही जैसे एक अक्षर का बदलाव एक शब्द को दूसरे में बदल सकता है। कंप्यूटर इन भाषाओं को समझने या अनुवाद करने के लिए, उन्हें पहले इन विशिष्ट हस्त आकृतियों को उच्च सटीकता के साथ पहचानना सीखना होगा। हालाँकि, एक ऐसा कंप्यूटर सिस्टम बनाना जो यह कर सके, कठिन है क्योंकि मानव हाथ व्यक्ति दर व्यक्ति बहुत भिन्न होते हैं, और समान हस्त आकृतियों के बीच के अंतर अविश्वसनीय रूप से सूक्ष्म हो सकते हैं।
शोधकर्ताओं ने लंबे समय से इन हस्त आकृतियों को एक ऐसी सार्वभौमिक भाषा में वर्णित करने का तरीका खोजा है जो केवल एक देश या संस्कृति तक सीमित न हो। ऐसी ही एक प्रणाली, जिसे हैम्बर्ग नोटेशन सिस्टम (Hamburg Notation System) के रूप में जाना जाता है, हस्त विन्यास के लिए एक विस्तृत मानचित्र की तरह कार्य करती है, जो इसे उंगली के चयन और अंगूठे की स्थिति जैसे विशिष्ट भागों में विभाजित करती है। जबकि यह प्रणाली एक स्पष्ट परिभाषा प्रदान करती है कि हाथ की आकृति कैसी होनी चाहिए, वास्तविक लोगों द्वारा इन आकृतियों को प्रदर्शित करने के तरीके से कंप्यूटर को सिखाने के लिए वास्तविक दुनिया के डेटा की कमी रही है। वास्तविक छवियों के बड़े संग्रह के बिना, कंप्यूटर प्रोग्राम सामान्यीकरण करने में संघर्ष करते हैं, और अक्सर एक नए व्यक्ति या थोड़े अलग कोण के सामने विफल हो जाते हैं।
इस कमी को दूर करने के लिए, शोधकर्ताओं की एक टीम ने एक नया, विशाल डेटासेट बनाया है जिसे कंप्यूटर को 160 विशिष्ट हस्त आकृतियों को पहचानना सिखाने के लिए डिज़ाइन किया गया है। वे कंप्यूटर-जनित छवियों या सरल रेखाचित्रों पर निर्भर नहीं रहे; इसके बजाय, उन्होंने वास्तविक लोगों को रिकॉर्ड किया। पंद्रह स्वयंसेवकों, जो सभी विश्वविद्यालय के छात्र थे, को आधिकारिक चार्ट द्वारा परिभाषित प्रत्येक 160 विशिष्ट हस्त आकृतियाँ बनाने के लिए कहा गया था। शोधकर्ताओं ने एक सादे सफेद बैकग्राउंड और एक हाई-डेफिनिशन कैमरे के साथ एक नियंत्रित वातावरण तैयार किया। प्रत्येक प्रतिभागी ने आवश्यक आकृति में अपना हाथ रखा और उसे धीरे-धीरे घुमाया, जिससे कैमरे को विभिन्न कोणों से गति को कैप्चर करने का अवसर मिला। इस प्रक्रिया ने 1,44,000 व्यक्तिगत रंगीन चित्र उत्पन्न किए, जिससे एक समृद्ध लाइब्रेरी बनी जहाँ प्रत्येक तस्वीर को उस सटीक हस्त आकृति के साथ लेबल किया गया है जिसका वह प्रतिनिधित्व करती है।
इसके बाद शोधकर्ताओं ने यह परीक्षण किया कि विभिन्न कंप्यूटर मॉडल इस नई लाइब्रेरी से कितनी अच्छी तरह सीख सकते हैं। उन्होंने दो मुख्य दृष्टिकोणों का परीक्षण किया। पहला दृष्टिकोण छवियों को समग्र रूप से देखता था, बिल्कुल एक इंसान की तरह, जो हाथ के समग्र स्वरूप, त्वचा के रंग और प्रकाश पर ध्यान केंद्रित करता है। दूसरा दृष्टिकोण पूरी तस्वीर को अनदेखा कर देता है और केवल हाथ के इक्कीस विशिष्ट बिंदुओं, जैसे उंगलियों के सिरों और जोड़ों के गणितीय निर्देशांकों (coordinates) पर ध्यान केंद्रित करता है। उन्होंने इन मॉडलों का दो अलग-अलग तरीकों से परीक्षण किया। पहले परीक्षण में, कंप्यूटर को उन लोगों की छवियां दिखाई गईं जिन्हें उसने अपने प्रशिक्षण के दौरान पहले ही देखा था, जो एक ऐसी स्थिति का अनुकरण करता है जहाँ सिस्टम उपयोगकर्ता को जानता है। दूसरे, अधिक कठिन परीक्षण में, कंप्यूटर को ऐसे लोगों की छवियां दिखाई गईं जिनसे वह कभी नहीं मिला था, जिससे उसे विशिष्ट व्यक्ति के बजाय केवल आकृतियों के बारे में जो उसने सीखा था, उस पर भरोसा करने के लिए मजबूर होना पड़ा।
परिणामों ने एक परिचित व्यक्ति को जानने और एक आकृति को जानने के बीच एक स्पष्ट अंतर प्रकट किया। जब कंप्यूटर का परीक्षण उन लोगों पर किया गया जिन्हें वह पहले से देख चुका था, तो इसने बहुत अच्छा प्रदर्शन किया, और सबसे अच्छे इमेज-आधारित मॉडल का उपयोग करके 86 प्रतिशत से अधिक मामलों में हस्त आकृति को सही ढंग से पहचाना। हालाँकि, जब कंप्यूटर का सामना एक ऐसे नए व्यक्ति से हुआ जिससे वह कभी नहीं मिला था, तो इसकी सटीकता काफी गिर गई, जो लगभग 45 प्रतिशत तक आ गई। यह भारी गिरावट दर्शाती है कि हालांकि कंप्यूटर परिचित चेहरों में पैटर्न पहचानने में अच्छे हैं, फिर भी वे एक विशिष्ट व्यक्ति द्वारा की जाने वाली प्रस्तुति से सार्वभौमिक संकेत की आकृति को अलग करने के लिए संघर्ष करते हैं। अध्ययन में यह भी पाया गया कि मॉडल उन हस्त आकृतियों के साथ सबसे अधिक गलतियाँ करते हैं जो लगभग एक जैसी दिखती हैं, और जिनमें केवल एक उंगली के मुड़ने या अंगूठे की स्थिति जैसे सूक्ष्म विवरण का अंतर होता है।
यह कार्य भविष्य की तकनीक के लिए एक ठोस आधार प्रदान करता है। वास्तविक छवियों का एक बड़ा, संतुलित संग्रह प्रदान करके और कंप्यूटर द्वारा नए उपयोगकर्ताओं को संभालने के तरीके का परीक्षण करके, शोधकर्ताओं ने इस क्षेत्र के लिए एक मानक उपकरण बनाया है। यह डेटासेट वैज्ञानिकों को बेहतर सिस्टम बनाने की अनुमति देता है जो अंततः उन लोगों के लिए सांकेतिक भाषा को पाठ या भाषण में अनुवादित करने में मदद कर सकते हैं जो सुन नहीं सकते, या बधिर व्यक्तियों को सुनने वाले लोगों के साथ आसानी से संवाद करने में मदद कर सकते हैं। हालांकि वर्तमान मॉडल अभी भी अजनबियों से संकेतों को पहचानने में कठिनाई महसूस करते हैं, लेकिन यह नया संसाधन शोधकर्ताओं को इन प्रणालियों को बेहतर बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है, जिससे यह सुनिश्चित होता है कि भविष्य की तकनीक मानव हाथों की सूक्ष्म, सुंदर जटिलता को समझ सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।