Cross-Lingual Transfer Learning and LLM-Assisted Gloss Generation for Low-Resource Tamil Voice and Text to Sign Language Pose Generation
यह शोध पत्र लो-रिसोर्स तमिल के लिए प्रथम वॉयस और टेक्स्ट-टू-साइन लैंग्वेज पोज़ जनरेशन सिस्टम प्रस्तुत करता है, जो जर्मन साइन लैंग्वेज से क्रॉस-लिंगुअल ट्रांसफर लर्निंग के साथ LoRA फाइन-ट्यूनिंग के माध्यम से LLM-असिस्टेड ग्लॉस जनरेशन को जोड़कर, एक पाइपलाइन के माध्यम से अत्याधुनिक प्रदर्शन प्राप्त करता है जो स्पीच को ट्रांसक्राइब करती है, ग्लॉस जेनरेट करती है, और बैक-ट्रांसलेशन द्वारा सत्यापित पोज़ सिंथेसाइज़ करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
संचार एक मौलिक मानवीय आवश्यकता है, फिर भी लाखों बधिर या सुनने में अक्षम लोगों के लिए, उनके मूल संकेत भाषा और बोली जाने वाली भाषा के बीच का सेतु अक्सर टूटा हुआ रहता है। जबकि कंप्यूटर पाठ को पढ़ने या भाषण को समझने में उल्लेखनीय रूप से कुशल हो गए हैं, उन्हें संकेत भाषा की तरल, निरंतर गतिविधियों को उत्पन्न करने के लिए सिखाना कठिन साबित हुआ है, विशेष रूप से उन भाषाओं के लिए जिनमें रिकॉर्ड किए गए उदाहरणों के विशाल डिजिटल पुस्तकालयों का अभाव है। यह चुनौती विशेष रूप से तमिल संकेत भाषा (Tamil Sign Language) के लिए गंभीर है, जो भारत में एक बड़ी आबादी द्वारा उपयोग की जाती है लेकिन इसमें उन विशाल, एनोटेटेड डेटासेट्स की कमी है जिन पर शोधकर्ता आमतौर पर आर्टिफिशियल इंटेलिजेंस को प्रशिक्षित करने के लिए निर्भर करते हैं। इन संसाधनों के बिना, एक ऐसा सिस्टम बनाना जो बोले गए वाक्य को हाथ और शरीर की गतिविधियों के क्रम में स्वचालित रूप से अनुवाद कर सके, एक छात्र को पर्याप्त पाठ्यपुस्तकों या अभ्यास भागीदारों के बिना एक जटिल कौशल सिखाने जैसा है।
इस समस्या का मूल कारण संकेत भाषा की प्रकृति में निहित है। यह केवल स्थिर हाथों के इशारों की एक श्रृंखला नहीं है, बल्कि हाथों, बाहों, चेहरे और शरीर की गतिविधियों का एक गतिशील प्रवाह है, जो एक विशिष्ट लय में चलते हैं। कंप्यूटर को यह सिखाने के लिए, शोधकर्ताओं को आमतौर पर हजारों घंटों के वीडियो की आवश्यकता होती है जो विशिष्ट वाक्यों को प्रदर्शित करते हुए मूल संकेत कर्ताओं (native signers) को दिखाते हों। जब ऐसा डेटा दुर्लभ होता है, जैसा कि तमिल के मामले में है, तो मानक तरीके विफल हो जाते हैं। समाधान के लिए एक अलग दृष्टिकोण की आवश्यकता है: एक ऐसा दृष्टिकोण जो अन्य क्षेत्रों से ज्ञान उधार ले और इसे विशेष रूप से कम-संसाधन वाली भाषा की जरूरतों के अनुसार सावधानीपूर्वक अनुकूलित करे। यहीं पर रम्या कौवेरी डी और डॉ. जोसेफिन उशा एल का कार्य आता है, जो बोली जाने वाली तमिल और संकेत भाषा के दृश्य रूप के बीच एक सेतु बनाने का एक नया तरीका प्रदान करता है।
शोधकर्ताओं ने एक ऐसा पहला सिस्टम बनाने का लक्ष्य रखा जो सीधे बोले गए या लिखित तमिल को शरीर की मुद्राओं (body poses) के एक अनुक्रम में बदल सके, जो एक संकेत भाषा प्रदर्शन का प्रतिनिधित्व करती हो। उनका लक्ष्य केवल शब्दों का अनुवाद करना नहीं था, बल्कि उन वास्तविक शारीरिक गतिविधियों को उत्पन्न करना था जो एक व्यक्ति करेगा। इसे करने के लिए, उन्हें दो प्रमुख बाधाओं को पार करना था: तमिल संकेत भाषा के बड़े डेटासेट का अभाव और कंप्यूटर को सीमित डेटा के बावजूद स्वाभाविक रूप से हिलने-डुलने के लिए सिखाने की कठिनाई। उन्होंने इन मुद्दों को दो अलग चरणों में तोड़कर और पूरी तरह से एक अलग भाषा से ज्ञान उधार लेने की एक चतुर रणनीति का उपयोग करके हल किया।
सबसे पहले, टीम ने शब्दों से संकेतों के अनुवाद को संबोधित किया। संकेत भाषा भाषाविज्ञान (sign language linguistics) में, "ग्लॉस" (gloss) नामक एक अवधारणा है, जो एक संकेत के सरलीकृत, प्रतीकात्मक प्रतिनिधित्व के रूप में कार्य करती है, जो बिल्कुल वैसे ही है जैसे शब्द की परिभाषा किसी शब्द का सारांश देती है। सीधे एक बोले गए वाक्य से जटिल 3D गति पर जाने के बजाय, शोधकर्ताओं ने एक मध्यवर्ती चरण का उपयोग किया: तमिल वाक्य को इस प्रतीकात्मक ग्लॉस अनुक्रम में बदलना। डेटा की कमी को संभालने के लिए, उन्होंने एक बड़े लैंग्वेज मॉडल (large language model) का उपयोग किया, जो टेक्स्ट की विशाल मात्रा पर प्रशिक्षित एक प्रकार का आर्टिफिशियल इंटेलिजेंस है, और इसे विशेष रूप से इस कार्य के लिए अनुकूलित किया गया ताकि यह बहुत कम उदाहरणों से सीख सके बिना अपने पूर्व ज्ञान को भूले। इस मॉडल ने इनपुट वाक्य को लिया और ग्लॉस का सही अनुक्रम उत्पन्न किया, जो प्रभावी रूप से एक भाषाई अनुवादक के रूप में कार्य करता था जिसने सीमित प्रशिक्षण डेटा के बावजूद तमिल संकेतों की संरचना को समझा।
एक बार जब सिस्टम के पास ग्लॉस अनुक्रम आ गया, तो दूसरा चुनौती उन प्रतीकों को वास्तविक गति में बदलना था। यहीं पर शोधकर्ताओं ने 'क्रॉस-लिंगुअल ट्रांसफर लर्निंग' (cross-lingual transfer learning) नामक रणनीति लागू की। उन्होंने महसूस किया कि हालांकि जर्मन संकेत भाषा और तमिल संकेत भाषा के शब्द और व्याकरण अलग हैं, लेकिन मानव गति के भौतिक नियम सार्वभौमिक हैं। छाती से सिर तक जाने वाला हाथ एक ही भौतिक नियमों का पालन करता है, चाहे वह किसी भी भाषा का संकेत हो। इस ज्ञान का लाभ उठाने के लिए, उन्होंने एक शक्तिशाली कंप्यूटर मॉडल लिया जो पहले से ही जर्मन संकेत भाषा के हजारों घंटों के वीडियो पर प्रशिक्षित था। इस मॉडल ने सीख लिया था कि संकेत करते समय मानव शरीर के सामान्य पैटर्न क्या होते हैं। शोधकर्ताओं ने इस प्री-ट्रेन्ड मॉडल को लिया और अपने स्वयं के छोटे, कस्टम तमिल संकेत वीडियो डेटासेट का उपयोग करके इसे फाइन-ट्यून (fine-tune) किया। इसने सिस्टम को मानव गति की एक मजबूत समझ के साथ शुरुआत करने और फिर अपने ज्ञान को तमिल संकेत कर्ताओं की विशिष्ट शैली और लय के अनुरूप ढालने की अनुमति दी।
प्रशिक्षण के लिए उपयोग किए गए डेटा को सावधानीपूर्वक तैयार किया गया था ताकि यह सुनिश्चित हो सके कि सिस्टम किसी भी व्यक्ति के लिए काम कर सके, न कि केवल उन विशिष्ट लोगों के लिए जिन्होंने वीडियो रिकॉर्ड किए हैं। टीम ने पांच मूल संकेत कर्ताओं को रिकॉर्ड किया, जिनमें से प्रत्येक ने तीन सौ अलग-अलग वाक्य प्रस्तुत किए, जिसके परिणामस्वरूप पंद्रह सौ वीडियो क्लिप प्राप्त हुईं। यह परीक्षण करने के लिए कि क्या सिस्टम वास्तव में भाषा को समझता है और सामान्यीकरण कर सकता है, उन्होंने एक कठोर परीक्षण पद्धति का उपयोग किया जहाँ उन्होंने चार संकेत कर्ताओं पर मॉडल को प्रशिक्षित किया और पांचवें पर इसका परीक्षण किया, और इस प्रक्रिया को तब तक दोहराया जब तक कि प्रत्येक संकेतक परीक्षण विषय न बन गया। इसने यह सुनिश्चित किया कि सिस्टम केवल एक व्यक्ति की गतिविधियों को याद नहीं कर रहा है, बल्कि भाषा को सीख रहा है।
इस दृष्टिकोण के परिणाम उत्साहजनक थे। जब सिस्टम ने मुद्राओं (poses) का एक अनुक्रम उत्पन्न किया, तो शोधकर्ताओं ने इसकी गुणवत्ता का मूल्यांकन करने के लिए इसे एक अलग, स्वतंत्र पहचान प्रणाली के माध्यम से चलाया ताकि यह देखा जा सके कि क्या वह मूल तमिल वाक्य में संकेतों को वापस "पढ़" सकता है। इस बैक-ट्रांसलेशन प्रक्रिया ने दिखाया कि सिस्टम ने मूल भाषण के अर्थ को सफलतापूर्वक पकड़ लिया था। उत्पन्न संकेत पिछले प्रयासों की तुलना में काफी अधिक सटीक और तरल थे, और सिस्टम ने वाक्यों के अर्थ को सफलतापूर्वक पुनर्गठित किया, जो तमिल संकेत भाषा उत्पादन के मौजूदा बेंचमार्क से बेहतर था। जर्मन डेटासेट से प्री-ट्रेन्ड मोशन मॉडल का उपयोग महत्वपूर्ण साबित हुआ, क्योंकि इसने सुचारू गति के लिए आवश्यक आधार प्रदान किया जिसे छोटा तमिल डेटासेट अकेले नहीं सिखा सकता था।
हालाँकि, शोधकर्ता अपने कार्य की सीमाओं के प्रति सावधान हैं। यह सिस्टम कम-संसाधन वाली भाषा के लिए एक महत्वपूर्ण कदम है, लेकिन यह अभी भी पूर्ण नहीं है। डेटासेट, हालांकि सावधानीपूर्वक क्यूरेट किया गया है, उच्च-संसाधन वाली भाषाओं के विशाल पुस्तकालयों की तुलना में अभी भी छोटा है। उत्पन्न गतिविधियाँ, हालांकि गणितीय रूप से सटीक हैं, वर्तमान में उस फ्रेम रेट पर प्रदर्शित की जाती हैं जो स्वाभाविक दिखने वाली संकेत भाषा के लिए आमतौर पर अनुशंसित होता है, और सिस्टम अभी भी सूक्ष्म चेहरे के भावों या विस्तृत हाथों के आकार को कैप्चर नहीं करता है जो पूर्ण भाषाई अर्थ के लिए महत्वपूर्ण हैं। इसके अलावा, ग्लॉस जनरेशन कंप्यूटर की व्याख्या पर निर्भर करता है, जिसका अर्थ है कि प्रारंभिक अनुवाद चरण में कोई भी त्रुटि अंतिम गति को प्रभावित करेगी।
इन सीमाओं के बावजूद, यह अध्ययन उन भाषाओं के लिए एक व्यवहार्य मार्ग प्रदर्शित करता है जिन्हें डिजिटल क्रांति में पीछे छोड़ दिया गया है। शब्दों को संभालने के लिए एक विशेष भाषा मॉडल और गति को संभालने के लिए एक उधार लिए गए मोशन मॉडल को जोड़कर, शोधकर्ताओं ने दिखाया कि यह बिना लाखों घंटों के डेटा के प्रभावी संकेत भाषा सिस्टम बनाने का एक तरीका है। यह कार्य सुझाव देता है कि कई अल्प-प्रतिनिधित्व वाली संकेत भाषाओं के लिए, प्रगति की कुंजी विशाल डेटासेट के आने का इंतजार करने में नहीं, बल्कि मौजूदा उपकरणों को नए संदर्भों में चतुराई से अनुकूलित करने में निहित है। यह दृष्टिकोण एक वास्तविक आशा प्रदान करता है कि स्पोकन और साइन्ड भाषाओं के बीच के अंतर को कम किया जा सकता है, जिससे संचार उन लाखों लोगों के लिए अधिक सुलभ हो जाता है जो प्रतिदिन संकेत भाषा पर निर्भर रहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।