Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

स्पीच रिकग्निशन (वाक् पहचान) तकनीक ने उल्लेखनीय प्रगति की है, जिससे मशीनें कई भाषाओं में मानवीय आवाजों को समझने में सक्षम हो गई हैं। फिर भी, कम-दस्तावेजीकृत बोलियों के बोलने वालों के लिए, यह तकनीक अक्सर एक दीवार से टकरा जाती है। चुनौती केवल यह नहीं है कि मशीन किसी विशिष्ट ध्वनि को सही ढंग से सुनने में विफल हो सकती है; कभी-कभी समस्या यह होती है कि मशीन और मनुष्य पूरी तरह से अलग "लेखन की भाषाओं" में बात कर रहे होते हैं। कुर्दिश की दुनिया में, जो ईरान, इराक, तुर्की और सीरिया में बोली जाने वाली भाषा है, यह विभाजन बहुत गहरा है। कुछ विविधताओं को अरबी अक्षरों पर आधारित लिपि का उपयोग करके लिखा जाता है, जबकि अन्य, या यहाँ तक कि एक ही विविधता को विभिन्न क्षेत्रों में अलग-अलग तरीकों से, अद्वितीय ध्वनियों को पकड़ने के लिए विशेष चिह्नों के साथ लैटिन वर्णमाला का उपयोग करके लिखा जाता है। जब एक कंप्यूटर, जिसे एक लिपि पर प्रशिक्षित किया गया है, दूसरी लिपि में लिखे गए वाक्य को पढ़ने की कोशिश करता है, तो वह अक्सर इसलिए विफल होता है क्योंकि वह शब्दों को सुन नहीं पाता, बल्कि इसलिए कि वह प्रतीकों को पहचान नहीं पाता। यह एक मापन संबंधी समस्या पैदा करता है: यदि मशीन ध्वनि को सही पहचान लेती है लेकिन उसे गलत लिपि में लिखती है, तो मानक परीक्षण इसे पूर्ण विफलता मानते हैं, जिससे यह तथ्य छिप जाता है कि मशीन वास्तव में भाषण को समझ गई थी।

यही वह विशिष्ट पहेली है जिसे नावा असादपोर ने गरुसी (Garrusi) का अध्ययन करते समय सुलझाया, जो ईरान में बोली जाने वाली एक कुर्दिश विविधता है। असादपोर यह देखना चाहते थे कि एक शक्तिशाली, पूर्व-मौजूदा स्पीच रिकग्निशन सिस्टम गरुसी बोलने वालों को कितनी अच्छी तरह समझ सकता है, भले ही उस सिस्टम को उस विशिष्ट बोली पर कभी प्रशिक्षित न किया गया हो। उपयोग किया गया सिस्टम, जिसे MMS-1B-all के रूप में जाना जाता है, मध्य कुर्दिश (Central Kurdish) के लिए अनुकूलित था और अरबी लिपि में टेक्स्ट आउटपुट देता है। शोधकर्ताओं ने, हालांकि, पांच गरुसी वक्ताओं की रिकॉर्डिंग एकत्र की थी और सही शब्दों को विशेष ध्वन्यात्मक चिह्नों के साथ लैटिन वर्णमाला का उपयोग करके लिखा था। दोनों के बीच के अंतर को पाटने के लिए, उन्हें मशीन द्वारा उत्पन्न अरबी लिपि और उनके द्वारा लिखे गए लैटिन लिपि के बीच सामंजस्य बिठाना था। उन्होंने इसे एक चरण-दर-चरण प्रक्रिया बनाकर किया: पहले, उन्होंने मशीन के अरबी आउटपुट को लैटिन अक्षरों में परिवर्तित किया, और फिर उन अक्षरों को संदर्भ टेक्स्ट की विशिष्ट शैली से मेल खाने के लिए सरल बनाया। इस पद्धति ने उन्हें यह देखने की अनुमति दी कि त्रुटि का कितना हिस्सा लेखन प्रणाली के अंतर से आया और कितना हिस्सा वास्तव में मशीन के शब्दों को सुनने में विफल होने से आया।

परिणामों ने एक कठोर वास्तविकता को उजागर किया। जब शोधकर्ताओं ने बिना किसी रूपांतरण के मशीन के कच्चे अरबी आउटपुट की सीधे अपने लैटिन संदर्भ के साथ तुलना की, तो सिस्टम पूरी तरह से विफल होता हुआ प्रतीत हुआ। इसने 111 प्रतिशत से अधिक की 'वर्ड एरर रेट' (शब्द त्रुटि दर) दर्ज की, जिसमें शून्य शब्द मेल खाते थे। ऐसा इसलिए हुआ क्योंकि दोनों लिपियाँ कोई भी सामान्य अक्षर साझा नहीं करती हैं; मशीन एक अलग दृश्य भाषा बोल रही थी जिसे शोधकर्ता समझ रहे थे। हालाँकि, एक बार जब शोधकर्ताओं ने मशीन के आउटपुट को लैटिन अक्षरों में परिवर्तित किया, तो तस्वीर नाटकीय रूप से बदल गई। त्रुटि दर काफी कम हो गई, जिससे पता चला कि मशीन ने वास्तव में कई ध्वनियों को सही ढंग से पहचाना था, लेकिन लिपि के बेमेल होने के कारण उसकी सफलता छिप गई थी। जब उन्होंने वर्तनी के अंतर को सरल बनाने के लिए अंतिम चरण लागू किया, तो त्रुटि दर और भी गिर गई, हालांकि यह उच्च बनी रही। इन लेखन प्रणाली के मुद्दों को ठीक करने के बाद भी, सिस्टम केवल लगभग 14 प्रतिशत शब्दों को ही बिल्कुल सही लिख पाया। इसका अर्थ यह है कि जबकि लेखन प्रणाली एक बड़ी बाधा थी, मशीन को गरुसी बोली की विशिष्ट ध्वनियों और शब्द संरचनाओं को समझने में अभी भी संघर्ष करना पड़ा।

अध्ययन में एक अन्य सिस्टम का भी परीक्षण किया गया जिसे विशेष रूप से दक्षिणी कुर्दिश (Southern Kurdish) के लिए फाइन-ट्यून किया गया था, जो एक ऐसी श्रेणी है जिसे कुछ भाषाविद् मानते हैं कि इसमें गरुसी शामिल है। आश्चर्यजनक रूप से, यह विशेष प्रणाली सामान्य मध्य कुर्दिश प्रणाली की तुलना में खराब प्रदर्शन करती है। इसने संदर्भ टेक्स्ट की तुलना में बहुत अधिक अतिरिक्त शब्द उत्पन्न किए और संदर्भ टेक्स्ट के शब्दों को उतनी अच्छी तरह से नहीं मिला पाया जितना कि सरल प्रणाली ने किया था। यह सुझाव देता है कि केवल एक संबंधित बोली पर मॉडल को प्रशिक्षित करना यह गारंटी नहीं देता कि यह गरुसी जैसी विशिष्ट, भिन्न विविधता पर अच्छी तरह काम करेगा, विशेष रूप से जब प्रशिक्षण के लिए उपयोग किया गया डेटा प्राकृतिक, फील्ड-रिकॉर्डेड भाषण के बजाय संपादित, पढ़े गए वाक्यों से आता है। विशेष प्रणाली अधिक टेक्स्ट उत्पन्न करती हुई प्रतीत हुई, यानी उसने ऐसे शब्द जोड़ दिए जो वहां नहीं थे, जबकि सामान्य प्रणाली शब्दों को छोड़ देती थी।

इस कार्य का एक प्रमुख निष्कर्ष यह है कि सफलता को मापने का तरीका तकनीक के समान ही महत्वपूर्ण है। शोधकर्ताओं ने दिखाया कि मानक परीक्षण भ्रामक हो सकते हैं यदि वे लेखन प्रणालियों के अंतर को ध्यान में नहीं रखते हैं। संदर्भ टेक्स्ट को स्थिर रखकर और केवल मशीन के आउटपुट को प्रस्तुत करने के तरीके को बदलकर, वे लिपि रूपांतरण के प्रभाव को अलग कर सके। उन्होंने पाया कि लिपि रूपांतरण और वर्तनी को सरल बनाने से त्रुटियों के मापन में बड़ी गिरावट आई, जिससे यह सिद्ध हुआ कि "विफलता" का एक बड़ा हिस्सा वास्तव में केवल एक फॉर्मेटिंग का मुद्दा था। हालाँकि, इन सुधारों के बाद भी एक बड़ी मात्रा में त्रुटि शेष रही, जो इंगित करती है कि मशीन को अभी भी इस विशिष्ट बोली को समझने के लिए लंबा रास्ता तय करना है। अध्ययन निष्कर्ष निकालता है कि कई लिपियों या बोलियों वाली भाषाओं के लिए, शोधकर्ताओं को परिणामों को स्कोर करने के तरीके के बारे में सावधान रहना चाहिए। उन्हें स्कोरिंग के लिए उपयोग किए गए सटीक टेक्स्ट को जारी करना चाहिए ताकि अन्य लोग आंकड़ों को सत्यापित कर सकें, और उन्हें यह स्वीकार करना चाहिए कि उच्च त्रुटि दर आंशिक रूप से इस बात के कारण हो सकती है कि टेक्स्ट कैसे लिखा गया है, न कि केवल मशीन की सुनने की क्षमता के कारण।

यह शोध स्पीच टेक्नोलॉजी में एक व्यापक मुद्दे को उजागर करता है: उच्च-तकनीकी मॉडलों और उन विविध, वास्तविक दुनिया की भाषाओं के बीच का अंतर जिन्हें वे सेवा देने के लिए बनाए गए हैं। गरुसी बोलने वालों के लिए, और कई अन्य कम-संसाधन वाली भाषाओं वाले समुदायों के लिए, सटीक स्पीच रिकग्निशन का मार्ग न केवल डेटा की कमी से, बल्कि उन भाषाओं के लिखने और वर्गीकृत करने की जटिलता से भी बाधित है। अध्ययन कोई पूर्ण समाधान प्रदान नहीं करता है, लेकिन यह बाधाओं का एक स्पष्ट मानचित्र प्रदान करता है। यह दिखाता है कि इससे पहले कि हम दावा कर सकें कि एक मशीन एक भाषा को समझती है, हमें पहले यह सुनिश्चित करना होगा कि मशीन और मनुष्य एक ही दृश्य भाषा बोल रहे हैं, और हमारे परीक्षण इतने निष्पक्ष होने चाहिए कि वे एक ऐसी मशीन के बीच अंतर कर सकें जो सुन नहीं सकती और एक ऐसी मशीन के बीच जो केवल अलग तरह से लिखती है।