Crowdsourced Multilingual Speech Intelligibility Testing
यह शोध पत्र एक क्राउडसोर्स्ड मूल्यांकन दृष्टिकोण का प्रस्ताव करके स्केलेबल, बहुभाषी स्पीच इंटेलिजिबिलिटी टेस्टिंग की कमी को संबोधित करता है, इसके प्रयोगात्मक डिज़ाइन का विवरण देता है, और बहुभाषी स्पीच डेटा के संग्रह और सार्वजनिक रिलीज के साथ प्रारंभिक परिणाम प्रस्तुत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय भाषण समझने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं, लेकिन रोबोट बैकग्राउंड शोर या खराब कनेक्शन के कारण भ्रमित होता रहता है। इसे ठीक करने के लिए, इंजीनियरों को यह परीक्षण करने की आवश्यकता है कि रोबोट की आवाज़ कितनी स्पष्ट सुनाई देती है। दशकों तक, इसे करने का एकमात्र तरीका लोगों को एक साउंडप्रूफ कमरे में बंद करना, हाई-एंड हेडफ़ोन पहनाना और लैब में शब्दों को सुनना था। यह एक नए सूप का स्वाद चखने के लिए कुछ पेशेवर शेफ को एक बाँझ रसोई में नमूना लेने देने जैसा था। यह सटीक था, लेकिन धीमा, महंगा और तेज़ी से बड़े पैमाने पर करना असंभव था।
हालाँकि, "जेनरेटिव" ऑडियो तकनीक की एक नई लहर खेल बदल रही है। ये स्मार्ट एल्गोरिदम हैं जो न केवल शोर को साफ करते हैं; वे वास्तव में भाषण के गायब हिस्सों का अनुमान लगाते हैं और उन्हें बनाते हैं ताकि उसे बेहतर बनाया जा सके। समस्या यह है कि ये नए उपकरण अनजाने में एक ध्वनि को दूसरी ध्वनि से बदल सकते हैं जो सुनने में समान लगती है लेकिन जिसका अर्थ पूरी तरह से अलग होता है (जैसे कि "f" को "p" में बदलना)। इन चालाक गलतियों को पकड़ने के लिए, हमें कई भाषाओं में स्पीच इंटेलिजिबिलिटी (भाषण बोधगम्यता)—यानी जो कहा जा रहा है उसे समझने की क्षमता—का परीक्षण करने के लिए एक विशाल, तेज़ और सस्ता तरीका चाहिए। यहीं पर "क्राउडसोर्सिंग" का विचार आता है: लैब में कुछ विशेषज्ञों के बजाय, हम इंटरनेट पर मौजूद हज़ारों आम लोगों से सुनने और यह बताने के लिए कहते हैं कि उन्होंने क्या सुना, जिससे पूरी दुनिया एक विशाल, विविध परीक्षण स्थल बन जाती है।
इस शोध पत्र में, सिस्को सिस्टम्स के शोधकर्ता लॉरा लेचलर और कामिल वोजकीकी एक नया तरीका प्रस्तावित करते हैं जिससे स्पीच इंटेलिजिबिलिटी का परीक्षण किया जा सके, जिसमें एक क्लासिक लैब टेस्ट को इंटरनेट पर ले जाया गया है। वे यह देखना चाहते थे कि क्या वे क्राउडसोर्सिंग प्लेटफॉर्म पर आम लोगों को एक साधारण शब्द-अनुमान लगाने वाला खेल खिलाकर विश्वसनीय परिणाम प्राप्त कर सकते हैं, बजाय इसके कि लैब में महंगे विशेषज्ञों को काम पर रखा जाए।
उन्होंने जिस परीक्षण को चुना है उसे डायग्नोस्टिक राइम टेस्ट (DRT) कहा जाता है। इसे अपने कानों के लिए "अंतर पहचानें" (spot the difference) वाले खेल की तरह समझें। कंप्यूटर एक अकेला शब्द बजाता है, जैसे कि "bat," और फिर आपको स्क्रीन पर दो विकल्प देता है: "bat" या "pat।" आपको बस उस पर क्लिक करना है जो आपने सुना है। शब्दों को सावधानीपूर्वक इस तरह चुना गया है कि वे केवल एक सूक्ष्म ध्वनि (जैसे 'b' बनाम 'p') से भिन्न होते हैं, जो यह पहचानने में मदद करता है कि एल्गोरिदम कहाँ गलती कर रहा है। शोधकर्ताओं ने इन शब्द सूचियों को पाँच भाषाओं में एकत्र किया: अंग्रेजी, स्पेनिश, फ्रेंच, जर्मन और मैंडरिन चाइनीज़।
इसे ऑनलाइन काम करने के योग्य बनाने के लिए, उन्हें चतुर होना पड़ा। उन्होंने मूल वक्ताओं (native speakers) को ये शब्द बोलते हुए रिकॉर्ड किया, ऑडियो को साफ किया, और उन्हें 'प्रोलिफिक' (Prolific) नामक वेबसाइट पर एक सर्वेक्षण में डाला। उन्होंने प्रतिभागियों को अच्छा भुगतान किया (प्रति घंटा $8 से अधिक) और यह सुनिश्चित करने के लिए विशेष "ट्रैप" प्रश्न भी जोड़े कि लोग वास्तव में ध्यान दे रहे हैं या नहीं और केवल बेतरतीब ढंग से क्लिक तो नहीं कर रहे हैं। उन्होंने यह भी सुनिश्चित किया कि प्रतिभागी हेडफ़ोन का उपयोग करें और उनकी सुनने की क्षमता सामान्य हो।
टीम ने चार अलग-अलग प्रयोग चलाए यह देखने के लिए कि क्या यह "इंटरनेट लैब" वास्तव में काम करती है। सबसे पहले, उन्होंने अपने ऑनलाइन परिणामों की तुलना स्पेनिश बोलने वालों के साथ एक पारंपरिक लैब टेस्ट से की। उन्होंने पाया कि हालांकि ऑनलाइन समूह का स्कोर कुल मिलाकर थोड़ा कम था (जो स्वाभाविक है, क्योंकि वे एक आदर्श शांत कमरे में नहीं थे), फिर भी ऑनलाइन टेस्ट अच्छे ऑडियो और खराब ऑडियो के बीच के अंतर को पहचानने में बहुत अच्छा था। उदाहरण के लिए, जब उन्होंने एक कंप्रेस्ड ऑडियो फॉर्मेट (NB PCMU) का परीक्षण किया, तो लैब विशेषज्ञों और ऑनलाइन भीड़ दोनों ने सहमति व्यक्त की कि यह उच्च-गुणवत्ता वाले संस्करण की तुलना में खराब था, भले ही ऑनलाइन भीड़ ने समग्र रूप से इसे कम स्कोर दिया हो।
इसके बाद, उन्होंने जांच की कि क्या यह परीक्षण सुसंगत था। उन्होंने एक ही लोगों के समूह के साथ दो बार एक ही परीक्षण चलाया और एक बार पूरी तरह से नए समूह के साथ। परिणाम लगभग समान थे, जो दर्शाता है कि यह परीक्षण विश्वसनीय और दोहराने योग्य है, ठीक वैसे ही जैसे एक अच्छा विज्ञान प्रयोग होना चाहिए। उन्होंने अंग्रेजी में दो अलग-अलग ऑडियो कंप्रेशन फॉर्मेट (AMR-WB और AMR-NB) का भी परीक्षण किया। ऑनलाइन परिणाम पुराने लैब अध्ययनों में पाए गए पैटर्न से पूरी तरह मेल खाते थे, जिससे पता चलता है कि "भीड़" विशेषज्ञों की तरह ही दोनों कोडेक्स के बीच अंतर बता सकती है।
अंत में, उन्होंने सभी पांच भाषाओं में इस प्रणाली का परीक्षण किया। उन्होंने पाया कि ऑनलाइन टेस्ट सफलतापूर्वक पता लगा सका कि अंग्रेजी, जर्मन, स्पेनिश और फ्रेंच में कंप्रेशन के कारण ऑडियो की गुणवत्ता कब गिरी। दिलचस्प बात यह है कि चीनी परीक्षण के लिए, जो केवल व्यंजन ध्वनियों के बजाय संगीत संबंधी स्वरों (musical tones) पर निर्भर करता है, कंप्रेशन ने इंटेलिजिबिलिटी को बहुत अधिक नुकसान नहीं पहुँचाया। यह समझ में आता है क्योंकि जब ऑडियो की गुणवत्ता कम की गई थी, तब भी आवाज़ का "पिच" (जो स्वर को नियंत्रित करता है) सुरक्षित रहा।
लेखक निष्कर्ष निकालते हैं कि यह क्राउडसोर्स्ड दृष्टिकोण स्पीच इंटेलिजिबिलिटी का परीक्षण करने का एक वैध, लागत प्रभावी और तेज़ तरीका है। हालांकि, पूर्ण स्कोर लैब की तुलना में थोड़े कम हो सकते हैं (शायद इसलिए क्योंकि लोग एक आदर्श साउंडप्रूफ कमरे के बजाय अपने शोर-शराबे वाले किचन में सुन रहे हैं), लेकिन सापेक्ष परिणाम एकदम सटीक हैं। उन्होंने दिखाया कि आप नए ऑडियो एल्गोरिदम का तेज़ी से परीक्षण करने के लिए इंटरनेट का उपयोग करके श्रोताओं का एक विविध, वैश्विक पूल प्राप्त कर सकते हैं। उन्होंने अपनी शब्द सूचियाँ और ऑडियो रिकॉर्डिंग सार्वजनिक रूप से उपलब्ध करा दी हैं ताकि अन्य शोधकर्ता अपने काम के बेंचमार्किंग के लिए इनका उपयोग कर सकें। यह सुनिश्चित करने की दिशा में एक कदम है कि जैसे-जैसे हमारी AI आवाजें स्मार्ट होती जा रही हैं, वे हर जगह, हर किसी के लिए स्पष्ट और समझने योग्य भी बनी रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।