Automated Pronunciation Evaluation for Korean Toddler Speech using Speech Diarization and Self-Supervised Learning
यह शोध पत्र कोरियाई छोटे बच्चों के उच्चारण के स्वचालित मूल्यांकन के लिए एक एंड-टू-एंड पाइपलाइन प्रस्तुत करता है जो देखभाल करने वाले और बच्चे के ध्वनिक भ्रम (acoustic confounds) को संबोधित करने के लिए NeMo SortFormer-आधारित स्पीकर डायराइजेशन को एक सेल्फ-सुपरवाइज्ड लर्निंग एन्सेम्बल के साथ जोड़ता है, जिसने 53 बच्चों के एक नए क्यूरेटेड डेटासेट पर व्यंजनों के लिए 0.720 और स्वरों के लिए 0.845 की संतुलित सटीकता प्राप्त की है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक व्यस्त रसोई की कल्पना करें जहाँ एक माता-पिता एक छोटे बच्चे (टॉडलर) को नए शब्द बोलना सिखाने की कोशिश कर रहे हैं। माता-पिता एक ऊँची पिच वाली, "प्यारी" आवाज़ (कोरिया में 'एग्यो' नामक एक शैली) में बोलते हैं, और बच्चा उन्हें दोहराने की कोशिश करता है। एक स्वचालित कंप्यूटर सिस्टम के लिए, ये दोनों आवाजें लगभग एक जैसी लगती हैं—जैसे दो जुड़वां भाई-बहन जिन्होंने एक जैसा पहनावा पहना हो। यह कंप्यूटर के लिए यह समझना बेहद कठिन बना देता है कि कौन क्या कह रहा है।
यह शोध पत्र एक नए "स्मार्ट किचन असिस्टेंट" का वर्णन करता है जिसे इस समस्या को हल करने और बच्चे के उच्चारण को स्वचालित रूप से ग्रेड करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:
1. "किसने क्या कहा?" की समस्या (स्पीकर डायराइजेशन)
बच्चे को ग्रेड देने से पहले, कंप्यूटर को माता-पिता की आवाज़ को बच्चे की आवाज़ से अलग करना होता है।
- चुनौती: कोरिया में, माता-पिता अक्सर बच्चों से बात करने के लिए ऊँची पिच वाली, बच्चों जैसी आवाज़ (एग्यो) का उपयोग करते हैं। यह एक छोटे बच्चे की आवाज़ जैसा ही लगता है। अधिकांश मानक कंप्यूटर प्रोग्राम यहाँ भ्रमित हो जाते हैं, यह सोचकर कि माता-पिता ही बच्चा हैं या वे दोनों को आपस में मिला देते हैं।
- समाधान: शोधकर्ताओं ने तीन अलग-अलग "सॉर्टिंग" (छँटाई) टूल्स का परीक्षण किया। उन्होंने पाया कि एक टूल, जिसे NeMo SortFormer कहा जाता है, इस काम के लिए सबसे अच्छा था।
- यह कैसे काम करता है: कल्पना करें कि लोग एक कमरे में प्रवेश कर रहे हैं। केवल उनके चेहरों को देखने के बजाय (जो समान दिखते हैं), यह टूल इस बात पर नज़र रखता है कि वे कब अंदर आए। यह आवाज़ों को उनके प्रकट होने के क्रम के आधार पर छाँटता है। क्योंकि माता-पिता आमतौर पर बच्चे को प्रेरित करने के लिए पहले बोलते हैं, इसलिए यह टूल दोनों आवाजों को लगभग 89% बार सफलतापूर्वक अलग कर सकता है, भले ही वे सुनने में बहुत समान क्यों न हों।
2. "सुनने वाला कान" (सेल्फ-सुपरवाइज्ड लर्निंग)
एक बार जब कंप्यूटर बच्चे की आवाज़ को अलग कर लेता है, तो उसे यह देखने के लिए विशिष्ट ध्वनियों (व्यंजन जैसे "ब" या "क", और स्वर जैसे "आ" या "ओ") को सुनना पड़ता है कि वे सही हैं या नहीं।
- टूल: शोधकर्ताओं ने "सेल्फ-सुपरवाइज्ड लर्निंग" (SSL) मॉडल का उपयोग किया। इन्हें सुपर-लिसनर्स (बेहतरीन श्रोता) के रूप में समझें जिन्होंने पहले से ही लाखों घंटों की वयस्क स्पीच (मुख्य रूप से अंग्रेजी) को "पढ़ा" है और सीख लिया है कि मानवीय आवाज़ें कैसे काम करती हैं। उन्हें शून्य से सिखाने की आवश्यकता नहीं थी; उन्हें बस यह दिखाने की आवश्यकता थी कि अपने ज्ञान को बच्चों की आवाज़ पर कैसे लागू किया जाए।
- प्रयोग: उन्होंने तीन अलग-अलग सुपर-लिसनर्स का परीक्षण किया:
- wav2vec: एक मॉडल जो विशेष रूप से कोरियाई भाषा के लिए ट्यून किया गया है।
- HuBERT: एक मॉडल जो विशिष्ट ध्वनि ब्लॉक्स (जैसे व्यंजन) को पहचानने में अच्छा है।
- WavLM: एक मॉडल जो शोर वाले वातावरण में भी स्पष्ट रूप से सुनने के लिए प्रशिक्षित है (स्वर/vowels के लिए अच्छा है)।
3. "ग्रेडिंग सिस्टम" (फैसला)
कंप्यूटर केवल अनुमान नहीं लगाता; यह यह तय करने के लिए कि कोई शब्द सही ढंग से बोला गया था या गलत, एक सरल गणितीय सूत्र (लॉजिस्टिक्स रिग्रेशन) का उपयोग करता है।
- ट्विस्ट: शोधकर्ताओं ने महसूस किया कि कोई भी एक अकेला "सुपर-लिसनर" हर चीज़ में परफेक्ट नहीं था।
- HuBERT व्यंजनों (कठोर ध्वनियों) को परखने में सबसे अच्छा था।
- WavLM स्वरों (कोमल ध्वनियों) को परखने में सबसे अच्छा था।
- विजेता: एक को चुनने के बजाय, उन्होंने एक टीम बनाई। उन्होंने व्यंजन संबंधी प्रश्नों को HuBERT को और स्वर संबंधी प्रश्नों को WavLM को भेजा। इस "टीम प्रयास" (एन्सेम्बल) ने उच्चतम सटीकता प्राप्त की, जिससे औसतन लगभग 78% ध्वनियों को सही ढंग से ग्रेड किया गया।
उन्होंने क्या उपयोग किया?
- डेटा: उन्होंने 2 से 5 वर्ष की आयु के कोरियाई बच्चों के 53 वास्तविक सत्रों को रिकॉर्ड किया।
- शब्द: उन्होंने विशेषज्ञों द्वारा चुनी गई 35 शब्दों की एक विशिष्ट सूची (जैसे "ऑस्ट्रिच," "स्ट्रॉबेरी," और "भालू") का उपयोग किया ताकि विभिन्न भाषण ध्वनियों का परीक्षण किया जा सके।
- ग्रेडिंग: तीन मानव विशेषज्ञों ने रिकॉर्डिंग सुनी और इस बात पर सहमति व्यक्त की कि बच्चे ने ध्वनियों को सही ढंग से बोला या गलत। इसने कंप्यूटर का परीक्षण करने के लिए एक "गोल्ड स्टैंडर्ड" बनाया।
मुख्य निष्कर्ष
यह शोध पत्र यह सिद्ध करता है कि आप एक घरेलू वातावरण में भी कोरियाई बच्चे के बोलने के स्तर की जांच करने के लिए एक पूरी तरह से स्वचालित प्रणाली बना सकते हैं।
- यह माता-पिता की "प्यारी" आवाज़ को बच्चे की आवाज़ से सफलतापूर्वक अलग करता है।
- यह बच्चों की आवाज़ को समझने के लिए पूर्व-प्रशिक्षित AI मॉडल (जो मूल रूप से वयस्कों के लिए प्रशिक्षित थे) का उपयोग करता है।
- विभिन्न AI मॉडलों के सर्वोत्तम हिस्सों को जोड़कर, यह लगभग 78% बार सही ढंग से बता सकता है कि बच्चा व्यंजन या स्वर सही ढंग से बोल रहा है या नहीं।
लेखक नोट करते हैं कि हालांकि यह प्रणाली अभी भी पूर्ण नहीं है (जब आवाजें बहुत अधिक ओवरलैप होती हैं तो यह कुछ गलतियाँ करती है), यह भविष्य के परीक्षणों के लिए ऑडियो रिकॉर्डिंग को मैन्युअल रूप से काटने की आवश्यकता को समाप्त करती है, जिससे समय की भारी बचत होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।