WorldSpeech: A Multilingual Speech Corpus from Around the World
यह शोध पत्र WorldSpeech को प्रस्तुत करता है, जो 76 भाषाओं में 65,000 घंटों के संरेखित (aligned) ऑडियो-ट्रांसक्रिप्ट डेटा वाला एक बड़े पैमाने का बहुभाषी संग्रह है, जो कम संसाधन वाली भाषाओं के लिए स्वचालित वाक् पहचान (automatic speech recognition) प्रदर्शन में सुधार करते हुए शब्द त्रुटि दर (word error rate) को औसतन 63.5% तक कम कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया की हर भाषा बोलना सिखाने की कोशिश कर रहे हैं। अंग्रेजी या स्पेनिश जैसी लोकप्रिय भाषाओं के लिए, आपके पास किताबों और ऑडियोबुक्स का एक विशाल संग्रह है जहाँ रोबोट एक आवाज़ को सुन सकता है और साथ ही साथ बोले जा रहे सटीक शब्दों को पढ़ भी सकता है। यह एक आदर्श शिक्षक होने जैसा है।
लेकिन सैकड़ों अन्य भाषाओं के लिए, रोबोट भूखा है। उसके पास "शिक्षक" सामग्री बहुत कम है। उसके पास यहाँ-वहाँ बिखरे हुए कुछ पन्ने हो सकते हैं, लेकिन ठीक से सीखने के लिए पर्याप्त नहीं। यही वह समस्या है जिसे इस पेपर के लेखक, WorldSpeech, हल करने की कोशिश कर रहे हैं।
विशाल संग्रह: एक वैश्विक पुस्तकालय
शोधकर्ताओं ने WorldSpeech बनाया है, जो अनिवार्य रूप से रोबोटिक शिक्षकों के लिए एक विशाल, नया पुस्तकालय है।
- पैमाना: उन्होंने 65,000 घंटे का ऑडियो एकत्र किया। इसे समझने के लिए, यदि आप इस लाइब्रेरी को बिना रुके सुनें, तो इसे पूरा करने में आपको 7 साल से अधिक का समय लगेगा।
- विविधता: यह 76 अलग-अलग भाषाओं को कवर करता है, जिसमें प्रमुख विश्व भाषाओं से लेकर क्रेओल सेसेलवा (सेशेल्स से) और बर्मी जैसी छोटी, क्षेत्रीय भाषाएं शामिल हैं।
- स्रोत: उन्होंने केवल लोगों से खुद को रिकॉर्ड करने के लिए नहीं कहा (जो कि अव्यवस्थित हो सकता है)। इसके बजाय, वे सार्वजनिक रिकॉर्डों की खुदाई करने में जुट गए:
- संसद: सरकारी बैठकों की रिकॉर्डिंग जहाँ राजनेता बोलते हैं और आधिकारिक ट्रांसक्रिप्ट मौजूद होती है।
- प्रसारण: अंतर्राष्ट्रीय रेडियो स्टेशन जो कई भाषाओं में समाचार प्रसारित करते हैं।
- ऑडियोबुक्स: सार्वजनिक डोमेन की कहानियाँ जिन्हें बोलकर पढ़ा गया है।
इसे ऐसे समझें जैसे आपने उपलब्ध सभी सार्वजनिक भाषणों, समाचार प्रसारणों और कहानी की किताबों को इकट्ठा किया और उन्हें व्यवस्थित किया ताकि एक कंप्यूटर उनसे सीख सके।
"मैचमेकर" (जोड़ी बनाने वाला) की समस्या
केवल ऑडियो और टेक्स्ट होना ही काफी नहीं है; उन्हें पूरी तरह से सिंक्रोनाइज़ (एक साथ मेल खाना) होना चाहिए। कंप्यूटर को यह जानने की आवश्यकता है कि "hello" शब्द की आवाज़ ठीक उसी सेकंड में टेक्स्ट "hello" से मेल खाती है।
यह कठिन है क्योंकि:
- फॉर्मेट अव्यवस्थित हैं: कुछ ऑडियो MP3 में हैं, कुछ वीडियो फाइलों में। कुछ टेक्स्ट दो कॉलम वाले PDF में हैं, कुछ पुराने वर्ड डॉक्यूमेंट्स में। टीम को इन सभी अलग-अलग फॉर्मेट को ठीक करने के लिए एक "क्लीनिंग क्रू" (सफाई दल) बनाना पड़ा।
- "खराब अनुवादक" का मुद्दा: ऑडियो को टेक्स्ट के साथ मिलाने के लिए, उन्होंने पहले एक मानक AI (एक "अनुवादक") का उपयोग किया जिससे यह अनुमान लगाया जा सके कि क्या बोला जा रहा है। यदि AI किसी विशिष्ट भाषा (जैसे बर्मी या लाओ) के लिए खराब है, तो वह गलत अनुमान लगाता है, और कंप्यूटर मिलान करने में विफल रहता है। यह एक पहेली के टुकड़े को जोड़ने जैसा है जब उस टुकड़े पर बनी तस्वीर धुंधली हो; आप देख ही नहीं सकते कि वह कहाँ फिट बैठता है।
"इटरेटिव" (पुनरावृत्ति) ट्रिक: अधिक खोजने के लिए स्मार्ट बनना
यही इस पेपर का सबसे चतुर कदम है। उन्होंने महसूस किया कि उन भाषाओं के लिए जहाँ शुरुआती AI खराब था, वे बहुत सारा अच्छा डेटा फेंक रहे थे क्योंकि "मैच" विफल हो रहा था।
इसलिए, उन्होंने एक फीडबैक लूप बनाया:
- राउंड 1: वे एक बुनियादी AI का उपयोग करते हैं जो उस चीज़ को मैच कर सकता है जिसे वह मैच कर सकता है।
- ट्रेनिंग: वे उस बुनियादी AI को उन मैचों का उपयोग करके सिखाते हैं जो उसने ढूँढे थे।
- राउंड 2: वे इस नए "स्मार्टर" AI का उपयोग उसी ऑडियो को फिर से देखने के लिए करते हैं। क्योंकि AI अब उस विशिष्ट भाषा के लिए बेहतर है, वह अंततः उन शब्दों को पहचान सकता है जिन्हें उसने पहले छोड़ दिया था।
- परिणाम: उन्होंने बहुत सारा अतिरिक्त डेटा वापस प्राप्त किया—कुछ कठिन भाषाओं के लिए उपलब्ध घंटों को दोगुना या तिगुना तक बढ़ा दिया—बिना एक भी नया सेकंड का ऑडियो रिकॉर्ड किए।
परिणाम: रोबोट को सिखाना
उन्होंने इस नए पुस्तकालय का परीक्षण एक मानक स्पीच-रिकग्निशन मॉडल (एक रोबोट) को सिखाकर किया, जिसे WorldSpeech का उपयोग करके प्रशिक्षित किया गया।
- सुधार: 11 अलग-अलग भाषाओं के लिए, रोबोट की गलतियाँ नाटकीय रूप से कम हो गईं। औसतन, त्रुटि दर में 63.5% की कमी आई।
- "जादुई" मामले: कुछ भाषाओं के लिए जहाँ रोबोट पहले पूरी तरह से खो गया था (सही शब्दों से अधिक गलतियाँ करना), इस नए प्रशिक्षण ने उसे एक सक्षम वक्ता बना दिया। उदाहरण के लिए, सामोआ भाषा के लिए, रोबमा लगभग बेकार होने से लेकर बहुत कम गलतियाँ करने तक पहुँच गया।
कमी (सीमाएँ)
लेखक अपनी लाइब्रेरी की खामियों के बारे में ईमानदार हैं:
- "औपचारिक" पूर्वाग्रह: अधिकांश ऑडियो राजनेताओं और समाचार एंकरों का है। ये लोग बहुत औपचारिक, स्पष्ट और धीरे बोलते हैं। रोबोट को संघर्ष करना पड़ सकता है यदि वह किसी आम व्यक्ति से अनौपचारिक, तेज़-तर्रार या स्लैंग (बोलचाल की भाषा) वाली बातचीत करने की कोशिश करता है।
- "गुणवत्ता" की सीमा: अंतिम मिलान की गुणवत्ता उस AI पर निर्भर करती है जिसका उपयोग मिलान करने के लिए किया जाता है। यदि AI किसी भाषा के लिए बहुत खराब है, तो यह स्मार्ट प्रक्रिया भी एक सटीक मिलान नहीं खोज सकती।
सारांश
संक्षेप में, WorldSpeech पेपर 76 भाषाओं के बोले गए शब्दों और उनके लिखित ट्रांसक्रिप्ट के लिए एक विशाल, सार्वजनिक पुस्तकालय बनाने के बारे में है। उन्होंने उस हिस्से को ठीक करने के लिए एक चतुर "अभ्यास से पूर्णता" (practice makes perfect) रणनीति का उपयोग किया जो व्यवस्थित करने में कठिन था। परिणाम एक विशाल डेटासेट है जो कंप्यूटर को बहुत अधिक भाषाओं को समझने और बोलने में मदद करता है, विशेष रूप से सरकारी बैठकों और रेडियो प्रसारणों जैसे सार्वजनिक रिकॉर्ड से सीखकर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।