DONDO: Open w2v-BERT Speech-Recognition Base Models for African Languages
यह शोध पत्र DONDO को प्रस्तुत करता है, जो w2v-BERT 2.0 पर आधारित 27 अफ्रीकी भाषाओं के लिए एक ओपन, परमिसिवली लाइसेंस प्राप्त ASR मॉडल्स का एक परिवार है, जो धार्मिक पाठ डेटा और एक नवीन लर्निंग-रेट-एनियल्ड फाइन-ट्यूनिंग रणनीति का लाभ उठाता है ताकि लगभग 100 मिलियन प्रथम-भाषा बोलने वालों को कवर करते हुए मोनोलिंगुअल और मल्टीलिंगुअल दोनों सेटिंग्स में प्रतिस्पर्धी प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को सुनने और समझने के लिए सिखाने की कोशिश कर रहे हैं। लंबे समय से, वैज्ञानिक रोबोट को अंग्रेजी या मंदारिन जैसी बड़ी, लोकप्रिय भाषाओं को समझने के लिए सिखाने में बहुत अच्छे रहे हैं, मुख्य रूप से इसलिए क्योंकि उनके पास अध्ययन करने के लिए रिकॉर्ड की गई बातचीत और लिखित नोट्स का अंबार है। लेकिन अन्य हजारों भाषाओं के लिए, विशेष रूप से अफ्रीका में बोली जाने वाली कई भाषाओं के लिए, रोबोट प्रभावी रूप से बहरा है। ऐसा इसलिए नहीं है कि रोबोट सीखने के लिए बहुत कम बुद्धिमान है; बल्कि इसलिए है क्योंकि उसके अभ्यास के लिए लगभग कोई "होमवर्क" उपलब्ध नहीं है। इन भाषाओं में बोलने वाले लोगों की रिकॉर्डिंग बहुत कम है, और उन्हें मिलान करने के लिए लिखित ट्रांसक्रिप्ट तो और भी कम हैं। यह शोध पत्र, जिसे खया एआई (Khaya AI) नामक टीम ने लिखा है, इस समस्या का समाधान करने के लिए विशेष रूप से इन कम सेवा प्राप्त भाषाओं के लिए डिज़ाइन किए गए एक नए प्रकार के "सुनने वाले मस्तिष्क" का निर्माण करके इस पर काम करता है।
उनके समाधान को समझने के लिए, आपको दो चीजों के बारे में जानना आवश्यक है। पहला, "सेल्फ-सुपरवाइज्ड लर्निंग" (स्व-पर्यवेक्षित शिक्षण) मॉडल हैं। इन्हें एक ऐसे छात्र के रूप में सोचें जो केवल घंटों तक रेडियो सुनकर किसी भाषा की ध्वनियों को सीख सकता है, भले ही उसे अभी यह न पता हो कि शब्दों का अर्थ क्या है। वे भाषण की लय और धुन को पहचानने में बहुत कुशल हो जाते हैं। दूसरा, "फाइन-ट्यूनिंग" (सूक्ष्म-समायोजन) का विचार है। एक बार जब छात्र ध्वनियों को सीख लेता है, तो आप उसे एक विशिष्ट पाठ्यपुस्तक (लेबल किए गए डेटा का एक छोटा सेट) देते हैं ताकि वह किसी एक विशिष्ट भाषा की वास्तविक शब्दावली और व्याकरण सीख सके। चुनौती यह रही है कि कई अफ्रीकी भाषाओं के लिए, वह "पाठ्यपुस्तक" भी गायब है या बहुत छोटी है। यह शोध पत्र डोंडो (DONDO) नामक मॉडलों का एक नया परिवार पेश करता है (जिसका अर्थ है 'डेमोक्रेटाइजिंग ओरल न्यूरल डायलेक्ट ऑन्टोलॉजी')। यह उपकरणों का एक सेट है जो एक शक्तिशाली, पूर्व-प्रशिक्षित "सुनने वाले मस्तिष्क" को लेता है और उसे 27 अलग-अलग अफ्रीकी भाषा विविधताओं को बोलना सिखाता है, जिसमें एक चतुर तकनीक का उपयोग किया गया है ताकि एक ही मस्तिष्क एक साथ कई भाषाओं को संभालने के लिए पर्याप्त स्मार्ट बन सके।
समस्या: लुप्त पुस्तकालय
दुनिया के अधिकांश हिस्सों के लिए, स्पीच टेक्नोलॉजी (भाषण तकनीक) एक परिपक्व उपकरण है। आप अपने फोन से अपने मूल स्वर में टाइमर सेट करने के लिए कह सकते हैं या अपनी कार को संगीत चलाने के लिए कह सकते हैं। लेकिन गा (Ga), एवे (Ewe), हौसा (Hausa), या शोना (Shona) जैसी भाषाएं बोलने वाले लाखों लोगों के लिए, यह तकनीक अस्तित्व में ही नहीं है। बाधा यह नहीं है कि कंप्यूटर नहीं बनाए जा सकते; बल्कि बाधा "ट्रांसक्राइब्ड ऑडियो" (लिखित रूप में दर्ज ऑडियो) की कमी है। कंप्यूटर को सिखाने के लिए, आपको लोगों के बोलने की रिकॉर्डिंग और जो उन्होंने कहा उसके सटीक टेक्स्ट की आवश्यकता होती है। कई अफ्रीकी भाषाओं के लिए, यह डेटा बिखरा हुआ, बहुत कम या गैर-मौजूद है।
इस शोध पत्र के लेखकों ने पूर्ण डेटा का इंतजार करना बंद करने और जो उनके पास था उसी के साथ निर्माण करने का निर्णय लिया। उन्होंने महसूस किया कि हालांकि अनौपचारिक बातचीत की बहुत अधिक रिकॉर्डिंग नहीं हैं, लेकिन एक जगह ऐसी है जहाँ लोग दशकों से भाषण को रिकॉर्ड और ट्रांसक्राइब करते आ रहे हैं: धार्मिक ग्रंथ। ये रिकॉर्डिंग हर जगह उपलब्ध हैं, वे आमतौर पर मुफ्त उपयोग के लिए हैं (लाइसेंस-मुक्त), और टेक्स्ट बहुत सुसंगत है। इसका ट्रेड-ऑफ यह है कि वे थोड़े औपचारिक और सीमित लगते हैं, जैसे किसी पार्टी में गपशप करने के बजाय एक किताब को जोर से पढ़ना। लेकिन लेखकों ने इसे एक आदर्श शुरुआती बिंदु के रूप में देखा—एक आधार जिस पर आगे निर्माण किया जा सके।
समाधान: एक स्मार्ट, साझा मस्तिष्क
टीम ने डोंडो (DONDO) बनाया, जो 26 मॉडलों का एक परिवार है (21 एकल भाषाओं के लिए और 5 भाषाओं के समूहों को संभालने वाले)। उन्होंने एक शक्तिशाली, पूर्व-मौजूद "सुनने वाले मस्तिष्क" से शुरुआत की जिसे w2v-BERT 2.0 कहा जाता है, जिसने पहले से ही दुनिया भर के भारी मात्रा में ऑडियो को सुना था। हर एक भाषा के लिए एक नया मस्तिष्क शून्य से प्रशिक्षित करने के बजाय, उन्होंने इस साझा मस्तिष्क को लिया और इसे एक विशिष्ट प्रशिक्षण प्रक्रिया दी।
यहाँ चतुर हिस्सा यह है: उन्होंने सभी भाषाओं को एक साथ मस्तिष्क में नहीं डाला और बस बेहतर होने की उम्मीद नहीं की। उन्होंने एक दो-चरणीय सीखने की प्रक्रिया (कुछ समूहों के लिए तीन-चरणीय प्रक्रिया) का उपयोग किया।
- चरण 1 (कच्चा मसौदा): उन्होंने मस्तिष्क को एक समूह की सभी भाषाओं को तेजी से पहचानना सिखाया। यह एक त्वरित स्केच की तरह था; मस्तिष्क ने सामान्य विचार तो प्राप्त कर लिया लेकिन बहुत सारी गलतियाँ भी कीं।
- चरण 2 (पॉलिश/निखार): उन्होंने सीखने की गति को काफी कम कर दिया। इसने मस्तिष्क को अपनी समझ को परिष्कृत करने, गलतियों को सुधारने और समान ध्वनियों के बीच अंतर करने की क्षमता को तेज करने की अनुमति दी।
यह "लर्निंग-रेट एनिलिंग" (एक फैंसी तरीका यह कहने का कि "इसे सही करने के लिए धीमा हो जाओ") ही असली सफलता का सूत्र था। इसने मॉडलों को प्रारंभिक भ्रम से उबरने में मदद की और कई मामलों में, यह प्रदर्शन करने में सक्षम रहा जैसा कि यदि उन्हें अकेले एक भाषा पर प्रशिक्षित किया गया होता।
जादुई ट्रिक: भाषा आईडी कार्ड
आमतौर पर, यदि आपके पास एक मॉडल है जो पांच भाषाएं जानता है, तो आपको सॉफ़्टवेयर आर्किटेक्चर को बदलकर या अतिरिक्त भाग जोड़कर उसे बताना पड़ता है कि कौन सी भाषा उपयोग करनी है। डोंडो एक बहुत ही हल्का तरीका उपयोग करता है जिसे प्रिफिक्स-फ्रेम लैंग्वेज कंडीशनिंग कहा जाता है।
कल्पना कीजिए कि ऑडियो एक लंबी फिल्म है। फिल्म शुरू होने से पहले, मॉडल को एक छोटा, अदृश्य "आईडी कार्ड" (डेटा के कुछ फ्रेम) दिखाया जाता है जो कहता है, "आज, हम स्वाहिली बोल रहे हैं" या "आज, हम योरूबा बोल रहे हैं।" यह आईडी कार्ड ऑडियो स्ट्रीम की शुरुआत में ही चिपका दिया जाता है। मॉडल इस कार्ड को पढ़ता है, अपने आंतरिक "डायलेक्ट मोड" को बदलता है, और फिर बाकी के ऑडियो को सुनता है। इसका मतलब है कि एक ही मॉडल फ़ाइल केवल शुरुआत में उस छोटे से आईडी कार्ड को बदलकर कई भाषाओं को संभाल सकती है। भारी मशीनरी बदलने की आवश्यकता नहीं है।
परिणाम: अंतर को कम करना
टीम ने घाना, सिएरा लियोन, नाइजीरिया, सेनेगल, केन्या और जिम्बाब्वे की 27 भाषा विविधताओं पर इन मॉडलों का परीक्षण किया।
- संख्या: "पॉलिशिंग" चरण के बाद, मल्टीलिंगुअल मॉडलों ने औसतन 10-13% का वर्ड एरर रेट (WER) प्राप्त किया। यह एक माप है कि कंप्यूटर कितनी गलतियाँ करता है; यह जितना कम हो, उतना बेहतर है।
- तुलना: कई मामलों में, ये साझा मॉडल उन मॉडलों के लगभग बराबर थे जिन्हें केवल एक भाषा पर प्रशिक्षित किया गया था। कुछ भाषाओं के लिए, जैसे फ्रेंच और फान्ते (Fante), साझा मॉडल वास्तव में एकल-भाषा मॉडल से बेहतर प्रदर्शन कर रहा था, जिससे पता चलता कि एक साथ कई भाषाएँ सीखने से मस्तिष्क को ध्वनियों को अधिक स्पष्ट रूप से समझने में मदद मिली।
- पहुंच: लेखक अनुमान लगाते हैं कि ये मॉडल लगभग 115 मिलियन प्रथम-भाषा बोलने वालों को कवर करते हैं। यदि आप उन लोगों को शामिल करते हैं जो इन भाषाओं को दूसरी भाषा के रूप में बोलते हैं (जैसे हौसा या नाइजीरियाई पिडगिन, जो व्यापारिक भाषा के रूप में उपयोग की जाती हैं), तो यह संख्या बढ़कर लगभग 290 मिलियन लोगों तक पहुँच जाती है।
यह क्यों महत्वपूर्ण है
इस शोध पत्र का सबसे महत्वपूर्ण हिस्सा केवल तकनीक नहीं है; यह दर्शन है। लेखकों ने अपने सभी 26 मॉडलों को मुफ्त में एक ऐसे लाइसेंस के तहत जारी किया है जो किसी को भी उनका उपयोग करने की अनुमति देता है, यहाँ तक कि व्यावसायिक उत्पादों के लिए भी, बशर्ते वे श्रेय दें। वे इसे तकनीक का "लोकतांत्रिक बनाना" (democratizing) कहते हैं।
वे यह दावा नहीं कर रहे हैं कि ये मॉडल हर स्थिति के लिए पूर्ण हैं। चूंकि उन्हें धार्मिक पाठों पर प्रशिक्षित किया गया है, इसलिए वे शोर वाले बाजारों या तेज़, स्लैंग वाली बातचीत में संघर्ष कर सकते हैं जब तक कि कोई और उन्हें उस विशिष्ट डेटा के साथ फाइन-ट्यून न करे। लेकिन उन्होंने चढ़ाई के लिए एक "बेस कैंप" प्रदान किया है। दुनिया को एक ठोस, खुला आधार देकर, वे आशा करते हैं कि अफ्रीका भर के डेवलपर्स, शोधकर्ता और समुदाय अब अपने स्वयं के स्पीच टूल्स बना सकते हैं, जिससे अंततः उन लाखों लोगों को आवाज मिलेगी जिन्हें डिजिटल बातचीत से बाहर छोड़ दिया गया था।
संक्षेप में, डोंडो (DONDO) यह साबित करता है कि रोबोट को सुनना सिखाने के लिए आपको एक पूर्ण पुस्तकालय की आवश्यकता नहीं है। थोड़ी रचनात्मकता, एक साझा मस्तिष्क और एक धीमी, सावधानीपूर्ण पद्धति के साथ, आप करोड़ों बोलने वालों के लिए भविष्य का मार्ग बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।