Pashto Common Voice: Building the First Open Speech Corpus for a 60-Million-Speaker Low-Resource Language
यह शोध पत्र पाश्तो कॉमन वॉयस कॉर्पस का परिचय देता है, जो पाश्तो के लिए पहला बड़े पैमाने का, ओपन स्पीच डेटासेट है, जिसे 2022 से 2025 तक एक समुदाय-संचालित प्रयास के माध्यम से विकसित किया गया था ताकि 6 करोड़ वक्ताओं वाली इस भाषा के लिए स्पीच रिकग्निशन प्रदर्शन में महत्वपूर्ण सुधार किया जा सके, जिससे विस्पर बेस (Whisper Base) को फाइन-ट्यून करने पर वर्ड एरर रेट (word error rate) 99.0% से घटकर 13.4% हो गया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि वॉयस टेक्नोलॉजी (जैसे सिरी, एलेक्सा, या गूगल असिस्टेंट) की दुनिया एक विशाल, हाई-टेक लाइब्रेरी है। दशकों से, इस लाइब्रेरी में अंग्रेजी, स्पेनिश, मंदारिन और दर्जनों अन्य प्रमुख भाषाओं की किताबें भरी हुई हैं। लेकिन पश्तो के लिए—एक ऐसी भाषा जो 6 करोड़ से अधिक लोगों द्वारा बोली जाती है (लगभग फ्रांस और ब्रिटेन की संयुक्त जनसंख्या के बराबर)—वहाँ एक पूरी तरह से खाली शेल्फ था।
यदि आप किसी मानक AI से पश्तो समझने के लिए कहते, तो यह वैसा ही होता जैसे किसी ऐसे शेफ से एकदम सही अफगान काबुली पुलाव बनाने के लिए कहना जिसे केवल इतालवी पास्ता बनाना आता है। उस शेफ के पास न तो सामग्री है, न रेसिपी, और न ही उसे पता है कि उन मसालों का स्वाद कैसा होता है।
यह शोध पत्र बताता है कि कैसे स्वयंसेवकों के एक समूह ने शून्य से उस गायब रेसिपी बुक को बनाया। यहाँ पश्तो कॉमन वॉयस प्रोजेक्ट की कहानी है, जिसे सरल रूप में समझाया गया है।
1. समस्या: मशीनों के लिए एक "अदृश्य" भाषा
पश्तो एक जटिल भाषा है। इसमें आठ विशेष ध्वनियाँ हैं जो अरबी या फारसी (जिनसे यह संबंधित भाषाएँ हैं) में मौजूद नहीं हैं। क्योंकि मानक कंप्यूटर कीबोर्ड में इन ध्वनियों के लिए बटन नहीं होते, इसलिए पश्तो में टाइप करने वाले लोग अक्सर इन्हें छोड़ देते हैं या गलत अक्षरों का उपयोग करते हैं।
इससे AI के लिए दोहरी समस्या पैदा हुई:
- डेटा का अभाव: AI को सिखाने के लिए पश्तो आवाजों का कोई बड़ा, मुफ्त संग्रह उपलब्ध नहीं था।
- खराब प्रशिक्षण: जो थोड़ा-बहुत डेटा मौजूद भी था, वह अव्यवस्थित था क्योंकि टेक्स्ट प्रॉम्प्ट्स (जो AI लोगों को पढ़ने के लिए देता था) अक्सर गलत वर्तनी वाले थे, जिससे AI इस बात को लेकर भ्रमित हो जाता था कि शब्द वास्तव में कैसे सुनाई देते हैं।
2. समाधान: एक "वॉयस गार्डन" बनाना
टीम ने मोज़िला कॉमन वॉयस का उपयोग करने का निर्णय लिया, जो एक विशाल सामुदायिक उद्यान (कम्युनिटी गार्डन) की तरह काम करता है। महंगे वॉयस एक्टर्स को काम पर रखने के बजाय, उन्होंने आम लोगों से खुद डेटा उगाने के लिए कहा।
उन्होंने इस उद्यान को सात चरणों में इस प्रकार विकसित किया:
- चरण 1: बाड़ बनाना (लोकलाइजेशन): सबसे पहले, उन्हें पूरी वेबसाइट का पश्तो में अनुवाद करना था। इससे पहले, साइट एक बंद दरवाजे की तरह थी; पश्तो बोलने वाले निर्देश देख भी नहीं सकते थे। एक बार जब उन्होंने दरवाजा खोल दिया, तो लोग आखिरकार प्रवेश कर सके।
- चरण 2 और 3: बीज बोना (वाक्य संग्रह): उन्हें लोगों के पढ़ने के लिए वाक्यों की आवश्यकता थी। उन्होंने हजारों वाक्य पश्तो विकिपीडिया से निकाले, अजीब वाक्यों को हटा दिया, और सुनिश्चित किया कि वे छोटे और स्पष्ट हों। उन्होंने पश्तो कहावतों को भी जोड़ा, जो भाषा के "सांस्कृतिक मसालों" की तरह हैं।
- चरण 4: गायब मसालों को ठीक करना (फोनेमिक टारगेटिंग): उन्हें एहसास हुआ कि AI अभी भी उन आठ विशेष पश्तो ध्वनियों को मिस कर रहा है। इसलिए, उन्होंने विशेष रूप से योगदानकर्ताओं से उन कठिन ध्वनियों वाले वाक्यों को रिकॉर्ड करने के लिए कहा। यह बागवानों को यह बताने जैसा था कि, "हमारे पास टमाटर तो बहुत हैं, लेकिन हमारे पास तीखी मिर्च की कमी है। कृपया अधिक मिर्च उगाएं!"
- चरण 5 और 6: बड़ी लहर (समुदाय और मीडिया): यह सबसे महत्वपूर्ण हिस्सा है। शुरुआत में, विकास धीमा था। फिर, एक टीम के सदस्य ने एक "लैंग्वेज ब्रोकर" की भूमिका निभाई। उन्होंने केवल ऑनलाइन पोस्ट नहीं किया; उन्होंने VOA पश्तो (एक प्रमुख रेडियो और टीवी नेटवर्क) को कॉल किया।
- उपमा: कल्पना कीजिए कि आप एक बगीचे के पाइप से एक स्विमिंग पूल भरने की कोशिश कर रहे हैं। इसमें बहुत समय लगता है। फिर, कोई फायर हाइड्रेंट (पानी का तेज़ स्रोत) चालू कर देता है।
- परिणाम: जब VOA पश्तो ने इस प्रोजेक्ट के बारे में एक कहानी प्रसारित की, तो स्वयंसेवकों की संख्या में विस्फोट हो गया। मात्र तीन महीनों में, बोलने वालों की संख्या 9 से बढ़कर 971 हो गई। यह 108 गुना वृद्धि थी! मीडिया कवरेज के "फायर हाइड्रेंट" ने कुछ ही दिनों में पूल भर दिया।
3. कटाई: उन्हें क्या मिला?
सितंबर 2025 तक, उन्होंने एक विशाल फसल काटी:
- 147 घंटे का रिकॉर्ड किया गया भाषण।
- 1,483 अद्वितीय आवाजें (वक्ता)।
- 60,000+ सत्यापित क्लिप्स (ऐसी रिकॉर्डिंग जिन्हें दो अन्य लोगों ने जांचा और कहा, "हाँ, यह अच्छा है")।
उन्होंने इन रिकॉर्डिंग्स को 13 अलग-अलग श्रेणियों में व्यवस्थित किया, जैसे कि "तकनीक," "समाचार," "धर्म," और "भोजन।" हालाँकि, उन्होंने एक कमी देखी: अधिकांश लोगों ने यह नहीं बताया कि वे पुरुष हैं या महिला, और अधिकांश योगदानकर्ता युवा वयस्क थे। इसका मतलब है कि यह "बगीचा" थोड़ा युवा है और इसमें लैंगिक विविधता की कमी है, जो भविष्य की परियोजनाओं के लिए एक सबक है।
4. स्वाद परीक्षण: क्या यह काम करता है?
अंतिम परीक्षण यह देखना था कि क्या अब एक AI वास्तव में पश्तो समझ सकता है।
- पहले: यदि आप मानक AI (विस्पर) से बिना किसी प्रशिक्षण के प meskipun पश्तो समझने के लिए कहते, तो वह 99% गलत होता। वह मूल रूप से केवल अनुमान लगा रहा था।
- बाद में: टीम ने AI को लिया और उनके नए पश्तो गार्डन का उपयोग करके उसे "फाइन-ट्यून" किया।
- परिणाम: AI की त्रुटि दर गिरकर 13.4% हो गई।
उपमा: कल्पना कीजिए कि एक छात्र है जिसे शून्य पश्तो आता है। आप उसे एक डिक्शनरी और एक टेक्स्टबुक देते हैं। अचानक, वह एक अच्छी बातचीत कर सकता है। वह अभी भी नेटिव स्पीकर नहीं है, लेकिन वह अब अनभिज्ञ नहीं है। यह "अनभिज्ञता" से "कार्यात्मक" होने की दिशा में एक बड़ी छलांग है।
5. बड़ा सबक
यह शोध पत्र उन लोगों के लिए एक आश्चर्यजनक अंतर्दृष्टि के साथ समाप्त होता है जो कम संसाधन वाली भाषाओं की मदद करना चाहते हैं:
तकनीक सबसे कठिन हिस्सा नहीं है; लोग हैं।
टीम ने कोई नया सुपर-कंप्यूटर या जादुई एल्गोरिदम का आविष्कार नहीं किया। सबसे बड़ी सफलता एक व्यक्ति से आई जो पत्रकारों से बात करना जानता था और एक रेडियो स्टेशन को कहानी बताने के लिए प्रेरित कर सका।
- सबक: यदि आप ऐसी भाषा के लिए वॉयस AI बनाना चाहते जिसे अनदेखा किया गया है, तो केवल कोड न लिखें। एक "ब्रिज बिल्डर" खोजें—कोई ऐसा जो आपके तकनीकी प्रोजेक्ट को कहानियों और मीडिया के माध्यम से समुदाय के दिल से जोड़ सके। यही मानवीय संबंध वह "फायर हाइड्रेंट" है जो पूल को भर देता है।
सारांश
यह शोध पत्र इस बात का ब्लूप्रिंट है कि कैसे एक समुदाय, एक साधारण वेबसाइट और एक अच्छी कहानी के साथ, एक मशीन को वह भाषा बोलने के लिए सिखा सकता है जिसे वह पहले अनदेखा कर रही थी। उन्होंने एक "मौन" भाषा को "बोलने वाली" भाषा में बदल दिया, यह साबित करते हुए कि सही सामुदायिक प्रयास के साथ, सबसे उपेक्षित भाषाएं भी AI के युग में अपनी आवाज़ पा सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।