From Scarcity to Scale: A Release-Level Analysis of the Pashto Common Voice Dataset
यह शोध पत्र तेजी से बढ़ते पाश्तो कॉमन वॉयस डेटासेट (v2.4.0) का एक मात्रात्मक विश्लेषण प्रस्तुत करता है, जो इसके लगभग 2,800 घंटों तक बढ़ने पर प्रकाश डालता है और अत्यधिक योगदानकर्ता एकाग्रता, विषम आयु जनसांख्यिकी, और लिंग मेटाडेटा में महत्वपूर्ण अंतराल जैसे महत्वपूर्ण चुनौतियों की पहचान करता है जिन्हें ऑटोमैटिक स्पीच रिकग्निशन के लिए कॉर्पस की उपयोगिता में सुधार करने हेतु संबोधित किया जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को पश्तो बोलना सिखाने की कोशिश कर रहे हैं, जो एक ऐसी भाषा है जिसे 6 करोड़ से अधिक लोग बोलते हैं। लंबे समय तक, रोबोट भोजन (डेटा) के लिए भूखा था। उसके पास खाने के लिए लगभग कुछ भी नहीं था, जिससे उसके लिए भाषा को ठीक से सीखना असंभव हो गया था।
यह शोध पत्र एक विशाल सामुदायिक रसोई के प्रगति रिपोर्ट की तरह है जिसने आखिरकार इस रोबोट के लिए खाना बनाना शुरू कर दिया है। इस रसोई का नाम मोज़िला कॉमन वॉयस (Mozilla Common Voice) है, और यह आम लोगों (स्वयंसेवकों) पर निर्भर करती है जो अपनी आवाज़ रिकॉर्ड करते हैं और एक-दूसरे के काम की जाँच करते हैं।
यहाँ इस कहानी का विवरण है कि कैसे पश्तो "रसोई" एक खाली पेंट्री से एक विशाल गोदाम में बदल गई, और जब शोधकर्ताओं ने इसके अंदर देखा तो उन्हें क्या मिला।
1. एक कण से एक दावत तक (विकास की कहानी)
2023 के मध्य में, इस रसोई के पश्तो अनुभाग में रिकॉर्ड की गई आवाज़ मात्र 1.5 घंटे थी। यह एक अकेले अंडे के साथ एक विशाल केक बनाने की कोशिश करने जैसा था।
दिसंबर 2025 (वह संस्करण जिसका विश्लेषण किया गया) तक, यह बढ़कर कुल लगभग 2,800 घंटे की रिकॉर्डिंग हो गई। यह एक विशाल दावत है! हालाँकि, एक पेच है: सिर्फ इसलिए कि खाना पक गया है, इसका मतलब यह नहीं है कि वह परोसने के लिए तैयार है।
- "सत्यापित" (Validated) भोजन: केवल लगभग 976 घंटे ही अन्य स्वयंसेवकों द्वारा चखा और स्वीकृत किया गया है। यह "खाने के लिए सुरक्षित" भोजन है जो रोबोट के सीखने के लिए तैयार है।
- "लंबित" (Pending) भोजन: बाकी सब अभी रसोई में है, जाँच होने का इंतज़ार कर रहा है। यह स्वादिष्ट है, लेकिन रोबोट इसे अभी नहीं खा सकता क्योंकि किसी ने इस पर मुहर नहीं लगाई है।
उपमा: एक पुस्तकालय की कल्पना करें जहाँ लोग किताबें लिख रहे हैं। उन्होंने 2,800 किताबें लिखी हैं, लेकिन केवल 976 को प्रूफरीड किया गया है और "अनुमोदित" (Approved) का स्टैम्प लगाया गया है। रोबोट केवल स्वीकृत वाली ही पढ़ सकता है।
2. "सुपर-कंट्रीब्यूटर्स" की समस्या (असमानता)
शोधकर्ताओं ने देखा कि खाना कौन बना रहा था। उन्होंने एक बड़ा असंतुलन पाया, जो एक ऐसी पार्टी के समान है जहाँ 90% भोजन केवल तीन लोगों द्वारा लाया जाता है, जबकि बाकी सभी बहुत कम नाश्ता लाते हैं।
- गिनी गुणांक (Gini Coefficient): यह एक फैंसी गणितीय स्कोर है जो असमानता को मापता है। पश्तो डेटासेट का स्कोर 0.941 था, जो बहुत अधिक है (0 पूर्ण समानता है, 1 पूर्ण एकाधिकार है)।
- इसका अर्थ: स्वयंसेवकों के एक छोटे से समूह ने स्वीकृत ऑडियो का एक बड़ा हिस्सा रिकॉर्ड किया। हालाँकि इससे लाइब्रेरी तेज़ी से बढ़ी, लेकिन इसका मतलब यह है कि रोबोट मुख्य रूप से कुछ विशिष्ट आवाज़ों से सीख रहा है। यह उन "मौन बहुमत" (silent majority) के लहजों या बोलने की शैलियों को समझने में संघर्ष कर सकता है जिन्होंने बहुत अधिक रिकॉर्डिंग नहीं की।
3. गायब पहचान पत्र (जनसांख्यिकी)
रोबोट को निष्पक्ष होने के लिए सिखाने हेतु, आपको यह जानना आवश्यक है कि कौन बोल रहा है। क्या वह एक बच्चा है? एक बुजुर्ग व्यक्ति है? एक पुरुष है? एक महिला है?
- आयु का अंतर: यह रसोई बहुत युवा है। लगभग 80% रिकॉर्डिंग 20 और 30 के दशक के लोगों की है। दादा-दादी/नाना-नानी (60 वर्ष से अधिक आयु के लोग) की बहुत कम रिकॉर्डिंग हैं।
- जोखिम: यदि रोबोट केवल युवाओं से सीखता है, तो यह एक किशोर के लिए बेहतरीन लग सकता है लेकिन जब कोई बुजुर्ग इससे बात करेगा तो यह बुरी तरह विफल हो सकता है।
- लापता लेबल: लगभग 42% रिकॉर्डिंग में लिंग (gender) का लेबल नहीं था। स्वयंसेवकों ने यह नहीं बताया कि "मैं एक पुरुष हूँ" या "मैं एक महिला हूँ।"
- रहस्य: जब शोधकर्ताओं ने इन "गुमनाम" आवाज़ों के एक नमूने को सुना, तो कई आवाज़ें पुरुषों जैसी लगीं, भले ही उन्हें लेबल नहीं किया गया था। यह जानना कठिन बना देता है कि रोबमा पुरुषों या महिलाओं से पर्याप्त रूप से सीख रहा है या नहीं।
4. मेनू (वाक्यों की विविधता)
अंत में, उन्होंने "मेनू" (वे वाक्य जिन्हें पढ़ने के लिए लोगों से कहा गया था) की जाँच की।
- अच्छी खबर: मेनू वास्तव में काफी विविध है। लोगों ने केवल वही 10 वाक्य बार-बार नहीं दोहराए। लगभग 36% अद्वितीय वाक्य आधे डेटा का निर्माण करते हैं, जो एक स्वस्थ मिश्रण है।
- बुरी खबर: समस्या मेनू की नहीं है; समस्या भोजन करने वालों की है। क्योंकि वही कुछ लोग बार-बार एक ही चीज़ ऑर्डर कर रहे हैं, इसलिए विविधता उनके द्वारा कहे गए शब्दों से आती है, न कि किसने कहा उससे।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि पश्तो भाषा भुखमरी से दावत तक पहुँच गई है, लेकिन इस दावत में कुछ संरचनात्मक समस्याएँ हैं:
- कुछ सुपर-फैन्स पर बहुत अधिक निर्भरता (जो सब कुछ रिकॉर्ड करते हैं)।
- बुजुर्ग आवाज़ों की कमी (रोबोट बुजुर्गों को नहीं समझ पाएगा)।
- बहुत सारे "गुमनाम" व्यंजन (हमें नहीं पता कि कौन बोल रहा है)।
- अन-चेक किए गए भोजन का बड़ा बैकलॉग (हमारे पास बहुत सारा डेटा है, लेकिन हमें इसे प्रूफरीड करने के लिए अधिक लोगों की आवश्यकता है)।
मुख्य बात: हमने पश्तो के लिए एक विशाल पुस्तकालय बनाया है, जो एक बड़ी जीत है। लेकिन रोबोट को वास्तव में स्मार्ट और सभी के लिए निष्पक्ष बनाने के लिए, हमें अधिक उम्र के लोगों को आमंत्रित करने, अधिक विविध आवाज़ों को शामिल करने के लिए प्रोत्साहित करने और रिकॉर्डिंग को प्रूफरीड करने में मदद करने के लिए अधिक स्वयंसेवकों को जोड़ने की आवश्यकता है। यह केवल अधिक डेटा के बारे में नहीं है; यह बेहतर डेटा के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।