💬 NLP

Tone-Conditioned Curriculum Learning for Low-Resource Bantu Speech Recognition

यह शोध पत्र एक टोन-कंडीशन्ड करिकुलम लर्निंग फ्रेमवर्क प्रस्तुत करता है जो हाइब्रिड डिफिकल्टी स्कोरिंग, टोनल स्टैटिस्टिक्स और स्टेज्ड ट्रेनिंग का लाभ उठाकर छह दक्षिणी बांटू भाषाओं के लिए लो-रिसोर्स स्पीच रिकग्निशन में महत्वपूर्ण सुधार करता है, साथ ही यह भी प्रदर्शित करता है कि इष्टतम मॉडल चयन (W2V-BERT बनाम Whisper) विशिष्ट भाषा परिवार पर निर्भर करता है।

मूल लेखक: Kesego Mokgosi, Vukosi Marivate, Sitwala Mundia, Unarine Netshifhefhe, Tsholofelo Hope Mogale, Thapelo Sindane

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kesego Mokgosi, Vukosi Marivate, Sitwala Mundia, Unarine Netshifhefhe, Tsholofelo Hope Mogale, Thapelo Sindane

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को छह अलग-अलग अफ्रीकी भाषाएँ (जैसे isiZulu, isiXhosa, और Setswana) समझने के लिए सिखाने की कोशिश कर रहे हैं। ये भाषाएँ 8 करोड़ से अधिक लोगों द्वारा बोली जाती हैं, लेकिन ये "लो-रिसोर्स" (low-resource) हैं, जिसका अर्थ है कि इन्हें प्रशिक्षित करने के लिए बहुत कम डिजिटल रिकॉर्डिंग उपलब्ध हैं।

समस्या यह है कि ये भाषाएँ टोनल (tonal) हैं। बिल्कुल एक गाने की तरह, आपकी आवाज़ का पिच (pitch) शब्द का अर्थ बदल देता है। अंग्रेजी में, यदि आप "cat" को ऊँची या नीची आवाज़ में कहते हैं, तो वह अभी भी "cat" ही रहता है। इन बंटू (Bantu) भाषाओं में, पिच बदलने से "cat" बदलकर "dog" हो सकता है या एक साधारण कथन प्रश्न में बदल सकता है।

वर्तमान विशाल AI मॉडल (जैसे Whisper) कई भाषाओं के लिए बेहतरीन हैं, लेकिन जब वे इन विशिष्ट अफ्रीकी भाषाओं को बिना अतिरिक्त प्रशिक्षण के बोलने की कोशिश करते हैं, तो वे बुरी तरह विफल हो जाते हैं। वे 100% से भी अधिक शब्द गलत कर देते हैं (जिसका अर्थ है कि वे बेतरतीब ढंग से अनुमान लगा रहे हैं)।

लेखकों ने इसे कैसे ठीक किया, इसके लिए उन्होंने एक सरल तीन-चरणीय विधि का उपयोग किया:

1. "स्मार्ट सिलेबस" (Curriculum Learning)

कल्पना कीजिए कि आप एक छात्र को पढ़ा रहे हैं। आप उसे पहले दिन ही कठिन कैलकुलस की किताब नहीं देंगे; आप शुरुआत सरल जोड़ (addition) से करेंगे। इसे करिकुलम (curriculum) कहा जाता है।

शोधकर्ताओं ने उनके प्रशिक्षण डेटा के प्रत्येक वाक्य के लिए एक विशेष "कठिनाई स्कोर" बनाया। उन्होंने केवल यह नहीं देखा कि वाक्य को पढ़ना कितना कठिन है; उन्होंने दो चीजों पर गौर किया:

ऑडियो कितना अस्त-व्यस्त था (बैकग्राउंड शोर, खराब रिकॉर्डिंग)।
उस वाक्य में "संगीत" (सुर/tones) कितना जटिल था।

उन्होंने वाक्यों को "आसान" से "कठिन" के क्रम में व्यवस्थित किया। रोबोट ने पहले आसान, स्पष्ट वाक्यों को सीखा। एक बार जब वह उनमें अच्छा हो गया, तो उन्होंने धीरे-धीरे अस्त-व्यस्त और जटिल वाक्यों को पेश किया। इसने रोबोट को भ्रमित होने या शुरुआत में ही "हार मान लेने" से बचाया।

2. "पिच चश्मा" (Tone-Conditioned Adapters)

एक अच्छे सिलेबस के साथ भी, रोबोट को सुरों (tones) को "देखने" के तरीके की आवश्यकता थी। चूंकि लिखित पाठ में पिच का संकेत नहीं होता, इसलिए रोबलेट इसके प्रति अंधा था।

लेखकों ने रोबोट के मस्तिष्क के लिए एक छोटा, हल्का एड-ऑन (जैसे कि विशेष चश्मे) बनाया।

यह कैसे काम करता है: वाक्य को समझने से पहले, यह एड-ऑन आवाज़ के पिच का विश्लेषण करता है। यह पूछता है, "क्या यह वाक्य ऊँचा स्वर गा रहा है? क्या यह बहुत अधिक ऊपर-नीचे हो रहा है?"
द गेटकीपर (Gatekeeper): यह एड-ऑन एक द्वारपाल की तरह कार्य करता है। यदि किसी वाक्य के सुर बहुत जटिल हैं, तो यह द्वार चौड़ा हो जाता है ताकि रोबोट पिच पर अतिरिक्त ध्यान दे सके। यदि वाक्य सरल है, तो द्वार काफी हद तक बंद रहता है ताकि रोबोट विचलित न हो।

यह एड-ऑन बहुत छोटा है (केवल 2.1 मिलियन अतिरिक्त पैरामीटर), इसलिए इसे सीमित डेटा के साथ प्रशिक्षित करना सस्ता और तेज़ है।

3. परिणाम: एक आकार सभी के लिए उपयुक्त नहीं है

शोधकर्ताओं ने इन नए उपकरणों के साथ तीन अलग-अलग प्रकार के रोबोट मस्तिष्क (Whisper, W2V-BERT, और MMS) का परीक्षण किया। यहाँ उन्हें क्या पता चला:

"परिवार" का विभाजन: भाषाएँ दो मुख्य परिवारों में आती हैं।
- Nguni परिवार (जैसे isiZulu और isiXhosa): W2V-BERT रोबोट मस्तिष्क सबसे उपयुक्त था। इसने अन्य की तुलना में इन भाषाओं को बहुत बेहतर समझा।
- Sotho-Tswana परिवार (जैसे Sesotho और Setswana): यहाँ Whisper रोबोट मस्तिष्क विजेता रहा।
टोन बूस्ट (Tone Boost): "पिच चश्मा" जोड़ने से W2V-BERT रोबोट की मदद मिली, जिससे उसकी गलतियाँ लगभग 7% कम हो गईं। हालाँकि, इसने अन्य रोबोटों की उतनी मदद नहीं की।
रियलिटी चेक (Reality Check): रोबोट "कम्युनिटी" रिकॉर्डिंग (जो वास्तविक जीवन जैसी लगती है) पर अच्छी तरह से सीखा, लेकिन जब "स्टूडियो" रिकॉर्डिंग (जो बहुत साफ और अलग होती है) पर परीक्षण किया गया, तो वह लड़खड़ा गया। यह दर्शाता है कि रोबोट को वास्तविक दुनिया में परीक्षण की आवश्यकता है, न कि केवल एक आदर्श लैब में।

निष्कर्ष

आप सभी छह भाषाओं के लिए एक ही "सर्वश्रेष्ठ" AI मॉडल नहीं चुन सकते। यह दौड़ने, तैरने और हाइकिंग के लिए एक ही जोड़ी जूते इस्तेमाल करने जैसा है; आपको विशिष्ट इलाके के लिए सही गियर की आवश्यकता होती है।

इन भाषाओं के लिए स्पीच रिकग्निशन (वाक् पहचान) को सफल बनाने के लिए, आपको करना होगा:

विशिष्ट भाषा परिवार के लिए सही रोबोट मस्तिष्क चुनें।
इसे क्रम में सिखाएं, आसान वाक्यों से शुरू करें और फिर कठिन वाक्यों की ओर बढ़ें।
इसे "पिच चश्मा" दें ताकि यह उन संगीतमय सुरों को सुन सके जो शब्दों का अर्थ बदलते हैं।

यह दृष्टिकोण सिद्ध करता है कि इन भाषाओं की अनूठी संगीतमय संरचना का सम्मान करके, हम ऐसे उपकरण बना सकते हैं जो वास्तव में उन लोगों के लिए काम करते हैं जो उन्हें बोलते हैं।

तकनीकी सारांश: कम-संसाधन वाले बांटू (Bantu) भाषण पहचान के लिए टोन-कंडीशन्ड करिकुलम लर्निंग

समस्या विवरण
दक्षिणी बांटू भाषाएँ (जैसे कि isiZulu, isiXhosa, Sesotho, Setswana, Tshivenda, Xitsonga) 8 करोड़ से अधिक लोगों द्वारा बोली जाती हैं, लेकिन वे ऑटोमैटिक स्पीच रिकग्निशन (ASR) में कम प्रतिनिधित्व रखती हैं। वर्तमान फाउंडेशन मॉडल, जैसे कि Whisper और MMS, इन भाषाओं पर ज़ीरो-शॉट वर्ड एरर रेट (WER) 100% से अधिक उत्पन्न करते हैं, जो इन्हें शिक्षा और सार्वजनिक सेवाओं के लिए अव्यवहारिक बनाता है। एक प्राथमिक चुनौती यह है कि ये भाषाएँ व्याकरणिक संबंधों और शाब्दिक अर्थ को एनकोड करने के लिए टोन (स्वर) और प्रोसोडी (लय) पर बहुत अधिक निर्भर करती हैं, फिर भी मानक वर्तनी (orthographies) टोन को छोड़ देती हैं। मंदारिन (Mandarin) के विपरीत, जहाँ टोन अक्सर शब्दांश-स्थानीय (syllable-local) होता है, दक्षिणी बांटू प्रणालियों में उच्च 'टोन स्प्रेडिंग' और 'फ्रेज़ल कंटूर' (phrasal contours) दिखाई देते हैं। मानक करिकुलम लर्निंग दृष्टिकोण, जो आमतौर पर डेटा को रिकग्निशन एरर (WER) या अवधि के आधार पर क्रमबद्ध करते हैं, इन विशिष्ट ध्वन्यात्मक और मोर्फोटोनल जटिलताओं को समझने में विफल रहते हैं।

कार्यप्रणाली
लेखक एक टोन-कंडीशन्ड करिकुलम फ्रेमवर्क का प्रस्ताव करते हैं, जिसे डेटा की कमी और टोनल जटिलता को संबोधित करने के लिए तीन एकीकृत चरणों में डिज़ाइन किया गया है:

हाइब्रिड डिफिकल्टी स्कोरिंग:
केवल रिकग्निशन एरर पर निर्भर रहने के बजाय, लेखक प्रत्येक उच्चारण $u$ के लिए एक हाइब्रिड डिफिकल्टी स्कोर $s(u)$ को परिभाषित करते हैं:
$s(u) = \alpha \cdot \text{WER}_{\text{norm}}(u) + \beta \cdot \text{Tonal}_{\text{norm}}(u)$
$\alpha=0.7$ और $\beta=0.3$ भार के साथ, यह मीट्रिक प्रयोगात्मक मॉडल प्रदर्शन और भाषाई जटिलता के बीच संतुलन बनाता है। टोनल घटक मैन्युअल ध्वन्यात्मक ट्रांसक्रिप्शन की आवश्यकता के बिना F0 कंटूर से निकाले गए मोर्फोटोनल फीचर्स (ट्रांज़िशन डेंसिटी, यूनिक पैटर्न वैरायटी) को एकत्रित करता है। चरणों में प्रशिक्षण (staged training) को संचालित करने के लिए उत्तरोत्तर (utterances) को डिफिकल्टी क्विंटाइल्स (quintiles) में मैप किया जाता है।
टोन-कंडीशन्ड गेटेड एडेप्टर्स:
मॉडल में टोनल संदर्भ डालने के लिए, लेखक हल्के वजन वाले गेटेड एडेप्टर्स (लगभग 2.1 मिलियन पैरामीटर जोड़ते हैं, जो बेस मॉडल का 0.3% है) पेश करते हैं। एक 2-लेयर MLP 5-आयामी टोनल वेक्टर (जो F0 सांख्यिकी जैसे ट्रांज़िशन रेट और रेंज से प्राप्त होता है) को गेट वैल्यूज में मैप करता है। ये गेट्स एनकोडर रिप्रेजेंटेशन को नियंत्रित करते हैं, जिससे मॉडल को जटिल टोनल प्रोफाइल वाले उत्तरोत्तर के लिए एडेप्टर के योगदान को गतिशील रूप से बढ़ाने और सरल वाले के लिए प्रीट्रेन्ड रिप्रेजेंटेशन को बनाए रखने की अनुमति मिलती है।
स्टेज्ड करिकुलम ट्रेनिंग:
प्रशिक्षण CL-DM से प्रेरित तीन-चरणीय शेड्यूल का पालन करता है ताकि प्रशिक्षण के शुरुआती चरण में शोर वाले, कठिन नमूनों पर ओवरफिटिंग को रोका जा सके:

चरण 1: सबसे आसान 40% नमूनों पर प्रशिक्षित होता है।
चरण 2: सबसे आसान 80% तक विस्तार करता है।
चरण 3: पूरे प्रशिक्षण सेट का उपयोग करता है।
यह प्रगतिशील विलय (progressive merging) स्थिर पैटर्न पर प्रदर्शन को बनाए रखते हुए कठिन टोनल संरचनाओं के अनुकूल होने के उद्देश्य से किया गया है।

प्रमुख योगदान

हाइब्रिड स्कोरिंग फंक्शन: एक नवीन डिफिकल्टी मीट्रिक जो विशेष रूप से बांटू भाषाओं के लिए तैयार किया गया है, जो WER को मोर्फोटोनल फीचर्स के साथ जोड़ता है।
गेटेड टोन एडेप्टर्स: एक पैरामीटर-एफिशिएंट तंत्र (2.1 मिलियन पैरामीटर) जो एनकोडर रिप्रेजेंटेशन को प्रति-उतरोत्तर टोनल सांख्यिकी पर कंडीशन करता है।
व्यापक मूल्यांकन: तीन फाउंडेशन आर्किटेक्चर (Whisper, W2V-BERT, MMS) और दो डेटासेट्स (Swivuriso और NCHLT) पर विश्लेषण, जो विशिष्ट आर्किटेक्चर-भाषा वरीयताओं को प्रकट करता है।
जनरलाइजेशन विश्लेषण: प्रमाण कि मॉडल की हस्तांतरणीयता (transferability) भाषा परिवार के अनुसार काफी भिन्न होती है, जहाँ W2V-BERT, Whisper की तुलना में Nguni भाषाओं के लिए बेहतर ट्रांसफर दिखाता है।

परिणाम
अध्ययन ने छह दक्षिणी बांटू भाषाओं पर तीन मॉडल परिवारों के 12 कॉन्फ़िगरेशन का मूल्यांकन किया:

बेसलाइन प्रदर्शन: ज़ीरो-शॉट बेसलाइन्स (Whisper, MMS) 100% से अधिक WER के साथ विफल रहे। फाइन-ट्यूनिंग ने त्रुटियों को काफी कम कर दिया, लेकिन कोई भी एकल मॉडल सभी भाषाओं में दूसरों से बेहतर प्रदर्शन नहीं कर सका।
आर्किटेक्चर विचलन (Divergence):
- Nguni भाषाएँ (isiZulu, isiXosa): W2V-BERT ने Whisper की तुलना में काफी बेहतर प्रदर्शन किया (उदाहरण के लिए, isiZulu के लिए Swivuriso पर 24.79% बनाम 28.12% WER)।
- Sotho-Tswana भाषाएँ (Sesotho, Setswana): Whisper ने W2V-BERT को पछाड़ दिया (उदाहरण के लिए, Setswana ने Whisper Tone+Curr. के साथ 18.60% WER तक पहुँचा)।
टोन कंडीशनिंग का प्रभाव:
- W2V-BERT: टोन कंडीशनिंग ने महत्वपूर्ण सापेक्ष लाभ प्रदान किया (औसत WER में 7.2% की कमी, 25.65% से 23.81% तक), विशेष रूप से CTC डिकोडिंग को लाभ पहुँचाया।
- Whisper और MMS: टोन कंडीशनिंग ने न्यूनतम या मिश्रित लाभ दिया। MMS के लिए, केवल WER पर आधारित करिकुलम ऑर्डरिंग हाइब्रिड दृष्टिकोण की तुलना में अधिक प्रभावी थी।
ट्रांसफर रोबस्टनेस: जब कम्युनिटी-रिकॉर्डेड Swivuriso डेटासेट से स्टूडियो-रिकॉर्डed NCHLT डेटासेट में ट्रांसफर किया गया, तो प्रदर्शन भिन्न था। उदाहरण के लिए, Tshivenda ने दोनों डेटासेट्स के बीच बड़ा प्रदर्शन अंतर (22 WER पॉइंट्स) दिखाया, जबकि Xitsonga ने W2V-BERT टोन कंडीशनिंग के साथ अधिक स्थिरता प्रदर्शित की।

महत्व और दावे
पेपर यह दावा करता है कि कोई भी एकल मॉडल आर्किटेक्चर सभी छह दक्षिणी बांटू भाषाओं के लिए सार्वभौमिक रूप से इष्टतम नहीं है। आर्किटेक्चर की उपयुक्तता भाषा परिवार (Nguni बनाम Sotho-Tswana) के आधार पर निर्भर करती है। फलस्वरूप, लेखक तर्क देते हैं कि विश्वसनीय तैनाती के लिए आवश्यक है:

एक-आकार-सभी-के-लिए (one-size-fits-all) दृष्टिकोण के बजाय भाषा-विशिष्ट मॉडल चयन।
कम्युनिटी और स्टूडियो रिकॉर्डिंग के बीच वितरण बदलाव (distribution shifts) को संभालने के लिए कॉर्पोरा के माध्यम से सत्यापन।
अनुकूलन रणनीतियों में टोनल संरचना का एकीकरण, जो यह दर्शाता है कि पैरामीटर-एफिशिएंट अनुकूलन मैन्युअल ध्वन्यात्मक एनोटेशन के बिना भाषाई संरचना का लाभ उठा सकता है।

यह कार्य इस बात पर प्रकाश डालता है कि जबकि करिकुलम लर्निंग और टोन कंडीशनिंग मजबूती (robustness) में सुधार करते हैं, उनकी प्रभावशीलता विशिष्ट आर्किटेक्चर और लक्षित भाषा के गुणों के बीच की अंतःक्रिया पर अत्यधिक निर्भर करती है।

1. "स्मार्ट सिलेबस" (Curriculum Learning)

2. "पिच चश्मा" (Tone-Conditioned Adapters)

3. परिणाम: एक आकार सभी के लिए उपयुक्त नहीं है

निष्कर्ष

इसी तरह के और पेपर