Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech
यह शोध पत्र बोलबोश (Bolbosh) को प्रस्तुत करता है, जो कश्मीरी के लिए पहला ओपन-सोर्स न्यूरल टेक्स्ट-टू-स्पीच सिस्टम है, जो ज़ीरो-शॉट मल्टीलिंगुअल बेसलाइन्स की सीमाओं को दूर करने और काफी उच्च स्पीच गुणवत्ता एवं बोधगम्यता प्राप्त करने के लिए ऑप्टिमल ट्रांसपोर्ट कंडीशनल फ्लो मैचिंग (Optimal Transport Conditional Flow Matching) पर आधारित एक स्क्रिप्ट-अवेयर, सुपरवाइज्ड क्रॉस-लिंगुअल अडैप्टेशन रणनीति और एक तीन-चरणीय ध्वनिक संवर्धन पाइपलाइन का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुंदर, प्राचीन पुस्तकालय है जो एक बहुत ही विशिष्ट, जटिल लिपि में लिखी गई कहानियों से भरा हुआ है। यह पुस्तकालय कश्मीरी भाषा का है, जो लगभग 70 लाख लोगों द्वारा बोली जाती है। लंबे समय तक, "रोबोट्स" (कंप्यूटर प्रोग्राम) जो इन कहानियों को ज़ोर से पढ़ने के लिए बनाए गए थे, इसमें बहुत खराब रहे। या तो वे शब्दों को लड़खड़ाकर बोलते थे, या स्वर (vowels) गलत बोलते थे, या फिर एक टूटे हुए रेडियो की तरह सुनाई देते थे।
आपके द्वारा साझा किया गया शोध पत्र एक नए रोबोट बोलबोष (जिसका अर्थ कश्मीरी में "आवाज़" है) को पेश करता है। यह विशेष रूप से कश्मीरी कहानियों को स्पष्टता और भावना के साथ ज़ोर से पढ़ने के लिए प्रशिक्षित किया गया पहला रोबोट है।
इसे कैसे बनाया गया, इसे कुछ रोज़मर्रा के उदाहरणों के साथ समझाया गया है:
1. समस्या: "एक ही आकार सबके लिए" वाला सूट फिट नहीं बैठा
पहले, वैज्ञानिक कई भाषाओं (जैसे हिंदी या उर्दू) पर प्रशिक्षित "यूनिवर्सल" रोबोट्स का उपयोग कश्मीरी बोलने के लिए करने की कोशिश करते थे। उन्हें उम्मीद थी कि रोबोट बस कश्मीरी बोलने का "अंदाज़ा" लगा लेगा।
- उदाहरण: कल्पना कीजिए कि आप एक बच्चे को फिट होने के लिए एक विशालकाय व्यक्ति के लिए टेलर किए गए सूट को पहनने की कोशिश कर रहे हैं। यह बहुत बड़ा है, आस्तीन बहुत लंबी है, और आप हिल भी नहीं सकते।
- वास्तविकता: ये यूनिवर्सल रोबोट बुरी तरह विफल रहे। उन्हें 5 में से 1.86 का स्कोर मिला (जहाँ 5 पूर्ण है)। वे रोबोटिक लग रहे थे और अक्सर समझ से बाहर थे। क्यों? क्योंकि कश्मीरी एक विशेष लिपि (फारसी-अरबी) का उपयोग करती है जिसमें छोटे निशान होते हैं जिन्हें डाइक्रिटिक्स (जैसे अक्षरों पर छोटी टोपियाँ या बिंदु) कहा जाता है। ये निशान स्वरों के उच्चारण को पूरी तरह से बदल देते हैं। पुराने रोबलों ने इन निशानों को अनदेखा कर दिया, जिससे भ्रम पैदा हुआ।
2. समाधान: एक कस्टम-टेलर किया गया सूट (बोलबोष)
टीम ने बोलबोष बनाया, एक ऐसा रोबोट जिसे शुरू से ही कश्मीरी के विशिष्ट "आकार" को समझने के लिए डिज़ाइन किया गया था।
अ. "ध्वनिक स्पा" (डेटा की सफाई)
रोबोट को सिखाने के लिए, उन्हें लोगों के बोलने की रिकॉर्डिंग की आवश्यकता थी। उनके पास दो प्रकार के ऑडियो थे:
- स्टूडियो रिकॉर्डिंग: एकदम स्पष्ट, जैसे साउंडप्रूफ बूथ में कोई गायक।
- स्वतःस्फूर्त (Spontaneous) रिकॉर्डिंग: शोर भरे बाज़ारों या हवादार सड़कों में लोग बात कर रहे हैं।
- उदाहरण: यदि आप एक छात्र को एक शांत पुस्तकालय के लेक्चर और एक निर्माण स्थल पर होने वाली चिल्लाने की बहस को मिलाकर सिखाने की कोशिश करते हैं, तो छात्र भ्रमित हो जाएगा।
- समाधान: उन्होंने शोर भरी रिकॉर्डिंग को एक "3-चरणों वाले स्पा उपचार" से गुजारा:
- डिरिवर्बरेशन (Dereverberation): "गूँज" को हटाना (जैसे गुफा से फोटो निकालना)।
- साइलेंस ट्रिमिंग (Silence Trimming): अजीब ठहराव को काटना।
- लाउडनेस नॉर्मलाइजेशन (Loudness Normalization): आवाज़ को ऊपर या नीचे करना ताकि हर कोई एक ही स्तर पर बोल सके।
अब, रोबोट एक साफ और सुसंगत आवाज़ से सीखता है।
ब. "भाषा अनुवादक" (लिपि-जागरूकता)
रोबोट को वर्णमाला सीखने की आवश्यकता थी।
- उदाहरण: कल्पना कीजिए कि आप किसी को गाड़ी चलाना सिखा रहे हैं। यदि आप उन्हें एक ऐसी कार देते हैं जिसका स्टीयरिंग व्हील बाईं ओर है, लेकिन सड़क के संकेत एक ऐसी भाषा में हैं जो वे नहीं जानते, तो वे दुर्घटनाग्रस्त हो जाएंगे।
- समाधान: टीम ने रोबोट की शब्दावली को 272 विशिष्ट पात्रों तक विस्तारित किया, जिसमें वे सभी छोटे डाइक्रिटिक्स भी शामिल थे। उन्होंने केवल अक्षरों का अनुवाद नहीं किया; उन्होंने रोबोट को सिखाया कि एक विशिष्ट बिंदु शब्द का अर्थ पूरी तरह से बदल देता है। इसे "स्क्रिप्ट-अवेयर" (लिपि-जागरूक) होना कहा जाता है।
स. "स्मार्ट ट्रांसफर" (फ्लो मैचिंग)
यह सबसे तकनीकी हिस्सा है, लेकिन इसका सरल संस्करण यहाँ है:
- उदाहरण: कल्पना कीजिए कि आप एक शेफ को एक जटिल कश्मीरी व्यंजन बनाना सिखाना चाहते हैं, लेकिन आपके पास केवल 80 घंटे का डेटा है (जो AI के लिए बहुत कम है)। शून्य से शुरू करने के बजाय (उन्हें प्याज काटना सिखाने के बजाय), आप एक ऐसे शेफ को काम पर रखते हैं जो पहले से ही भारतीय खाना पकाने (अंग्रेजी/इंडिक भाषाओं) में विशेषज्ञ है।
- विधि: उन्होंने एक ऐसे रोबोट को लिया जो अंग्रेजी बोलने में बहुत अच्छा था और उसे "फाइन-ट्यून" किया। उन्होंने ऑप्टिमल ट्रांसपोर्ट फ्लो मैचिंग नामक एक गणितीय अवधारणा का उपयोग किया।
- इसे एक जीपीएस नेविगेशन सिस्टम की तरह समझें। रोबोट द्वारा बेतरतीब ढंग से रास्ता खोजने के बजाय, जीपीएस "खामोशी" से "पूर्ण भाषण" तक सबसे कुशल, सुचारू पथ की गणना करता है। यह सुनिश्चित करता है कि रोबोट तेज़ी से सीखता है और खराब ध्वनियों के लूप में नहीं फंसता है।
3. परिणाम: मम्बलिंग से मास्टरपीस तक
सभी काम के बाद, उन्होंने पुराने "यूनिवर्सल" रोबोटों के मुकाबले बोलबोष का परीक्षण किया।
- स्कोर:
- पुराने रोबोट: 5 में से 1.86 (समझने में कठिन)।
- बोलबोष: 5 में से 3.63 (बहुत स्पष्ट और स्वाभाविक)।
- दृश्य प्रमाण: जब उन्होंने ध्वनि तरंगों (स्पेक्ट्रोग्राम) को देखा, तो पुराने रोबोट धुंधली, फैली हुई पेंटिंग की तरह दिख रहे थे। बोलबोष एक स्पष्ट, हाई-डेफिनिशन फोटो की तरह दिखा जिसमें स्पष्ट रेखाएं और अलग-अलग स्वर थे।
यह क्यों महत्वपूर्ण है
यह शोध पत्र यह साबित करता है कि जटिल लिपियों (जैसे कश्मीरी, अरबी या थाई) वाली भाषाओं के लिए, आप केवल एक "जेनेरिक" AI का उपयोग नहीं कर सकते। आपको स्क्रिप्ट के विशिष्ट विवरणों का सम्मान करना होगा।
बोलबोष एक बड़ा कदम है। इसका मतलब है कि भविष्य में, एक कश्मीरी वक्ता अपने फोन से किसी समाचार लेख या कहानी को पढ़ने के लिए कह सकता है, और फोन वास्तव में एक इंसान की तरह सुनाई देगा, न कि एक ग्लिच वाले रोबोट की तरह। यह तकनीक और संस्कृति के बीच के अंतर को पाटता है, यह सुनिश्चित करता है कि 70 लाख लोग डिजिटल दुनिया में पीछे न छूट जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।