Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost
प्रैक्सी वॉयस (Praxy Voice), स्क्रिप्ट रूपांतरण के लिए ब्राह्मी एकीकृत फोनीम स्पेस (Brahmic Unified Phonym Space - BUPS), लाइसेंस प्राप्त डेटा पर प्रशिक्षित एक टेक्स्ट-ओनली लोरा (LoRA) एडॉप्टर और एक विशिष्ट वॉयस-प्रॉम्ट सैंपलिंग रेसिपी को संयोजित करके, बिना किसी व्यावसायिक प्रशिक्षण डेटा या ध्वनिक डिकोडर पुन:\प्रशिक्षण की आवश्यकता के, तेलुगु, तमिल और हिंदी के लिए व्यावसायिक-श्रेणी का टेक्स्ट-टू-स्पीच प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विश्व-स्तरीय शेफ (Chatterbox AI) है जो 23 अलग-अलग भाषाओं, जैसे अंग्रेजी, स्पेनिश और फ्रेंच के लिए स्वादिष्ट भोजन बना सकता है। हालाँकि, इस शेफ ने तीन विशिष्ट क्षेत्रों के लिए कभी खाना नहीं बनाया है: तेलुगू, तमिल और हिंदी। यदि आप उनसे तेलुगू व्यंजन बनाने के लिए कहते हैं, तो वे या तो मना कर देते हैं या आपको सामग्री का एक अजीब, बेस्वाद मिश्रण परोस देते हैं क्योंकि वे स्थानीय व्यंजनों को नहीं जानते हैं।
यह पेपर Praxy Voice पेश करता है, जो एक चतुर "किचन हैक" है जो इसी शेफ को बिना नया शेफ रखे, बिना नई सामग्री खरीदे (कमर्शियल ट्रेनिंग डेटा), और बिना शेफ को शुरू से खाना सिखाए, एकदम सही तेलुगू, तमिल और हिंदी व्यंजन पकाने की अनुमति देता है।
इसे कैसे किया गया, यहाँ तीन सरल चरणों में दिया गया है:
1. यूनिवर्सल ट्रांसलेटर (BUPS)
समस्या: शेफ केवल लैटिन अक्षरों (A, B, C) को समझता है। यदि आप तेलुगू लिपि (जो वृत्तों और रेखाओं जैसी दिखती है) में रेसिपी लिखते हैं, तो शेफ इसे बड़बड़ाहट के रूप में देखता है।
समाधान: टीम ने BUPS नामक एक टूल बनाया। इसे एक जादुई अनुवादक के रूप में समझें जो शेफ के देखने से पहले ही तुरंत तेलुगू, तमिल और हिंदी लिपियों को लैटिन अक्षरों में बदल देता है।
- उपमा: यह एक हस्तलिखित पत्र को लेने, उसे स्कैन करने और फिर कंप्यूटर द्वारा उसे तुरंत अंग्रेजी में टाइप करने जैसा है ताकि शेफ उसे पढ़ सके। अर्थ और ध्वनियाँ वही रहती हैं, लेकिन अब शेफ वास्तव में निर्देशों को प्रोसेस कर सकता है।
2. स्पेशलाइज्ड सों-शेफ (LoRA एडैप्टर)
समस्या: भले ही शेफ अब रेसिपी को पढ़ सकता है (BUS की मदद से), फिर भी उसे नहीं पता कि इसे कैसे बनाना है। वे "करी" शब्द पढ़ सकते हैं लेकिन इसे स्टू की तरह बना सकते हैं क्योंकि उन्होंने पहले कभी भारतीय खाना नहीं बनाया है।
समाधान: टीम ने शेफ के मस्तिष्क के उस हिस्से में एक छोटा, विशेष सहायक (LoRA एडैप्टर) जोड़ा है जो रेसिपी पढ़ता है।
- जादू: उन्होंने इस सहायक को लगभग 1,220 घंटों के लाइसेंस प्राप्त भारतीय ऑडियो (जैसे पब्लिक डोमेन पॉडकास्ट और समाचार) पर प्रशिक्षित किया।
- ट्रिक: चूंकि शेफ तेलुगू या तमिल नहीं जानता, इसलिए टीम ने सहायक को यह कल्पना करने के लिए कहा कि रेसिपी हिंदी में है (जिसे शेफ जानता है)। क्योंकि तेलुगू और हिंदी सुनने में कुछ हद तक समान हैं, शेफ अपने मौजूदा "हिंदी कुकिंग स्टाइल" को आधार के रूप में उपयोग करता है और सहायक इसे तेलुगू या तमिल की तरह बनाने के लिए बस थोड़ा सा बदल देता है।
- परिणाम: यह सहायक बहुत छोटा है (शेफ की कुल मस्तिष्क शक्ति के 1% से भी कम) लेकिन यह एक बड़ा अंतर पैदा करता है।
3. "टेस्ट ऑफ फ्लेवर" रेसिपी (वॉइस प्रॉम्प्ट और कॉन्फ़िग B)
समस्या: वॉइस प्रॉम्प्ट और एडैप्टर के साथ भी, इन नई भाषाओं को बोलते समय शेफ की आवाज़ थोड़ी "विदेशी" या रोबोटिक लगती है। यह समझने योग्य तो है, लेकिन इसमें एक मूल वक्ता (नेटिव स्पीकर) की स्वाभाविक लय और लहजे की कमी है।
समाधान: टीम ने अंतिम चरण के लिए एक विशिष्ट "रेसिपी" खोजी:
- वॉइस प्रॉम्प्ट: खाना पकाने से पहले, आप शेफ को एक मूल वक्ता की आवाज़ का 8-11 सेकंड का क्लिप सुनाते हैं। यह एक "टेस्ट ऑफ फ्लेवर" की तरह काम करता है, जो शेफ को बताता है, "यह बिल्कुल वैसा ही सुनाई देना चाहिए जैसा यह व्यंजन होना चाहिए।"
- "कॉन्फ़िग B" सेटिंग्स: उन्होंने शेफ के ओवन के तीन डायल (तापमान, अतिशयोक्ति और फ़िल्टरिंग) को ट्यून किया।
- उपमा: कल्पना कीजिए कि शेफ धीमी आंच पर खाना पका रहा था। टीम ने स्वाद को उभारने के लिए गर्मी को थोड़ा बढ़ाया और मसालों को एडजस्ट किया। ये विशिष्ट सेटिंग्स (exaggeration 0.7, temperature 0.6, min_p 0.1) प्राकृतिक आवाज बनाने के लिए "स्वीट स्पॉट" पाई गईं।
"टू-ब्रांच" रणनीति
टीम ने कुछ दिलचस्प देखा: यदि वे इस विशेष सहायक का उपयोग हिंदी (जिसे शेफ पहले से ही बनाना जानता है) पर करते हैं, तो खाना वास्तव में खराब हो जाता है। सहायक ने शेफ को भ्रमित कर दिया।
- समाधान: उन्होंने एक स्मार्ट स्विच बनाया।
- यदि इनपुट तेलुगू या तमिल है: ट्रांसलेटर + सहायक + वॉइस प्रॉम्प्ट का उपयोग करें।
- यदि इनपुट हिंदी है: सहायक को छोड़ दें और केवल मूल शेफ + वॉइस प्रॉम्प्ट का उपयोग करें।
- यह सुनिश्चित करता है कि हर भाषा के लिए सर्वोत्तम गुणवत्ता मिले।
"मिक्स्ड लैंग्वेज" समस्या को संभालना
भारत में, लोग अक्सर भारतीय वाक्यों में अंग्रेजी शब्दों को मिलाते हैं (जैसे, "मैंने एक WhatsApp मैसेज भेजा")।
- समस्या: मुख्य शेफ (Chatterbox) मिश्रित अंग्रेजी शब्दों से भ्रमित हो जाता है और उन्हें चुपचाप छोड़ देता है।
- समाधान: इन मिश्रित वाक्यों के लिए, वे एक अलग, प्री-ट्रेन्ड शेफ (IndicF5) का उपयोग करते हैं जो मिश्रित भाषाओं को बेहतर ढंग से संभालता है। हालांकि, यह शेफ लैटिन स्क्रिप्ट में लिखे अंग्रेजी शब्दों के साथ संघर्ष करता है।
- हैक: वे एक छोटे AI टूल का उपयोग करके अंग्रेजी शब्दों को ध्वन्यात्मक रूप से भारतीय लिपि में फिर से लिखते हैं (उदाहरण के लिए, "WhatsApp" को "व्हाट्सऐप" में बदलना) इससे पहले कि इसे शेफ को दिया जाए। यह शेफ को शब्दों को छोड़ने से रोकता है।
परिणाम
जब उन्होंने इस सिस्टम का परीक्षण सबसे अच्छे कमर्शियल वॉइस सिस्टम (जैसे ElevenLabs या Cartesia) के खिलाफ किया:
- तेलुगू: इसने कमर्शियल लीडर्स की तुलना में उच्चारण की गलतियाँ कम कीं।
- तमिल: इसने एक विशिष्ट कठिन ध्वनि ("zha") को प्रतिस्पर्धा से बहुत बेहतर तरीके से संभाला।
- हिंदी: इसने समझ और स्पष्टता में सर्वश्रेष्ठ कमर्शियल सिस्टम के साथ बराबरी की।
मुख्य बात:
लेखकों ने साबित किया है कि आपको भारतीय भाषाओं के लिए "कमर्शियल-ग्रेड" आवाज़ पाने के लिए लाखों डॉलर या हजारों घंटों के प्रशिक्षण की आवश्यकता नहीं है। एक स्मार्ट ट्रांसलेटर, एक छोटा विशेषज्ञ सहायक और एक विशिष्ट "वॉइस प्रॉम्प्ट" रेसिपी का उपयोग करके, उन्होंने एक सामान्य उद्देश्य वाले AI को मुफ्त में (केवल ओपन-सोर्स टूल्स और पब्लिक डेटा का उपयोग करके) एक नेटिव-साउंडिंग इंडियन वॉइस एक्टर में बदल दिया।
उन्होंने अपना सारा कोड और "सहायक" वेट्स (weights) किसी के भी उपयोग के लिए जारी कर दिए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।