Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder
Confucius4-TTS एक बहुभाषी ज़ीरो-शॉट टेक्स्ट-टू-स्पीच सिस्टम है जो स्व-पर्यवेक्षित (self-supervised) स्पीच रिप्रेजेंटेशन से टिम्बर फीचर्स निकालने के लिए एक लर्नबल स्पीकर एनकोडर के साथ दो-चरणीय आर्किटेक्चर का उपयोग करके ट्रांसक्रिप्ट-मुक्त क्रॉस-लिंगुअल वॉयस क्लोनिंग को सक्षम बनाता है, जिससे 14 भाषाओं में उच्च स्पष्टता और स्पीकर समानता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को आपकी पसंदीदा फिल्म के पात्र की तरह बोलना सिखाने की कोशिश कर रहे हैं। कंप्यूटर विज्ञान की दुनिया में, इसे "टेक्स्ट-टू-स्पीच" (TTS) कहा जाता है। आमतौर पर, रोबोट को उस पात्र की तरह बिल्कुल सटीक आवाज देने के लिए, आपको दो चीजों की आवश्यकता होती है: उनके बोलने का एक छोटा ऑडियो क्लिप, और उस क्लिप में उन्होंने वास्तव में क्या कहा, उसका एक लिखित ट्रांसक्रिप्ट (एक स्क्रिप्ट)। ट्रांसक्रिप्ट को एक मानचित्र की तरह समझें; इसके बिना, रोबोट शब्दों से आवाज का मिलान करने में भटक जाएगा। लेकिन यहाँ एक समस्या है: वास्तविक दुनिया में, हमें जो ऑडियो क्लिप मिलते हैं—जैसे कि कोई रैंडम टिकटॉक वीडियो या पॉडकास्ट का अंश—उनके साथ स्क्रिप्ट नहीं आती है। वे "अनट्रांसक्राइब्ड" (बिना लिखित पाठ के) होते हैं। यह दुनिया भर से आवाजों की नकल करना अविश्वसनीय रूप से कठिन बना देता है, खासकर तब जब आप चाहते हैं कि रोबोट मूल क्लिप की भाषा से अलग भाषा में बोले। यह पेपर ठीक इसी सिरदर्द को हल करता है: हम रोबोट को किसी विशिष्ट व्यक्ति की तरह एक नई भाषा में कैसे बोल सकते हैं, भले ही हमारे पास मूल ऑडियो का स्क्रिप्ट न हो?
यहाँ आता है Confucius4-TTS, नेटईज़ यूडाओ (NetEase Youdao) का एक नया सिस्टम जो एक कुशल 'वॉयस कैमलिऑन' (आवाज बदलने वाला जीव) की तरह काम करता है। शोधकर्ताओं ने एक दो-चरणीय मशीन बनाई है जो किसी अजनबी के एक छोटे ऑडियो क्लिप और एक अलग भाषा के टेक्स्ट को ले सकती है, और ऐसी स्पीच जनरेट कर सकती है जो सुनने में ऐसी लगे जैसे वह अजनबी ही नई भाषा बोल रहा हो—और इसके लिए उसे मूल स्क्रिप्ट की भी आवश्यकता नहीं है।
यह कैसे काम करता है, इसे एक सरल उपमा से समझते हैं। कल्पना कीजिए कि यह सिस्टम दो लोगों की एक टीम है: एक अनुवादक (Translator) और एक अभिनेता (Actor)।
सबसे पहले, अनुवादक (जिसे Text-to-Semantic मॉड्यूल कहा जाता है) उस लक्षित टेक्स्ट को देखता है जिसे बोला जाना है। लेकिन केवल शब्दों को पढ़ने के बजाय, यह संदर्भ ऑडियो क्लिप को भी सुनता है। महत्वपूर्ण बात यह है कि इसे यह जानने की आवश्यकता नहीं है कि संदर्भ ऑडियो में क्या कहा गया है; इसे बस यह जानने की आवश्यकता है कि इसे कौन कह रहा है। ऐसा करने के लिए, यह एक विशेष "लर्नेबल स्पीकर एनकोडर" (Learnable Speaker Encoder) का उपयोग करता है। इस एनकोडर को एक "वॉयस फिंगरप्रिंट स्कैनर" के रूप में सोचें। यह अनट्रांसक्राइब्ड ऑडियो से अद्वितीय "टिम्बर" (timbre) या "रंग"—जैसे कि गिटार के तार की बनावट—को निकाल लेता है, और शब्दों के विशिष्ट अर्थ को अनदेखा कर देता है। फिर यह इस "वॉयस फिंगरप्रिंट" को अनुवादक को सौंप देता है, जो इसे आपके नए टेक्स्ट के साथ जोड़कर "सिमेंटिक टोकन" (semantic tokens) का एक सेट बनाता है। ये टोकन स्पीच के ब्लूप्रिंट की तरह हैं: उनमें अर्थ और लय होती है, लेकिन अभी तक अंतिम ध्वनि नहीं होती।
इसके बाद, अभिनेता (जिसे Semantic-to-Acoustic मॉड्यूल कहा जाता है) उस ब्लूप्रिंट और वॉयस फिंगरप्रिंट को लेता है। यह हिस्सा "कंडीशनल फ्लो मैचिंग" (conditional flow matching) नामक एक उन्नत तकनीक का उपयोग करता है, जो एक मूर्तिकार द्वारा धीरे-धीरे मिट्टी के एक ढेले को मूर्ति में बदलने जैसा है। यह रैंडम शोर (noise) से शुरू होता है और धीरे-धीरे इसे एक मेल-स्पेक्ट्रोग्राम (ध्वनि तरंगों का एक दृश्य मानचित्र) में आकार देता है जो वॉयस फिंगरप्रिंट और ब्लूप्रिंट से मेल खाता है। अंत में, एक "वोकोडर" (एक साउंड सिंथेसाइज़र) उस मानचित्र को वास्तविक ऑडियो तरंगों में बदल देता है जिन्हें आप सुन सकते हैं।
इस पेपर का मुख्य निष्कर्ष यह है कि यह सिस्टम बिना स्क्रिप्ट के अविश्वसनीय रूप से अच्छा काम करता है। लेखकों ने इसका परीक्षण 14 भाषाओं पर किया, जिसमें चीनी, अंग्रेजी, जापानी, कोरियाई और कई यूरोपीय और दक्षिण पूर्व एशियाई भाषाएं शामिल हैं। जब उन्होंने CV3-Eval नामक बेंचमार्क (जो क्रॉस-लैंग्वेज वॉयस क्लोनिंग का परीक्षण करता है) पर Confucius4-TTS को अन्य शीर्ष प्रणालियों के विरुद्ध खड़ा किया, तो इसने छह अलग-अलग भाषा दिशाओं में औसतन 3.73% का वर्ड एरर रेट (WER) प्राप्त किया। यह एक बहुत ही कम त्रुटि दर है, जिसका अर्थ है कि बोली गई भाषा अत्यधिक बोधगम्य है। वास्तव में, X-Voice बेंचमार्क पर, इसने सात अलग-अलग सोर्स-टू-चाइनीज भाषा जोड़ों में अन्य अग्रणी प्रणालियों को मात दी या उनके बराबर प्रदर्शन किया।
शोधकर्ताओं ने यह भी पाया कि यदि आपके पास संदर्भ ऑडियो के लिए स्क्रिप्ट उपलब्ध है, तो सिस्टम "कंटिन्यूएशन क्लोनिंग" (continuation cloning) मोड पर स्विच कर सकता है। यह उस अभिनेता को स्क्रिप्ट और वॉयस फिंगरप्रिंट दोनों देने जैसा है। हालांकि इससे आवाज मूल वक्ता के और भी अधिक करीब आती है (स्पीकर सिमिलरिटी स्कोर में सुधार होता है), लेकिन इसके साथ एक छोटा सा समझौता भी है: स्पीच स्क्रिप्ट-फ्री वर्जन की तुलना में थोड़ी कम स्पष्ट (intelligible) हो सकती है। हालांकि, डिफ़ॉल्ट "ट्रांसक्रिप्ट-फ्री" मोड ही असली सितारा है, जो यह साबित करता है कि आवाज खोजने के लिए आपको मानचित्र की आवश्यकता नहीं है।
मानवीय परीक्षणों में, जहाँ वास्तविक लोगों ने परिणामों को सुना और रैंक किया, Confucius4-TTS अक्सर टिम्बर सिमिलरिटी (कि यह मूल व्यक्ति जैसा कितना लगता है) और नेचुरलनेस (यह कितना मानवीय लगता है) के लिए शीर्ष स्थान पर रहा। उदाहरण के लिए, चीनी से अंग्रेजी में बदलने के परीक्षणों में, इसने लगभग हर श्रेणी में प्रथम या द्वितीय स्थान प्राप्त किया, और व्यावसायिक दिग्गजों और अन्य ओपन-सोर्स मॉडलों को पीछे छोड़ दिया।
पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि उच्च गुणवत्ता वाले क्रॉस-लिंगुअल क्लोनिंग के लिए आपके पास ट्रांसक्रिप्ट होना अनिवार्य है। पिछले तरीके 'फोर्स्ड अलाइनमेंट' (शब्दों को ध्वनियों के साथ पूरी तरह से मिलाने) या सिंथेटिक ट्रेनिंग पेयर्स पर बहुत अधिक निर्भर थे, लेकिन Confucius4-TTS सुझाव देता है कि सेल्फ-सुपरवाइज्ड स्पीच रिप्रेजेंटेशन (ऐसा AI जिसने शब्दों को सीखे बिना केवल सुनकर भाषण को समझना सीखा है) का उपयोग करके, आप सीधे आवाज की पहचान निकाल सकते हैं। लेखक इन परिणामों के प्रति आश्वस्त हैं क्योंकि उन्होंने बड़े पैमाने पर डेटा (लगभग 5,00,000 घंटे का भाषण) पर परीक्षण किया और कई सार्वजनिक बेंचमार्क और आंतरिक मानवीय मूल्यांकन के माध्यम से इसे सत्यापित किया।
तो, भविष्य के लिए इसका क्या अर्थ है? लेखक सुझाव देते हैं कि यह वीडियो डबिंग, ऑडियोबुक्स और एक्सेसिबिलिटी टूल्स के लिए दरवाजे खोलता है जहाँ आप बिना किसी स्क्रिप्ट के, एक रैंडम क्लिप से तुरंत आवाज क्लोन कर सकते हैं और उसे किसी भी भाषा में बोलने के लिए तैयार कर सकते हैं। उन्होंने कोड और मॉडल को जनता के लिए जारी भी कर दिया है, जिससे अन्य लोग इस "ट्रांसक्रिप्ट-फ्री" जादू पर निर्माण कर सकें। हालाँकि यह सिस्टम पूर्ण नहीं है (इसमें अभी भी एक छोटी त्रुटि दर है और यह तेज़ हो सकता है), यह आवाज क्लोनिंग को केवल एक वीडियो पर "प्ले" बटन दबाने जितना आसान बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।