End-to-End Training for Discrete Token LLM based TTS System
यह शोध पत्र एक पूर्ण एंड-टू-एंड प्रशिक्षण ढांचे का प्रस्ताव करता है जो डिस्क्रीट टोकन-आधारित टीटीएस (TTS) घटकों को एकीकृत करने के लिए एक स्पीच टोकेनाइज़र, ऑटोरेग्रेसिव एलएलएम (LLM), फ्लो-मैचिंग मॉडल और रिवॉर्ड मॉडल को संयुक्त रूप से अनुकूलित करता है, जिससे पारंपरिक कैस्केडेड दृष्टिकोणों की तुलना में काफी सरल पाइपलाइन के साथ नया स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: एक रिले रेस से एक सिम्फनी तक
कल्पना कीजिए कि एक टेक्स्ट-टू-स्पीच (TTS) सिस्टम (एक कंप्यूटर जो टेक्स्ट को ज़ोर से पढ़ता है) बनाना एक रिले रेस टीम बनाने जैसा है।
पुराना तरीका (कैस्केडेड पाइपलाइन):
अधिकांश वर्तमान सिस्टमों में, आपके पास तीन अलग-अलग धावक होते हैं:
- अनुवादक (टोकनाइज़र): आवाज़ की ध्वनि लेता है और उसे संख्याओं के एक गुप्त कोड (टोकन) में बदल देता है।
- अनुमान लगाने वाला (LLM): टेक्स्ट को पढ़ता है और उस गुप्त कोड में अगले नंबर का अनुमान लगाता है।
- गायक (FM मॉडल): उन अनुमानित नंबरों को वापस ध्वनि तरंगों (sound waves) में बदल देता है।
समस्या क्या है? ये तीनों धावक अलग-अलग प्रशिक्षण लेते हैं। अनुवादक ASR (स्पीच रिकग्निशन) में अच्छा बनने के लिए प्रशिक्षित होता है, अनुमान लगाने वाला नंबरों का अनुमान लगाने के लिए प्रशिक्षित होता है, और गायक ध्वनि को पुनर्गठित करने के लिए प्रशिक्षित होता है। वे अभ्यास के दौरान एक-दूसरे से कभी बात नहीं करते। जब वे अंत में एक साथ दौड़ते हैं, तो वे लड़खड़ा जाते हैं क्योंकि वे एक-दूसरे की शैली को नहीं जानते। यह एक ऐसे अनुवादक की तरह है जो ऐसी बोली बोलता है जिसे प्रेडिक्टर नहीं समझ पाता, जिससे अंतिम प्रदर्शन खराब हो जाता है।
नया तरीका (एंड-टू-एंड ट्रेनिंग):
यह पेपर इन तीनों धावकों (प्लस एक कोच) को एक बड़े, एकीकृत अभ्यास सत्र में एक साथ प्रशिक्षित करने का प्रस्ताव देता है। वे एक ही भाषा बोलना सीखते हैं, एक-दूसरे के कदमों का पूर्वानुमान लगाते हैं, और वास्तविक समय में अपने प्रदर्शन को समायोजित करते हैं।
पात्रों की सूची
स्पीच टोकनाइज़र (अनुवादक):
- यह क्या करता है: यह मानव आवाज़ को छोटे, अलग-अलग "लेगो ब्रिक्स" (टोकन) में तोड़ देता है।
- पुरानी समस्या: इसे इंसानों के लिए एक अच्छा अनुवादक बनने के लिए प्रशिक्षित किया गया था (जैसे स्पीच-टू-टेक्स्ट ऐप्स में), न कि विशेष रूप से कंप्यूटर के अगले चरणों के लिए।
- समाधान: इस नए सिस्टम में, अनुवादक विशेष रूप से ऐसे लेगो ब्रिक्स बनाना सीखता है जिन्हें प्रेडिक्टर और सिंगर उपयोग कर सकें।
LLM (अनुमान लगाने वाला):
- यह क्या करता है: यह आपके द्वारा टाइप किए गए टेक्स्ट को पढ़ता है और उन लेगो ब्रिक्स के क्रम का अनुमान लगाता है जिनकी आवश्यकता उसे बोलने के लिए होगी।
- पुरानी समस्या: इसे सबसे "संभावित" ब्रिक का अनुमान लगाने के लिए प्रशिक्षित किया गया था, जिससे आवाज़ अक्सर सपाट, उबाऊ या "औसत" लगती थी।
- समाधान: इसे सिंगर और कोच से तत्काल फीडबैक मिलता है कि इसके अनुमान वास्तव में अच्छे सुनाई देते हैं या नहीं, न कि केवल यह कि वे सांख्यिकीय रूप से कितने संभावित हैं।
फ्लो-मैचिंग मॉडल (गायक):
- यह क्या करता है: यह लेगो ब्रिक्स लेता है और वास्तविक वॉयस वेवफॉर्म बनाता है।
- पुरानी समस्या: इसे परफेक्ट ब्रिक्स (ग्राउंड ट्रुथ) पर प्रशिक्षित किया गया था, लेकिन वास्तविक जीवन में, प्रेडिक्टर गलतियाँ करता है। इसलिए, यदि प्रेडिक्टर अपूर्ण ब्रिक्स देता है, तो सिंगर क्रैश हो जाता है।
- समाधान: यह थोड़े अपूर्ण ब्रिक्स के साथ भी गाना सीखता है, जिससे सिस्टम अधिक मजबूत (robust) बनता है।
रिवॉर्ड मॉडल (कोच):
- यह क्या करता है: यह एक नया जुड़ाव है। यह आउटपुट को सुनता है और तीन चीजें जाँचता है: "क्या उन्होंने सही शब्द कहे?" (ASR), "क्या वे सही व्यक्ति की तरह लग रहे हैं?" (स्पीकर आईडी), और "क्या वे भावनात्मक लग रहे हैं?" (इमोशन)।
- भूमिका: यह एक रेफरी के रूप में कार्य करता है, जो उच्चारण और शैली के लिए अंक देता है, और पूरे दल को बेहतर प्रदर्शन की ओर निर्देशित करता है।
वे कैसे प्रशिक्षित होते हैं: तीन-चरणों वाला रिहर्सल
लेखकों ने सभी को एक साथ रिंग में नहीं फेंका; उन्होंने चीजों को स्थिर रखने के लिए एक स्मार्ट, तीन-चरणीय प्रशिक्षण पाइपलाइन का उपयोग किया।
चरण 1: आधार (फर्स्ट-ऑर्डर लॉस)
- एनालॉजी: कल्पना कीजिए कि अनुवादक, प्रेडिक्टर और सिंगर सभी परफेक्ट स्क्रिप्ट और परफेक्ट रिकॉर्डिंग को देख रहे हैं।
- क्या होता है: वे सब मिलकर सीखते हैं। अनुवादक ऐसे ब्रिक्स बनाना सीखता है जो प्रेडिक्टर के लिए अनुमान लगाना आसान हो और सिंगर के लिए उपयोग करना आसान हो। कोच देखता है और सुनिश्चित करता है कि ब्रिक्स सही अर्थ और भावना ले जाएँ।
- लक्ष्य: सबको एक ही पृष्ठ पर लाना और अनुवादक को ऐसे "बुरे" ब्रिक्स बनाने से रोकना जो दूसरों को भ्रमित करें।
चरण 2: स्वतंत्र अभ्यास
- एनालॉजी: अनुवादक अब एक मास्टर बन चुका है और बदलना बंद कर देता है। प्रेडिक्टर और सिंगर अपने आप में अभ्यास करते हैं, लेकिन उन्हें अलग-अलग डेटासेट का उपयोग करने की अनुमति है (शायद सिंगर शोर वाले रिकॉर्डिंग पर अभ्यास करता है जबकि प्रेडिक्टर साफ रिकॉर्डिंग पर)।
- लक्ष्य: अनुवादक के कोड को बिगाड़े बिना सिंगर और प्रेडिक्टर के विशिष्ट कौशल को फाइन-ट्यून करना।
चरण 3: पूर्ण ड्रेस रिहर्सल (सेकंड-ऑर्डर लॉस)
- एनालॉजी: यह बड़ा खेल है। प्रेडिक्टर को अब गलतियाँ करने की अनुमति है (परफेक्ट ब्रिक्स के बजाय खुद अनुमान लगाना)। सिंगर और कोच को इन अपूर्ण अनुमानों से निपटना होगा।
- जादू: यदि प्रेडिक्टर गलत ब्रिक का अनुमान लगाता है, तो सिंगर और कोच प्रेडिक्टर को वापस एक संकेत भेजते हैं कि "उस अनुमान ने आवाज़ को खराब बना दिया, फिर से कोशिश करें।"
- लक्ष्य: यह लूप को बंद करता है। प्रेडिक्टर उन अनुमानों को बनाना सीखता है जिन्हें सिंगर वास्तव में संभाल सके, और सिंगर त्रुटियों के प्रति मजबूत बनना सीखता है। यह "ट्रेन-टेस्ट मिसमैच" (जहाँ सिस्टम अभ्यास में काम करता है लेकिन वास्तविक दुनिया में विफल हो जाता है) को समाप्त करता है।
परिणाम: यह क्यों मायने रखता है
पेपर का दावा है कि सभी को एक साथ प्रशिक्षित करके, सिस्टम काफी बेहतर हो जाता है।
- बेहतर सटीकता: एक मानक परीक्षण (Seed-TTS) पर, उनके सिस्टम ने उच्चारण में बहुत कम गलतियाँ कीं (चीनी के लिए 0.78% और अंग्रेजी के लिए 1.56% की वर्ड एरर रेट)। यह एक नया "स्टेट-ऑफ-द-आर्ट" (SOTA) रिकॉर्ड है।
- छोटे मॉडल: उन्होंने यह हासिल करने के लिए अपेक्षाकृत छोटे मॉडलों (प्रेडिक्टर के लिए 0.6B पैरामीटर और सिंगर के लिए 0.5B) का उपयोग किया, जो यह साबित करता है कि यदि आप कुशलतापूर्वक प्रशिक्षण देते हैं, तो आपको शानदार परिणामों के लिए विशाल, भारी सिस्टम की आवश्यकता नहीं है।
- समृद्ध जानकारी: इस सिस्टम द्वारा बनाए गए "लेगो ब्रिक्स" (टोकन) अधिक स्मार्ट हैं। वे ध्वनि और अर्थ दोनों के बारे में अधिक उपयोगी जानकारी रखते हैं, और वे उपलब्ध "कोडबुक" (सभी संभावित ब्रिक्स का सेट) का अधिक कुशलता से उपयोग करते हैं, जिससे यह समस्या टल जाती है जहाँ सिस्टम केवल कुछ सामान्य ब्रिक्स का उपयोग करता है और बाकी को अनदेखा कर देता है।
निचोड़
यह पेपर तर्क देता है कि TTS सिस्टम बनाने का पुराना तरीका—जहाँ आप भागों को अलग-अलग बनाते हैं और उम्मीद करते हैं कि वे फिट बैठेंगे—अकुशल है। पूरे सिस्टम को एक बड़े, परस्पर जुड़े जीव के रूप में देखने और इसे एंड-टू-एंड प्रशिक्षित करने से, आपको एक ऐसी आवाज़ मिलती है जो अधिक सटीक, अधिक अभिव्यंजक और प्रशिक्षित करने में आसान होती है, भले ही कंप्यूटर मॉडल छोटे हों। यह अजनबियों के एक समूह द्वारा एक साथ एक गाना बजाने की कोशिश करने बनाम एक ऐसे बैंड के बीच का अंतर है जिसने महीनों तक हर नोट का अभ्यास किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।