DLLM-TTS: Block Discrete Diffusion Language Model for Text-to-Speech Synthesis
यह शोध पत्र DLLM-TTS का परिचय देता है, जो एक 0.6B-पैरामीटर वाला फ्रेमवर्क है जो न्यूरल ऑडियो कोडेक टोकन पर कंडीशनल ब्लॉक डिस्क्रीट डिफ्यूजन के रूप में टेक्स्ट-टू-स्पीच सिंथेसिस को तैयार करता है, जिससे अनुक्रमिक ब्लॉकों के भीतर समानांतर टोकन भविष्यवाणी के माध्यम से उच्च स्पष्टता और 0.15 के रियल-टाइम फैक्टर के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को गाना गाना सिखाने की कोशिश कर रहे हैं। आपके पास इसे करने के दो मुख्य तरीके हैं, और दोनों में ही एक परेशान करने वाली कमी है। पहला तरीका एक ऐसे छात्र की तरह है जो एक समय में एक शब्द पढ़ते हुए किताब पढ़ रहा है। वे उच्चारण को बिल्कुल सटीक पाते हैं और कहानी का अर्थ भी समझ आता है, लेकिन उन्हें अगला शब्द शुरू करने से पहले पूरा वाक्य समाप्त करना पड़ता है। यह धीमा है, और यदि आप चाहते हैं कि रोबोट किसी विशिष्ट व्यक्ति की तरह सुनाई दे, तो आपको इसे किताबों का एक विशाल पुस्तकालय (या इस मामले में, रिकॉर्ड की गई बातचीत के घंटों और घंटों का डेटा) खिलाना होगा ताकि वह यह कला सीख सके। दूसरा तरीका एक ऐसे गायक समूह (क्वायर) की तरह है जहाँ हर कोई एक ही समय में अपना हिस्सा गाता है। यह अविश्वसनीय रूप से तेज़ है, लेकिन अक्सर गायक भटक जाते हैं, शब्दों को छोड़ देते हैं, या खुद को दोहराने लगते हैं क्योंकि वे अपने से पहले वाले व्यक्ति को नहीं सुन रहे होते हैं।
वर्षों तक, वैज्ञानिक "परफेक्ट लेकिन धीमे" और "तेज़ लेकिन अव्यवस्थित" के बीच चुनने में फंसे रहे। Smallest.ai की एक टीम द्वारा लिखा गया यह शोध पत्र उस अव्यवस्थित मध्य मार्ग में कदम रखता है। वे टेक्स्ट-टू-स्पीच (TTS) के क्षेत्र में काम कर रहे हैं, जो वह तकनीक है जो लिखित टेक्स्ट को बोले गए ऑडियो में बदल देती है। मुख्य विचार जिसे वे इस्तेमाल कर रहे हैं वह है "डिस्क्रीट डिफ्यूजन" (discrete diffusion)। इसे "टेलीफोन" के खेल की तरह समझें जो उल्टा खेला जा रहा है। संदेश को एक लाइन में फुसफुसाने के बजाय, कल्पना करें कि आपके पास एक वाक्य है जहाँ सभी शब्द प्रश्न चिह्नों के पीछे छिपे हुए हैं। रोबोट का काम उन छिपे हुए शब्दों का अनुमान लगाना है, लेकिन वह उन्हें एक-एक करके नहीं लगाता। वह शब्दों के एक पूरे समूह का एक साथ अनुमान लगाता है, जाँचता है कि क्या वे समझ में आते हैं, और फिर उन्हें परिष्कृत (refine) करता है। लेखक यह देखना चाहते थे कि क्या वे "कोयर" विधि की गति और "छात्र" विधि की सटीकता को जोड़ सकते हैं, और वह भी सामान्य से बहुत कम प्रशिक्षण डेटा का उपयोग करके।
टीम एक नया ढांचा पेश करती है जिसे DLLM-TTS कहा जाता है। पूरे स्पीच सिग्नल को एक साथ उत्पन्न करने या एक बार में एक छोटे से टुकड़े को उत्पन्न करने के बजाय, वे ऑडियो को छोटे "ब्लॉक्स" (blocks) में तोड़ देते हैं, जैसे कि एक किताब के अध्याय। कल्पना कीजिए कि भाषण एक लंबी ट्रेन है। पुराने तेज़ तरीकों ने पूरी ट्रेन को एक साथ बनाने की कोशिश की, जिससे अक्सर डिब्बे पटरी से उतर जाते थे। पुराने धीमे तरीके एक बार में एक डिब्बा बनाते थे, प्रत्येक डिब्बे के पूरा होने का इंतज़ार करते हुए अगला शुरू करते थे। DLLM-TTS ट्रेन को डिब्बों के समूहों (ब्लॉक्स) में बनाता है। प्रत्येक समूह के भीतर, रोबोट सभी डिब्बों का एक साथ अनुमान लगाता है, लेकिन वह अगला समूह शुरू करने से पहले पिछले समूह के पूरा होने का इंतज़ार करता है।
यह "ब्लॉक" दृष्टिकोण इसे तेज़ बनाता है क्योंकि यह ध्वनि के कई हिस्सों पर एक ही समय में काम कर सकता है, लेकिन यह सटीक भी रहता है क्योंकि यह अभी भी कहानी के क्रम का सम्मान करता है। रोबोट सीखने के लिए एक विशेष प्रकार के "मास्किंग" (masking) का उपयोग करता है। प्रशिक्षण के दौरान, रोबोट को एक वाक्य दिखाया जाता है जहाँ कुछ शब्द छिपे हुए होते हैं, और उसे टेक्स्ट और उस आवाज़ के एक छोटे से नमूने के आधार पर यह पता लगाना होता है कि वे क्या हैं जिसे वह नकल करना चाहता है। क्योंकि रोबोट हर बार अलग-अलग शब्दों के साथ उसी वाक्य को देखता है, इसलिए वह सामान्य रूप से शुरू से अंत तक वाक्य पढ़ने की तुलना में बहुत तेज़ी से बोलने के नियमों को सीख जाता है। यह एक गाने को अलग-अलग छंदों का रैंडम क्रम में अभ्यास करके सीखने जैसा है, बजाय इसके कि आप बस पूरी चीज़ को बार-बार गाते रहें; आप धुन और बोलों को अधिक कुशलता से सीखते हैं।
परिणाम काफी उत्साहजनक हैं। टीम ने केवल 20,000 घंटों के स्पीच डेटा का उपयोग करके 0.6 बिलियन पैरामीटर्स (एक माप कि रोबोट का मस्तिष्क कितना "बड़ा" है) वाला एक मॉडल प्रशिक्षित किया। इसे समझने के लिए, अन्य शीर्ष-स्तरीय रोबोटों को अक्सर समान चीजें सीखने के लिए 60,000 से 250,000 घंटों के डेटा की आवश्यकता होती है। कम डेटा का उपयोग करने के बावजूद, उनका रोबोट बोलने की गुणवत्ता और इस बात पर प्रतिस्पर्धी प्रदर्शन करता है कि वह जिस व्यक्ति की नकल कर रहा है, वह कितना वैसा ही लगता है। गति की बात करें तो, रोबగా 0.15 के "रियल-टाइम फैक्टर" (RTF) के साथ वास्तविक समय में भाषण उत्पन्न कर सकता है। इसका मतलब है कि रोबोट को एक सेकंड का ऑडियो उत्पन्न करने में केवल 0.15 सेकंड का समय लगता है, जो इसे लाइव बातचीत के लिए पर्याप्त तेज़ बनाता है।
यह शोध पत्र सुझाव देता है कि यह ब्लॉक-आधारित दृष्टिकोण पारंपरिक तरीकों का एक मजबूत विकल्प है। यह दिखाता है कि आपको उच्च-गुणवत्ता वाली स्पीच प्राप्त करने के लिए आवश्यक रूप से भारी मात्रा में डेटा या एक अत्यंत धीमी, क्रमिक प्रक्रिया की आवश्यकता नहीं है। समस्याओं को प्रबंधनीय टुकड़ों में तोड़कर और "अनुमान लगाने और परिष्कृत करने" की रणनीति का उपयोग करके, लेखकों ने एक ऐसी प्रणाली बनाई है जो डेटा-कुशल और तेज़ दोनों है। हालांकि यह शोध पत्र यह दावा नहीं करता है कि यह सभी भाषण समस्याओं के लिए पूर्ण अंतिम समाधान है, लेकिन यह प्रदर्शित करता है कि गति और सटीकता को मिलाने का यह विशिष्ट तरीका बहुत अच्छी तरह से काम करता है, जो दुनिया की हर आवाज़ को सीखने के लिए एक विशाल पुस्तकालय की आवश्यकता के बिना स्वाभाविक और तेज़ी से बात करने वाले रोबोट बनाने के लिए एक नया रास्ता प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।