Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

एक ऐसी दुनिया की कल्पना करें जहाँ एक कंप्यूटर किसी दृश्य के विवरण को देख सकता है और तुरंत एक वीडियो क्लिप बना सकता है, जिसमें उससे जुड़ी ध्वनियाँ भी शामिल हों। यदि आप "पार्क में एक कुत्ता भौंक रहा है" टाइप करते हैं, तो मशीन पार्क का दृश्य और भौंकने की आवाज़ उत्पन्न करती है। यह तकनीक, जिसे टेक्स्ट-टू-ऑडियो-वीडियो जनरेशन (text-to-audio-video generation) कहा जाता है, तेजी से विकसित हुई है, जिससे मशीनें केवल शब्दों के माध्यम से पूरे दृश्य संश्लेषित करने में सक्षम हो गई हैं। हालाँकि, एक महत्वपूर्ण सीमा बनी हुई है: जबकि कंप्यूटर यह तय कर सकता है कि कौन सी ध्वनियाँ निकालनी हैं, वह यह तय नहीं कर सकता कि उन्हें कौन बनाएगा। आउटपुट में बोलने वाली या भौंकने वाली आवाज़ अनिवार्य रूप से यादृच्छिक (random) होती है, जो उन विशाल संभावनाओं के पूल से ली जाती है जिन्हें मशीन ने सीखा है, जिससे रचनाकार यह निर्दिष्ट करने में असमर्थ रहते हैं कि कोई विशेष पात्र किसी विशिष्ट व्यक्ति जैसा सुनाई देना चाहिए। नियंत्रण की इस कमी ने इन उपकरणों को व्यक्तिगत कहानियों, एनिमेटेड पात्रों की डबिंग करने, या किसी विशिष्ट व्यक्ति की आवाज़ को डिजिटल अवतार में लाने के लिए उपयोग करना कठिन बना दिया है।

साथ ही, आर्टिफिशियल इंटेलिजेंस की एक अलग शाखा ने वॉयस क्लोनिंग (voice cloning) की कला में महारत हासिल कर ली है, जहाँ एक सिस्टम किसी व्यक्ति की अनूठी टोन को उसके बोलने के कुछ सेकंड सुनने के बाद उसकी नकल कर सकता है। फिर भी, ये वॉयस-क्लोनिंग सिस्टम केवल ऑडियो तक सीमित हैं; वे साथ में चलने वाले वीडियो को उत्पन्न नहीं कर सकते, और अक्सर उन्हें शून्य से बनाए गए विशेष, जटिल ढांचों की आवश्यकता होती है। शोधकर्ताओं के लिए चुनौती इन दो दुनियाओं को जोड़ने की थी: एक शक्तिशाली वीडियो-और-ध्वनि जनरेटर को किसी विशिष्ट आवाज़ की नकल करने के लिए सिखाना, बिना उसकी वास्तविक दृश्य बनाने की क्षमता को नष्ट किए या पूरे सिस्टम को फिर से बनाने की आवश्यकता के।

शोधकर्ताओं की एक टीम ने इस अंतर को पाटने का एक आश्चर्यजनक रूप से सरल तरीका प्रदर्शित किया है। उन्होंने दिखाया कि एक बड़ा, पूर्व-मौजूदा मॉडल जो वीडियो और ध्वनि दोनों उत्पन्न करने में सक्षम है, उसे इसके ऑडियो प्रोसेसिंग यूनिट के ऊपर केवल एक छोटे, खाली गणितीय कनेक्शन की परत जोड़कर वॉयस-क्लोनिंग टूल में बदला जा सकता है। यह नई परत बिना किसी सीखी गई जानकारी के शुरू होती है, जिसका अर्थ है कि मॉडल बदलाव से पहले की तरह ही व्यवहार करता है। शोधकर्ताओं ने इस संशोधित सिस्टम को एक विशिष्ट विधि का उपयोग करके अपेक्षाकृत कम समय के लिए प्रशिक्षित किया। उन्होंने मॉडल को एक लक्षित वक्ता की एक छोटी रिकॉर्डिंग और उसके साथ टेक्स्ट विवरण दिया। सिस्टम ने उस रिकॉर्डिंग को सुनना और उस रिकॉर्डिंग के अद्वितीय ध्वनिक गुणों का उपयोग करके नई उत्पन्न की गई ध्वनि को आकार देना सीखा, जबकि वीडियो निर्माण को बरकरार रखा।

इस सफलता की कुंजी यह है कि शोधकर्ताओं ने मशीन में संदर्भ आवाज़ (reference voice) को कैसे पेश किया। उन्होंने दो पूरक संकेतों का उपयोग किया। सबसे पहले, उन्होंने संदर्भ रिकॉर्डिंग के डिजिटल प्रतिनिधित्व को ऑडियो डेटा स्ट्रीम के बिल्कुल शुरुआत में रखा, जिससे मॉडल को नई ध्वनियाँ बनाते समय लगातार उस पर नज़र रखने की अनुमति मिली। दूसरा, उन्होंने वक्ता की आवाज़ का एक एकल, संक्षिप्त सारांश निकाला और उसका उपयोग मॉडल द्वारा उत्पन्न प्रत्येक ध्वनि के स्वर को धीरे से निर्देशित करने के लिए किया। इस दृष्टिकोण के लिए केवल एक नई रैखिक परत (linear layer) की आवश्यकता थी, जो एक छोटा सा जोड़ था जिसे शून्य से प्रारंभ किया गया था ताकि सीखने के प्रारंभिक चरणों के दौरान मॉडल बाधित न हो। इस प्रणाली को इन संकेतों पर ध्यान केंद्रित करने के लिए प्रशिक्षित करके, शोधकर्ताओं ने इसे उच्च सटीकता के साथ आवाज़ के टिम्बर (timbre), या उसकी अनूठी रंगत को कॉपी करने में सक्षम बनाया।

इस दृष्टिकोण के परिणामों का परीक्षण 30 अलग-अलग वक्ताओं वाले 674 अद्वितीय टेक्स्ट-एंड-वॉयस पेयर्स के बेंचमार्क का उपयोग करके पांच अन्य अग्रणी वॉयस-क्लोनिंग सिस्टम के विरुद्ध किया गया। नया मॉडल, जिसमें पांच बिलियन पैरामीटर हैं, लक्षित वक्ता की आवाज़ से मेल खाने की अपनी क्षमता में अन्य सभी प्रणालियों से बेहतर प्रदर्शन करता है। इसने तीन अलग-अलग स्वतंत्र सत्यापन नेटवर्क के माध्यम से उच्चतम स्कोर प्राप्त किया, जो विशेष रूप से यह मापने के लिए डिज़ाइन किए गए उपकरण हैं कि दो आवाज़ें आपस में कितनी समान हैं। शोधकर्ताओं ने पाया कि उनका मॉडल वक्ता की आवाज़ के सूक्ष्म, प्राकृतिक गुणों को पकड़ सकता है, जिसमें वह विशिष्ट ध्वनिक बनावट (acoustic texture) भी शामिल है जो एक आवाज़ को पहचानने योग्य बनाती है, भले ही इसका अर्थ यह हो कि परिणामी भाषण में कभी-कभी शब्द चयन में मामूली त्रुटियां हों। यह ट्रेड-ऑफ सुझाव देता है कि मॉडल शब्दों की पूर्ण सटीकता के बजाय वक्ता की ध्वनि के प्रामाणिक पुनर्निर्माण को प्राथमिकता देता है, जो एक ऐसा व्यवहार है जो अन्य प्रणालियों से भिन्न है जो अधिक स्पष्ट लेकिन कम विशिष्ट आवाज़ें उत्पन्न करती हैं।

इस आर्किटेक्चर का एक अप्रत्याशित लाभ यह है कि निर्माण के अंतिम चरण के दौरान वीडियो और ऑडियो भागों को अलग किया जा सकता है। क्योंकि मॉडल को एक असममित संरचना (asymmetric structure) के साथ डिज़ाइन किया गया था, जहाँ ऑडियो और वीडियो स्ट्रीम को अलग-अलग तरीके से संसाधित किया जाता है लेकिन वे जुड़े हुए होते हैं, शोधकर्ताओं ने पाया कि वे मॉडल के केवल ऑडियो भाग को अपने आप चला सकते हैं। इसने उन्हें पूर्ण वीडियो बनाने की प्रतीक्षा किए बिना वॉयस-क्लोन की गई ऑडियो उत्पन्न करने की अनुमति दी, जिससे पूर्ण सिस्टम चलाने की तुलना में लगभग तीस गुना गति में वृद्धि हुई। यह संस्करण, जो कुल कंप्यूटिंग शक्ति के एक अंश का उपयोग करता है, फिर भी प्रभावी ढंग से आवाज़ क्लोन करने की क्षमता को बनाए रखता है, जो पूर्ण वीडियो जनरेशन के लिए प्रतिबद्ध होने से पहले विभिन्न आवाज़ों का त्वरित परीक्षण करने का एक व्यावहारिक तरीका प्रदान करता है।

महत्वपूर्ण रूप से, शोधकर्ताओं ने सत्यापित किया कि वॉयस-क्लोनिंग क्षमता जोड़ने से मॉडल की मूल क्षमताओं को कोई नुकसान नहीं पहुँचा। जब उन्होंने संशोधित मॉडल का परीक्षण ऐसे कार्यों पर किया जहाँ कोई संदर्भ आवाज़ प्रदान नहीं की गई थी, तो इसने मूल संस्करण की तुलना में बेहतर प्रदर्शन किया, जिससे अधिक स्वाभाविक ऑडियो और टेक्स्ट विवरणों के साथ अधिक सटीक तालमेल बना। यह दर्शाता है कि नई परत, एक तटस्थ अवस्था से शुरू होकर, एक लचीले जोड़ के रूप में कार्य करती है जिसने सिस्टम को बेहतर बनाया बिना उसे जो पता था उसे भूलने के लिए मजबूर किए। अध्ययन निष्कर्ष निकालता है कि न्यूनतम वास्तुशिल्प परिवर्तनों के माध्यम से उन्नत वीडियो-और-ध्वनि जनरेटरों को विशिष्ट आवाज़ों की नकल करने की क्षमता से लैस करना संभव है, जो बड़े पैमाने पर पुन: प्रशिक्षण या जटिल नए डिजाइनों की आवश्यकता के बिना अधिक व्यक्तिगत और नियंत्रित ऑडियो-विजुअल सामग्री निर्माण के द्वार खोलता है।