Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing
यह शोध पत्र SIEDD को प्रस्तुत करता है, जो एक मल्टी-कोडेक डिस्क्रीट डिफ्यूजन मॉडल है जो स्पीकर की पहचान और प्रोसोडी (prosody) को संरक्षित करते हुए स्पीच इनपेंटिंग और एडिटिंग में अत्याधुनिक प्रदर्शन प्राप्त करने के लिए पदानुक्रमित टोकन जनरेशन (hierarchical token generation) और टेक्स्ट-गाइडेड कंडीशनिंग का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपना पसंदीदा गाना सुन रहे हैं, लेकिन अचानक धुन के कुछ सेकंड गायब हो जाते हैं, या शायद किसी ने वह शब्द फुसफुसा दिया जिसे आप नहीं सुनना चाहते थे। ऑडियो विज्ञान की दुनिया में, ट्रैक के बाकी हिस्सों को खराब किए बिना इन छेदों को भरना एक फटे हुए टेपेस्ट्री (तंतु बुने हुए कपड़े) की मरम्मत करने जैसा है। आप बस ऊपर एक नया कपड़ा चिपका नहीं सकते; नए धागे को आसपास के कपड़े के रंग, बुनावट और तनाव से पूरी तरह मेल खाना होगा। दशकों तक, कंप्यूटर इस काम में संघर्ष करते रहे। वे छोटी खरोंचों को तो ठीक कर सकते थे, लेकिन यदि कोई पूरा वाक्य गायब होता, तो वे अक्सर रोबोटिक लगते थे या वक्ता की आवाज़ के साथ तालमेल नहीं बिठा पाते थे।
हाल ही में, वैज्ञानिकों ने इसे हल करने के लिए "डिफ्यूजन" (diffusion) नामक एक चतुर तकनीक का उपयोग करना शुरू किया है। डिफ्यूजन को "टेलीफोन" के खेल की तरह समझें जो उलटे क्रम में खेला जा रहा है। कल्पना करें कि एक स्पष्ट तस्वीर धीरे-धीरे स्टैटिक शोर (static noise) से ढक जाती है जब तक कि वह धुंधले ग्रे रंग का एक धब्बा न बन जाए। एक डिफ्यूजन मॉडल एक स्मार्ट एआई (AI) है जो यह सीखता है कि उस धुंधले ग्रे मलबे से धीरे-धीरे शोर को कैसे हटाया जाए, चरण-दर-चरण, जब तक कि मूल तस्वीर फिर से प्रकट न हो जाए। हालांकि यह छवियों (images) के लिए बहुत अच्छा काम करता है, लेकिन भाषण (speech) के लिए ऐसा करना कठिन है क्योंकि भाषण केवल एक चिकनी रेखा नहीं है; यह परतों में बना होता है, जैसे एक केक जिसमें अलग-अलग स्वादों की परतें एक के ऊपर एक रखी गई हों। यह शोध पत्र इस बारे में गहराई से बताता है कि इस "उलटे शोर" के खेल का उपयोग करके भाषण को कैसे ठीक किया जाए, लेकिन एक विशेष मोड़ के साथ जो उन परतों का सम्मान करता है।
इस अध्ययन के पीछे के शोधकर्ताओं, इफ्ताच शोहम और उनकी टीम ने SIEDD (डिस्क्रीट डिफ्यूजन के माध्यम से स्पीच इनपेंटिंग और एडिटिंग) नामक एक नई प्रणाली पेश की है। उनका मुख्य लक्ष्य एक ऐसा उपकरण बनाना था जो रिकॉर्डिंग के लापता हिस्सों को भर सके (इनपेंटिंग) या शब्दों को नए शब्दों से बदल सके (एडिटिंग), जबकि वक्ता की आवाज़, लय और भावना बिल्कुल वैसी ही बनी रहे। उन्होंने पाया कि पिछले तरीके, जो एक ट्रैक पर चलती ट्रेन की तरह एक के बाद एक शब्द बनाने की कोशिश करते थे, अक्सर ऐसी गलतियाँ करते थे जो बढ़ती चली जाती थीं। यदि एआई पहला शब्द थोड़ा भी गलत करता, तो पूरा वाक्य सुनने में अजीब लगता।
इसके बजाय, SIEDD एक "डिस्क्रीट डिफ्यूजन" दृष्टिकोण का उपयोग करता है। कल्पना करें कि भाषण एक ट्रेन नहीं है, बल्कि एक मूर्ति है जिसे तराशा जा रहा है। एआई पत्थर के एक खुरदरे ब्लॉक (ध्वनि का मूल आकार) से शुरू करता है और फिर बारीक विवरणों को प्रकट करने के लिए धीरे-धीरे उसे छीलना शुरू करता है। इस शोध का बड़ा निष्कर्ष यह है कि आपको इन परतों के क्रम का सम्मान करना होगा। एआई पहले "कोर्स" (coarse) संरचना को समझता है—ध्वनि का बड़ा, खुरदरा आकार—और उसे एक ठोस आधार के रूप में लॉक कर देता है। उसके बाद ही वह अगली परत पर जाता है ताकि "फाइन" (fine) विवरण जोड़े जा सकें, जैसे कि आवाज़ की विशिष्ट बनावट। निचली परतों को एक साफ, प्रतिबद्ध संदर्भ (context) के रूप में मानकर और केवल वर्तमान परत को ही "डीनॉइजिंग" (denoising) करके, यह मॉडल बारीक विवरणों का अनुमान लगाने की उलझन से बच जाता है।
टीम ने इसका परीक्षण RealEdit नामक एक बेंचमार्क पर किया, जिसमें क्षतिग्रस्त रिकॉर्डिंग को ठीक करना या किसी के द्वारा कही गई बात को बदलना जैसे वास्तविक परिदृश्य शामिल हैं। परिणाम बताते हैं कि SIEDD अपने काम में काफी कुशल है। स्पीच-एडिटिंग परीक्षणों पर, इसने उन तरीकों में सबसे अच्छा समग्र प्रदर्शन किया जिनसे इसकी तुलना की गई थी, जिसमें शब्द समझने की त्रुटि दर (WER) सबसे कम और मूल वक्ता के साथ समानता सबसे अधिक थी। लापता अंतराल को भरने के मामले में, इसने अन्य लोकप्रिय तरीकों को पछाड़ दिया, विशेष रूप से तब जब एक साथ कई अंतराल भरने हों। लेखकों का सुझाव है कि यह सफलता ध्वनि के "पदानुक्रम" (hierarchy) को स्पष्ट रूप से मॉडल करने से आती है—यह स्वीकार करना कि ऑडियो कोड के कुछ हिस्से बड़े चित्र के लिए अधिक महत्वपूर्ण हैं, जबकि अन्य केवल सूक्ष्म विवरणों के लिए हैं।
उनके सिस्टम की एक चतुर तकनीक "लोकलाइज्ड गाइड" (localized guide) है। कल्पना करें कि आप एक वाक्य को संपादित कर रहे हैं, और आप "cat" शब्द को "dog" में बदलना चाहते हैं। एआई को यह जानने की आवश्यकता है कि ध्वनि को कहाँ बदलना है और बाकी हिस्से को कहाँ वैसा ही छोड़ना है। शोधकर्ताओं ने एक ऐसा तंत्र बनाया है जो केवल बदले जा रहे शब्दों के विशिष्ट हिस्से पर ध्यान केंद्रित करता है, जिससे यह सुनिश्चित होता है कि नए शब्द पुराने शब्दों के साथ पूरी तरह फिट बैठें और आस-पास की बातचीत को बाधित न करें। उन्होंने यह अनुमान लगाने का एक तरीका भी जोड़ा कि नए शब्द कितने लंबे होने चाहिए, ताकि संपादित भाषण बहुत तेज़ या बहुत धीमा न लगे।
संक्षेप में, यह शोध पत्र सुझाव देता है कि भाषण को एक बहु-परतीय केक की तरह मानकर और इसे परत दर परत—नीचे से शुरू करके और ऊपर की ओर बढ़ते हुए—ठीक करके, कंप्यूटर पहले की तुलना में बहुत अधिक स्वाभाविक रूप से ऑडियो की मरम्मत और संपादन कर सकते हैं। हालांकि यह प्रणाली पूर्ण नहीं है (बड़े अंतराल होने पर यह अभी भी थोड़ा संघर्ष करती है), यह इस दिशा में एक महत्वपूर्ण कदम है कि एआई को रोबोटिक के बजाय अधिक मानवीय बनाया जाए, ताकि वह सहजता से एक टूटे हुए वाक्य को ठीक कर सके या किसी शब्द को बदल सके बिना किसी को पता चले कि संपादन किया गया है। लेखक निष्कर्ष निकालते हैं कि यह "पदानुक्रम-जागरूक" (hierarchy-aware) दृष्टिकोण एक बेहतर विकल्प है, जो वक्ता की आवाज़ की आत्मा को सुरक्षित रखते हुए शब्दों को बदलने का एक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।