💬 NLP

Prosody-Guided Harmonic Attention for Phase-Coherent Neural Vocoding in the Complex Spectrum

यह शोधपत्र एक नवीन न्यूरल वोकोडर (neural vocoder) प्रस्तावित करता है जो प्रोसोडी-गाइडेड हार्मोनिक अटेंशन (prosody-guided harmonic attention) और डायरेक्ट कॉम्प्लेक्स स्पेक्ट्रम मॉडलिंग (direct complex spectrum modeling) का लाभ उठाकर मौजूदा अत्याधुनिक तरीकों की तुलना में प्रोसोडी को बढ़ाने, फेज़ कोहेरेंस (phase coherence) सुनिश्चित करने और पिच फिडेलिटी (pitch fidelity) एवं बोधगम्य गुणवत्ता में महत्वपूर्ण सुधार करने के लिए प्रोसोडी को बढ़ाता है।

मूल लेखक: Mohammed Salah Al-Radhi, Riad Larbi, Mátyás Bartalis, Géza Németh

प्रकाशित 2026-01-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammed Salah Al-Radhi, Riad Larbi, Mátyás Bartalis, Géza Németh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लाइव कॉन्सर्ट की रिकॉर्डिंग को फिर से बनाने की कोशिश कर रहे हैं। आपके पास शीट म्यूजिक (नोट्स और रिदम) है, लेकिन आपने वाद्ययंत्रों की वास्तविक ध्वनि खो दी है। आपका लक्ष्य ऑडियो को इतनी पूर्णता से फिर से बनाना है कि वह मूल प्रदर्शन की तरह बिल्कुल वैसा ही लगे, जिसमें गायक की आवाज़ की हर सूक्ष्मता सुरक्षित रहे।

यह शोध पत्र एक नए "डिजिटल साउंड इंजीनियर" (एक न्यूरल वोकोडर) का परिचय देता है जो पिछले संस्करणों की तुलना में बहुत बेहतर काम करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

समस्या: "धुंधली फोटो" का प्रभाव (The "Blurry Photo" Effect)

अधिकांश वर्तमान AI स्पीच सिंथेसाइज़र एक ऐसे फोटोग्राफर की तरह काम करते हैं जो एक धुंधले, कम रिज़ॉल्यूशन वाले स्केच से एक दृश्य को फिर से बनाने की कोशिश कर रहा हो। वे ध्वनि का एक सरलीकृत संस्करण (जिसे "मेल-स्पेक्ट्रोग्राम" कहा जाता है) लेते हैं और अनुमान लगाने की कोशिश करते हैं कि वास्तविक ध्वनि तरंग कैसी दिखनी चाहिए।

यह शोध पत्र तर्क देता है कि यह स्केच दो महत्वपूर्ण चीजों को हटा देता है:

लय और भावना (प्रोसोडी): उत्साह या उदासी दिखाने के लिए पिच (pitch) के उतार-चढ़ाव का तरीका अक्सर इस धुंधलेपन में खो जाता है।
समय (फेज़/Timing): ध्वनि तरंगों की एक विशिष्ट समय संरचना होती है। यदि आप समय को थोड़ा भी गलत कर देते हैं, तो ध्वनि "गंदी" या "लड़खड़ाती हुई" (wobbly) हो जाती है, जैसे कोई गायक बैंड के साथ थोड़ा तालमेल से बाहर हो।

समाधान: एक "स्मार्ट कंडक्टर" और एक "डायरेक्ट ब्लूप्रिंट"

लेखकों ने तीन अपग्रेड के साथ एक नया सिस्टम प्रस्तावित किया है:

1. "स्मार्ट कंडक्टर" (प्रोसोडी-गाइडेड हार्मोनिक अटेंशन)
एक ऑर्केस्ट्रा में एक कंडक्टर की कल्पना करें जिसे पता है कि कब वायलिन को तेज़ होना चाहिए और कब ड्रम को धीमा।

पुराना तरीका: AI धुंधले स्केच के आधार पर वॉल्यूम का अनुमान लगाता है।
नया तरीका: यह सिस्टम एक "कंडक्टर" (मौलिक आवृत्ति, या F0) का उपयोग करता है जो स्पष्ट रूप से AI को बताता है, "हे, यह हिस्सा एक गाया हुआ नोट है; सुनिश्चित करें कि हार्मोनिक्स मजबूत और स्पष्ट हों।" यह आवाज़ के उन हिस्सों पर अतिरिक्त ध्यान केंद्रित करता है जो वास्तव में गाए जा रहे हैं (voiced segments), जबकि उन हिस्सों को अनदेखा करता है जो केवल सांस या शोर (unvoiced segments) हैं। यह पिच को सटीक और भावना को स्पष्ट रखता है।

2. "डायरेक्ट ब्लूप्रिंट" (कॉम्प्लेक्स-स्पेक्ट्रम प्रेडिक्शन)
अधिकांश AI सिस्टम ध्वनि को फिर से बनाने की कोशिश करते हैं वॉल्यूम (मैग्निट्यूड) का अनुमान लगाकर और फिर बाद में समय (फेज़) का पता लगाने की कोशिश करते हैं, जैसे बिना चित्र वाले बॉक्स के पहेली को जोड़ने की कोशिश करना।

नया तरीका: यह सिस्टम सीधे ध्वनि तरंग के "ब्लूप्रिंट" को देखता है। यह वॉल्यूम (मैग्निट्यूड) और समय (ध्वनि स्पेक्ट्रम के वास्तविक और काल्पनिक भाग) दोनों का एक साथ अनुमान लगाता है। क्योंकि यह ब्लूप्रिंट में शुरुआत से ही समय को शामिल करता है, इसलिए अंतिम ध्वनि "फेज़-कोहेरेंट" होती है—जिसका अर्थ है कि तरंगें पूरी तरह से संरेखित होती हैं, जिससे एक स्पष्ट, प्राकृतिक आवाज़ मिलती है जिसमें कोई "लड़खड़ाहट" नहीं होती।

3. "ट्रिपल-चेक" ट्रेनिंग (मल्टी-ऑब्जेक्टिव लॉस)
AI को अच्छा सुनाई देने के लिए सिखाने के लिए, उन्होंने केवल एक नियम का उपयोग नहीं किया। उन्होंने एक तीन-स्तरीय ग्रेडिंग सिस्टम का उपयोग किया:

स्पेक्ट्रल चेक: क्या ध्वनि ग्राफ पर सही दिखती है?
"मानव कान" चेक: एक एडवरसेरियल सिस्टम (एक सख्त संगीत समीक्षक की तरह) यह पता लगाने की कोशिश करता है कि ध्वनि नकली है या असली।
टाइमिंग चेक: एक नया, विशिष्ट नियम जो AI को दंडित करता है यदि समय (फेज़) थोड़ा भी गलत हो।

परिणाम: एक स्पष्ट, अधिक प्राकृतिक आवाज़

लेखकों ने मानक वॉयस डेटासेट्स का उपयोग करके अपने नए "स्मार्ट कंडक्टर" का शीर्ष प्रतिस्पर्धियों (जैसे HiFi-GAN और AutoVocoder) के विरुद्ध परीक्षण किया। परिणाम स्पष्ट थे:

पिच सटीकता: नए सिस्टम ने गायक की पिच को ट्रैक करने में कम गलतियाँ कीं (पिछले सर्वश्रेष्ठ मॉडल की तुलना में त्रुटि लगभग 22% कम हुई)।
आवाज़ की गुणवत्ता: मानव श्रोताओं ने नए सिस्टम को उच्च रेटिंग दी (4.45 में से 4.45), जबकि अन्य ने (4.1 से 4.3 के बीच) स्कोर किया।
निरंतरता: नया सिस्टम यह जानने में बेहतर था कि कब "गायन वाली" आवाज़ का उपयोग करना है बनाम "सांस लेने वाली" आवाज़ का, जिससे संक्रमणों (transitions) में त्रुटियां कम हुईं।

मुख्य बात (The Bottom Line)

सोचिए कि पिछले AI वॉयस टूल्स केवल एक रफ आउटलाइन और रंगों का अनुमान लगाकर एक पोर्ट्रेट बनाने की कोशिश कर रहे हैं। यह नया टूल एक विस्तृत, रंग-कोडित ब्लूप्रिंट और एक कंडक्टर का उपयोग करता है ताकि यह सुनिश्चित हो सके कि हर ब्रशस्ट्रोक सही स्थान और सही समय पर हो। परिणाम एक सिंथेटिक आवाज़ है जो पहले की तुलना में अधिक प्राकृतिक, अधिक अभिव्यंजक और कम "रोबोटिक" है।

तकनीकी सारांश: फेज़-कोहेरेंट न्यूरल वोकोडर के लिए प्रोसोडी-गाइडेड हार्मोनिक अटेंशन

समस्या विवरण
स्पीच सिंथेसिस में न्यूरल वोकोडर्स की सफलता के बावजूद, वर्तमान अत्याधुनिक मॉडल दो निरंतर सीमाओं का सामना करते हैं: सीमित प्रोसोडी मॉडलिंग और गलत फेज़ पुनर्निर्माण। पारंपरिक दृष्टिकोण, जैसे कि HiFi-GAN और WaveGlow, कंडिशनिंग फीचर्स के रूप में मेल-स्पेक्ट्रोग्राम पर निर्भर करते हैं। हालांकि ये कुशल हैं, लेकिन मेल-स्पेक्ट्रोग्राम लॉसवी (lossy) और नॉन-इनवर्टिबल होते हैं, जो सूक्ष्म हार्मोनिक और फेज़ जानकारी को त्याग देते हैं। इसके कारण पिच आर्टिफैक्ट्स, धुंधले हार्मोनिक्स और टेम्पोरल विच्छेदन (discontinuities) उत्पन्न होते हैं, विशेष रूप से अभिव्यंजक या प्रोसोडिक रूप से समृद्ध कथनों में। इसके अतिरिक्त, जबकि कुछ हालिया मॉडल (जैसे, Vocos, BigVGAN) स्पेक्ट्रल डोमेन प्रेडिक्शन या पिच-अवेयर कंडिशनिंग की ओर बढ़े हैं, वे अक्सर हार्मोनिक अटेंशन जैसे प्रोसोडी-अवेयर मैकेनिज्म का स्पष्ट रूप से लाभ उठाने या एक एकीकृत, फेज़-कोहेरेंट फ्रेमवर्क में मैग्नीट्यूड और फेज़ को संयुक्त रूप से मॉडल करने में विफल रहते हैं।

कार्यप्रणाली
लेखक एक न्यूरल वोकोडर आर्किटेक्चर प्रस्तावित करते हैं जिसे उच्च-फिडेलिटी वेवफॉर्म जेनरेशन के लिए प्रोसोडी और फेज़ जानकारी दोनों को कैप्चर करने के लिए डिज़ाइन किया गया है। यह सिस्टम मेल-स्पेक्ट्रोग्राम डोमेन के बजाय सीधे कॉम्प्लेक्स स्पेक्ट्रल डोमेन में संचालित होता है। आर्किटेक्चर के तीन प्राथमिक घटक हैं:

प्रोसोडी-गाइडेड हार्मोनिक अटेंशन:
मॉडल रेफरेंस वेवफॉर्म से हार्वेस्ट (Harvest) एल्गोरिदम का उपयोग करके फंडामेंटल फ्रीक्वेंसी (F0) निकालता है। इस F0 कंटूर को एम्बेड किया जाता है और हार्मोनिक अटेंशन मैकेनिज्म के माध्यम से एनकोडर-डिकोडर पाथवे में इंजेक्ट किया जाता है। उन मॉडलों के विपरीत जो पिच को एक साधारण सहायक फीचर के रूप में मानते हैं, यह मॉड्यूल एनकोडेड स्पेक्ट्रल फीचर्स ( $H$ ) और F0 एम्बेडिंग्स ( $F$ ) के बीच इंटरैक्शन के आधार पर अटेंशन वेट्स की गणना करता है। यह मैकेनिज्म एनकोडेड रिप्रेजेंटेशन को F0 द्वारा इंगित हार्मोनिक संरचना के साथ स्पष्ट रूप से संरेखित करता है, जिससे स्वर युक्त (voiced) क्षेत्रों और हार्मोनिक संरचनाओं पर जोर दिया जाता है, जबकि स्वर रहित (unvoiced) फ्रेम्स अप्रभावित रहते हैं।
डायरेक्ट कॉम्प्लेक्स-स्पेक्ट्रम प्रेडिक्शन:
डिकोडर सीधे कॉम्प्लेक्स शॉर्ट-टाइम फूरियर ट्रांसफॉर्म (STFT) डोमेन में संचालित होता है। केवल मैग्नीट्यूड फीचर्स प्रेडिक्ट करने और हेयुरिस्टिक रूप से फेज़ को पुनर्निर्मित करने के बजाय, मॉडल स्पेक्ट्रम के रियल और इमेजिनरी कंपोनेंट्स को एक साथ प्रेडिक्ट करता है। आउटपुट को रियल ( $\hat{R}$ ) और इमेजिनरी ( $\hat{I}$ ) भागों में विभाजित किया जाता है, जो एक कॉम्प्लेक्स स्पेक्ट्रम $\hat{S} = \hat{R} + j\hat{I}$ बनाता है। इस स्पेक्ट्रम को इनवर्स STFT (ISTFT) के माध्यम से वेवफॉर्म में परिवर्तित किया जाता है, जो निर्माण द्वारा फेज़ कोहेरेंस सुनिश्चित करता है और पोस्ट-हॉक फेज़ एस्टीमेशन की आवश्यकता को समाप्त करता है।
मल्टी-ऑब्जेक्टिव परसेप्चुअल ऑप्टिमाइजेशन:
प्रशिक्षण के लिए एक मल्टी-ऑब्जेक्टिव लॉस फंक्शन का उपयोग किया जाता है जो तीन टर्म्स को जोड़ता है:

मल्टी-रेसोल्यूशन STFT (MR-STFT) लॉस: हार्मोनिक संरचना और स्पेक्ट्रल एनवेलप्स को कैप्चर करने के लिए कई विश्लेषण विंडोज़ के माध्यम से स्थिर स्पेक्ट्रल सुपरविजन प्रदान करता है।
एडवर्सरियल लॉस: वेवफॉर्म पर संचालित मल्टी-पीरियड और मल्टी-रेसोल्यूशन डिस्क्रिमिनेटर्स का उपयोग करते हुए एक लाइटवेट सेटअप, जो परसेप्चुअल रियलिज्म को बढ़ाता है।
फेज़-अवेयर लॉस: एक नवीन टर्म जो प्रेडिक्टेड और रेफरेंस कॉम्प्लेक्स स्पेक्ट्रा के बीच कंप्यूट किया जाता है। यूनिट मैग्नीट्यूड तक नॉर्मलाइज़ करके, यह लॉस विशेष रूप से फेज़ अलाइनमेंट पर ध्यान केंद्रित करता है, जो एम्प्लीट्यूड स्केलिंग से स्वतंत्र होकर फेज़ कोहेरेंस को लागू करता है।

प्रमुख योगदान
पेपर तीन नवाचारों की पहचान करता है:

प्रोसोडी-गाइडेड हार्मोनिक अटेंशन: एक मैकेनिज्म जो स्पेक्ट्रल मॉडलिंग को कंडिशन करने के लिए F0 का लाभ उठाता है, जिससे स्वर युक्त क्षेत्रों पर जोर देकर एनकोडिंग स्टेज में प्रोसोडिक फिडेलिटी में सुधार होता है।
डायरेक्ट कॉम्प्लेक्स-स्पेक्ट्रम प्रेडिक्शन: एक एकीकृत फ्रेमवर्क जो मैग्नीट्यूड और फेज़ (रियल और इमेजिनरी कंपोनेंट्स) दोनों को प्रेडिक्ट करता है, जिससे बिना डीकपलिंग के इनवर्स STFT के माध्यम से फेज़-कोहेरेंट वेवफॉर्म पुनर्निर्माण संभव होता है।
मल्टी-ऑब्जेक्टिव परसेप्चुअल ट्रेनिंग: एक ऑप्टिमाइजेशन स्ट्रैटेजी जो एडवर्सरियल, स्पेक्ट्रल और फेज़-अवेयर लॉस को एकीकृत करती है ताकि मॉडल को परसेप्चुअल क्वालिटी और फेज़ कोहेरेंस के साथ बेहतर ढंग से संरेखित किया जा सके।

प्रायोगिक परिणाम
प्रयोग LJSpeech और VCTT कॉर्पोरा पर HiFi-GAN, AutoVocoder, Vocos और एक Griffin-Lim एंकर के विरुद्ध किए गए। परिणाम ऑब्जेक्टिव और सब्जेक्टिव मेट्रिक्स में निरंतर लाभ प्रदर्शित करते हैं:

पिच सटीकता: F0 रूट मीन स्क्वेर्ड एरर (RMSE) HiFi-GAN की तुलना में 22% और AutoVocoder की तुलना में 18% कम हुआ।
प्रोसोडिक रिलायबिलिटी: वोइस्ड/अनवोइस्ड (V/UV) एरर रेट HiFi-GAN के सापेक्ष 18% कम हुआ।
परसेप्चुअल क्वालिटी: मीन ओपिनियन स्कोर (MOS) सुधरकर 4.45 हो गया, जो HiFi-GAN (4.2), AutoVocoder (4.3) और Vocos (4.1) से बेहतर है। प्रेफरेंस टेस्ट में, श्रोताओं ने 88% मामलों में प्रस्तावित सिस्टम को पसंद किया।
स्पेक्ट्रल फिडेलिटी: रेसिडुअल मेल एनर्जी के विश्लेषण ने दिखाया कि प्रस्तावित मॉडल ने बेसलाइन्स की तुलना में कम रेसिडुअल्स बनाए रखा और रेफरेंस हार्मोनिक्स को अधिक बारीकी से ट्रैक किया, जो कम टेम्पोरल स्मियरिंग का संकेत देता है।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य एक एकीकृत वोकोडर आर्किटेक्चर स्थापित करता है जो प्रोसोडी और फेज़ मॉडलिंग के लंबे समय से चले आ रहे अंतराल को संबोधित करता है। प्रोसोडी-गाइडेड अटेंशन के साथ डायरेक्ट कॉम्प्लेक्स-स्पेक्ट्रम प्रेडिक्शन को जोड़कर, सिस्टम अधिक नेचुरल, पिच-एक्यूरेट और रोबस्ट सिंथेटिक स्पीच प्रदान करता है। पेपर का तर्क है कि प्रोसोडी और फेज़ कोहेरेंस को एक साथ मॉडल करना वॉयस क्लोनिंग, इमोशनल स्पीच सिंथेसिस और ब्रेन-टू-स्पीच डिकोडिंग जैसे उन्नत अनुप्रयोगों के लिए महत्वपूर्ण है, जहाँ निष्ठापूर्ण प्रोसोडी रिप्रोडक्शन आवश्यक है। यह कार्य यह प्रदर्शित करके एक्सप्रेसिव न्यूरल वोकोडिंग के लिए एक आधार तैयार करता है कि कैसे जॉइंट मैग्नीट्यूड-फेज़ मॉडलिंग, प्रोसोडिक क्यूज़ द्वारा निर्देशित, पारंपरिक मेल-स्पेक्ट्रोग्राम आधारित दृष्टिकोणों से बेहतर प्रदर्शन करती है।

समस्या: "धुंधली फोटो" का प्रभाव (The "Blurry Photo" Effect)

समाधान: एक "स्मार्ट कंडक्टर" और एक "डायरेक्ट ब्लूप्रिंट"

परिणाम: एक स्पष्ट, अधिक प्राकृतिक आवाज़

मुख्य बात (The Bottom Line)

इसी तरह के और पेपर