PASE: Leveraging the Phonological Prior of WavLM for Low-Hallucination Generative Speech Enhancement
यह शोध पत्र PASE का प्रस्ताव करता है, जो एक जनरेटिव स्पीच एनहांसमेंट फ्रेमवर्क है जो भाषाई और ध्वनिक मतिभ्रम (hallucinations) को प्रभावी ढंग से कम करने के लिए एक प्री-ट्रेंड WavLM मॉडल के सुदृढ़ ध्वन्यात्मक पूर्वग्रहों (phonological priors) का लाभ उठाता है और मौजूदा विधियों की तुलना में बेहतर बोधगम्य गुणवत्ता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शोर-शराबे वाले स्टेडियम के बीच में अपने एक दोस्त की आवाज़ सुनने की कोशिश कर रहे हैं। आपका मस्तिष्क इंजीनियरिंग का एक चमत्कार है; यह चिल्लाते हुए प्रशंसकों और तेज़ संगीत को छानकर अलग कर देता है ताकि आप अपने दोस्त के शब्दों पर ध्यान केंद्रित कर सकें। दशकों से, वैज्ञानिक ऐसे कंप्यूटर बनाने की कोशिश कर रहे हैं जो यही काम कर सकें, जिसे स्पीच एन्हांसमेंट (Speech Enhancement) कहा जाता है। लक्ष्य सरल है: एक बिखरी हुई, शोर वाली रिकॉर्डिंग को लें और उसे साफ करें ताकि वह ऐसी लगे जैसे उसे एक शांत कमरे में रिकॉर्ड किया गया हो।
पारंपरिक रूप से, कंप्यूटर यह काम ध्वनि तरंग (sound wave) के "बुरे" हिस्सों को काटकर करते थे। लेकिन इससे अक्सर आवाज़ रोबोटिक या सपाट हो जाती थी। हाल ही में, "जनरेटिव" (generative) कंप्यूटरों की एक नई पीढ़ी आई है। इन्हें केवल संपादक (editor) के रूप में नहीं, बल्कि उन प्रतिभाशाली कलाकारों के रूप में सोचें जो यह पुनर्कल्पना कर सकते हैं कि आवाज़ कैसी होनी चाहिए। वे आवाज़ को प्राकृतिक और सुचारू बनाने में माहिर हैं। हालाँकि, इसमें एक पेंच है: क्योंकि वे कल्पना करने में बहुत अच्छे हैं, वे कभी-कभी बहुत अधिक रचनात्मक हो जाते हैं। यदि शोर बहुत तेज़ है, तो वे ऐसे शब्द भी बना सकते हैं जो कभी बोले ही नहीं गए थे, या वक्ता की आवाज़ को पूरी तरह से किसी दूसरे व्यक्ति जैसी बना सकते हैं। इसे "हैलुसिनेशन" (hallucination) कहा जाता है। यह एक ऐसे संगीतकार की तरह है जो एक टूटी हुई रिकॉर्डिंग को ठीक करने की कोशिश कर रहा है, लेकिन गलती से गलत सुर लगा देता है क्योंकि उसने अनुमान लगाया था कि वहाँ क्या होना चाहिए था। बड़ा सवाल वैज्ञानिकों के लिए यह है: हम नए कलाकारों की प्राकृतिक ध्वनि को कैसे प्राप्त करें बिना उन्हें कहानी बनाने से रोके?
यहीं नंजिंग यूनिवर्सिटी और सिस्को सिस्टम्स के शोधकर्ताओं द्वारा प्रस्तावित एक नया सिस्टम काम आता है। वे इस "बहुत अधिक रचनात्मक" होने वाली समस्या को हल करने के लिए PASE (Phonologically Anchored Speech Enhancer) नामक एक प्रणाली प्रस्तावित करते हैं। कंप्यूटर को शून्य से शब्दों का अनुमान लगाना सिखाने के बजाय, उन्होंने इसे मानव भाषण वास्तव में कैसे काम करता है, इसके आधार पर एक संदर्भ देने का निर्णय लिया।
शोधकर्ताओं ने महसूस किया कि पिछले "जनरेटिव" सिस्टम शोर भरी, टूटी हुई रिकॉर्डिंग को देखकर भाषा के नियमों को सीखने की कोशिश कर रहे थे। यह बर्फबारी के बीच फुटबॉल का खेल देखकर फुटबॉल के नियम सीखने जैसा है जहाँ आप गेंद को मुश्किल से देख पाते हैं। कंप्यूटर भ्रमित हो जाता है और नए नियम बनाने लगता है। PASE एक अलग दृष्टिकोण अपनाता है। यह WavLM नामक एक प्री-ट्रेंड एआई मॉडल का उपयोग करता है, जिसने पहले ही स्पष्ट भाषण के हजारों घंटों का अध्ययन किया है। WavLM को एक मास्टर भाषाविद् (master linguist) के रूप में सोचें जो जानता है कि मानवीय ध्वनियाँ (phonemes) आपस में कैसे जुड़ती हैं। PASE इन नियमों को फिर से सीखने की कोशिश नहीं करता; यह बस मदद के लिए उस मास्टर भाषाविद् से पूछता है। यह सफाई की प्रक्रिया को "एंकर" (anchor) करने के लिए भाषाविद् के ज्ञान का उपयोग करता है, जिससे यह सुनिश्चित होता है कि कंप्यूटर कभी भी ऐसा शब्द न बना दे जो मानव भाषण की ध्वनि संरचना में फिट न बैठता हो।
आवाज़ के व्यक्तित्व (जैसे वक्ता का अनूठा स्वर और पिच) को संभालने के लिए, PASE एक चतुर दो-ट्रैक प्रणाली का उपयोग करता है। कल्पना कीजिए कि कंप्यूटर एक चित्रकार है। एक ट्रैक कहानी (शब्दों और अर्थ) पर ध्यान केंद्रित करता है, मास्टर भाषाविद् की मदद से यह सुनिश्चित करता है कि कहानी सटीक हो। दूसरा ट्रैक बनावट (वक्ता की आवाज़) पर ध्यान केंद्रित करता है, जो मूल व्यक्ति की आवाज़ को बनाए रखने के लिए एआई की सबसे निचली परतों से सूक्ष्म विवरण निकालता है। इन दोनों ट्रैकों को अलग रखते हुए भी एक साथ काम कराने से, PASE वक्ता की पहचान बदले बिना शब्दों को ठीक करने के सामान्य जाल से बच जाता है।
उनके प्रयोगों के परिणाम काफी उत्साहजनक हैं। जब उन्होंने अन्य शीर्ष मॉडलों के मुकाबले PASE का परीक्षण किया, तो यह न केवल अच्छा सुनाई दिया; बल्कि यह बहुत अधिक सटीक भी था। बहुत शोर वाले ऑडियो के परीक्षणों में, अन्य मॉडल अक्सर शब्द बना देते थे, जिससे अत्यधिक मामलों में "वर्ड एरर रेट" (एक पैमाना कि कितने शब्द गलत थे) 36% या यहाँ तक कि 72% तक पहुँच जाता था। हालाँकि, PASE ने त्रुटि दर को बहुत कम रखा, जो परीक्षण के आधार पर लगभग 7.5% से 15% के बीच था, जबकि ध्वनि प्राकृतिक बनी रही। इसने वक्ता की आवाज़ को किसी अजनबी में बदलने के बजाय मूल व्यक्ति जैसा बनाए रखने में भी बेहतर काम किया।
लेखकों का सुझाव है कि इस सफलता की कुंजी केवल एक बड़ा कंप्यूटर या अधिक डेटा नहीं थी, बल्कि सही "पूर्व ज्ञान" (prior knowledge) का उपयोग करना था। उन्होंने पाया कि भाषण की संरचना को समझने की क्षमता इस बात से आती है कि एआई को विशेष रूप से गायब ध्वनियों की भविष्यवाणी करने के लिए कैसे प्रशिक्षित किया गया था, न कि केवल भारी मात्रा में डेटा देखने से। इस विशिष्ट ज्ञान का लाभ उठाकर, PASE एक अनुशासित कलाकार की तरह कार्य करता है: इसमें शोर भरी रिकॉर्डिंग के अंतराल को भरने की रचनात्मकता है, लेकिन यह मानव भाषा के नियमों द्वारा सख्ती से निर्देशित है ताकि यह कभी भी सीमा पार न करे। यह इसे वास्तविक दुनिया की स्थितियों के लिए एक अधिक विश्वसनीय उपकरण बनाता है जहाँ स्पष्टता और सटीकता उतनी ही महत्वपूर्ण है जितनी कि प्राकृतिक सुनाई देना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।