Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions
यह शोध पत्र स्वच्छ स्थितियों के तहत 17 न्यूरल ऑडियो कोडेक्स के लिए व्यक्तिपरक श्रवण स्कोर के विरुद्ध 45 वस्तुनिष्ठ स्पीच-क्वालिटी मेट्रिक्स का मूल्यांकन करता है, जिसमें यह पाया गया कि ScoreQ और UTMOS जैसे न्यूरल-आधारित मेट्रिक्स उच्चतम सहसंबंध प्राप्त करते हैं, जबकि यह भी उल्लेख किया गया है कि गैर-आक्रामक (non-intrusive) मेट्रिक्स उच्च गुणवत्ता स्तरों पर संतृप्त होने की प्रवृत्ति रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह आंकने की कोशिश कर रहे हैं कि इंटरनेट पर भेजने के लिए एक गाने को एक बहुत ही छोटी फ़ाइल में दबाने (squish करने) के बाद वह कैसा सुनाई देता है। डिजिटल ऑडियो की दुनिया में, यह "दबाने" का काम एक कोडेक (codec) नामक चीज़ द्वारा किया जाता है। कोडेक को एक अत्यंत कुशल शेफ की तरह समझें जो एक विशाल, रसीले स्टेक (मूल ध्वनि) को छोटे-छोटे, एक निवाले के आकार के टुकड़ों में काटता है ताकि वह आपकी जेब में फिट हो सके, और फिर बाद में उसे फिर से जोड़ने की कोशिश करता है। कभी-कभी पुनर्गठित स्टेक का स्वाद अद्भुत होता है; अन्य समय में यह थोड़ा सूखा या अजीब बनावट वाला हो सकता है।
द दशकों से, इंजीनियरों ने यह जांचने के दो मुख्य तरीके इस्तेमाल किए हैं कि क्या स्टेक का स्वाद अच्छा है। पहला तरीका है विषयपरक परीक्षण (Subjective Test): वे कुछ लोगों को बुलाते हैं और उनसे 1 से 5 के पैमाने पर भोजन को रेट करने के लिए कहते हैं। यह "स्वर्ण मानक" है, लेकिन यह धीमा, महंगा है और इसमें बहुत अधिक मानवीय धैर्य की आवश्यकता होती है। दूसरा तरीका है वस्तुनिष्ठ मीट्रिक (Objective Metric): एक कंप्यूटर प्रोग्राम जो ध्वनि तरंगों को देखता है और बिना किसी इंसान के सुने, रेटिंग का अनुमान लगाने की कोशिश करता है। यह तेज़ और सस्ता है, लेकिन लंबे समय तक, ये कंप्यूटर जज पुराने ज़माने की ऑडियो समस्याओं पर प्रशिक्षित थे। अब, "न्यूरल" कोडेक की एक नई पीढ़ी आ गई है—ये कृत्रिम बुद्धिमत्ता (AI) का उपयोग करके ध्वनि को फिर से बनाने का काम करते हैं, लगभग एक डिजिटल कलाकार की तरह जो शून्य से एक चित्र बना रहा हो। बड़ा सवाल यह है कि क्या पुराने कंप्यूटर जज इस नई AI कला को परखने के योग्य हैं, या वे गलत चीजों को देख रहे हैं?
यह शोध पत्र इसी प्रश्न का उत्तर देने के लिए एक विशाल "टेस्ट-टेस्ट" मुकाबले का आयोजन करके इस प्रश्न का उत्तर देता है। शोधकर्ताओं ने 17 अलग-अलग न्यूरल ऑडियो कोडेक एकत्र किए, जो अलग-अलग गति और बिटरेट पर चलते हैं (कुछ 1.0 kbps जितने कम, अन्य 8.0 kbps तक), और उन्हें 100 स्वच्छ स्पीच सैंपल खिलाए। फिर उन्होंने एक भीड़ को मानवों से गुणवत्ता को रेट करने के लिए कहा, जिसे MUSHRA-1S कहा जाता है, जो उच्च-गुणवत्ता वाली ध्वनियों के बीच सूक्ष्म अंतर को पहचानने में सक्षम एक अत्यंत सटीक रूलर की तरह है। इसके बाद, उन्होंने उन्हीं ध्वनियों को 45 अलग-अलग कंप्यूटर स्कोरिंग प्रोग्रामों के माध्यम से चलाया—कुछ जिन्हें तुलना करने के लिए मूल ध्वनि की आवश्यकता होती है (इंट्रूसिव/आक्रामक) और कुछ जो केवल परिणाम को देखते हैं (नॉन-इंट्रूसिव/गैर-आक्रामक)।
परिणाम एक आश्चर्यजनक पार्टी की तरह थे जहाँ अपेक्षित विजेता दिखाई नहीं दिए। अध्ययन में पाया गया कि पुराने ज़माने के कंप्यूटर जज, जैसे कि PESQ और WARPQ, ठीक थे लेकिन बहुत अच्छे नहीं; उन्होंने मानवीय राय के साथ लगभग 0.73 का सहसंबंध (correlation) बनाए रखा। हालाँकि, नए AI-संचालित मीट्रिक्स, विशेष रूप से ScoreQ, UTMOS, और Audiobox, स्पष्ट विजेता थे, जिसमें ScoreQ ने 0.87 का सहसंबंध प्राप्त किया। यह सुझाव देता है कि AI ऑडियो को आंकने के लिए, आपको एक AI जज की आवश्यकता होती है।
लेकिन कहानी में एक मोड़ आया। जब शोधकर्ताओं ने बहुत अच्छी ध्वनियों को करीब से देखा—वे ध्वनियाँ जिन्हें मनुष्यों ने लगभग पूर्ण रेट किया था—तो उन्होंने एक अजीब सी गड़बड़ी देखी। नॉन-इंट्रूसिव AI मीट्रिक्स (वे जिन्हें मूल ध्वनि की आवश्यकता नहीं होती) एक "सीलिंग" (छत) से टकरा गए। एक बार जब ध्वनि बहुत अच्छी हो जाती, तो ये मीट्रिक्स अपने स्कोर बदलना बंद कर देते थे, भले ही मनुष्य सूक्ष्म अंतर देख सकते थे। यह एक थर्मामीटर की तरह है जो 100 डिग्री पर पहुँचने के बाद रुक जाता है, भले ही कमरा और गर्म हो जाए। लेखक सुझाव देते हैं कि ऐसा इसलिए होता है क्योंकि इन मीट्रिक्स को अक्सर सरल "5 में से 5" रेटिंग वाले मानवीय डेटा पर प्रशिक्षित किया गया था, जिससे कंप्यूटर के लिए "5" और "5.5" के बीच अंतर करना कठिन हो गया।
इसके विपरीत, इंट्रूसिव मीट्रिक्स (जो परिणाम की मूल ध्वनि से तुलना करते हैं) उच्चतम गुणवत्ता स्तरों पर भी पूरी तरह से काम करते रहे, जिससे त्रुटि का छोटा मार्जिन और सूक्ष्म बदलावों के प्रति संवेदनशीलता बनी रही। शोध पत्र एक व्यावहारिक नियम प्रदान करता है: यदि आप औसत या थोड़े शोर वाले ऑडियो का परीक्षण कर रहे हैं, तो तेज़, नॉन-इंट्रूसिव AI मीट्रिक्स जैसे UTMOS और ScoreQ आपके सबसे अच्छे मित्र हैं। लेकिन यदि आप हाई-फिडेलिटी ऑडियो को पॉलिश कर रहे हैं और सूक्ष्म खामियों को पकड़ने की आवश्यकता है, तो आपको इंट्रूसिव तरीकों जैसे ScoreQ Ref पर टिके रहना चाहिए, जो एक आवर्धक लेंस (magnifying glass) की तरह काम करते हैं जो ऊपरी स्तर पर धुंधला नहीं होता। अध्ययन ने न केवल सर्वोत्तम उपकरण खोजे; बल्कि इसने हमें यह भी दिखाया कि प्रत्येक उपकरण कहाँ काम करना बंद कर देता है, जिससे इंजीनियरों को सही काम के लिए सही जज चुनने में मदद मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।