Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions
यह शोध पत्र टेक्स्ट-टू-स्पीच प्रणालियों के लिए एक भाषाई रूप से आधारित, आयाम-स्तरीय मेटा-मूल्यांकन बेंचमार्क प्रस्तुत करता है ताकि यह प्रकट किया जा सके कि वर्तमान स्वचालित मूल्यांकनकर्ता, जिनमें MOS भविष्यवक्ता और ऑडियो-एलएलएम जज शामिल हैं, बुनियादी ध्वनिक गुणवत्ता से परे धारणात्मक भाषण आयामों की पूर्ण व्यापकता को विश्वसनीय रूप से पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बोलना सिखा रहे हैं। आप चाहते हैं कि वह एक असली इंसान की तरह सुनाई दे, न कि किसी ग्लिच वाले वीडियो गेम कैरेक्टर की तरह। लेकिन आपको कैसे पता चलेगा कि रोबोट अच्छा काम कर रहा है? लंबे समय से, वैज्ञानिक "मीन ओपिनियन स्कोर" (MOS) का उपयोग करते आए हैं। इसे एक स्कूल रिपोर्ट कार्ड की तरह समझें जहाँ एक मानव श्रोता रोबोट को एक एकल ग्रेड देता है, जैसे कि "B" या "5 में से 4", इस आधार पर कि वह कितना स्वाभाविक सुनाई देता है। हाल ही में, हमने इन ग्रेडों को स्वचालित रूप से देने के लिए सुपर-स्मार्ट AI जजों (जिन्हें Audio-LLMs कहा जाता है) का उपयोग करना शुरू कर दिया है, इस उम्मीद में कि वे हजारों रिकॉर्डिंग सुनने के लिए इंसानों से पूछने में लगने वाला हमारा समय बचा सकें।
बड़ा सवाल यह है कि क्या ये स्वचालित जज वास्तव में यह समझते हैं कि आवाज खराब क्यों लग रही है? क्या ऐसा इसलिए है क्योंकि रोबक शब्द का गलत उच्चारण कर रहा है? क्या ऐसा इसलिए है क्योंकि वह बहुत तेजी से बोल रहा है? या क्या ऐसा इसलिए है क्योंकि रोबोट एक रोबोट जैसा लग रहा है? यदि AI जज बिना यह जाने कि विशेष रूप से क्या गलत हुआ, केवल एक "B" दे देता है, तो यह एक छात्र को गणित के टेस्ट पर बुरा ग्रेड देने जैसा है लेकिन उसे यह नहीं बताता कि उसने जोड़, घटाव या गुणा में से कहाँ गलती की। यह पेपर इस बात की जांच करता है कि क्या हमारे वर्तमान स्वचालित जज वास्तव में इन विशिष्ट गलतियों को पहचानने के लिए पर्याप्त स्मार्ट हैं, या वे केवल इस आधार पर अनुमान लगा रहे हैं कि ऑडियो कितना "शोर भरा" (noisy) है।
ServiceNow के शोधकर्ताओं ने इन स्वचालित जजों को एक बहुत ही विशिष्ट परीक्षण से गुजरने का निर्णय लिया। उन्होंने 860 स्पीच सैंपल्स का एक विशाल, कस्टम-मेड डेटासेट बनाया, लेकिन उन्होंने केवल रैंडम वाक्य रिकॉर्ड नहीं किए। वे पागल वैज्ञानिकों की तरह थे, जिन्होंने जानबूझकर भाषण में विशिष्ट प्रकार की त्रुटियां डालीं। उन्होंने गलतियों के 10 अलग-अलग "फ्लेवर्स" बनाए, जो शब्द-स्तर की छोटी गलतियों (जैसे "bat" के बजाय "cat" कहना) से लेकर बड़ी समस्याओं जैसे कि गलत भावना के साथ बोलना या ऐसी आवाज होना जो मानव के लिए शारीरिक रूप से असंभव हो, तक फैले हुए थे। फिर उन्होंने प्रशिक्षित भाषाविदों (linguists) को हर एक क्लिप सुनने और ठीक से लेबल करने के लिए कहा कि वास्तव में क्या गलत हुआ था।
इस परफेक्ट "उत्तर कुंजी" के साथ, उन्होंने चार अलग-अलग प्रकार के स्वचालित MOS प्रेडिक्टर्स और चार अलग-अलग Audio-LLM जजों का परीक्षण किया। उन्होंने इन AI मॉडलों से विभिन्न स्थितियों में भाषण को रेट करने के लिए कहा: कभी-कभी केवल एक सामान्य "स्वाभाविकता" (naturalness) स्कोर मांगकर, और अन्य बार उन्हें खोजने के लिए 10 विशिष्ट त्रुटि प्रकारों की एक विस्तृत चेकलिस्ट देकर।
परिणाम थोड़े चौंकाने वाले थे। पारंपरिक MOS प्रेडिक्टर्स (वे जो केवल एक संख्या देते हैं) ऐसे निकले जो केवल तभी बजने वाले स्मोक डिटेक्टर की तरह हैं जब आग लग जाए, लेकिन खिड़की टूटने को अनदेखा कर देते हैं। वे स्पष्ट, निम्न-स्तरीय ग्लिच जैसे कि रोबोटिक भिनभिनाहट या अजीब स्टैटिक (जिसे पेपर में "ह्यूमन प्लाउज़िबिलिटी" त्रुटियां कहा गया है) को पकड़ने में बहुत अच्छे थे, लेकिन वे भाषाई गलतियों के प्रति पूरी तरह अंधे थे। यदि किसी रोबोट ने गलत शब्द का उच्चारण किया या गलत शब्दांश (syllable) पर जोर दिया, तो MOS प्रेडिक्टर अक्सर इसकी परवाह नहीं करता था, और उच्च स्कोर दे देता था भले ही मानव श्रोता इसे सुनकर झेंप रहे हों।
Audio-LLM जज थोड़े अधिक जटिल थे। उनमें त्रुटियों को पहचानने की कुछ क्षमता दिखाई दी, लेकिन केवल तभी जब आप उनसे सही तरीके से पूछें। जब शोधकर्ताओं ने केवल पूछा, "क्या यह स्वाभाविक है?", तो AI जज असंगत थे और कई विशिष्ट त्रुटियों को मिस कर गए। हालांकि, जब शोधकर्ताओं ने AI को एक विस्तृत "संदर्भ मार्गदर्शिका" (schema) दी जिसमें जांचने के लिए 10 विशिष्ट आयाम शामिल थे, तो जज शब्द-स्तर की गलतियों को पकड़ने में बहुत बेहतर हो गए। लेकिन एक पेच था: यदि आपने AI को एक साथ सभी 10 आयामों की जांच करने के लिए कहा, तो वह अक्सर भ्रमित हो जाता था और सब कुछ एक जैसा स्कोर देने लगता था। यह तब सबसे अच्छा काम करता था जब आपने उससे एक बार में केवल एक विशिष्ट प्रकार की त्रुटि पर ध्यान केंद्रित करने के लिए कहा।
अंततः, यह पेपर सुझाव देता है कि हम एक एकल "स्वाभाविकता" स्कोर पर भरोसा नहीं कर सकते कि टेक्स्ट-टू-स्पीच सिस्टम अच्छा है या नहीं। वर्तमान स्वचालित जज उन छात्रों की तरह हैं जो बिखरी हुई मेज को पहचानने में तो माहिर हैं लेकिन स्पेलिंग की गलती पकड़ने में बहुत खराब हैं। वे बोले जा रहे वास्तविक भाषा के बजाय रिकॉर्डिंग की ध्वनि गुणवत्ता पर ध्यान केंद्रित करते हैं। लेखक निष्कर्ष निकालते हैं कि इन प्रणालियों को वास्तव में सुधारने के लिए, हमें "स्वाभाविकता" को एक बड़े रहस्य के रूप में मानना बंद करना होगा और भाषण का मूल्यांकन प्रत्येक विशिष्ट आयाम—उच्चारण, स्ट्रेस, भावना और गति—को व्यक्तिगत रूप से देखकर करना होगा। जब तक हम ऐसा नहीं करते, हमारे स्वचालित जज हमें एक ऐसे रोबोट के लिए पास होने का ग्रेड दे सकते हैं जो इंसान की तरह सुनाई देता है, लेकिन वास्तव में गलत शब्द बोल रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।