PSP: An Interpretable Per-Dimension Accent Benchmark for Indic Text-to-Speech
यह शोध पत्र PSP (फोनीम सब्स्टीट्यूशन प्रोफाइल) प्रस्तुत करता है, जो एक व्याख्यात्मक, प्रति-आयाम बेंचमार्क है जो रेट्रोफ्लेक्शन और एस्पिरेशन जैसे विशिष्ट लहजे के लक्षणों पर इंडिक टेक्स्ट-टू-स्पीच सिस्टम का मूल्यांकन करता है, जिससे यह पता चलता है कि वर्तमान वाणिज्यिक और ओपन-सोर्स लीडर्स उच्च मानक बोधगम्यता स्कोर के बावजूद इन ध्वन्यात्मक बारीकियों को पकड़ने में अक्सर विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक रोबोट है जो टेक्स्ट को ज़ोर से पढ़ सकता है। यदि आप उससे हिंदी, तेलुगु या तमिल में एक वाक्य पढ़ने के लिए कहते हैं, तो वह स्पेल-चेकर के अनुसार हर एक शब्द को बिल्कुल "सही" बोल सकता है। वह एक भी वर्तनी (spelling) गलत नहीं करेगा। लेकिन यदि उस क्षेत्र का कोई मूल निवासी (native speaker) उसे सुनता है, तो वह कह सकता है, "यह ऐसा लग रहा है जैसे कोई विदेशी मेरी भाषा बोलने की कोशिश कर रहा है।" रोबोट स्पेलिंग तो सही कर रहा है, लेकिन उसका लहजा (accent) गलत है।
यह पेपर PSP (फोनीम सब्स्टीट्यूशन प्रोफाइल) नामक एक नया टूल पेश करता है, जो यह मापने के लिए है कि वह लहजा ठीक कैसे गलत है, न कि केवल यह कहना कि "यह बुरा लगता है" या "यह अच्छा लगता है।"
यहाँ इस पेपर के विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "परफेक्ट स्पेलिंग, गलत लहजा" का जाल
स्पीच रोबोट्स (टेक्स्ट-टू-स्पीच या TTS) को टेस्ट करने के तरीके वर्तमान में एक स्पेलिंग बी (spelling bee) की तरह हैं। वे जाँचते हैं:
- स्पष्टता (Intelligibility): क्या इसने सही शब्द कहे? (वर्ड एरर रेट)।
- स्वाभाविकता (Naturalness): क्या यह इंसान जैसा लगता है? (MOS स्कोर)।
खामी: एक रोबोट स्पेलिंग बी में 100% अंक प्राप्त कर सकता है लेकिन फिर भी एक पर्यटक की तरह लग सकता है। भारतीय भाषाओं में, कुछ विशिष्ट "फ्लेवर" वाले ध्वनियाँ होती हैं जिन्हें गैर-मूल निवासी आसानी से बिगाड़ सकते हैं:
- रेट्रोफ्लेक्स ध्वनियाँ (Retroflex sounds): जीभ पीछे की ओर मुड़ती है (जैसे 't' या 'd' जो मुँह की छत से बनाया जाता है)।
- एस्पिरेशन (Aspiration): हवा का एक झोंका (जैसे किसी व्यंजन के बाद एक कोमल 'h')।
- स्वर की लंबाई (Vowel length): ध्वनि को लंबा खींचना (जैसे "cat" बनाम "caat")।
- "झा" की ध्वनि (The "Zha" sound): एक अनूठी तमिल ध्वनि जो अंग्रेजी में मौजूद नहीं है।
यदि एक रोबोट "मुड़ी हुई जीभ" वाली ध्वनि को एक सामान्य "सपाट जीभ" वाली ध्वनि में बदल देता है, तो यह स्पेलिंग की गलती नहीं है; यह लहजे (accent) की गलती है। वर्तमान उपकरण इसे पकड़ नहीं पाते।
2. समाधान: "छह-बिंदु लहजा रिपोर्ट कार्ड"
लेखकों ने PSP बनाया है, जो एक रोबोट के लहजे के लिए एक छह-आयामी स्वास्थ्य जांच (six-dimensional health check) की तरह है। एक एकल स्कोर के बजाय, यह आपको छह विशिष्ट ग्रेड के साथ एक रिपोर्ट कार्ड देता है:
- रेट्रोफ्लेक्स कोलैप्स रेट (RR): रोबोट कितनी बार अपनी जीभ मोड़ने में विफल रहा? (जैसे एक छात्र जो बार-बार होमवर्क करना भूल जाता है)।
- एस्पिरेशन फिडेलिटी (AF): क्या इसने हवा को बाहर निकाला जब इसे निकालना चाहिए था?
- वावेल लेंथ फिडेलिटी (LF): क्या इसने लंबे स्वरों को पर्याप्त समय तक खींचा?
- तमिल "झा" फिडेलिटी (ZF): क्या इसने उस एक कठिन तमिल ध्वनि को सही पकड़ा?
- ऑडियो डिस्टेंस (FAD): एक "साउंड स्पेस" में रोबोट की आवाज़ एक मूल वक्ता की आवाज़ से कितनी दूर है? (इसे एक दूरी मापने वाले मीटर की तरह समझें)।
- प्रोसोडिक सिग्नेचर (PSD): क्या रोबोट में सही लय, पिच और मधुरता है? (क्या यह गाने को सपाट गा रहा है, या सही भावना के साथ?)।
जादू: पहले चार को AI सुनने वाले उपकरणों का उपयोग करके एक "मूल वक्ता के औसत" (सेंट्रॉइड) के साथ तुलना करके मापा जाता है। अंतिम दो ऑडियो के समग्र "वाइब" (vibe) को मापते हैं।
3. प्रयोग: रोबोट्स का परीक्षण
लेखकों ने चार प्रसिद्ध कमर्शियल रोबोट्स (जैसे ElevenLabs और Cartesia) और कुछ ओपन-सोर्स रोबोट्स का हिंदी, तेलुगु और तमिल पर परीक्षण किया।
बड़ी खोजें:
- कठिनाई की सीढ़ी (Difficulty Ladder): रोबोट्स ने हिंदी को सबसे आसान, तेलुगु को कठिन और तमिल को सबसे कठिन पाया।
- हिंदी: रोबोट्स ने कठिन ध्वनियों पर लगभग सटीक स्कोर प्राप्त किया।
- तेलुगु: रोबोट्स ने लगभग 40% "मुड़ी हुई जीभ" वाली ध्वनियों में गड़बड़ी शुरू कर दी।
- तमिल: रोबोट्स ने उन ध्वनियों में लगभग 68% गड़बड़ी की।
- "स्पेलिंग" बनाम "लहजा" का अंतर: जिस रोबोट ने सबसे अच्छे स्पेलिंग स्कोर (सबसे कम वर्ड एरर रेट) प्राप्त किए, वह हमेशा सबसे अच्छा लहजा रखने वाला रोबोट नहीं था।
- उपमा: कल्पना कीजिए कि एक छात्र गणित के टेस्ट में 'A' ग्रेड पाता है लेकिन उसकी लिखावट वाला हिस्सा फेल हो जाता है। पुराना ग्रेडिंग सिस्टम केवल गणित के ग्रेड को देखता था। PSP दोनों को देखता है।
- कोई परफेक्ट रोबोट नहीं: कोई भी एक रोबलेट हर चीज़ में सर्वश्रेष्ठ नहीं था। एक रोबोट का लय (PSD) बेहतरीन हो सकता है लेकिन "मुड़ी हुई जीभ" की ध्वनियाँ खराब हो सकती हैं। दूसरे की ध्वनियाँ बेहतरीन हो सकती हैं लेकिन लय सपाट और उबाऊ हो सकती है। आपको विशिष्ट कार्य के लिए सही उपकरण चुनना होगा।
4. "वॉयस प्रॉम्प्ट" ट्रिक
लेखकों ने अपने स्वयं के रोबोट (Praxy Voice) का भी परीक्षण किया। उन्होंने पाया कि यदि उन्होंने रोबोट को एक वास्तविक मानव द्वारा तेलुगु बोलते हुए एक 9-सेकंड का ऑडियो क्लिप एक "रेफरेंस" के रूप में दिया, तो रोबोट अचानक बहुत अधिक मूल (native) लगने लगा।
- उपमा: यह एक छात्र की तरह है जो टेस्ट देने से पहले कुछ सेकंड के लिए एक मूल वक्ता को सुनता है। रोबोट ने "वाइब को पकड़ लिया" और अपने लहजे में सुधार किया, भले ही उसने पूरी भाषा दोबारा नहीं सीखी।
5. यह क्यों महत्वपूर्ण है
पेपर का तर्क है कि हमें "लहजे" (accent) को एक अस्पष्ट भावना के रूप में मानना बंद करना चाहिए। इसे छह विशिष्ट आयामों में तोड़कर, डेवलपर्स देख सकते हैं कि उनका रोबोट वास्तव में कहाँ विफल हो रहा है।
- यदि "रेट्रोफ्लेक्स" स्कोर कम है, तो उन्हें पता है कि उन्हें जीभ मोड़ने वाली ध्वनियों को ठीक करना है।
- यदि "प्रोसोडी" स्कोर कम है, तो उन्हें लय और भावना को ठीक करना है।
संक्षेप में: यह पेपर इंजीनियरों को भारतीय लहजों के कठिन रास्तों पर नेविगेट करने के लिए एक विस्तृत मानचित्र देता है, यह दिखाते हुए कि शब्दों को सही बोलना केवल आधी लड़ाई है; 'फ्लेवर' को सही करना दूसरी आधी लड़ाई है।
(नोट: पेपर स्पष्ट रूप से बताता है कि ये परिणाम पायलट परीक्षणों पर आधारित हैं और मानव श्रवण स्कोर के साथ औपचारिक सहसंबंध को भविष्य के संस्करण, v2 में अंतिम रूप दिया जाएगा।)
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।