Benchmarking Large Language Models for Grapheme-to-Phoneme Conversion: A Japanese Case Study
यह शोध पत्र जापानी ग्राफीम-टू-फोनम रूपांतरण के लिए 30 से अधिक बड़े भाषा मॉडलों का बेंचमार्किंग करता है, जो यह प्रदर्शित करता है कि नियम-आधारित पोस्ट-प्रोसेसिंग वाले पार्स मोड का उपयोग करने वाले विशिष्ट मॉडल उच्चारण सटीकता में पारंपरिक उपकरणों और एंड-टू-एंड टेक्स्ट-टू-स्पीच सिस्टम की तुलना में काफी बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को जापानी बोलना सिखाने की कोशिश कर रहे हैं। रोबोट लिखित पात्रों (जैसे कांजी, जो जटिल चित्रों की तरह दिखते हैं) को पढ़ सकता है, लेकिन उसे अपने आप यह नहीं पता कि उन्हें ज़ोर से कैसे बोला जाए। यही ग्राफिम-टू-फोनीम (G2P) रूपांतरण का काम है: लिखित पाठ को उन ध्वनियों (फोनीम) में बदलना जिनकी बोलने के लिए आवश्यकता होती है।
जापानी में, यह कंप्यूटरों के लिए एक बुरा सपना है क्योंकि:
- स्पेस (स्थान) का अभाव: शब्द बिना किसी स्पेस के आपस में मिल जाते हैं, इसलिए कंप्यूटर को यह अनुमान लगाना पड़ता है कि एक शब्द कहाँ समाप्त होता है और दूसरा कहाँ से शुरू होता है।
- कई अर्थ: एक पात्र के संदर्भ के आधार पर कई अलग-अलग ध्वनियाँ हो सकती हैं (जैसे अंग्रेजी शब्द "read" का उच्चारण "I read a book" बनाम "I will read a book" में अलग होता है)।
- जटिल नियम: छोटे व्याकरण संबंधी कण (particles) अगले शब्द के आधार पर अपनी ध्वनि बदल देते हैं, और संख्याओं के साथ जुड़े काउंटर (जैसे "एक कप" बनाम "दो कप") में बहुत अनियमित ध्वनियाँ होती हैं।
वर्षों तक, हमने इसे हल करने के लिए विशेष, नियम-आधारित सॉफ़्टवेयर (जैसे एक सख्त शब्दकोश) का उपयोग किया। लेकिन हाल ही में, लार्ज लैंग्वेज मॉडल्स (LLMs)—वही AI दिमाग जो निबंध लिखते हैं और हमसे चैट करते हैं—इस काम को करने के लिए भी शक्तिशाली हो गए हैं।
यह शोध पत्र एक बड़ी दौड़ है यह देखने के लिए कि कौन सा AI जापानी पाठ को ज़ोर से पढ़ने में सबसे अच्छा है।
दो रणनीतियाँ: "अनुवादक" बनाम "जादूगर"
शोधकर्ताओं ने AI से यह करने के लिए दो तरीके आजमाए:
"अनुवादक" मोड (पार्स मोड - Parse Mode):
- यह कैसे काम करता है: आप AI से पहले वाक्य को व्यक्तिगत शब्दों में तोड़ने (जैसे शब्दकोश देखना) और प्रत्येक शब्द के लिए ध्वनि को एक संरचित सूची में लिखने के लिए कहते हैं। फिर, नियमों का एक सरल सेट (जैसे स्पेल-चेकर) अंतिम ध्वनियों को ठीक करता है (उदाहरण के लिए, विशिष्ट व्याकरण कणों के लिए "ha" को "wa" में बदलना)।
- उपमा: यह एक अनुवादक को हायर करने जैसा है जो शब्द-दर-शब्द शब्दावली लिखता है, और फिर एक मानव संपादक अंत में व्याकरण को जल्दी से ठीक करता है। AI को जटिल नियमों की चिंता करने की ज़रूरत नहीं है; उसे बस शब्दों की पहचान करनी है।
"जादूगर" मोड (डायरेक्ट मोड - Direct Mode):
- यह कैसे काम करता है: आप AI को कहते हैं, "यहाँ एक वाक्य है, बस एक बार में अंतिम ध्वनि दे दो।" AI को सब कुछ एक साथ करना होगा: शब्दों को खोजना, ध्वनियों का अनुमान लगाना और सभी जटिल व्याकरण नियमों को एक साथ लागू करना।
- उपमा: यह एक जादूगर से एक ही सहज गति में टोपी से खरगोश, एक कबूतर और एक और कबूतर निकालने के लिए कहने जैसा है। यह शानदार है, लेकिन यदि AI एक छोटा सा भी नियम भूल जाता है, तो पूरा जादू विफल हो जाता है।
दौड़ के परिणाम
शोधकर्ताओं ने 3,000 वाक्यों पर 30 से अधिक विभिन्न AI मॉडल (छोटे, सस्ते से लेकर विशाल, महंगे मॉडलों तक) का परीक्षण किया। यहाँ उन्होंने क्या पाया:
बड़ा बेहतर है: ठीक वैसे ही जैसे एक बड़ा मस्तिष्क अधिक तथ्य याद रख सकता है, बड़े AI मॉडल बहुत कम गलतियाँ करते हैं। सबसे छोटे मॉडल भ्रमित थे और अक्सर रैंडम शब्दों का अनुमान लगाते थे, जबकि सबसे बड़े मॉडल अविश्वसनीय रूप से सटीक थे।
विशेष प्रशिक्षण मायने रखता है: वे AI मॉडल जिन्हें उनके प्रशिक्षण के दौरान विशेष रूप से अधिक जापानी "सिखाया" गया था (जिसे "जापानी-विशेषज्ञ" कहा जाता है), वे सामान्य मॉडलों की तुलना में बहुत बेहतर थे, भले ही वे सामान्य मॉडल बहुत बड़े क्यों न हों।
विजेता: "अनुवादक" (पार्स) मोड लगभग सभी के लिए स्पष्ट विजेता था। AI को केवल शब्दों की पहचान करने पर ध्यान केंद्रित करने देने और एक सरल नियम-चेकर को जटिल व्याकरण संभालने देने से, त्रुटियां काफी कम हो गईं।
- सर्वश्रेष्ठ परिणाम: शीर्ष AI (Claude Opus 4.6) ने 0.52% से भी कम पात्रों में गलतियाँ कीं।
- पुराना गार्ड: सबसे अच्छा पारंपरिक सॉफ़्टवेयर (OpenJTalk) ने 1.03% पात्रों में गलतियाँ कीं।
- निष्कर्ष: नया AI पुराने मानक उपकरणों की तुलना में लगभग दोगुना सटीक है।
जब "जादूगर" जीतता है: दिलचस्प बात यह है कि कुछ अत्यंत बुद्धिमान AI मॉडलों के लिए, "जादूगर" (डायरेक्ट) मोड थोड़ा बेहतर काम करता है। ये सुपर-स्मार्ट मॉडल जटिल निर्देशों का पालन करने में इतने अच्छे थे कि उन्हें नियम-चेकर की मदद की ज़रूरत नहीं थी। हालाँकि, अधिकांश मॉडलों के लिए, एक साथ सब कुछ करने की कोशिश करने से भ्रम पैदा हुआ।
क्या यह वास्तव में अच्छा लगता है?
शोधकर्ताओं ने केवल यह जाँच नहीं की कि AI ने अक्षरों को सही ढंग से प्राप्त किया या नहीं; उन्होंने यह भी जाँच की कि क्या वह एक रोबोट की आवाज़ को स्वाभाविक बना सकता है।
उन्होंने AI द्वारा उत्पन्न ध्वनियों को एक टेक्स्ट-टू-स्पीच (TTS) सिस्टम में डाला। उन्होंने इसकी तुलना "एंड-टू-एंड" सिस्टम (जहाँ AI बिना किसी मध्यवर्ती चरण के सीधे पाठ को आवाज़ में बदलने की कोशिश करता है) से की।
- परिणाम: AI-सहायता प्राप्त विधि (पार्स मोड का उपयोग करके) एंड-टू-एंड सिस्टम की तुलना में बहुत स्पष्ट उच्चारण (कम गलत शब्द) प्रदान करती है।
- चुनौती: अधिक सटीक होने के बावजूद, यह एंड-टू-एंड सिस्टम की तरह ही स्वाभाविक और मानवीय लगा।
मुख्य निष्कर्ष
यह शोध पत्र साबित करता है कि यदि आप चाहते हैं कि कोई रोबोट स्पष्ट रूप से जापानी बोले, विशेष रूप से कठिन नामों या शब्दों के लिए जो मानक शब्दकोशों में नहीं मिलते हैं, तो एक आधुनिक लार्ज लैंग्वेज मॉडल का उपयोग करना सबसे अच्छा दृष्टिकोण है।
हालाँकि, आपको केवल AI से "सब कुछ करने" के लिए नहीं कहना चाहिए। सफलता का मंत्र यह है कि AI को पहले वाक्य को शब्दों में तोड़ने (पार्स मोड) के लिए कहें, और फिर एक सरल कंप्यूटर प्रोग्राम को अंतिम ध्वनियों को ठीक करने दें। यह संयोजन एक ऐसी आवाज़ बनाता है जो अविश्वसनीय रूप से सटीक और आश्चर्यजनक रूप से मानवीय है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।