Towards Orthographically-Informed Evaluation of Speech Recognition Systems for Indian Languages
यह शोध पत्र भारतीय भाषाओं में वर्तनी की विविधताओं की चुनौतियों से निपटने के लिए बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) का लाभ उठाते हुए एक ऑर्थोग्राफिक रूप से सूचित मूल्यांकन ढांचे (OIWER) का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि यह वर्ड एरर रेट (WER) जैसे पारंपरिक मेट्रिक्स की तुलना में स्पीच रिकग्निशन प्रदर्शन का अधिक सटीक और मानव-अनुरूप मूल्यांकन प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र का स्पेलिंग टेस्ट (वर्तनी परीक्षण) जांच रहे हैं। छात्र एक वाक्य बिल्कुल सही लिखता है, लेकिन आप उसे गलत अंक देते हैं क्योंकि उसने किसी शब्द को लिखने का थोड़ा अलग तरीका इस्तेमाल किया है जो वास्तव में उनके लहजे या बोली में स्वीकार्य है। आप शायद कह सकते हैं, "'colour' में 'u' छूट गया!" जब छात्र ने "color" लिखा हो, या शायद उन्होंने एक संयुक्त शब्द (compound word) को अलग तरह से विभाजित किया हो।
ऑटोमैटिक स्पीच रिकग्निशन (ASR) की दुनिया में, विशेष रूप से भारतीय भाषाओं के लिए, बिल्कुल यही हो रहा है। कंप्यूटर इन भाषाओं को "सुनने" और उन्हें टेक्स्ट में बदलने की कोशिश कर रहे हैं। लेकिन क्योंकि भारतीय भाषाएं अविश्वसनीय रूप से समृद्ध, लचीली और विविध हैं, कंप्यूटर उन्हें अनुचित रूप से कठोर ग्रेड दे रहे हैं।
यहाँ इस शोध पत्र (paper) की कहानी का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. समस्या: "कठोर परीक्षक" (The Rigid Grader)
वर्षों से, शोधकर्ता यह मापने के लिए कि ये स्पीच-टू-टेक्स्ट सिस्टम कितने अच्छे हैं, WER (Word Error Rate) नामक एक मीट्रिक का उपयोग करते रहे हैं। WER को एक कठोर, नियम से चलने वाले परीक्षक के रूप में समझें।
- समस्या: भारतीय भाषाएं एक विशाल, लचीली पहेली की तरह हैं। आप अक्सर एक शब्द को पांच अलग तरीकों से लिख सकते हैं, एक लंबे शब्द को दो छोटे शब्दों में विभाजित कर सकते हैं, या दो शब्दों को एक में मिला सकते हैं, और ये सभी तरीके सही हैं।
- परिणाम: कंप्यूटर कहता है, "मैंने 'passbook' सुना।" मानव ग्रेडर ने "pass book" लिखा था। सख्त परीक्षक इसे एक त्रुटि (error) के रूप में चिह्नित करता है।
- परिणामस्वरूप: सिस्टम कागजों पर बहुत खराब दिखते हैं (उच्च त्रुटि दर), भले ही ऑडियो सुनने वाला कोई इंसान कहे, "अरे, यह तो बिल्कुल सही लग रहा है!" यह वैसा ही है जैसे किसी टेस्ट में 'F' ग्रेड मिलना क्योंकि आपने उस सटीक शब्द के बजाय एक पर्यायवाची शब्द का उपयोग किया जिसे शिक्षक के मन में था।
2. समाधान: "लचीली डिक्शनरी" (The Flexible Dictionary)
लेखकों (IIT मद्रास और सर्वम AI की एक टीम) ने महसूस किया कि उन्हें ग्रेड देने का एक नया तरीका चाहिए। उन्होंने OIWER (Orthographically-Informed Word Error Rate) नामक एक फ्रेमवर्क बनाया।
इसे एक परीक्षक को ग्रेडिंग शुरू करने से पहले एक सुपर-पावर्ड, लचीली डिक्शनरी देने के रूप में समझें।
- केवल यह जांचने के बजाय कि छात्र ने "Passbook" लिखा है या नहीं, डिक्शनरी परीक्षक को बताती है: "रुको! 'Pass book', 'pass-book', और 'passbook' सभी वैध हैं। यदि छात्र ने इनमें से कुछ भी लिखा है, तो उन्हें पूरे अंक दें।"
- वे कठिन चीजों को भी ध्यान में रखते हैं जैसे:
- लोन वर्ड्स (Loan words): अंग्रेजी से लिए गए शब्द जिन्हें हिंदी या तमिल में अलग तरह से लिखा जाता है।
- संधि (Sandhi): वह जादुई तरीका जिससे भारतीय भाषाएं शब्दों को आपस में जोड़ती हैं (जैसे कि कैसे बोलने में "at" + "home" मिलकर "athome" बन जाता है)।
- डाइक्रिटिक्स (Diacritics): अक्षरों के ऊपर या नीचे लगने वाले छोटे बिंदु या रेखाएं जो ध्वनि को बदलते हैं।
3. जादुई उपकरण: "AI असिस्टेंट" (The AI Assistant)
आप पूछ सकते हैं, "आप ऐसी डिक्शनरी कैसे बना सकते हैं जो 22 अलग-अलग भाषाओं में हर संभव वर्तनी (spelling) को जानती हो? यह तो लाखों घंटों का काम लगता है!"
लेखकों ने लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग किया—वही तरह के AI जो चैटबॉट्स को शक्ति देते हैं—भारी काम करने के लिए।
- उदाहरण: कल्पना कीजिए कि आपको अपने एक दोस्त "Robert" के हर संभावित निकनेम (उपनाम) की सूची बनानी है। आप लोगों से पूछने में वर्षों बिता सकते हैं, या आप एक सुपर-स्मार्ट AI से पूछ सकते हैं: "हे, 'Robert' को लिखने या बोलने के हर संभव तरीके की सूची दें।" AI तुरंत आपको "Rob, Bob, Bobby, Robbie" और क्षेत्रीय विविधताओं के साथ दे देता है।
- टीम ने इस AI का उपयोग अपने टेस्ट डेटा के प्रत्येक शब्द के लिए वैध स्पवेलिंग्स की सूची बनाने के लिए किया। फिर, मानव विशेषज्ञों ने बस एक त्वरित "स्पॉट चेक" किया ताकि यह सुनिश्चित हो सके कि AI कुछ अजीब न कर दे।
4. परिणाम: एक निष्पक्ष खेल (A Fairer Game)
जब उन्होंने इस नए "लचीली डिक्शनरी" (OIWER) का उपयोग करके स्पीच सिस्टम को दोबारा ग्रेड किया, तो परिणाम चौंकाने वाले थे:
- "निराशावाद" गायब हो गया: त्रुटि दर काफी कम हो गई (औसतन 6.3 अंक)। सिस्टम वास्तव में खराब नहीं थे; उन्हें बस बहुत कठोरता से ग्रेड किया जा रहा था।
- अंतर कम हो गया: पहले, एक मॉडल (Gemini) दूसरे (Canary) की तुलना में बहुत अधिक खराब लग रहा था। लेकिन निष्पक्ष रूप से ग्रेड करने पर, उनके बीच का अंतर कम हो गया। यह पता चला कि वे वास्तव में हमारी सोच से कहीं अधिक करीब थे।
- मानवीय अनुभव: नए स्कोर उन वास्तविक लोगों से मेल खाते थे जो रिकॉर्डिंग सुनते समय महसूस करते हैं। "कंप्यूटर स्कोर" आखिरकार "मानवीय अनुभव" से मेल खा गया।
5. निष्कर्ष (The Takeaway)
यह शोध पत्र मूल रूप से यह कह रहा है: "भारतीय भाषाओं को एक कठोर, मानकीकृत अंग्रेजी की तरह ग्रेड करना बंद करें।"
भारतीय भाषाओं की तरलता और लचीलेपन को स्वीकार करके, और इन नियमों को समझने के लिए AI का उपयोग करके, हम अंततः इन स्पीच सिस्टम की वास्तविक क्षमता देख सकते हैं। यह अंततः यह महसूस करने जैसा है कि छात्र स्पेलिंग टेस्ट में फेल नहीं हुआ था; टेस्ट ही उस भाषा के लिए बहुत कठोर था जो बोली जा रही थी।
संक्षेप में: उन्होंने स्पीच-टू-टेक्स्ट को ग्रेड करने का एक स्मार्ट तरीका बनाया जो भारतीय भाषाओं की सुंदर अराजकता (beautiful chaos) का सम्मान करता है, जिससे तकनीक उतनी ही अच्छी दिखती है जितना कि वह हमारे कानों को सुनाई देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।