Evaluation of Automatic Speech Recognition Using Generative Large Language Models
यह शोध पत्र प्रदर्शित करता है कि डिकोडर-आधारित लार्ज लैंग्वेज मॉडल्स (LLMs), परिकल्पना चयन (hypothesis selection) पर मानव एनोटेटरों के साथ 92-94% सहमति प्राप्त करके, ऑटोमैटिक स्पीच रिकग्निशन (ASR) के मूल्यांकन में पारंपरिक वर्ड एरर रेट (WER) और मौजूदा सिमेंटिक मेट्रिक्स से काफी बेहतर प्रदर्शन करते हैं और एक व्याख्यात्मक, अर्थ-जागरूक मूल्यांकन की ओर एक आशाजनक मार्ग प्रस्तुत करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र के निबंध को ग्रेड दे रहे हैं। दशकों से, आपके द्वारा इन निबंधों को ग्रेड देने का एकमात्र तरीका यह गिनना था कि कितने शब्द गलत लिखे गए हैं या बदल दिए गए हैं। यह स्पीच-टू-टेक्स्ट सॉफ्टवेयर (जिसे वर्ड एरर रेट या WER कहा जाता है) की जाँच करने के पुराने मानक के समान है।
लेकिन यहाँ एक समस्या है: यदि एक छात्र लिखता है "The cat sat on the mat" और दूसरा लिखता है "The feline rested on the rug," तो पुराना ग्रेडिंग सिस्टम उन्हें फेल कर देगा क्योंकि लगभग हर शब्द अलग है। फिर भी, एक मानव शिक्षक जानता है कि दोनों वाक्यों का अर्थ बिल्कुल एक ही है! पुराना सिस्टम बहुत कठोर है; यह गलतियों को तो गिनता है लेकिन अर्थ को नहीं समझ पाता।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या हम इन स्पीच ट्रांसक्रिप्ट्स को एक इंसान की तरह ग्रेड करने के लिए एक सुपर-स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल या LLM) का उपयोग कर सकते हैं?
यहाँ उनके प्रयोग का विवरण दिया गया, जिसमें कुछ रोज़मर्रा के उदाहरणों का उपयोग किया गया है:
1. "टेस्ट ऑफ टेस्टी" (सबसे अच्छा विकल्प चुनना)
सेटअप: कल्पना कीजिए कि आपके पास एक खराब रिकॉर्डिंग से प्राप्त ट्रांसक्रिप्ट के दो संस्करण हैं।
- वर्जन A: "It's to him self." (व्याकरण की दृष्टि से गलत, लेकिन स्पष्ट)।
- वर्जन B: "It's uh to him-self." (इसमें एक हकलाहट है, लेकिन व्याकरण की दृष्टि से सही है)।
पुराना तरीका (WER): कंप्यूटर गलतियों को गिनता है। यह कह सकता है कि वर्जन A बेहतर है क्योंकि इसमें कम "गलतियाँ" हैं, भले ही वर्जन B मानवीय कान को अधिक स्वाभाविक लगे।
नया तरीका (AI जज): शोधकर्ताओं ने एक सुपर-स्मार्ट AI (जैसे GPT-4 या Qwen) से दोनों को पढ़ने और यह चुनने के लिए कहा कि कौन सा वाक्य एक इंसान के लिए अधिक समझ में आता है।
- परिणाम: AI एक शानदार जज साबित हुआ। वह मानव विशेषज्ञों के साथ 92-94% बार सहमत था।
- उपमा: पुराने सिस्टम को ऐसे समझें जैसे कोई रोबोट यह गिन रहा हो कि कितने अक्षर गायब हैं। नया AI एक अनुभवी संपादक की तरह है जो समझता है कि थोड़ी सी हकलाहट ("uh") ठीक है, लेकिन टूटा हुआ वाक्य नहीं। AI उन चीजों को पहचानने में बहुत बेहतर था जो वास्तव में एक सुनने वाले के लिए मायने रखती हैं।
2. "फिंगरप्रिंट" (गणित के माध्यम से अर्थ को मापना)
सेटअप: कभी-कभी आप केवल विजेता नहीं चुनना चाहते; आप यह भी मापना चाहते हैं कि दो वाक्य अर्थ में कितने करीब हैं।
- पुराना तरीका: आप पुराने AI मॉडल्स (एनकोडर्स) का उपयोग करके वाक्य का एक "फिंगरप्रिंट" लेते हैं। ये उच्च-गुणवत्ता वाले कैमरों की तरह हैं जो अर्थ की तस्वीर लेते हैं।
- नया तरीका: शोधकर्ताओं ने नए "डिकोडर" LLMs (चैटबॉट्स) का उपयोग करके फिंगरप्रिंट लेने की कोशिश की। उन्होंने सोचा: क्या ये चैटबॉट्स अर्थ को समझने में उन विशेष कैमरों जितने अच्छे हैं?
परिणाम: आश्चर्यजनक रूप से, चैटबॉट्स अर्थ का "फिंगरप्रिंट" पकड़ने में उन विशेष कैमरों जितने ही सक्षम थे।
- ट्विस्ट: उन्होंने पाया कि वाक्य के बिल्कुल अंतिम शब्द को पकड़ना (जैसे फिल्म के आखिरी दृश्य को देखना) पूरी कहानी समझने के लिए पर्याप्त नहीं था। इसके बजाय, उन्हें पूरे वाक्य के औसत को देखना पड़ा।
- उपमा: कल्पना कीजिए कि आप केवल अंतिम दृश्य को देखकर किसी फिल्म के प्लॉट का अनुमान लगाने की कोशिश कर रहे हैं। आप गलत हो सकते हैं। लेकिन यदि आप सभी दृश्यों के औसत को देखते हैं, तो आपको पूरी कहानी मिल जाती है। AI सबसे अच्छा तब काम करता है जब वह केवल अंत को नहीं, बल्कि पूरे "मूवी" पर विचार करता है।
3. "रिपोर्ट कार्ड" (गलतियों को वर्गीकृत करना)
सेटअप: केवल एक स्कोर देने के बजाय, शोधकर्ताओं ने AI से एक गुणात्मक ग्रेड (qualitative grade) देने के लिए कहा, जैसे कि एक शिक्षक की टिप्पणी होती है। उन्होंने AI से त्रुटियों को चार श्रेणियों में बांटने के लिए कहा:
- समान (Identical): एकदम सही।
- उपयोगी (Useful): कुछ टाइपो हैं, लेकिन बात समझ आ रही है।
- खराब (Bad): अर्थ बिगड़ गया है, लेकिन आप अंदाजा लगा सकते हैं कि क्या कहा गया था।
- समझ से बाहर (Incomprehensible): पूरी तरह से निरर्थक।
परिणाम: AI इसमें उत्कृष्ट था। इसने केवल नंबर नहीं दिया; इसने समझाया कि ट्रांसक्रिप्ट क्यों खराब थी।
- उपमा: पुराना सिस्टम आपको "7/10" का स्कोर देता है। नया AI एक रिपोर्ट कार्ड देता है जिसमें लिखा होता है, "आपके अंक इसलिए कटे क्योंकि आपने मुख्य विचार को मिस कर दिया, लेकिन स्पेलिंग ठीक थी।" यह सॉफ्टवेयर को सुधारने के लिए बहुत अधिक सहायक है।
मुख्य निष्कर्ष
वर्षों से, हम स्पीच रिकग्निशन को एक ऐसे पैमाने से माप रहे हैं जो केवल लंबाई (Word Error Rate) मापता है। यह शोध पत्र दिखाता है कि हमें एक स्मार्ट, समझने वाले AI का उपयोग करना चाहिए।
- यह अधिक मानवीय है: यह केवल स्पेलिंग की नहीं, बल्कि अर्थ की परवाह करता है।
- यह व्याख्या योग्य (Interpretable) है: यह आपको बता सकता है कि कुछ गलत क्यों है, न कि केवल यह कि वह गलत है।
- यह सुलभ है: ओपन-सोर्स AI मॉडल्स (मुफ्त वाले) महंगे, पेड मॉडल्स के समान ही प्रदर्शन कर रहे थे।
संक्षेप में, हम एक ऐसी दुनिया से निकल रहे हैं जहाँ कंप्यूटर हमारी गलतियाँ गिनते हैं, और एक ऐसी दुनिया में जा रहे हैं जहाँ कंप्यूटर हमारे इरादे (intent) को समझते हैं। यह वास्तविक लोगों के लिए काम करने वाली वॉयस टेक्नोलॉजी बनाने की दिशा में एक बड़ा कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।