Generative vs. Encoder Large Language Models for ASR Evaluation: A Comparative Study
यह शोध पत्र एक तुलनात्मक अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि जहाँ उचित रूप से कॉन्फ़िगर किए गए एनकोडर-आधारित मेट्रिक्स (जैसे BERTScore और SemDist) ASR मूल्यांकन के लिए मानवीय निर्णयों के साथ मजबूत सहसंबंध प्राप्त करते हैं, वहीं जेनेरेटिव LLMs युग्मवार परिकल्पना चयन (pairwise hypothesis selection) और त्रुटि विश्लेषण की व्याख्यात्मकता में सुधार करने में पूरक ताकत प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब एक कंप्यूटर मानव आवाज को सुनता है और जो वह सुनता है उसे लिख देता है, तो इस प्रक्रिया को ऑटोमैटिक स्पीच रिकग्निशन (स्वचालित भाषण पहचान) कहा जाता है। दशकों से, ये सिस्टम कितनी अच्छी तरह काम करते हैं, इसका आकलन करने का मानक तरीका गलतियों की एक साधारण गिनती रहा है। यदि कंप्यूटर "बैट" (bat) कहे जाने पर "कैट" (cat) लिख देता है, तो यह एक त्रुटि मानी जाती है। यदि यह एक अतिरिक्त शब्द जोड़ देता है या एक शब्द छोड़ देता है, तो वे भी त्रुटियाँ हैं। यह विधि, जिसे 'वर्ड एरर रेट' (शब्द त्रुटि दर) के रूप में जाना जाता है, प्रत्येक गलती को समान रूप से बुरा मानती है। इसे इस बात की परवाह नहीं होती कि क्या त्रुटि वाक्य के अर्थ को बदल देती है या क्या यह केवल एक मामूली वर्तनी भिन्नता है जिसे एक मानव पाठक आसानी से अनदेखा कर सकता है। परिणामस्वरूप, एक सिस्टम इस पुराने परीक्षण पर पूर्ण स्कोर प्राप्त कर सकता है, फिर भी इसके द्वारा तैयार किया गया टेक्स्ट किसी व्यक्ति को रोबोटिक या भ्रमित करने वाला लग सकता है।
इसे ठीक करने के लिए, शोधकर्ताओं ने नए तरीकों की ओर रुख किया जो केवल अक्षरों के बजाय शब्दों के पीछे के अर्थ को देखते हैं। ये विधियाँ लार्ज लैंग्वेज मॉडल्स (विशाल भाषा मॉडल) का उपयोग करती हैं, जो विशाल कंप्यूटर प्रोग्राम हैं जिन्हें भाषा कैसे काम करती है, यह समझने के लिए बड़ी मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है। इनमें से कुछ मॉडल टेक्स्ट को पढ़ने और समझने के लिए डिज़ाइन किए गए हैं, जबकि अन्य नए टेक्स्ट बनाने के लिए बनाए गए हैं, जैसे कि कोई कहानी लिखना या प्रश्न का उत्तर देना। इस क्षेत्र के लिए बड़ा सवाल यह रहा है कि क्या ये शक्तिशाली नए उपकरण स्पीच रिकग्निशन के पुराने गणना वाले तरीकों की तुलना में बेहतर काम कर सकते हैं, और यदि हाँ, तो कौन सा प्रकार का मॉडल सबसे अच्छा निर्णायक है।
स्विट्जरलैंड के इ diap रिसर्च इंस्टीट्यूट के शोधकर्ताओं की एक टीम ने, फ्रांस के विश्वविद्यालयों के सहयोगियों के साथ मिलकर, इस प्रश्न का उत्तर देने का प्रयास किया। वे यह देखना चाहते थे कि विभिन्न प्रकार के लार्ज लैंग्वेज मॉडल्स, ट्रांसक्राइब किए गए भाषण की गुणवत्ता का मूल्यांकन करने के लिए कैसे तुलना करते हैं। उन्होंने मॉडल्स को केवल सामान्य रूप से नहीं देखा; उन्होंने उन्हें दो बहुत अलग तरीकों से परखा। सबसे पहले, उन्होंने मॉडल्स को बोले गए शब्दों और लिखित टेक्स्ट के बीच की दूरी को मापने वाले उपकरणों के रूप में इस्तेमाल किया, जिससे एक गणितीय स्कोर प्राप्त हो सके जो मानवीय राय से मेल खाता हो। दूसरा, उन्होंने मॉडल्स को एक मानव जैसे निर्णायक के रूप में कार्य करने के लिए कहा, जिसमें दो अलग-अलग ट्रांसक्रिप्शन संस्करणों को पढ़ना और यह तय करना शामिल था कि कौन सा बेहतर है, या केवल एक सिंगल ट्रांसक्रिप्शन को अच्छा, बुरा या भ्रमित करने वाला लेबल करना।
शोधकर्ताओं ने अपने विचारों का परीक्षण HATS नामक एक डेटासेट का उपयोग करके किया, जिसमें विभिन्न कंप्यूटर प्रणालियों द्वारा उत्पादित फ्रांसीसी ASR हाइपोथीसिस (परिकल्पनाओं) पर युग्म-आधारित मानवीय प्राथमिकताएं शामिल हैं। महत्वपूर्ण रूप से, इसमें उन मानव श्रोताओं की राय भी शामिल है जिनसे ट्रांसक्रिप्शन की गुणवत्ता को रेट करने के लिए कहा गया था। इसने शोधकर्ताओं को यह देखने की अनुमति दी कि क्या कंप्यूटर मॉडल वही निर्णय ले रहे हैं जो लोग लेते। उन्होंने मॉडल्स का परीक्षण मापन उपकरण के रूप में करके शुरुआत की। उन्होंने मॉडल्स से निकाले गए एम्बेडिंग्स का उपयोग करके BERTScore और SemDist की गणना की ताकि एक स्कोर बनाया जा सके जो यह दर्शाए कि कंप्यूटर का संस्करण मानव के संस्करण के कितना समान है। उन्होंने पाया कि सबसे अच्छे परिणाम केवल सबसे बड़े या सबसे शक्तिशाली मॉडल का उपयोग करने से नहीं मिले। इसके बजाय, सफलता इस बात पर निर्भर थी कि शोधकर्ताओं ने मॉडल के भीतर की जानकारी को कैसे संसाधित किया।
टेक्स्ट को पढ़ने और समझने वाले मॉडल्स के लिए, शोधकर्ताओं ने पाया कि सबसे अच्छे परिणाम मॉडल की आंतरिक संरचना के विशिष्ट स्तरों (layers) को देखने से मिले, न कि केवल अंतिम आउटपुट से। उन्होंने यह भी पाया कि जो मॉडल्स विशेष रूप से वाक्य-स्तरीय सारांश बनाने के लिए प्रशिक्षित किए गए थे, वे सामान्य-उद्देश्य वाले मॉडल्स की तुलना में बेहतर प्रदर्शन करते थे। टेक्स्ट उत्पन्न करने वाले मॉडल्स के लिए परिणाम समान थे: सर्वोत्तम प्रदर्शन के लिए मॉडल के आंतरिक ज्ञान के किस हिस्से का उपयोग करना है, इसके सावधानीपूर्वक चयन की आवश्यकता थी। इन परीक्षणों में, टेक्स्ट उत्पन्न करने के लिए डिज़ाइन किए गए मॉडल्स ने पढ़ने पर केंद्रित मॉडल्स के समान ही प्रदर्शन किया, और कभी-कभी थोड़ा बेहतर भी। हालाँकि, पढ़ने पर केंद्रित मॉडल्स ने यह कार्य बहुत कम कंप्यूटर संसाधनों के साथ हासिल किया, जो उन्हें इस विशिष्ट कार्य के लिए एक बहुत ही कुशल विकल्प बनाता है।
शोधकर्ता फिर अपने अध्ययन के दूसरे भाग की ओर बढ़े, जहाँ उन्होंने मॉडल्स को निर्णायक के रूप में कार्य करने के लिए कहा। पहले परिदृश्य में, उन्होंने मॉडल को एक संदर्भ वाक्य और उस वाक्य के दो अलग-अलग कंप्यूटर-जनरेटेड संस्करण दिए। मॉडल को वह चुनना था जिसे एक मानव पसंद करेगा। इस कार्य में, सबसे उन्नत जेनेरेटिव मॉडल्स, जिनमें उपलब्ध सबसे बड़े मॉडल्स भी शामिल थे, असाधारण रूप से अच्छा प्रदर्शन करते हैं। सर्वोत्तम मामलों में, वे मानव विकल्पों के साथ 94 प्रतिशत बार सहमत हुए, जिसने पुराने गणना पद्धति और नए स्कोरिंग तरीकों दोनों को पीछे छोड़ दिया। यह सुझाव देता है कि जब एक मॉडल को पूरा वाक्य पढ़ने और संदर्भ के बारे में सोचने की अनुमति दी जाती है, तो वह गुणवत्ता के सूक्ष्म अंतरों को पकड़ सकता है जिसे सरल गणित नहीं देख पाता।
अंतिम प्रयोग में, शोधकर्ताओं ने एक सिंगल ट्रांसक्रिप्शन को देखा और उसे एक लेबल दिया: समान (identical), उपयोगी (useful), बुरा (bad), या समझ से बाहर (incomprehensible)। इस दृष्टिकोण ने एक नया प्रकार का अंतर्दृष्टि प्रदान की। केवल एक संख्या के बजाय, शोधकर्ताओं को त्रुटि का विवरण मिला। उदाहरण के लिए, मॉडल यह पहचान सकता था कि एक वाक्य कुछ वर्तनी की गलतियों के बावजूद समझने योग्य है, या वह पूरी तरह से भ्रमित करने वाला था। हालाँकि मॉडल्स इस कार्य में पूर्ण नहीं थे, लेकिन उन्होंने त्रुटियों को गंभीरता के आधार पर व्यवस्थित करने की स्पष्ट क्षमता दिखाई। परिणामों ने सुझाव दिया कि ये मॉडल्स यह बताने के लिए एक विस्तृत और मानव-अनुकूल रिपोर्ट प्रदान कर सकते हैं कि स्पीच सिस्टम क्यों विफल हुआ, बजाय इसके कि केवल यह कहें कि वह विफल हो गया।
अध्ययन निष्कर्ष निकालता है कि लार्ज लैंग्वेज मॉडल्स स्पीच रिकग्निशन का मूल्यांकन करने के लिए एक लचीला और शक्तिशाली नया तरीका प्रदान करते हैं। पढ़ने पर केंद्रित मॉडल्स तेज़ और सटीक स्कोर प्रदान करते हैं जो मानवीय धारणा से मेल खाते हैं, जबकि टेक्स्ट-जेनरेटिंग मॉडल्स ट्रांसक्रिप्ट के विभिन्न संस्करणों की तुलना करने और त्रुटियों की प्रकृति को समझाने में उत्कृष्ट हैं। शोधकर्ताओं ने पाया कि मॉडल का आकार उतना महत्वपूर्ण नहीं था जितना कि इसका उपयोग कैसे किया गया। एक छोटा, अच्छी तरह से कॉन्फ़िगर किया गया मॉडल अक्सर बहुत बड़े मॉडल का काम कर सकता है। अंततः, यह कार्य दिखाता है कि इन विभिन्न दृष्टिकोणों को जोड़कर, हम सरल त्रुटि गणनाओं से आगे बढ़कर इस बात की गहरी समझ विकसित कर सकते हैं कि एक कंप्यूटर वास्तव में मानव आवाज को कितनी अच्छी तरह समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।