Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition
यह शोध पत्र ऑटोमैटिक स्पीच रिकग्निशन प्रणालियों के लिए एक गुणात्मक मूल्यांकन ढांचा प्रस्तावित करता है जो भाषा मॉडल रीस्कोरिंग के माध्यम से प्राप्त होने वाले रूपात्मक-वाक्यविन्यास (morpho-syntactic) और अर्थ संबंधी (semantic) सुधारों का विश्लेषण करने के लिए POSER और EmbER मेट्रिक्स पेश करते हुए वर्ड एरर रेट (Word Error Rate) से आगे बढ़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन थोड़ी अनाड़ी लेखक (scribe) है जो लोगों को बोलते हुए सुनता है और जो वह सुनता है उसे लिख देता है। यह एक ऑटोमैटिक स्पीच रिकग्निशन (ASR) सिस्टम है। वर्षों से, हम इस लेखक की कुशलता को केवल एक ही पैमाने से मापते रहे हैं: वर्ड एरर रेट (WER)।
WER को एक शिक्षक द्वारा स्पेलिंग टेस्ट ग्रेड करने जैसा समझें। यदि लेखक "bat" के बजाय "cat" लिखता है, तो यह एक गलती है। यदि वे "bat" के बजाय "dog" लिखते हैं, तो यह भी केवल एक ही गलती है। WER के पैमाने के लिए, ये त्रुटियां समान हैं। लेकिन वास्तविक दुनिया में, "cat" और "bat" बहुत अलग जानवर हैं, जबकि "bat" और "ball" दोनों गोल वस्तुएं हैं जिन्हें आप छड़ी से मार सकते हैं। पुराना पैमाना गलतियों के अर्थ या व्याकरण की परवाह नहीं करता है; यह बस गलत शब्दों को गिनता है।
पुराने पैमाने के साथ समस्या
इस शोध पत्र के लेखक तर्क देते हैं कि यह एकल पैमाना बहुत ही सतही है। यह एक शेफ (chef) को केवल इस आधार पर आंकने जैसा है कि उसने कितने सामान गिराए, बिना इस बात की परवाह किए कि उसने नमक का एक चुटकी हिस्सा गिराया या नमक का पूरा डिब्बा। कभी-कभी, लेखक शब्द तो सही लिख सकता है लेकिन व्याकरण गलत हो सकता है (जैसे "he go" के बजाय "he goes" कहना), या वे एक शब्द को ऐसे शब्द से बदल सकते हैं जो सुनने में तो समान है लेकिन जिसका अर्थ बिल्कुल अलग है। पुराना पैमाना इन सभी बारीकियों को पकड़ने में विफल रहता है।
नया टूलकिट: एक बहु-लेंस दृष्टिकोण
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया टूलकिट बनाया जिसमें छह अलग-अलग "लेंस" हैं, जो केवल गलत शब्दों को गिनने से आगे बढ़कर देखते हैं:
- ग्रामर लेंस (POSER): यह जाँचता है कि क्या लेखक ने सही प्रकार के शब्द का उपयोग किया। क्या उन्होंने वहां क्रिया (verb) का उपयोग किया जहाँ संज्ञा (noun) होनी चाहिए थी? यह यह देखने जैसा है कि क्या लेखक ने साइकिल पर हैंडल के बजाय पहिया लगा दिया है।
- रूट लेंस (LER): यह शब्द के "मूल" (root) को देखता है। यदि लेखक "ran" के बजाय "running" लिखता है, तो मूल समान है। यह लेंस इसे "jumping" लिखने की तुलना में एक छोटी त्रुटि के रूप में देखता है।
- मीनिंग लेंस (EmbER और BERTScore): यह सबसे रचनात्मक हिस्सा है। केवल "गलत" कहने के बजाय, यह पूछता है, "अर्थ की दुनिया में यह गलती कितनी दूर है?"
- यदि लेखक "orange" के बजाय "apple" लिखता है, तो अर्थ की दूरी कम है (दोनों फल हैं)।
- यदि वे "car" के बजाय "apple" लिखते हैं, तो दूरी बहुत अधिक है।
- यह लेंस छोटे अर्थ संबंधी दोषों के लिए "सॉफ्ट" स्कोर और बड़े दोषों के लिए "हार्ड" स्कोर देता है।
- सेंटेंस लेंस (SemDist): यह पूरे वाक्य को अर्थ के एक एकल ब्लॉक के रूप में देखता है, यह पूछते हुए कि, "क्या पूरा विचार अभी भी समझ में आता है?"
प्रयोग: "रीस्कोरिंग" का जादू का खेल
शोधकर्ताओं ने इन नए लेंसों का एक फ्रांसीसी स्पीच सिस्टम पर परीक्षण किया। उन्होंने सिस्टम को दो चीजें करने के लिए कहा:
- प्रथम चरण (Base): लेखक जो सुनता है उसे तुरंत लिख देता है।
- द्वितीय चरण (Rescoring): लेखक को एक "लैंग्वेज मॉडल" (एक अत्यंत बुद्धिमान व्याकरण और शब्दावली विशेषज्ञ) से दूसरी राय मिलती है। विशेषज्ञ पहले ड्राफ्ट को देखता है और कहता है, "अरे, यह सही नहीं लग रहा है। चलिए इस शब्द को उस शब्द से बदलते हैं ताकि प्रवाह बेहतर हो सके।"
उन्होंने क्या पाया
जब उन्होंने अपने नए टूलकिट को लागू किया, तो उन्होंने पाया कि: दूसरा चरण (Rescoring) हर चीज़ में समान रूप से मदद नहीं करता था।
- "शब्द गणना" की जीत: पुराने पैमाने (WER) ने एक बड़ी सुधार दिखाया। ऐसा लगा जैसे लेखक शब्दों को सही ढंग से प्राप्त करने में बहुत बेहतर हो गया है।
- "अर्थ" का अंतर: हालांकि, नए "मीनिंग लेंस" ने दिखाया कि सुधार बहुत कम था। दूसरा चरण व्याकरण और शब्द चयन को ठीक करने में तो शानदार था, लेकिन यह उन शब्दों को ठीक करने में संघर्ष करता है जो अर्थ में पूरी तरह से गलत थे। यह एक कहानी के स्पेलिंग और व्याकरण को ठीक करने वाले संपादक जैसा है, लेकिन उसे यह एहसास नहीं हुआ कि कहानी का कथानक (plot) अभी भी थोड़ा गड़बड़ है।
- "चैटी" (Chatty) समस्या: उन्होंने यह भी पाया कि जब लोग बहुत अनौपचारिक रूप से बोलते थे, जिसमें बहुत अधिक ठहराव, हकलाहट और बोलचाल की भाषा (spontaneous speech) होती थी, तो "दूसरी राय" वास्तव में चीजों को बदतर बना देती थी। विशेषज्ञ संपादक स्वाभाविक रूप से बिखरी हुई भाषा को एक पूर्ण, औपचारिक संरचना में जबरदस्ती फिट करने की कोशिश करता था, जिससे अर्थ भ्रमित हो जाता था।
निष्कर्ष
इस शोध पत्र का मुख्य संदेश सरल है: एक स्पीच सिस्टम को केवल एक संख्या से न आंकें।
यदि आप केवल वर्ड एरर रेट (WER) को देखते हैं, तो आपको लग सकता है कि आपका सिस्टम एकदम सटीक हो रहा है। लेकिन यदि आप नए लेंसों के माध्यम से देखते हैं, तो आप देख सकते हैं कि जबकि शब्द अधिक साफ हो रहे हैं, गहरा अर्थ और स्वाभाविक प्रवाह उतना नहीं सुधर रहा है जितना आप सोचते हैं। शोधकर्ताओं ने सिद्ध किया कि स्पीच सिस्टम के काम करने के तरीके को वास्तव में समझने के लिए, आपको केवल यह नहीं मापना है कि कौन से शब्द गलत हैं, बल्कि यह भी मापना है कि व्याकरण, मूल और अर्थ के संदर्भ में वे कितने गलत हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।