HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics
यह शोध पत्र HATS को प्रस्तुत करता है, जो कि 143 एनोटेटरों से प्राप्त मानव-अनुभूत ट्रांसक्रिप्शन त्रुटियों वाला एक नवीन फ्रांसीसी डेटासेट है, जिसका उद्देश्य मानव प्राथमिकताओं और विभिन्न ऑटोमैटिक स्पीच रिकग्निशन मेट्रिक्स के बीच सहसंबंध की जांच और मूल्यांकन करना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कुकिंग प्रतियोगिता में जज हैं। दो शेफ (मान लीजिए कि शेफ A और शेफ B) ने एक गुप्त रेसिपी के आधार पर एक डिश बनाई है। आपका काम दोनों को चखना और यह तय करना है कि कौन सा शेफ मूल रेसिपी के अधिक करीब है।
कंप्यूटर की दुनिया में, यह बिल्कुल वही करता है जो ऑटोमैटिक स्पीच रिकग्निशन (ASR) करता है। यह इंसान के बोलने को सुनता है और शब्दों को लिखने की कोशिश करता है, ठीक वैसे ही जैसे एक शेफ किसी डिश को फिर से बनाने की कोशिश करता है।
लंबे समय तक, इन "कंप्यूटर शेफ" को आंकने का एकमात्र तरीका गलतियों को गिनना था। अगर कंप्यूटर ने "bat" के बजाय "cat" लिख दिया, तो यह एक त्रुटि थी। अगर उसने "b-a-t" के बजाय "c-a-t" लिखा, तो वह भी एक त्रुटि थी। इसे वर्ड एरर रेट (WER) कहा जाता है। यह एक ऐसे जज की तरह है जो केवल यह गिनता है कि कितने सामग्रियां (ingredients) कम हैं, बिना स्वाद चखे।
समस्या: "गिनने वाला" जज बहुत सख्त है
इस पेपर के लेखक तर्क देते हैं कि "गिनने वाला" जज वास्तव में यह समझने में बहुत अच्छा नहीं है कि इंसानों के लिए वास्तव में क्या मायने रखता है। कभी-कभी, कंप्यूटर एक ऐसी गलती करता है जिससे शब्द बदल जाता है लेकिन अर्थ स्पष्ट रहता है (जैसे "मैंने एक सेब खाया" कहने के बजाय "मैंने एक नाशपाती खाई")। एक मानव श्रोता वाक्य को पूरी तरह से समझ जाएगा, लेकिन "गिनने वाला" जज इसे एक विफलता के रूप में चिह्नित कर देता है।
शोधकर्ता यह जानना चाहते थे कि: कौन सा कंप्यूटर मीट्रिक वास्तव में उस चीज़ से मेल खाता है जिसे एक इंसान एक "अच्छा" ट्रांसक्रिप्शन मानता है?
समाधान: HATS प्रयोग
यह पता लगाने के लिए, टीम ने एक नया डेटासेट बनाया जिसे HATS (ह्यूमन असेसड ट्रांसक्रिप्शन साइड-बाय-साइड) कहा गया। इसे एक बड़े, व्यवस्थित "टेस्ट-टेस्टिंग" कार्यक्रम के रूप में सोचें।
- सेटअप: उन्होंने 143 स्वयंसेवकों को इकट्ठा किया।
- कार्य: उन्होंने किसी के बोलने की एक रिकॉर्डिंग बजाई। फिर, उन्होंने स्वयंसेवकों को उसी रिकॉर्डिंग के दो अलग-अलग कंप्यूटर-जनित ट्रांसक्रिप्ट दिखाए। दोनों ट्रांसक्रिप्ट में त्रुटियां थीं।
- चुनाव: स्वयंसेवकों को यह चुनना था कि कौन सा लिखित संस्करण "बेहतर" या समझने में आसान था। वे यह नहीं कह सकते थे कि "वे समान हैं।" उन्हें एक विजेता चुनना था।
शोधकर्ताओं ने विशेष रूप से उन कठिन मामलों को चुना जहाँ दोनों कंप्यूटर संस्करण गुणवत्ता में बहुत समान थे, जिससे मनुष्यों को भाषा की बारीकियों पर वास्तव में विचार करने के लिए मजबूर होना पड़ा।
परिणाम: मनुष्य क्या पसंद करते थे?
शोधकर्ताओं ने मनुष्यों के चुनाव की तुलना विभिन्न कंप्यूटर स्कोरिंग सिस्टम से की ताकि यह देखा जा सके कि कौन सा सिस्टम मनुष्यों के साथ सबसे अधिक सहमति रखता है।
यहाँ उन्हें क्या मिला, सरल उपमाओं का उपयोग करते हुए:
- पुराना तरीका (WER/CER): पारंपरिक "वर्ड एरर रेट" एक ऐसे जज की तरह था जो केवल यह गिनता है कि कितने अक्षर गलत हैं। इसने खराब प्रदर्शन किया। इसने अक्सर उस ट्रांसक्रिप्ट को चुना जिसे मनुषनों ने बेहतर माना था।
- नया तरीका (सिमेंटिक मीट्रिक्स): शोधकर्ताओं ने स्मार्ट मीट्रिक्स का परीक्षण किया जो केवल स्पेलिंग के बजाय शब्दों के अर्थ को देखते हैं। उन्होंने BERTScore और SemDist जैसे टूल्स का उपयोग किया।
- कल्पना कीजिए कि BERTScore एक ऐसा जज है जो समझता है कि "big" और "huge" का मतलब एक ही है, भले ही शब्द अलग हों।
- कल्पना कीजिए कि SemDist एक ऐसा जज है जो पूरे वाक्य की संरचना को देखता है ताकि यह देख सके कि "वाइब" या अर्थ सही है या नहीं।
विजेता: वह मीट्रिक जिसने मानव स्वयंसेवकों के साथ सबसे अधिक सहमति जताई, वह था SemDist (विशेष रूप से Sentence-BERT नामक मॉडल का उपयोग करके)। यह सबसे अच्छा था कि कौन सा ट्रांसक्रिप्ट एक इंसान को समझने में आसान लगेगा।
एक आश्चर्यजनक मोड़: टेक्स्ट की "ध्वनि"
एक दिलचस्प खोज फोनीम एरर रेट (PhonER) के बारे में थी। यह मीट्रिक शब्दों के ध्वनि (sounds) के आधार पर त्रुटियों को गिनता है, न कि उनके स्पेलिंग के आधार पर।
- भले ही मनुष्य केवल टेक्स्ट पढ़ रहे थे (सुन नहीं रहे थे), "ध्वनि-आधारित" मीट्रिक ने "शब्द-गिनने" वाले मीट्रिक की तुलना में मानव विकल्पों का बेहतर अनुमान लगाया।
- उपमा: यह ऐसा है जैसे मनुष्य, टेक्स्ट पढ़ते समय, अनजाने में शब्दों को अपने दिमाग में "सुन" रहे थे। वे उस टेक्स्ट को पसंद करते थे जो सही सुनाई देता था, भले ही वे केवल अक्षरों को देख रहे थे।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि यदि आप जानना चाहते हैं कि स्पीच-टू-टेक्स्ट सिस्टम वास्तव में इंसानों के लिए कितना अच्छा है, तो आपको केवल स्पेलिंग की गलतियों को नहीं गिनना चाहिए। आपको एक ऐसे मीट्रिक की आवश्यकता है जो वाक्य के अर्थ और प्रवाह को समझ सके।
उन्होंने अपना "टेस्ट-टेस्ट" डेटा (HATS) मुफ्त में जारी किया ताकि अन्य वैज्ञानिक बेहतर, अधिक मानव-अनुकूल स्पीच रिकग्निशन सिस्टम बना सकें।
महत्वपूर्ण नोट: लेखक चेतावनी देते हैं कि यह अध्ययन पूरी तरह से फ्रेंच में किया गया था। सिर्फ इसलिए कि ये नियम फ्रेंच के लिए काम करते हैं, इसका मतलब यह नहीं है कि वे अंग्रेजी या अन्य भाषाओं के लिए स्वतः ही काम करेंगे। साथ ही, क्योंकि उन्होंने परीक्षण के लिए बहुत कठिन उदाहरण चुने, इसलिए डेटा हर उस गलती का प्रतिनिधित्व नहीं कर सकता है जो दुनिया में एक कंप्यूटर करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।