Evaluating the Evaluator: Problems with SemEval-2020 Task 1 for Lexical Semantic Change Detection
यह शोध पत्र परिवर्तन के अपने संकीर्ण परिचालन (operationalization), डेटा की गुणवत्ता संबंधी महत्वपूर्ण समस्याओं और प्रतिबंधात्मक डिज़ाइन विकल्पों के माध्यम से SemEval-2020 टास्क 1, जो लेक्सिकल सिमेंटिक चेंज डिटेक्शन के लिए अग्रणी बेंचमार्क है, का आलोचनात्मक पुनर्मूल्यांकन करता है, और अंततः यह तर्क देता है कि इसे प्रगति के एक निश्चित माप के बजाय एक आंशिक उपकरण के रूप में देखा जाना चाहिए, साथ ही सिद्धांत, पारदर्शिता और विस्तार में भविष्य के सुधारों का आह्वान भी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसी मशीन बनाने की कोशिश कर रहे हैं जो पुरानी किताबें पढ़ सके और आपको ठीक-ठीक बता सके कि पिछले 200 वर्षों में शब्दों के अर्थ कैसे बदले हैं। यह परीक्षण करने के लिए कि क्या आपकी मशीन बुद्धिमान है, आपको इसके लिए एक "ड्राइवर लाइसेंस टेस्ट" की आवश्यकता होगी। कंप्यूटर विज्ञान और भाषाविज्ञान की दुनिया में, सबसे प्रसिद्ध परीक्षणों में से एक SemEval-2020 Task 1 है।
वर्षों से, शोधकर्ता इस परीक्षण का उपयोग यह देखने के लिए 'गोल्ड स्टैंडर्ड' के रूप में करते रहे हैं कि किसका "शब्द-परिवर्तन डिटेक्टर" सबसे अच्छा है। लेकिन इस शोध पत्र में, लेखक एक सख्त कार निरीक्षक की तरह व्यवहार कर रहे हैं। वे कह रहे हैं: "ठहरिए। यह परीक्षण केवल थोड़ा दोषपूर्ण ही नहीं है; यह परीक्षण स्वयं हमें गलत दिशा में ले जा रहा है।"
यहाँ उनके विश्लेषण का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "लेगो ब्लॉक" की समस्या (ऑपरेशनलाइजेशन)
समस्या: यह परीक्षण मानता है कि शब्द के अर्थ लेगो ब्लॉक्स (Lego blocks) की तरह हैं। या तो आपके पास एक ब्लॉक (एक विशिष्ट अर्थ) है, या नहीं है। यदि आप एक नया ब्लॉक जोड़ते हैं या एक पुराना खो देते हैं, तो शब्द "बदल" गया है।
वास्तविकता: लेखक तर्क देते हैं कि अर्थ नदी में बहते पानी की तरह है। यह एक विशिष्ट आकार से दूसरे अलग आकार में नहीं कूदता; यह धीरे-धीरे बदलता है।
- उपमा: कल्पना कीजिए कि शब्द "nice" का अर्थ। अतीत में, इसका अर्थ "मूर्ख" (foolish) था। आज, इसका अर्थ "सुखद" (pleasant) है। परीक्षण इसे ऐसे मानता है जैसे शब्द ने अचानक एक लेगो ब्लॉक को दूसरे से बदल दिया हो। लेकिन वास्तव में, अर्थ सदियों में धीरे-धीरे पिघला और फिर से बना।
- दोष: इन सुचारू, बहते हुए परिवर्तनों को कठोर "हाँ/नहीं" के बक्सों (क्या यह बदला? हाँ/नहीं) में फिट करने के कारण, यह परीक्षण भाषा के वास्तविक विकास के सूक्ष्म, जटिल और क्रमिक तरीकों को चूक जाता है। यह कॉफी के कप का तापमान मापने के लिए केवल यह पूछने जैसा है कि, "क्या यह उबल रहा है या यह बर्फ है?"
2. "गंदे चश्मे" की समस्या (डेटा की गुणवत्ता)
समस्या: मशीन का परीक्षण करने के लिए, आयोजकों ने इसे पुराने समाचार पत्रों के स्कैन और किताबों का एक ढेर दिया। लेकिन ये साफ स्कैन नहीं थे; ये गंदगी, धब्बों और फटे हुए पन्नों से भरे हुए थे।
वास्तविकता: डेटा OCR शोर (कंप्यूटर द्वारा स्कैन किए गए टेक्स्ट में होने वाली त्रुटियां) से भरा हुआ है।
- उपमा: कल्पना कीजिए कि आप एक छात्र को इतिहास की किताब पढ़ने के लिए कह रहे हैं, लेकिन पन्ने कॉफी के दागों से ढके हुए हैं, स्याही फीकी पड़ गई है, और कुछ शब्द पूरी तरह से गायब हैं।
- कभी-कभी कंप्यूटर "blockade" देखता है लेकिन उसे "bloqiiade" पढ़ लेता है।
- कभी-कभी एक वाक्य बीच में ही कट जाता है, जैसे रेडियो सिग्नल कम हो रहा हो।
- कभी-कभी कंप्यूटर एक क्रिया (verb) को संज्ञा (noun) के रूप में गलत लेबल कर देता है (जैसे "landing" को "land" कहना)।
- दोष: यदि आपकी मशीन यह सीखने की कोशिश कर रही है कि शब्द कैसे बदलते हैं, लेकिन वह टेक्स्ट जो वह पढ़ रही है वह टूटा हुआ है, तो उसे लग सकता है कि शब्द का अर्थ बदल गया है जबकि वास्तव में वह केवल एक धब्बे के कारण अजीब दिख रहा था। यह छात्र को परीक्षा में फेल होने के लिए दोष देने जैसा है जब शिक्षक ने उन्हें आधे फटे हुए पन्नों वाली किताब थमा दी हो।
3. "छोटा नमूना" की समस्या (बेंचमार्क डिज़ाइन)
समस्या: यह परीक्षण केवल एक भाषा के प्रति लगभग 30 से 40 विशिष्ट शब्दों की जांच करने के लिए कहता है।
वास्तविकता: यह एक शेफ के पूरे करियर का न्याय करने के लिए इस आधार पर करने जैसा है कि वह एक अकेला अंडा कितनी अच्छी तरह बनाता है।
- उपमा: यदि आपके पास 40 प्रश्नों की एक परीक्षा है, तो केवल एक उत्तर गलत होने से आपके स्कोर में बहुत बड़ा बदलाव आता है (जैसे 2.5%)।
- यदि परीक्षण बहुत छोटा है, तो परिणाम केवल शोर (noise) हैं। एक सिस्टम केवल इसलिए "बेहतर" दिख सकता है क्योंकि उसने भाग्य से सही 40 शब्दों का अनुमान लगा लिया, न कि इसलिए कि वह वास्तव में अधिक बुद्धिमान है।
- यह लंदन के एक छोटे से पार्क में तापमान देखने वाले मौसम पूर्वानुमान जैसा है जो पूरे विश्व के लिए मौसम की भविष्यवाणी करने का दावा करता है।
- दोष: परीक्षण सांख्यिकीय रूप से विश्वसनीय होने के लिए बहुत छोटा है। यह केवल चार यूरोपीय भाषाओं (अंग्रेजी, जर्मन, स्वीडिश, लैटिन) तक सीमित है, इसलिए हम निश्चित नहीं हो सकते कि क्या "स्मार्ट मशीनें" चीनी, अरबी या स्वाहिली जैसी भाषाओं पर काम करेंगी।
बड़ी तस्वीर: हमें क्या करना चाहिए?
लेखक यह नहीं कह रहे हैं कि परीक्षण बेकार है। वे कह रहे हैं कि यह एक रफ स्केच (rough sketch) है, कोई पूर्ण पेंटिंग नहीं।
वे सुझाव देते हैं कि हमें आवश्यकता है:
- लेगो ब्लॉक्स के बारे में सोचना बंद करें: स्वीकार करें कि अर्थ धीरे-धीरे बदलता है, नदी की तरह, न कि छलांग लगाकर।
- चश्मे को साफ करें: एआई (AI) को प्रशिक्षित करने के लिए उपयोग करने से पहले सुनिश्चित करें कि पुरानी किताबों को पूरी तरह से स्कैन किया गया है।
- परीक्षण का विस्तार करें: 40 शब्दों की जांच करने के बजाय, हजारों शब्दों की जांच करें। और केवल यूरोपीय भाषाओं की ही नहीं, बल्कि पूरी दुनिया की भाषाओं की जांच करें।
संक्षेप में: वर्तमान परीक्षण एक उपयोगी शुरुआती बिंदु है, लेकिन यदि हम इसे सफलता के एकमात्र माप के रूप में उपयोग करते रहते हैं, तो हम शायद ऐसी एआई बना रहे हैं जो एक टूटे हुए परीक्षण को पास करने में तो अच्छी है, लेकिन मानव भाषा वास्तव में कैसे काम करती है, इसे समझने में खराब है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।