Exploring Functional Shifts in Pos Tagging Across Various NLP Libraries: A Study of NLTK, spaCy and Textblob
यह अध्ययन कार्यात्मक परिवर्तनों (functional shifts) के कारण उत्पन्न होने वाले गार्डन पाथ वाक्यों (garden path sentences) को संभालने में NLTK, TextBlob और spaCy के प्रदर्शन की तुलना करता है, जिसमें यह पाया गया है कि spaCy सिंटैक्टिक सटीकता में अन्य दोनों पुस्तकालयों की तुलना में काफी बेहतर प्रदर्शन करता है और अफ्रीकी भाषाओं सहित NLP उपकरणों को सुधारने के लिए अंतर्दृष्टि प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी की किताब पढ़ना सिखा रहे हैं। आप चाहते हैं कि वह न केवल शब्दों को समझे, बल्कि यह भी समझे कि वाक्य में वे शब्द कैसे व्यवहार कर रहे हैं। क्या "run" तेज़ी से चलने का एक आदेश है, या यह एक संज्ञा (noun) है जो समय की एक लंबी अवधि का वर्णन करती है? कंप्यूटर विज्ञान की दुनिया में, इस काम को पार्ट-ऑफ-स्पीच (POS) टैगिंग कहा जाता है। यह एक डिजिटल हाइलाइटर की तरह है जो वाक्य के हर शब्द को रंग देता है ताकि यह दिखाया जा सके कि वह संज्ञा है, क्रिया है, विशेषण है, या कुछ और। यह हमारे जैसे मनुष्यों के लिए आसान लगता है, लेकिन कंप्यूटरों के लिए यह पेचीदा हो जाता है जब शब्द वाक्य के बीच में ही अपने कपड़े बदल लेते हैं। इसे फंक्शनल शिफ्ट (functional shift) कहा जाता है। इसे एक ऐसे अभिनेता के रूप में सोचें जो एक नाटक में राजा के रूप में शुरू करता है, फिर अचानक शेफ की टोपी पहन लेता है और खाना बनाना शुरू कर देता है, और यह सब बिना अपना नाम बदले करता है। कंप्यूटर को आसपास के अन्य शब्दों के आधार पर उसकी नई भूमिका का अनुमान लगाना होता है।
इससे भी अधिक पेचीदा हैं गार्डन पाथ सेंटेंस (garden path sentences)। ये वे वाक्य हैं जो आपको सोचने के एक ऐसे रास्ते पर ले जाते हैं जहाँ आप एक चीज़ समझते हैं, लेकिन अंत में आप लड़खड़ा जाते हैं। उदाहरण के लिए, "The old man the boat." आपका मस्तिष्क "old man" को एक व्यक्ति के रूप में पढ़ना चाहता है, लेकिन वाक्य का वास्तव में अर्थ है "The old people operate the boat" (बूढ़े लोग नाव चलाते हैं)। यहाँ, "man" एक क्रिया (verb) है, न कि संज्ञा! यदि कंप्यूटर इन घुमावों से भ्रमित हो जाता है, तो वह पूरी कहानी को गलत समझ सकता है, जो अनुवाद ऐप्स या सर्च इंजन जैसी चीजों के लिए एक बड़ी समस्या है। इसलिए, वैज्ञानिक हमेशा विभिन्न कंप्यूटर प्रोग्रामों का परीक्षण करते हैं यह देखने के लिए कि शब्दों के इन चालाकी भरे बदलावों को पकड़ने में कौन सा सबसे बेहतर है।
इस अध्ययन में, कायोडे विक्टर अमूसान नामक एक शोधकर्ता ने तीन लोकप्रिय कंप्यूटर प्रोग्रामों—NLTK, TextBlob, और SpaCy—को परखने का निर्णय लिया। कल्पना कीजिए कि ये तीनों एक भाषा की कक्षा के अलग-अलग छात्र हैं। शिक्षक (शोधकर्ता) ने उन्हें 56 पेचीदा वाक्यों का एक ढेर थमाया जो उन्हें भ्रमित करने के लिए डिज़ाइन किए गए थे। इन वाक्यों में गार्डन पाथ पहेलियाँ, वे शब्द शामिल थे जिन्हें संज्ञा में बदल दिया गया था (जैसे "singing" का एक ऐसी चीज़ बन जाना जो आप करते हैं), और वे शब्द जिन्होंने अपना अर्थ बदलने के लिए अपनी स्थिति बदल ली थी। लक्ष्य सरल था: यह देखना कि कौन सा छात्र वाक्य में प्रत्येक शब्द की भूमिका को सही ढंग से पहचान सकता है।
परिणाम एक ऐसी दौड़ की तरह थे जहाँ एक धावक स्पष्ट रूप से आगे निकल गया। 56 पेचीदा वाक्यों में से, SpaCy ने 32 को सही पहचाना। NLTK और TextBlob दूसरे स्थान के लिए बराबरी पर थे, लेकिन उन्होंने केवल 21 वाक्य सही पहचाने। इसका मतलब है कि जटिल वाक्यों में शब्दों के "कपड़े बदलने" (role change) को समझने में SpaCy काफी बेहतर था।
अध्ययन ने बारीकी से विशिष्ट उदाहरणों को देखा कि कहाँ प्रोग्राम लड़खड़ाए। उदाहरण के लिए, "round" शब्द को लें। यह एक वृत्त (संज्ञा) हो सकता है, एक आकार (विशेषण) हो सकता है, घूमने की एक क्रिया (verb) हो सकती है, या एक चक्कर में घूमने का क्रिया विशेषण (adverb) हो सकता है। "The earth turns round once" जैसे वाक्यों में, SpaCy ने सही ढंग से पहचाना कि "round" एक क्रिया विशेषण है। हालाँकि, NLTK और TextBlob भ्रमित हो गए और इसे संज्ञा के रूप में लेबल किया। इसी तरह, "that" शब्द के लिए, जो एक सर्वनाम, एक संयोजन (conjunction), या एक विशेषण हो सकता है, SpaCy ने दिखाया कि वह लगभग हर संदर्भ में अंतर बता सकता है, जबकि अन्य दो लाइब्रेरी अक्सर चूक गईं।
शोधकर्ता ने पाया कि हालांकि तीनों प्रोग्राम सबसे अधिक भ्रमित करने वाले गार्डन पाथ वाक्यों के साथ संघर्ष करते हैं (जैसे "The complex houses married and single students"), फिर भी SpaCy ने अन्य की तुलना में उनमें से अधिक को सही पहचाना। उदाहरण के लिए, एक वाक्य में जहाँ "houses" वास्तव में एक क्रिया है (अर्थात आश्रय प्रदान करना), SpaCy इस बात को पकड़ने में अधिक सक्षम था कि यह कोई इमारत नहीं है। अध्ययन बताता है कि जबकि NLTK और TextBlob सामान्य कार्यों के लिए अच्छे हैं, SpaCy तब अधिक शक्तिशाली उपकरण है जब भाषा जटिल हो जाती है और शब्द अपनी भूमिकाएँ बदलने लगते हैं।
यह शोध पत्र यह दावा नहीं करता कि SpaCy पूर्ण है या समस्या हल हो गई है। वास्तव में, यह बताता है कि SpaCy भी 56 में से 24 वाक्यों को गलत पहचान बैठा। यह केवल यह सुझाव देता है कि यदि आपको कंप्यूटर को पेचीदा और घुमावदार वाक्यों को संभालने की आवश्यकता है, तो Spaichi वर्तमान में इन तीनों में सबसे विश्वसनीय विकल्प है। शोधकर्ता आशा करता है कि यह जानकारी शिक्षकों, छात्रों और अन्य वैज्ञानिकों को मानव भाषा को समझने के लिए बेहतर उपकरण बनाने में मदद करेगी, और शायद भविष्य के प्रोग्रामों को अफ्रीकी भाषाओं को भी उतनी ही आसानी से बोलने में मदद करेगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।