Choosing features for classifying multiword expressions
यह शोध पत्र विभिन्न भाषाओं में कम्प्यूटेशनल उपयोग के लिए परिणामी श्रेणियों को फलदायी बनाने हेतु सबसे विश्वसनीय विशेषताओं का मूल्यांकन और चयन करके बहुशब्द अभिव्यक्तियों (multiword expressions) के लिए एक उन्नत वर्गीकरण ढांचे का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप "वाक्यांश पुस्तकों" (phrase books) के एक विशाल, अराजक पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं। ये केवल एकल शब्द जैसे "बिल्ली" या "दौड़ना" नहीं हैं, बल्कि बहु-शब्द अभिव्यक्तियाँ (MWEs) हैं जैसे "kick the bucket" (मर जाना), "have a goal" (एक लक्ष्य होना), या "take a dip" (डूबकी लगाना)। इनमें से कुछ का वही अर्थ है जो वे कहते हैं, जबकि कुछ मुहावरे हैं जिनका अर्थ पूरी तरह से अलग होता है।
लेखक, एरिक लैपोर्ट (Eric Laporte) का तर्क है कि इन वाक्यांशों को प्रभावी ढंग से समझने और छाँटने के लिए कंप्यूटरों को एक बेहतर फाइलिंग सिस्टम की आवश्यकता है। वर्तमान में, पुस्तकालय अव्यवस्थित है क्योंकि पुस्तकालयाध्यक्ष (भाषाविद और कंप्यूटर वैज्ञानिक) इन पुस्तकों को छाँटने के लिए "धुंधले" (fuzzy) लेबल का उपयोग कर रहे हैं। लैपोर्ट इन धुंधले लेबल को "स्पष्ट" (sharp), स्पष्ट-कट वाले लेबल से बदलने का प्रस्ताव देते हैं।
यहाँ उनके तर्क का सरल उपमाओं के साथ विवरण दिया गया है:
1. समस्या: धुंधली बनाम स्पष्ट कैंची
कल्पना कीजिए कि आप पत्थरों के ढेर को छाँट रहे हैं।
- "धुंधला" दृष्टिकोण (The "Fuzzy" Approach): आप उन्हें "भारीपन" के आधार पर छाँटने की कोशिश करते हैं। आप उन्हें उठाते हैं और अनुमान लगाते हैं। "यह थोड़ा भारी लगता है, शायद यह एक 'भारी पत्थर' है?" समस्या यह है कि हर कोई अलग-अलग अनुमान लगाता है। एक व्यक्ति सोचता है कि एक पत्थर भारी है; दूसरा सोचता है कि वह हल्का है। भाषा विज्ञान में, यह तय करने जैसा है कि क्या एक क्रिया "हल्की" है (जैसे "have a goal" में have) या "भारी" है (जैसे "have a machine" में have)। यह अंतर्ज्ञान (gut feeling) का मामला है, और कंप्यूटर अनुमान लगाने वाले खेल पसंद नहीं करते क्योंकि वे उत्तर पर सहमत नहीं हो पाते।
- स्पष्ट दृष्टिकोण (The "Sharp" Approach): वजन का अनुमान लगाने के बजाय, आप पत्थरों को तराजू पर रखते हैं। तराजू आपको एक संख्या देता है: 5 किलो या 10 किलो। यह एक स्पष्ट, बाइनरी तथ्य है। भाषा विज्ञान में, इसका अर्थ है वाक्य संरचनात्मक संचालन (syntactic operations) को देखना। क्या आप वाक्य को कर्मवाच्य (passive voice) में बदल सकते हैं? क्या आप एक शब्द हटा सकते हैं? क्या वाक्य अभी भी अर्थपूर्ण रहता है?
- उदाहरण: आप कह सकते हैं "He made a joke" (उसने एक मजाक किया)। लेकिन आप नहीं कह सकते "He made your joke" (यदि "your" किसी और के संदर्भ में है)। यह एक कठिन, परीक्षण योग्य नियम है। यह एक तराजू की तरह है जो हर बार एक ही परिणाम देता है, चाहे उसे कोई भी पकड़े।
2. "सह-संबंधित" विशेषताओं का जाल
कभी-कभी, शोधकर्ता पत्थरों के ढेर को देखते हैं और कहते हैं, "ओह, भारी वाले पत्थर गोल भी हैं, और गोल वाले पत्थर धूसर (gray) भी हैं। चलिए इन्हें 'भारी-गोल-धूसर पत्थर' कह देते हैं।"
लैपोर्ट कहते हैं कि यह खतरनाक है। सिर्फ इसलिए कि दो चीजें अक्सर एक साथ होती हैं, इसका मतलब यह नहीं है कि वे एक ही चीज़ हैं।
- उपमा: कल्पना कीजिए कि कंचों (marbles) का एक थैला है। अधिकांश लाल कंचे भारी भी होते हैं। लेकिन यदि आप "लाल-भारी कंचे" नामक श्रेणी बनाते हैं, तो आप गलती से एक लाल कंचा फेंक सकते हैं जो वास्तव में हल्का है, या एक नीला कंचा जो भारी है।
- भाषाई वास्तविकता: शोधकर्ता अक्सर विभिन्न व्याकरणिक नियमों को एक बड़े लेबल "Syntactic Flexibility" (वाक्य संरचनात्मक लचीलापन) के तहत एक साथ रखते हैं। लैपोर्ट का तर्क है कि यह एक गलती है। सिर्फ इसलिए कि एक मुहावरा आपको शब्द क्रम बदलने की अनुमति देता है, इसका मतलब यह नहीं है कि वह आपको कर्मवाच्य (passive voice) बनाने की अनुमति देता है। कंप्यूटर को विशिष्ट नियमों की आवश्यकता होती है, न कि एक अस्पष्ट सारांश की।
3. "पुनरुत्पादकता" (Reproducibility) का परीक्षण
हमें कैसे पता चलेगा कि एक नियम अच्छा है? लैपोर्ट पुनरुत्पादकता का विचार पेश करते हैं।
- उपमा: कल्पना कीजिए कि आप 100 लोगों को ताश के पत्तों के डेक को "कार्ड कितना मजेदार दिखता है" के आधार पर छाँटने के लिए कहते हैं। आपको 100 अलग-अलग ढेर मिलेंगे। यह एक बुरा छँटाई तरीका है।
- बेहतर तरीका: 100 लोगों को कार्डों को इस आधार पर छाँटने के लिए कहें कि "क्या यह एक लाल सूट है?" आपको 100 समान ढेर मिलेंगे। यह एक पुनरुत्पादक विशेषता है।
- बिंदु: वर्तमान वर्गीकरण में से कई "मजेदार" (अर्थ के बारे में व्यक्तिपरक भावना) पर निर्भर करते हैं। लैपोर्ट जोर देते हैं कि हमें केवल "लाल सूट" (वस्तुनिष्ठ, परीक्षण योग्य व्याकरणिक नियम) का उपयोग करना चाहिए। यदि पेरिस का एक भाषाविद और न्यूयॉर्क का एक भाषाविद इस बात पर सहमत नहीं हो सकते कि क्या कोई वाक्यांश "विघटनीय" (decomposable - क्या इसका अर्थ तोड़ा जा सकता है?) है, तो वह विशेषता कंप्यूटर प्रोग्राम बनाने के लिए बेकार है।
4. "शब्दकोश की जाँच करें" वाला नियम
लैपोर्ट वास्तविक डेटा को देखे बिना नियमों का अनुमान लगाने की प्रवृत्ति की आलोचना करते हैं।
- उपमा: कल्पना लीजिए कि एक वनस्पति शास्त्री पौधों को वर्गीकृत करने के लिए यह अनुमान लगाकर कोशिश कर रहा है कि वे कैसे दिख सकते हैं, बिना कभी बगीचे में जाकर पत्तियों को गिने।
- वास्तविकता: कई शोधकर्ता कुछ उदाहरणों के आधार पर सिद्धांत बनाते हैं जो उन्हें याद हैं। लैपोर्ट का तर्क है कि हमें हजारों प्रविष्टियों वाले शब्दकोश (एक "lexical inventory") की जाँच करने का "उबाऊ" काम करना चाहिए। पूरे बगीचे को देखकर ही हम देख सकते हैं कि कौन से नियम वास्तव में सही हैं और कौन से केवल अपवाद हैं।
5. नया फाइलिंग सिस्टम (समाधान)
लैपोर्ट इन वाक्यांशों को छाँटने का एक नया तरीका प्रस्तावित करते हैं (जो उनके चित्र 1 और 2 में दिखाया गया है)। धुंधली भावनाओं के बजाय, वे कठोर तथ्यों पर आधारित एक निर्णय वृक्ष (decision tree) का सुझाव देते हैं:
- क्या यह एक निश्चित वाक्यांश है? (Lexicalized बनाम Non-lexicalized)
- क्या यह एक "सपोर्ट वर्ब" (support verb) का उपयोग करता है? (यह एक विशिष्ट व्याकरणिक परीक्षण है, भावना नहीं। उदाहरण के लिए, "have a goal" एक सपोर्ट वर्ब का उपयोग करता है; "run a race" नहीं करता।)
- यह किस भाग (part of speech) का है? (संज्ञा, क्रिया, विशेषण, आदि)
वह यह भी सुझाव देते हैं कि "to be" क्रिया (जैसे "be angry" में) को कुछ मामलों में एक "सपोर्ट वर्ब" के रूप में माना जाना चाहिए, जिससे वह "have a goal" जैसे वाक्यांशों के साथ समूह बना सके। यह प्रणाली को अधिक सुसंगत बनाता है, भले ही यह लोगों द्वारा उपयोग की जाने वाली चीजों से अलग दिखे।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र अंतर्ज्ञान के ऊपर सटीकता (precision over intuition) के लिए एक अपील है।
- वर्तमान स्थिति: भाषाविद कंप्यूटरों को सिखाने के लिए अस्पष्ट भावनाओं ("यह वाक्यांश हल्का महसूस होता है") का उपयोग कर रहे हैं।
- प्रस्तावित स्थिति: भाषाविदों को कठोर, परीक्षण योग्य नियमों ("यह वाक्यांश कर्मवाच्य में नहीं बदला जा सकता") का उपयोग करना चाहिए ताकि कंप्यूटरों को सिखाया जा सके।
लैपोर्ट का तर्क है कि यदि हम चाहते हैं कि कंप्यूटर मानव भाषा को समझें, तो हमें उन "धुंधले" श्रेणियों का उपयोग करना बंद करना होगा जो मनुष्यों को भ्रमित करती हैं और उन "स्पष्ट" श्रेणियों का उपयोग करना शुरू करना होगा जिनका पालन कंप्यूटर वास्तव में कर सकते हैं। हजारों शब्दकोश प्रविष्टियों की जाँच करने का "उबाऊ" काम ही एकमात्र तरीका है जिससे वास्तव में काम करने वाला पुस्तकालय बनाया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।