Semantic Space of Parts of Speech
यह शोध पत्र word2vec एम्बेडिंग्स और न्यूरल नेटवर्क का उपयोग करके शब्दों को एक त्रि-आयामी अर्थपूर्ण स्थान (semantic space) में मैप करता है, जो पाँच भाषाओं में पद (parts of speech) के बीच अंतर्निहित अस्पष्टता और सीमा संबंधों को प्रकट करते हुए, पद के प्रकारों को स्पष्ट श्रेणियों के रूप में देखने के पारंपरिक दृष्टिकोण को चुनौती देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा को अक्सर व्यवस्थित बक्सों की एक प्रणाली के रूप में सिखाया जाता है। हम सीखते हैं कि एक शब्द या तो संज्ञा है, क्रिया है, या विशेषण है, और वह एक समय में केवल इन्हीं में से किसी एक श्रेणी का हिस्सा होता है। यह स्पष्ट वर्गीकरण हमें शब्दकोश बनाने और व्याकरण सिखाने में मदद करता है, लेकिन यह हमेशा उस वास्तविक जटिलता से मेल नहीं खाता कि शब्द वास्तव में कैसे काम करते हैं। कुछ शब्द ऐसे महसूस होते हैं जैसे वे एक ही समय में दो जगहों पर हों, या वे श्रेणियों के बीच की सीमा पर स्थित हों, और खुद को किसी एक दायरे में बंधने से इनकार करते हों। भाषाविदों को लंबे समय से संदेह रहा है कि ये सीमाएं धुंधली हैं, लेकिन इसे सिद्ध करना कठिन रहा है क्योंकि पारंपरिक तरीके मानवीय निर्णय और कठोर नियमों पर निर्भर करते हैं। अब, चार्ल्स यूनिवर्सिटी, प्राग और यूनिवर्सिटी ऑफ पॉट्सडैम, जर्मनी के शोधकर्ताओं की एक टीम ने इस अनिश्चितता को मैप करने के लिए एक अलग दृष्टिकोण का उपयोग किया है। उन्होंने लोगों से यह तय करने के लिए नहीं पूछा कि शब्द कहाँ thuộc हैं; इसके बजाय, उन्होंने लाखों वाक्यों में शब्दों के व्यवहार का विश्लेषण करके उन्हें स्वयं बोलने दिया।
शोधकर्ताओं ने एक सरल विचार से शुरुआत की: जो शब्द समान स्थितियों में दिखाई देते हैं, उनका अर्थ भी समान होता है। 'वितरणात्मक अर्थविज्ञान' (डिस्ट्रीब्यूशनल सिमेंटिक्स) के रूप में ज्ञात यह अवधारणा बताती है कि यदि आप इस बात पर ध्यान दें कि एक शब्द किन शब्दों के साथ आता है, तो आप समझ सकते हैं कि वह क्या है। उदाहरण के लिए, एक शब्द जो अक्सर "the" और "big" के पास दिखाई देता है, वह संभवतः एक संज्ञा है, जबकि जो "will" या "can" के बाद आता है, वह एक क्रिया होने की संभावना है। कंप्यूटर इन पैटर्न को गणितीय मानचित्रों में बदल सकते हैं, जहाँ प्रत्येक शब्द एक विशाल स्थान में एक बिंदु होता है। दो बिंदु एक-दूसरे के जितने करीब होते हैं, शब्दों के उपयोग में वे उतने ही अधिक समान होते हैं। टीम ने एक कदम आगे बढ़ते हुए कंप्यूटर से खुद ही 'पार्ट्स ऑफ स्पीच' (शब्दों के प्रकार) के नियम सीखने के लिए कहा। उन्होंने कंप्यूटर को पांच अलग-अलग भाषाओं: फ्रेंच, चेक, फिनिश, रूसी और अंग्रेजी में टेक्स्ट का एक विशाल संग्रह दिया। कंप्यूटर को शब्द और उनके मानक लेबल दिए गए थे, और उससे उन छिपे हुए पैटर्न को खोजने के लिए कहा गया जो उन्हें जोड़ते हैं।
जटिल डेटा को समझने के लिए, शोधकर्ताओं ने एक विशेष प्रकार का कंप्यूटर प्रोग्राम बनाया, एक न्यूरल नेटवर्क, जिसे सारी जानकारी को केवल तीन आयामों (dimensions) में समेटने के लिए डिज़ाइन किया गया था। कल्पना कीजिए कि एक कमरा है जो हजारों तैरते हुए बिंदुओं से भरा है, जिनमें से प्रत्येक एक शब्द का प्रतिनिधित्व करता है। कंप्यूटर के दिमाग में, ये बिंदु सैकड़ों दिशाओं वाले स्थान में मौजूद हैं, जिसे देखना एक इंसान के लिए असंभव है। शोधकर्ताओं ने कंप्यूटर को इस स्थान को एक ऐसे आकार में समेटने के लिए मजबूर किया जिसे हम वास्तव में देख सकें: एक त्रि-आयामी मानचित्र। इस मानचित्र पर, कंप्यूटर ने शब्दों को उनके अर्थ और उपयोग की समानता के आधार पर रखा। परिणाम कोई नियमों की सूची नहीं थी, बल्कि एक परिदृश्य (लैंडस्केप) था। इस परिदृश्य में, सबसे सामान्य प्रकार के शब्दों ने विशिष्ट समूहों, या "स्पर्शिकाओं" (tentacles) का निर्माण किया, जो एक केंद्रीय बिंदु से बाहर की ओर फैली हुई थीं।
जब शोधकर्ताओं ने इन मानचित्रों को देखा, तो उन्होंने पाया कि संज्ञा, क्रिया और विशेषण की पारंपरिक श्रेणियां वास्तव में सबसे मजबूत समूह थीं। अध्ययन किए गए प्रत्येक भाषा में, इन तीन समूहों ने स्पष्ट, अलग आकार बनाए। हालाँकि, उनके बीच का स्थान खाली नहीं था। शोधकर्ताओं ने पाया कि कई शब्द सख्ती से एक ही स्पर्शिका के भीतर नहीं बैठे थे, बल्कि उस स्थान में थे जहाँ आकार आपस में मिलते या ओवरलैप होते थे। उदाहरण के लिए, फ्रेंच में, वे शब्द जो क्रिया और विशेषण दोनों हो सकते हैं, जैसे कि "forgotten" (विस्मृत), क्रिया और विशेषण समूहों के बीच की सीमा पर पाए गए। अंग्रेजी में, जो शब्द संज्ञा और क्रिया दोनों हो सकते हैं, जैसे कि "laugh" (हँसना) या "care" (परवाह करना), वहां स्थित थे जहाँ संज्ञा और क्रिया की स्पर्शिकाएं आपस में मिल रही थीं। इसने पुष्टि की कि भाषाविदों को जिस धुंधलेपन का संदेह था, वह वास्तविक और मापने योग्य है। जो शब्द पारंपरिक व्याकरण के लिए सबसे अधिक भ्रम पैदा करते हैं, वे वही हैं जो स्वाभाविक रूप से इन संक्रमण क्षेत्रों (transition zones) में रहते हैं।
अध्ययन ने विशिष्ट भाषाओं के बारे में आश्चर्यजनक विवरण भी प्रकट किए। रूसी में, शोधकर्ताओं ने देखा कि विशेषणों के संक्षिप्त रूप, जिनका उपयोग "मानव युवा है" जैसी स्थिति का वर्णन करने के लिए किया जाता है, अन्य विशेषणों की तुलना में क्रियाओं के करीब क्लस्टर (समूह) बनाते हैं। यह तर्कसंगत है क्योंकि रूसी व्याकरण में, ये संक्षिप्त रूप अक्सर वाक्य के मुख्य कार्य (action) के रूप में कार्य करते हैं। फिनिश में, जो अन्य भाषाओं की तुलना में बहुत अलग संरचना वाला भाषा है, मानचित्र ने दिखाया कि क्रिया-विशेषण (adverbs) ने अपना अलग समूह नहीं बनाया बल्कि वे अन्य श्रेणियों के बीच बिखरे हुए थे। यह सुझाव देता है कि फिनिश में, एक क्रिया-विशेषण और अन्य पदों के बीच की रेखा अंग्रेजी या फ्रेंच की तुलना में बहुत कम स्पष्ट है। यहाँ तक कि उन भाषाओं में भी जहाँ नियम सख्त प्रतीत होते हैं, डेटा ने दिखाया कि शब्द अक्सर अपने उपयोग के आधार पर बदलते रहते हैं।
सबसे उल्लेखनीय निष्कर्षों में से एक यह था कि संख्यात्मक शब्द, या अंक, अक्सर अपना अलग समूह बनाते हैं, भले ही पारंपरिक व्याकरण कभी-कभी उन्हें संज्ञा या विशेषण के प्रकार के रूप में मानता है। फ्रेंच, चेक और रूसी के मानचित्रों में, संख्याओं ने मुख्य समूहों से अलग हटकर स्थान बनाया, जो यह दर्शाता है कि उनकी एक अद्वितीय अर्थ संबंधी पहचान है जो उन्हें अन्य शब्दों से अलग करती है। यह तब भी हुआ जब कंप्यूटर को संख्याओं को खोजने के लिए नहीं कहा गया था; इसने यह पैटर्न शुद्ध रूप से वास्तविक टेक्स्ट में शब्दों के उपयोग का विश्लेषण करके खोजा। शोधकर्ताओं ने यह भी पाया कि शब्दों का समूहन विशिष्ट डेटासेट के आधार पर बदल सकता है, जो यह दर्शाता है कि सीमाएं स्थिर नहीं बल्कि परिवर्तनशील हैं।
शोधकर्ता कोई नया व्याकरण पुस्तक बनाने या यह साबित करने के लिए नहीं निकले थे कि एक भाषा दूसरी भाषा से बेहतर है। उनका लक्ष्य यह देखना था कि क्या होता है जब हम डेटा को श्रेणियों का निर्णय लेने देते हैं। उन्होंने पाया कि हालांकि संज्ञा, क्रिया और विशेषण की मुख्य श्रेणियां मजबूत और स्थिर हैं, लेकिन उनके किनारे कोमल हैं। शब्द अक्सर एक ही समय में कई श्रेणियों के सदस्य होते हैं, या संदर्भ के आधार पर बदलते रहते हैं। अध्ययन सुझाव देता है कि व्याकरण सिखाने के लिए उपयोग किए जाने वाले कठोर बक्से उपयोगी उपकरण हैं, लेकिन वे इस बात की पूरी तस्वीर नहीं पकड़ पाते कि भाषा कैसे काम करती है। एक शब्द का वास्तविक स्वरूप एक एकल लेबल नहीं है, बल्कि एक विशाल, परिवर्तनशील स्थान में एक स्थिति है जहाँ वह कई अलग-अलग विचारों के करीब हो सकता है।
इन संबंधों को दृश्य रूप में प्रस्तुत करके, शोधकर्ताओं ने भाषा की संरचना को देखने का एक नया तरीका प्रदान किया। इस बात पर बहस करने के बजाय कि कोई शब्द संज्ञा है या क्रिया, अब हम देख सकते हैं कि वह दोनों के संबंध में वास्तव में कहाँ स्थित है। यह दृष्टिकोण पुराने नियमों को प्रतिस्थापित नहीं करता है, बल्कि इसमें गहराई की एक ऐसी परत जोड़ता है जो मानव संचार की जटिलता को दर्शाती है। मानचित्र दिखाते हैं कि भाषा अलग-थलग द्वीपों का संग्रह नहीं है, बल्कि एक निरंतर परिदृश्य है जहाँ शब्द एक-दूसरे में प्रवाहित होते हैं। अध्ययन पुष्टि करता है कि भाषा का धुंधलापन कोई गलती या दोष नहीं है, बल्कि यह एक मौलिक विशेषता है कि हम दुनिया का वर्णन करने के लिए शब्दों का उपयोग कैसे करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।