A Multilingual Dataset of Lexical, Syntactic, and Semantic Features from Wikipedia across Five Languages
यह शोध पत्र पाँच भाषाओं में 1,860 विकिपीडिया लेखों से ली गई शाब्दिक, वाक्य-रचनात्मक और अर्थगत विशेषताओं वाले एक सार्वजनिक रूप से उपलब्ध बहुभाषी डेटासेट का परिचय देता है, जो सांख्यिकीय सत्यापन के माध्यम से यह प्रदर्शित करता है कि पाठ की लंबाई से स्वतंत्र होकर भाषा इन विशेषताओं को महत्वपूर्ण रूप से प्रभावित करती है, जिससे यह क्रॉसलिंग्विस्टिक (क्रॉस-भाषाई) और कम्प्यूटेशनल भाषाई अनुसंधान के लिए एक सुदृढ़ संसाधन प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा को अक्सर नियमों के एक संग्रह के रूप में वर्णित किया जाता है, लेकिन कंप्यूटर के लिए, यह पैटर्न का एक परिदृश्य है। दशकों से, भाषाविदों ने इन पैटर्नों को हाथ से मैप करने की कोशिश की है, यह सूचीबद्ध करते हुए कि विभिन्न भाषाएँ अपने वाक्यों को कैसे व्यवस्थित करती हैं या उनकी शब्दावली कितनी विविध है। ये हस्तचालित मानचित्र मूल्यवान हैं, लेकिन इन्हें बनाने में समय लगता है और ये अक्सर उस सूक्ष्म, निरंतर प्रवाह को चूक जाते हैं जो लोग वास्तव में लिखते समय अपनाते हैं। हाल के वर्षों में, शक्तिशाली कंप्यूटर प्रोग्राम उभरे हैं जो टेक्स्ट को पढ़ सकते हैं और इसे गणितीय आकृतियों में अनुवादित कर सकते हैं, जिससे वाक्य के "अहसास" को उस तरह से पकड़ा जा सकता है जिसे मनुष्य आसानी से नहीं देख सकते। यह नया दृष्टिकोण शोधकर्ताओं को भाषाओं की तुलना न केवल उनके शब्दकोश परिभाषाओं द्वारा, बल्कि लाखों शब्दों में छोड़े गए गहरे, सांख्यिकीय पदचिह्नों (फिंगरप्रिंट्स) द्वारा करने की अनुमति देता है। प्रश्न अभी भी बना हुआ है: क्या ये डिजिटल पदचिह्न यह प्रकट करते हैं कि भाषाएँ मौलिक रूप से भिन्न हैं, या वे एक समान विषय के केवल विभिन्न रूप हैं?
क्वींसलैंड यूनिवर्सिटी ऑफ टेक्नोलॉजी के एक शोधकर्ता ने पाँच प्रमुख भाषाओं: अंग्रेजी, चीनी, स्पेनिश, फ्रेंच और जर्मन से टेक्स्ट का एक विशाल, साझा पुस्तकालय बनाकर इसका उत्तर देने की दिशा में एक महत्वपूर्ण कदम उठाया है। कुछ प्रसिद्ध उदाहरणों पर निर्भर रहने के बजाय, टीम ने लगभग 1,900 विश्वकोश लेख एकत्र किए, उन विषयों को सावधानीपूर्वक चुनते हुए जो पाँचों भाषाओं में मौजूद हैं, जैसे कि इतिहास, विज्ञान और राजनीति। एक निष्पक्ष तुलना सुनिश्चित करने के लिए, प्रत्येक लेख को समान लंबाई तक काटा गया, जिससे एक समान आधार तैयार हुआ जहाँ एकमात्र वास्तविक अंतर स्वयं भाषा थी। टीम ने प्रत्येक लेख को एक परिष्कृत विश्लेषण पाइपलाइन के माध्यम से चलाया। उन्होंने गिना कि कितने अद्वितीय शब्द दिखाई दिए, शब्दों के दोहराव की आवृत्ति को मापा, और शब्दों के उन शब्दों से कितनी दूरी थी जिन पर वे वाक्य में निर्भर थे। उन्होंने प्रत्येक लेख के पहले बीस वाक्यों के अर्थ को संख्याओं की एक लंबी सूची में बदलने के लिए एक आधुनिक कृत्रिम बुद्धिमत्ता (AI) उपकरण का भी उपयोग किया, जिससे टेक्स्ट की सिमेंटिक सामग्री (अर्थ संबंधी सामग्री) के लिए एक अनूठा डिजिटल हस्ताक्षर बन गया।
इस तुलना के परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने इन सभी विशेषताओं को एक साथ प्लॉट किया, तो भाषा स्वयं डेटा को आकार देने वाली सबसे मजबूत शक्ति सिद्ध हुई। इसने लेखों के पूरे संग्रह में पाए गए अंतरों के एक तिहाई से अधिक हिस्से की व्याख्या की। इसके विपरीत, टेक्स्ट की लंबाई या लेख खोजने के विशिष्ट तरीके का समग्र पैटर्न पर लगभग कोई प्रभाव नहीं पड़ा। इसने इस बात की पुष्टि की कि प्रत्येक भाषा की विशिष्ट "आवाज़" एक सुदृढ़ विशेषता है जो तब भी बनी रहती है जब विषय और लंबाई को स्थिर रखा जाता है। विश्लेषण ने दिखाया कि चीनी अन्य भाषाओं से अलग खड़ी थी, एक विशिष्ट समूह बनाती थी, जबकि यूरोपीय भाषाएँ एक-दूसरे के करीब क्लस्टर (समूहबद्ध) थीं। अंग्रेजी और स्पेनिश को सबसे समान जोड़ी पाया गया, जो सबसे करीबी सांख्यिकीय प्रोफाइल साझा करती हैं।
अध्ययन ने यह भी उजागर किया कि एक भाषा की संरचना और उसके अर्थ के बीच एक गहरा संबंध है। शोधकर्ताओं ने वाक्य में शब्दों की दूरी और डिजिटल स्पेस में उनके अर्थों की दूरी के बीच एक स्पष्ट संबंध पाया। यह सुझाव देता है कि जिस तरह से एक भाषा अपने शब्दों को व्यवस्थित करती है वह यादृच्छिक (रैंडम) नहीं है, बल्कि उन अवधारणाओं के साथ मजबूती से बुनी हुई है जिन्हें वह व्यक्त करती है। हालांकि वर्तमान डेटासेट इन पाँच भाषाओं तक सीमित है और विश्वकोश लेखन पर आधारित है, यह भविष्य के कार्य के लिए एक ठोस, पुनरुत्पादक आधार प्रदान करता है। यह परीक्षण करने का एक नया तरीका प्रदान करता है कि कंप्यूटर प्रोग्राम विभिन्न भाषाओं को कितनी अच्छी तरह समझते हैं और वैज्ञानिकों को यह अनुमान लगाने में मदद करता है कि भाषाएँ कैसे विकसित हो सकती हैं या एक-दूसरे से कैसे संबंधित हो सकती हैं। मानव भाषण की जटिलता को एक स्पष्ट, मापने योग्य मानचित्र में बदलकर, यह कार्य हमें भाषा की छिपी हुई वास्तुकला को उस सटीकता के साथ देखने की अनुमति देता है जो पहले असंभव थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।