The power of context: Random Forest classification of near synonyms. A case study in Modern Hindi
यह अध्ययन प्रदर्शित करता है कि हिंदी वर्ड एम्बेडिंग्स पर प्रशिक्षित एक रैंडम फॉरेस्ट क्लासिफायर केवल संदर्भगत उपयोग पैटर्न के आधार पर संस्कृत और फारसी-अरबी पर्यायवाची शब्दों के बीच सफलतापूर्वक अंतर कर सकता है, जो इस बात का मात्रात्मक प्रमाण प्रदान करता है कि व्युत्पत्ति संबंधी मूल भाषा पर एक पता लगाने योग्य छाप छोड़ता है, भले ही शब्दों का अर्थ समान हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ा सवाल: क्या किसी शब्द की "वंशानुगत पहचान" उसकी आवाज़ में सुनी जा सकती है?
कल्पना कीजिए कि एक कमरा जुड़वा बच्चों से भरा हुआ है। वे बिल्कुल एक जैसे दिखते हैं, एक जैसे कपड़े पहनते हैं, और बिल्कुल एक जैसी बातें करते हैं। वास्तव में, वे इतने समान हैं कि यदि आप उनसे "एक कप चाय" का वर्णन करने के लिए कहें, तो वे दोनों आपको एक ही परिभाषा देंगे।
भाषाविज्ञान (Linguistics) में, इन्हें समानार्थी (Synonyms) कहा जाता है। यह शोध एक पेचीदा सवाल पूछता है: भले ही इन शब्दों का अर्थ एक ही हो, क्या वे अपने उद्गम (जहाँ से वे आए हैं) के कारण अलग "सुनाई" देते हैं?
लेखक, जैक बोव्कोव्स्की (Jacek Bąkowski) ने इसकी जांच आधुनिक हिंदी का उपयोग करके की। हिंदी एक अनूठी भाषा है क्योंकि यह एक विशाल सांस्कृतिक सैंडविच की तरह है। इसमें शब्दावली की दो मुख्य परतें हैं:
- संस्कृत की परत: भारत की प्राचीन, मूल जड़ें (जैसे ब्रेड)।
- फारसी-अरबी की परत: सदियों पहले फारसी और अरबी बोलने वालों द्वारा उधार लिए गए शब्द जिन्होंने इस क्षेत्र पर शासन किया था (जैसे स्वादिष्ट फिलिंग)।
सदियों से, ये दोनों परतें साथ-साथ रही हैं। उदाहरण के लिए, "सेना" (Army) के लिए शब्द सेना (संस्कृत) या फ़ौज (फारसी) हो सकता है। दोनों का अर्थ एक ही है, लेकिन शोध यह जानना चाहता था: यदि आप केवल इस बात पर ध्यान दें कि ये शब्द किन शब्दों के साथ रहते हैं (उनके आस-पास के शब्द), तो क्या एक कंप्यूटर बता सकता है कि कौन सा "देशी" है और कौन सा "विदेशी"?
प्रयोग: "शब्द जासूस"
इस रहस्य को सुलझाने के लिए, लेखक ने मानव विशेषज्ञों से नहीं पूछा। इसके बजाय, उन्होंने एक रैंडम फॉरेस्ट (Random Forest) बनाया, जो एक प्रकार का कंप्यूटर मस्तिष्क (मशीन लर्निंग) है जो एक सुपर-स्मार्ट जासूस की तरह काम करता है।
यहाँ जासूस कैसे काम कर रहा था:
- सुराग (संदर्भ/Context): कंप्यूटर ने शब्दकोश की परिभाषाओं को नहीं देखा। इसने वर्ड एम्बेडिंग्स (Word Embeddings) को देखा। इसे एक विशाल मानचित्र की तरह समझें जहाँ हर शब्द एक बिंदु है। उस बिंदु की स्थिति इस बात से निर्धारित होती है कि वह किन अन्य शब्दों के साथ रहता है। यदि कोई शब्द हमेशा "राजाओं", "महलों" और "कविता" के साथ देखा जाता है, तो वह मानचित्र के एक अलग हिस्से में स्थित होता है, बजाय उस शब्द के जिसे "किसानों", "खेतों" और "औजारों" के साथ देखा जाता है।
- प्रशिक्षण (Training): कंप्यूटर को 135 समानार्थी जोड़े दिखाए गए (जैसे राष्ट्र बनाम क़ौम)। उसे बताया गया, "यह शब्द है; बताओ कि यह संस्कृत का है या फारसी का।"
- परीक्षण (Test): कंप्यूटर को उन शब्दों की उत्पत्ति का अनुमान लगाना था जिन्हें उसने पहले कभी नहीं देखा था, और वह केवल उनके आस-पास के संदर्भ (साथ देने वाले शब्दों) के आधार पर यह काम करता था।
परिणाम: कंप्यूटर सही साबित हुआ!
परिणाम आश्चर्यजनक और शक्तिशाली था। कंप्यूटर लगभग 88% बार सही था।
इसका क्या अर्थ है?
इसका मतलब है कि भले ही सेना और फ़ौज का अर्थ एक ही हो, लेकिन वे अलग-अलग मोहल्लों में रहते हैं।
- फारसी शब्द प्रशासन, दरबार और विशिष्ट सांस्कृतिक परिवेश से संबंधित संदर्भों में देखे गए।
- संस्कृत शब्द अधिक व्यापक, सामान्य या धार्मिक संदर्भों में देखे गए।
कंप्यूटर को इतिहास की किताबों की आवश्यकता नहीं थी। उसे बस शब्दों के आस-पास की "चहल-पहल" सुनने की आवश्यकता थी। संदर्भ (आस-पास के शब्द) इतना स्पष्ट था कि वह व्युत्पत्ति (उद्गम) को प्रकट कर सका।
"जुड़वा" उपमा: कुछ जुड़वा भाई एक जैसे क्यों दिखते हैं
शोध ने यह भी देखा कि कंप्यूटर कहाँ गलत हुआ। उसने एक दिलचस्प पैटर्न पाया:
- विशेषीकृत शब्द (जैसे "धर्म" या "सेना" के विशिष्ट शब्द) की पहचान करना आसान था। वे जुड़वा भाइयों की तरह हैं जो बहुत विशिष्ट वर्दी पहनते हैं।
- सामान्य, रोज़मर्रा के शब्द (जैसे "पानी", "सपना" या "वास्तविकता") की पहचान करना कठिन था। वे उन जुड़वा भाइयों की तरह हैं जो साधारण सफेद टी-शर्ट पहनते हैं। क्योंकि उनका उपयोग बहुत सी अलग-अलग स्थितियों में किया जाता है, इसलिए वे पृष्ठभूमि में घुलमिल जाते हैं।
लेखक का सुझाव है कि एक शब्द जितना अधिक सामान्य होगा, वह उतना ही अधिक "बहुअर्थी" (Polysemous - कई अर्थ वाला) होता जाएगा। यह एक लोकप्रिय सेलिब्रिटी की तरह है जिसे हर जगह देखा जाता है; यह पहचानना कठिन है कि वह कहाँ से आया है क्योंकि वह हर जगह मौजूद है। लेकिन "विशेषीकृत" शब्द विशिष्ट कलाकारों की तरह हैं; आप जानते हैं कि वे कहाँ के हैं।
मानचित्र का "जादू"
अध्ययन का सबसे दिलचस्प हिस्सा यह परीक्षण करना था कि कंप्यूटर को कितने बड़े मानचित्र की आवश्यकता थी।
- कंप्यूटर को 200 आयामों (Dimensions) वाला एक मानचित्र दिया गया (एक बहुत ही जटिल, बहु-स्तरीय मानचित्र)।
- लेखक ने कंप्यूटर को केवल पहले 50 आयाम दिए (एक धुंधला, आंशिक मानचित्र)।
- आश्चर्य: कंप्यूटर अभी भी लगभग उतना ही अच्छा काम कर रहा था!
यह सुझाव देता है कि "मूल" (Origin) का संकेत इतना मजबूत और भाषा में इतना बुना हुआ है कि आपको एक पूर्ण, हाई-डेफिनिशन मानचित्र की आवश्यकता नहीं है। संकेत हर जगह मौजूद है, जैसे एक कमरे में फैली हुई खुशबू, जिसे आप केवल एक हल्की महक के रूप में भी पकड़ सकते हैं।
निष्कर्ष: शब्दों की एक "आत्मा" होती है
इस शोध का मुख्य निष्कर्ष यह है कि शब्द केवल परिभाषाएँ नहीं हैं।
भले ही दो शब्द सटीक समानार्थी हों, वे एक "सांस्कृतिक छाप" (Cultural Fingerprint) लेकर चलते हैं।
- फारसी शब्द का उपयोग करना सूक्ष्म रूप से एक निश्चित औपचारिकता, इतिहास से जुड़ाव या एक विशिष्ट सामाजिक वर्ग का संकेत दे सकता है।
- संस्कृत शब्द का उपयोग करना अधिक पारंपरिक या धार्मिक संकेत दे सकता है।
लेखक इसे "सिमेंटिक फ्रेम" (Semantic Frame) कहते हैं। एक चित्र के फ्रेम की कल्पना करें। अंदर का चित्र परिभाषा है (जैसे "सेना")। लेकिन फ्रेम स्वयं शब्द के इतिहास से बना है। फ्रेम यह बदल देता है कि आप चित्र को कैसे देखते हैं।
सरल शब्दों में:
भाषा केवल निर्देशों की सूची नहीं है। यह एक जीवित इतिहास की किताब है। भले ही हम सोचते हैं कि हम केवल एक शब्द को दूसरे से बदल रहे हैं, हम वास्तव में एक अलग दृष्टिकोण, एक अलग सांस्कृतिक माहौल और इतिहास का एक अलग हिस्सा चुन रहे होते हैं। और इस अध्ययन की बदौलत, अब हमारे पास गणितीय प्रमाण है कि कंप्यूटर भी इस अंतर को सुन सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।