Measuring Grammatical Diversity from Small Corpora: Derivational Entropy Rates, Mean Length of Utterances, and Annotation Invariance

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र की व्याख्या दी गई है।

बड़ी तस्वीर: भाषा के "स्वाद" को गिनना

कल्प‌ना कीजिए कि आप एक खाद्य समीक्षक (food critic) हैं जो किसी शेफ के खाना पकाने की विविधता का निर्णय लेने की कोशिश कर रहे हैं। आपके पास उनके व्यंजनों का एक छोटा सा नमूना (एक "corpus") है। आप जानना चाहते हैं: इस शेफ का मेनू कितना विविध है? क्या वे केवल सादा पास्ता बनाते हैं, या उनके पास सॉस, मसाले और तकनीकों का एक विशाल, जटिल भंडार है?

भाषा विज्ञान (linguistics) में, शोधकर्ता इसी समस्या का सामना करते हैं। वे किसी व्यक्ति या समूह की व्याकरणिक विविधता (या "syntactic complexity") को मापना चाहते हैं। क्या वे सरल वाक्यों का उपयोग करते हैं, या वे जटिल, नेस्टेड (nested) संरचनाओं को बुनते हैं?

समस्या यह है कि हमारे पास आमतौर पर इस बात का केवल एक बहुत छोटा नमूना होता है कि कोई क्या कहता है (जैसे डायरी के कुछ पन्ने या एक छोटी बातचीत)। विविधता को मापने के पारंपरिक तरीके छोटे नमूनों के साथ विफल हो जाते हैं क्योंकि वे सीमित डेटा से भ्रमित हो जाते हैं।

यह शोध पत्र इस विविधता को मापने का एक नया तरीका पेश करता है जो बहुत छोटे नमूनों के साथ भी काम करता है, और यह एक आश्चर्यजनक रहस्य प्रकट करता है: वाक्य की लंबाई वास्तव में उसकी जटिलता का एक सीधा माप है।

---

पुराना तरीका बनाम नया तरीका

"प्रॉक्सी" (Proxy) की समस्या

लंबे समय तक, शोधकर्ताओं ने मीन लेंथ ऑफ उत्टरेंस (MLU) नामक एक सरल ट्रिक का उपयोग किया। यह केवल एक वाक्य में शब्दों की औसत संख्या गिनना है।

• उपमा: कल्पना कीजिए कि किसी प्लेट के आकार से शेफ के कौशल का निर्णय लेना। "वाह, यह प्लेट बहुत बड़ी है! वे निश्चित रूप से जटिल तकनीकों का उपयोग कर रहे होंगे!"
• दोष: कभी-कभी एक बड़ी प्लेट केवल एक विशाल सलाद (सरल) होती है, और एक छोटी प्लेट एक नाजुक, बहु-स्तरीय सूफ़ले (जटिल) हो सकती है। शोधकर्ताओं ने सोचा कि MLU केवल एक "प्रॉक्सी" है—एक अनुमान जो आमतौर पर काम करता है लेकिन वह वास्तविक चीज़ नहीं है।

"एन्ट्रॉपी" (Entropy) की समस्या

वास्तविक माप प्राप्त करने के लिए, भाषाविद डेरिवेशनल एन्ट्रॉपी (Derivational Entropy) नामक एक अवधारणा का उपयोग करते हैं।

• उपमा: एक "ग्रामर ट्री" (व्याकरण वृक्ष) की कल्पना करें। हर बार जब आप बोलते हैं, तो आप इस पेड़ पर एक शाखा उगा रहे होते हैं। एन्ट्रॉपी यह मापती है कि उस पेड़ के बढ़ने के कितने अलग-अलग तरीके हो सकते थे। उच्च एन्ट्रॉपी का अर्थ है कि पेड़ लाखों अलग-अलग दिशाओं में बढ़ सकता था (उच्च विविधता)। कम एन्ट्रॉपी का अर्थ है कि यह केवल कुछ सीधी रेखाओं में बढ़ता है (कम विविधता)।
• दोष: इसकी गणना करने के लिए भारी मात्रा में डेटा की आवश्यकता होती है। यदि आपके पास केवल कुछ वाक्य हैं, तो गणित गड़बड़ा जाता है और पक्षपाती हो जाता है। यह ऐसा है जैसे केवल एक व्यंजन देखकर किसी रेस्तरां के पूरे मेनू का अनुमान लगाने की कोशिश करना; आपको लग सकता है कि वे केवल वही एक व्यंजन परोसते हैं, जबकि आप बाकी मेनू को मिस कर रहे हैं।

---

बड़ी खोज: "एन्ट्रॉपी रेट" (Entropy Rate)

इस शोध पत्र के लेखक ने ऊपर दी गई दोनों अवधारणाओं के बीच एक मौलिक संबंध की खोज की। उन्होंने पाया कि वाक्य की लंबाई (MLU) और व्याकरणिक विविधता (Entropy) न केवल संबंधित हैं; वे गणितीय रूप से एक साथ बंधे हुए हैं।

वह इस नए माप को डेरिवेशनल एन्ट्रॉपी रेट (Derivational Entropy Rate) कहते हैं।

• उपमा: एक "जटिलता टैक्स" (Complexity Tax) की कल्पना करें।
  • हर बार जब आप वाक्य में एक शब्द जोड़ते हैं, तो आप एक टैक्स चुकाते हैं।
  • डेरिवेशनल एन्ट्रॉपी रेट उस टैक्स की कीमत है।
  • लेखक ने पाया कि एक विशिष्ट प्रकार की भाषा (जैसे अमेरिकी अंग्रेजी) और विश्लेषण के एक विशिष्ट तरीके (जैसे एक विशिष्ट व्याकरण नियम पुस्तिका) के लिए, यह "कीमत" स्थिर (constant) है।
  • यदि आप वाक्यों की औसत लंबाई जानते हैं, तो आप सटीक विविधता की गणना कर सकते हैं। यदि आप विविधता जानते हैं, तो आप लंबाई की गणना कर सकते हैं। वे एक ही सिक्के के दो पहलू हैं।

यह इतना बड़ा क्यों है?
इसका अर्थ है कि "सरल" माप (शब्दों को गिनना) वास्तव में जटिलता का एक परफेक्ट माप है, बशर्ते आप उस विशिष्ट भाषा और विश्लेषण शैली के लिए "टैक्स रेट" (एन्ट्रॉपी रेट) जानते हों। आपको विविधता का अनुमान लगाने के लिए जटिल गणित की आवश्यकता नहीं है; आपको बस शब्दों को गिनने की आवश्यकता है।

---

टूल: "SITE" (द स्मूथिंग स्पंज)

शोध पत्र एक उपकरण भी पेश करता है जिसे SITE (Smoothed Induced Treebank Entropy) कहा जाता है।

• समस्या: जब आपके पास एक छोटा नमूना (जैसे 50 वाक्य) होता है, तो मानक गणितीय उपकरण "पक्षपाती" हो जाते हैं। वे सोचते हैं कि विविधता वास्तव में जितनी है उससे कम है क्योंकि उन्होंने अभी तक सभी संभावित वाक्य प्रकार नहीं देखे हैं।
• समाधान: SITE एक स्मार्ट स्पंज की तरह है। यह डेटा के छोटे, सूखे नमूने को लेता है और इसे सांख्यिकीय सुधारों के साथ "भिगोता" है। यह उन रिक्त स्थानों को भर देता है जो बोले जा सकते थे लेकिन नहीं बोले गए।
• परिणाम: SITE केवल 100 वाक्यों (मानक व्याकरण के लिए) या 1,000 वाक्यों (डिपेंडेंसी ग्रामर के लिए) का उपयोग करके भाषा की वास्तविक विविधता का सटीक अनुमान लगा सकता है। पुरानी विधियों को समान सटीकता प्राप्त करने के लिए 15,000+ वाक्यों की आवश्यकता थी।

---

"एनोटेशन इनवेरिएंस" (Annotation Invariance) का आश्चर्य

लेखक ने भाषा के विश्लेषण के दो अलग-अलग तरीकों पर इसका परीक्षण किया:

1. कन्स्टिट्यूएंसी ग्रामर (CFG): वाक्य को नेस्टेड बॉक्स के सेट के रूप में देखना (जैसे वर्ब फ्रेज के अंदर नाउन फ्रेज)।
2. डिपेंडेंसी ग्रामर (DG): वाक्य को शब्दों के बीच संबंधों के जाल के रूप में देखना (जैसे शब्द A, शब्द B से जुड़ता है)।

निष्कर्ष:
भले ही ये दोनों तरीके वाक्यों को बहुत अलग तरह से देखते हैं, लेकिन डेरिवेशनल एन्ट्रॉपी रेट प्रत्येक विधि के भीतर स्थिर रहता है।

• यदि आप विधि A का उपयोग करते हैं, तो "टैक्स रेट" $X$ है।
• यदि आप विधि B का उपयोग करते हैं, तो "टैक्स रेट" $Y$ है।
• लेकिन एक बार जब आप एक विधि चुन लेते हैं, तो दर स्थिर रहती है, चाहे कोई भी बोल रहा हो या वे किस बारे में बात कर रहे हों।

इसका मतलब है कि यदि आप लोगों के दो अलग-अलग समूहों (जैसे बच्चे बनाम वयस्क) की तुलना कर रहे हैं, तो आप परिणामों पर भरोसा कर सकते हैं जब तक कि आप दोनों के लिए एक ही विश्लेषण विधि का उपयोग कर रहे हैं। विधि स्वयं लोगों की सापेक्ष रैंकिंग को नहीं बदलती है।

---

"मेसी" (Messy) डेटा के बारे में क्या?

लेखक ने एक विशाल, अव्यवस्थित ऐतिहासिक कॉर्पस (IcePaHC) पर इसका परीक्षण किया जिसमें 12वीं शताब्दी से 21वीं शताब्दी तक के टेक्स्ट शामिल थे।

• परिणाम: जब आप इन सभी अलग-अलग युगों और लेखकों को एक साथ मिला देते हैं, तो गणित टूट जाता है। "विविधता" का नंबर ऊपर-नीचे होता रहता है और कभी स्थिर नहीं होता।
• सबक: यह हमें बताता है कि भाषा का "व्याकरण" एक एकल, स्थिर चीज़ नहीं है। यह समय के साथ और लेखकों के बीच बदलता है। यह टूल (SITE) स्मार्ट है, यह आपको बता सकता है: "हे, यह डेटा बहुत अधिक मिला-जुला है ताकि आपको एक एकल संख्या दी जा सके।"
• हालाँकि, यदि आप एक ही लेखक को एक विशिष्ट समय पर देखते हैं, तो गणित पूरी तरह से काम करता है, और विविधता तेज़ी से अभिसरण (converge) करती है।

---

दावों का सारांश

1. लंबाई = विविधता: वाक्य की औसत लंबाई केवल एक अनुमान नहीं है; यह व्याकरणिक विविधता का एक मौलिक, सैद्धांतिक माप है।
2. दर स्थिर है: एक विशिष्ट भाषा और विश्लेषण के एक विशिष्ट तरीके के लिए, "प्रति शब्द जटिलता" (एन्ट्रॉपी रेट) एक निश्चित स्थिरांक (constant) है।
3. छोटे नमूने काम करते हैं: नए SITE तरीके का उपयोग करके, आप बहुत छोटे नमूनों (केवल 100 वाक्यों) से सटीक विविधता माप प्राप्त कर सकते हैं, जबकि पुराने तरीकों को विशाल डेटासेट की आवश्यकता थी।
4. विधि मायने रखती है: यदि आप व्याकरण का विश्लेषण करने का तरीका बदलते हैं (जैसे बॉक्स से वेब तक), तो संख्याएँ बदल जाती हैं, लेकिन लंबाई और विविधता के बीच का संबंध उस विधि के भीतर सुसंगत रहता है।
5. समरूपता (Homogeneity) महत्वपूर्ण है: ये माप तभी काम करते हैं जब डेटा एक सुसंगत स्रोत (एक वक्ता, एक समय अवधि) से आता है। यदि आप सब कुछ मिला देते हैं, तो माप विफल हो जाता है, जो वास्तव में एक उपयोगी संकेत है कि डेटा बहुत अधिक विविध है जिसे एक ही समूह के रूप में माना जा सकता है।

संक्षेप में: आपको यह मापने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है कि किसी की भाषा कितनी जटिल है। यदि आप उनके शब्दों को गिनते हैं और "खेल के नियम" (एनोटेशन स्टाइल) जानते हैं, तो आपके पास उत्तर है। और यदि आपके पास एक छोटा नमूना है, तो सही उत्तर जल्दी पाने के लिए नए "SITE" स्पंज का उपयोग करें।