Zipf's Law of Abbreviation in a Logographic Script: Coding-Theoretic Bounds on Chinese Character Stroke Counts

भाषा समझौतों की एक प्रणाली है। एक ओर, स्पष्ट रूप से समझे जाने की आवश्यकता है; दूसरी ओर, मनुष्य की तेजी से बोलने और लिखने की इच्छा है। सत्तर वर्षों से अधिक समय से, भाषाविदों ने इस समस्या को हल करने के तरीके में एक निरंतर पैटर्न देखा है: जो शब्द हम सबसे अधिक बार उपयोग करते हैं, वे अक्सर सबसे छोटे होते हैं। इसे 'संक्षिप्तीकरण का नियम' (law of abbreviation) कहा जाता है। यह बोले गए ध्वनियों, लिखित शब्दों की लंबाई और यहाँ तक कि जानवरों की पुकारों में भी दिखाई देता है। विचार सरल है: यदि आप एक शब्द को दिन में दस लाख बार कहते हैं, तो उसे छोटा बनाना फायदेमंद होता है। यदि आप इसे साल में केवल एक बार कहते हैं, तो इससे कोई फर्क नहीं पड़ता कि वह लंबा है या नहीं। लेकिन हाल ही में एक गहरा प्रश्न उभरा है। हम जानते हैं कि भाषाएँ इस नियम का पालन करती हैं, लेकिन वे पूर्ण दक्षता की सीमा के कितने करीब पहुँचती हैं? यदि एक भाषा को पूरी तरह से डिज़ाइन किया गया होता, तो वह कितनी छोटी हो सकती थी, और उस क्षमता का कितना हिस्सा अप्रयुक्त रह गया है?

अब तक, इस प्रश्न का अध्ययन मुख्य रूप से अंग्रेजी या स्पेनिश जैसी वर्णमाला आधारित भाषाओं में किया गया है, जहाँ एक शब्द की लागत उसमें मौजूद अक्षरों की संख्या से मापी जाती है। एक नया अध्ययन इस जांच को एक पूरी तरह से अलग प्रकार की लेखन प्रणाली में लाता है: चीनी। चीनी में, मूल इकाई अक्षर नहीं बल्कि एक 'चरित्र' (character) है, और एक चरित्र को लिखने की लागत उसके लिए आवश्यक ब्रश या पेन के स्ट्रोक्स (strokes) की संख्या से मापी जाती है। क्योंकि चीनी पात्र पाँच बुनियादी स्ट्रोक प्रकारों के एक निश्चित सेट से बने होते हैं, शोधकर्ता सटीकता के साथ दक्षता की सैद्धांतिक सीमा की गणना कर सकते हैं जो वर्णमाला वाली लिपियों के लिए असंभव है। मानक सेट के प्रत्येक चरित्र के स्ट्रोक काउंट का उनके वास्तविक उपयोग के विरुद्ध विश्लेषण करके, यह अध्ययन प्रकट करता है कि चीनी लेखन उल्लेखनीय रूप से कुशल है, फिर भी यह एक बहुत ही विशिष्ट, संरचनात्मक कारण से पूर्णता से पीछे रह जाता है।

शोधकर्ताओं ने डेटा एकत्र करना शुरू किया। उन्होंने 20,902 मानक चीनी पात्रों के लिए प्रत्येक एकल स्ट्रोक क्रम (stroke order) वाले डेटाबेस को लिया और इसे वास्तविक दुनिया के टेक्स्ट के दो विशाल संग्रहों के साथ मिलाया। एक संग्रह में संपादित पुस्तकों और समाचार पत्रों से लगभग 260 मिलियन पात्र शामिल थे, जबकि दूसरे में सोशल मीडिया पोस्ट से 190 मिलियन से अधिक पात्र थे। उन्होंने प्रत्येक पात्र के लिए स्ट्रोक्स की गिनती की और औसत स्ट्रोक गणना की जो लोग वास्तव में पढ़ते हैं। परिणामों ने अपेक्षित पैटर्न की पुष्टि की: सबसे सामान्य पात्र वास्तव में लिखने में सबसे सरल होते हैं। पूरे शब्दकोश का औसत पात्र लिखने के लिए लगभग 12.7 स्ट्रोक की आवश्यकता होती है, लेकिन एक सामान्य पाठ पढ़ते समय आपको सामना करने वाला औसत पात्र केवल लगभग 7.2 स्ट्रोक का होता है। सबसे अधिक बार उपयोग किए जाने वाले सौ पात्र, जो कुल लिखित पाठ का लगभग 40 प्रतिशत हिस्सा बनाते हैं, औसतन केवल छह स्ट्रोक के होते हैं।

यह समझने के लिए कि यह प्रणाली वास्तव में कितनी कुशल है, टीम ने वास्तविक दुनिया के टेक्स्ट की तुलना दो सैद्धांतिक चरम स्थितियों से की। पहला एक यादृच्छिक (random) व्यवस्था थी, जहाँ सबसे सामान्य शब्दों को संयोगवश सबसे लंबे, जटिल पात्रों के असाइन किया गया था। दूसरा एक आदर्श व्यवस्था थी, जहाँ सबसे सामान्य शब्दों को सबसे छोटे संभव पात्र दिए गए थे, और सबसे दुर्लभ शब्दों को सबसे लंबे पात्र मिले। वास्तविक चीनी लेखन प्रणाली इन दोनों के बीच कहीं स्थित थी। यह यादृच्छिक व्यवस्था से बहुत बेहतर थी, लेकिन यह पूर्ण नहीं थी। अध्ययन ने एक 'इष्टतमता स्कोर' (optimality score) की गणना की, जो यह मापता है कि प्रणाली उस पूर्ण व्यवस्था के कितने करीब है। सरलीकृत चीनी (Simplified Chinese) के लिए, स्कोर 0.668 था, जिसका अर्थ है कि प्रणाली सैद्धांतिक सर्वोत्तम के दो-तिहाई रास्ते पर है। यह आंकड़ा दर्जनों अन्य भाषाओं के शब्द लंबाई के स्कोर के समान है जो वर्णमाला और शब्दावली का उपयोग करती हैं, जो यह सुझाव देता है कि किसी भी संचार प्रणाली को उपयोगी बनाए रखते हुए कितना संकुचित किया जा सकता है, इसकी एक सार्वभौमिक सीमा है।

हालाँकि, अध्ययन ने केवल दक्षता मापने से आगे बढ़कर काम किया। चूंकि चीनी लेखन प्रणाली पाँच स्ट्रोक प्रकारों के एक बंद सेट का उपयोग करती है, इसलिए शोधकर्ता स्ट्रोक की पूर्ण गणितीय सीमा की गणना कर सके। उन्होंने निर्धारित किया कि यदि प्रणाली एक पूर्णतः कुशल कोड होती, तो चलते हुए पाठ में औसत पात्र के लिए केवल लगभग 4.34 स्ट्रोक की आवश्यकता होती। तथ्य यह है कि वास्तविक औसत 7.22 स्ट्रोक है, इसका अर्थ है कि प्रणाली पूर्ण न्यूनतम से लगभग 1.66 गुना अधिक स्ट्रोक का उपयोग कर रही है। एक विशिष्ट वर्णमाला आधारित भाषा में, इस तरह के अंतर को साधारण अक्षमता या योजना की कमी मानकर खारिज किया जा सकता है। लेकिन शोधकर्ताओं ने पाया कि यह अंतर कोई गलती नहीं है; यह एक विशेषता है।

प्रणाली को और अधिक संकुचित क्यों नहीं किया जा सकता, इसका कारण यह है कि पात्र कैसे बनाए जाते हैं। यदि चीनी एक पूर्ण एक-आयामी (one-dimensional) कोड होता, जैसे अक्षरों की एक श्रृंखला जहाँ केवल क्रम ही शब्द को परिभाषित करता है, तो प्रत्येक पात्र के स्ट्रोक का क्रम अद्वितीय होता। लेकिन चीनी में, कई अलग-अलग पात्रों में स्ट्रोक का बिल्कुल समान क्रम होता है। उदाहरण के लिए, "व्यक्ति" (person), "प्रवेश" (enter), और "आठ" (eight) के स्ट्रोक क्रम में समान हैं; उन्हें केवल पृष्ठ पर उन स्ट्रोक की स्थानिक व्यवस्था (spatial arrangement) द्वारा अलग किया जाता है। इसी तरह, "विद्वान" (scholar) और "पृथ्वी" (earth) के पात्रों में एक ही क्रम में समान स्ट्रोक होते हैं, लेकिन वे एक क्षैतिज रेखा की लंबाई में भिन्न होते हैं। क्योंकि स्ट्रोक का क्रम अद्वितीय नहीं है, इसलिए प्रणाली को दृश्य घटकों के पुन: उपयोग की क्षमता खोए बिना गणितीय सीमा तक संकुचित नहीं किया जा सकता है। वे "अतिरिक्त" स्ट्रोक जो अनावश्यक लगते हैं, वास्तव में एक द्वि-आयामी संरचना बनाने के लिए आवश्यक हैं जो दृश्य घटकों को पुनः उपयोग करने की अनुमति देती है। यह स्थानिक व्यवस्था लेखन प्रणाली को पारदर्शी बनाती है; एक पाठक जो "जल" (water) का पात्र जानता है, वह अक्सर अन्य पात्रों के अर्थ का अनुमान लगा सकता है जिनमें वही घटक शामिल हैं, भले ही उसने उन्हें पहले कभी न देखा हो।

अध्ययन ने यह देखने के लिए एक प्रमुख ऐतिहासिक घटना का भी परीक्षण किया कि क्या प्रणाली में सुधार किया जा सकता था। बीसवीं सदी के मध्य में, चीन ने एक सरलीकरण सुधार (simplification reform) चलाया जिसने हजारों पात्रों के आकार को बदल दिया, जिससे अक्सर स्ट्रोक की संख्या कम हो गई। शोधकर्ताओं ने इस सुधार को एक नियंत्रित प्रयोग के रूप में माना। उन्होंने पाया कि सुधार ने लेखन प्रणाली की दक्षता को सफलतापूर्वक बढ़ाया, जिससे इष्टतमता स्कोर 0.555 से बढ़कर 0.668 हो गया। महत्वपूर्ण रूप से, सुधार ने सबसे अधिक बार उपयोग किए जाने वाले पात्रों को लक्षित किया, उन्हें औसतन दो स्ट्रोक से छोटा किया, जबकि दुर्लभ, जटिल पात्रों को काफी हद तक अपरिवर्तित छोड़ दिया। यह बिल्कुल वही करता है जो एक पूर्ण कोडिंग प्रणाली करेगी: सबसे अधिक बार उपयोग किए जाने वाले रूपों पर सबसे अधिक प्रयास बचाना। तथ्य यह है कि सुधार ने यह सुधार प्राप्त किया, यह सुझाव देता है कि वर्तमान प्रणाली और सैद्धांतिक सीमा के बीच का शेष अंतर वास्तविक और कार्रवाई योग्य है, लेकिन यह यह भी दिखाता है कि अधिकांश संपीड़न पहले ही सदियों के उपयोग के दौरान स्वाभाविक रूप से हो चुका था, किसी भी आधिकारिक सुधार से बहुत पहले।

अंततः, शोध पत्र निष्कर्ष निकालता है कि चीनी लेखन प्रणाली पूर्णता तक पहुँचने में विफल नहीं हो रही है; यह एक अलग समस्या का समाधान कर रही है। यह स्पष्टता और संरचना प्राप्त करने के लिए कुछ संपीड़न का त्याग करती है। गणितीय न्यूनतम से अधिक स्ट्रोक का उपयोग करने की "अक्षमता" उस कीमत के रूप में है जो एक ऐसी प्रणाली के लिए चुकाई जाती है जहाँ अर्थ को पहचानने योग्य भागों से स्थानिक रूप से व्यवस्थित किया जाता है। अध्ययन पुष्टि करता है कि जबकि संक्षिप्तीकरण का नियम लागू होता है, संपीड़न की सीमा केवल स्ट्रोक या अक्षरों को गिनने का मामला नहीं है। यह लिपि की वास्तुकला (architecture) द्वारा निर्धारित होती है। तथ्य यह है कि चीनी, अपने अद्वितीय दृश्य तर्क के साथ, वर्णमाला वाली भाषाओं की समान दक्षता सीमा में आती है, यह सुझाव देता है कि सभी मानव संचार प्रणालियाँ एक ही मौलिक दबावों को संतुलित कर रही हैं: संक्षिप्त होने की प्रेरणा और स्पष्ट होने की आवश्यकता।