📊 statistics

Tsallis Entropy derived from the Chaitin-Kolmogorov Informational Entropy

यह शोध पत्र चैतिन-कोलमोगोरोव एल्गोरिद्मिक सूचना सिद्धांत का उपयोग करते हुए गैर-योगात्मक (non-additive) त्सालिस एंट्रॉपी का एक कठोर प्रथम-सिद्धांत (first-principle) व्युत्पन्न प्रस्तुत करता है, जो यह प्रदर्शित करता है कि गैर-स्थानीय व्याकरणिक बाधाएं शक्ति-नियम (power-law) सूचना लागत को प्रेरित करती हैं जो लंबी दूरी के सहसंबद्ध प्रणालियों में कम ऊष्मा अपव्यय की व्याख्या करती हैं और पैरामीटर $q$ के माध्यम से जटिलता का एक निरंतर माप प्रदान करती हैं।

मूल लेखक: Airton Deppman

प्रकाशित 2026-02-05

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Airton Deppman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके इस शोध पत्र (paper) की व्याख्या दी गई है।

मुख्य विचार: क्यों "अव्यवस्थित" नियम एक नए प्रकार के गणित को जन्म देते हैं

कल्प Imagine कीजिए कि आप एक कंप्यूटर प्रोग्राम का उपयोग करके एक कहानी लिखने की कोशिश कर रहे हैं। पुराने, "शास्त्रीय" (classical) तरीके में (जिसका उपयोग भौतिकविदों ने एक सदी से अधिक समय से किया है), यदि आपके पास यादृच्छिक (random) अक्षरों की एक लंबी सूची है, तो उस सूची में सूचना या "जटिलता" (complexity) एक सीधी रेखा में बढ़ती है। यदि आप कहानी की लंबाई दोगुनी कर देते हैं, तो आप जटिलता को भी दोगुना कर देते हैं। यह ईंटें रखने जैसा है: एक ईंट थोड़ी ऊंचाई जोड़ती है, दो ईंटें दोगुनी ऊंचाई जोड़ती हैं। इसे योगात्मक (additive) व्यवहार कहा जाता है।

हालाँकि, इस पेपर के लेखक, एयरटन डेपमैन (Airton Deppman), तर्क देते हैं कि जब आपके पास नियम (rules) होते हैं, तो यह सीधी रेखा वाला गणित काम नहीं करता।

इसे इस तरह सोचें:

पुराना तरीका (बिना नियमों के): कल्पना कीजिए कि आप ब्लॉक्स से एक मीनार बना रहे हैं, और आप किसी भी ब्लॉक को किसी भी दूसरे ब्लॉक के ऊपर रख सकते हैं। मीनार अनुमानित रूप से बढ़ती है।
नया तरीका (नियमों के साथ): अब, कल्पना कीजिए कि आपके पास एक सख्त नियम पुस्तिका (एक "व्याकरण" या grammar) है जो कहती है, "आप केवल नीले ब्लॉक पर लाल ब्लॉक रख सकते हैं," या "आप लगातार तीन 'A' नहीं रख सकते।" ये नियम एक फिल्टर की तरह काम करते हैं। वे उन कई संभावित मीनारों को रोक देते हैं जिन्हें आप बना सकते थे, जिससे केवल वैध मीनारों का एक विशिष्ट, छोटा सेट ही बचता है।

डेपमैन का दावा है कि जब आप सूचना उत्पन्न करने के तरीके पर इन "व्याकरण नियमों" को लागू करते हैं, तो गणित बदल जाता है। एक सीधी रेखा में बढ़ने के बजाय, जटिलता एक वक्र (curve) के रूप में बढ़ने लगती है (विशेष रूप से, एक पावर लॉ/power law)। इस वक्र वाले गणित को त्सैलिस एंट्रॉपी (Tsallis Entropy) के रूप में जाना जाता है।

मुख्य खोज: व्याकरण लागत (Cost) को बदल देता है

यह पेपर एल्गोरिद्मिक सूचना सिद्धांत (Algorithmic Information Theory) नामक एक अवधारणा का उपयोग करता है। इसे ऐसे समझें कि यह मापने का तरीका है कि आपको टेक्स्ट की एक विशिष्ट स्ट्रिंग लिखने के लिए कितने "कोड" या "निर्देशों" की आवश्यकता है।

यदि टेक्स्ट पूरी तरह से यादृच्छिक (random) है, तो कोड लंबा होता है क्योंकि आपको हर एक अक्षर लिखना पड़ता है।
यदि टेक्स्ट एक पैटर्न का पालन करता है (जैसे एक कविता या वाक्य), तो कोड छोटा हो सकता है क्योंकि पैटर्न संपीड़न (compression) की अनुमति देता है।

डेपमैन दिखाते हैं कि जब आप प्रतिबंधात्मक व्याकरण नियमों (जैसे भाषा के नियम) को लागू करते हैं, तो टेक्स्ट की स्ट्रिंग उत्पन्न करने की "लागत" केवल रैखिक (linearly) रूप से नहीं बढ़ती। यह एक पावर लॉ का पालन करती है।

"शब्दकोश मेनू" का उदाहरण:
एक रेस्टोरेंट की कल्पना करें।

शास्त्रीय दृष्टिकोण: यदि आप 10 सामग्रियों वाला भोजन चाहते हैं, तो आपको 10 वस्तुओं वाला मेनू चाहिए। यदि आप 20 चाहते हैं, तो आपको 20 चाहिए। मेनू का आकार रैखिक रूप से बढ़ता है।
डेपमैन का दृष्टिकोण: अब, कल्पना कीजिए कि रेस्टोरेंट का एक सख्त नियम है: "आप केवल वही व्यंजन ऑर्डर कर सकते हैं जिनमें प्रकृति में पाए जाने वाले मसालों का उपयोग किया गया है, और आप एक ही मसाले को दो बार नहीं दोहरा सकते।" यह नियम मेनू को बदल देता है। जैसे-जैसे आप लंबे, अधिक जटिल भोजन बनाने की कोशिश करते हैं, वैध संयोजनों की संख्या उतनी तेजी से नहीं बढ़ती जितनी पहले बढ़ सकती थी। इन भोजन बनाने की "लागत" एक अलग, घुमावदार पथ का अनुसरण करती है।

यह घुमावदार पथ त्सैलिस एंट्रॉपी (Tsallis Entropy) है। पेपर यह सिद्ध करता है कि यह केवल एक यादृच्छिक गणितीय ट्रिक नहीं है; यह उन नियमों का अपरिहार्य परिणाम है जो यह प्रतिबंधित करते हैं कि सूचना की स्ट्रिंग्स कैसे बनती हैं।

वास्तविक जीवन से जुड़ाव: जिप का नियम (Zipf's Law) और भाषा

यह पेपर इस अमूर्त गणित को इस बात से जोड़ता है कि मनुष्य वास्तव में कैसे बोलते हैं।

जिप का नियम (Zipf's Law): यह भाषा विज्ञान में एक प्रसिद्ध अवलोकन है। यह कहता है कि किसी भी भाषा में, सबसे सामान्य शब्द (जैसे "the") दूसरे सबसे सामान्य शब्द की तुलना में दोगुना बार आता है, तीसरे की तुलना में तीन गुना बार आता है, और इसी तरह। यह एक विशिष्ट वक्र का पालन करता है।
संबंध: डेपमैन दिखाते हैं कि उनके गणित में उपयोग किए गए "व्याकरण नियम" स्वाभाविक रूप से इसी सटीक वक्र को उत्पन्न करते हैं। पेपर सुझाव देता है कि मानव भाषा जिप के नियम का पालन इसलिए करती है क्योंकि हमारा मस्तिष्क (या भाषा का "यूनिवर्सल ट्यूरिंग मशीन") इन गैर-रैखिक, नियम-आधारित बाधाओं के तहत काम कर रहा है।

गर्मी और कंप्यूटर के बारे में क्या? (लैंडावर की सीमा - Landauer's Limit)

यह पेपर लैंडावर की सीमा (Landauer's Limit) नामक एक प्रसिद्ध भौतिकी नियम को भी छूता है। यह नियम कहता है कि सूचना के एक टुकड़े को मिटाने (जैसे फ़ाइल डिलीट करना) से थोड़ी मात्रा में गर्मी उत्पन्न होती है।

निष्कर्ष: "शास्त्रीय" दुनिया में, एक बिट मिटाने की लागत गर्मी की एक विशिष्ट मात्रा होती है। लेकिन इस "नियम-आधारित" (Tsallis) दुनिया में, पेपर गणना करता है कि यदि आपके पास दीर्घ-दूरी के सहसंबंध (long-range correlations - ऐसे नियम जो डेटा के दूर के हिस्सों को जोड़ते हैं) हैं, तो सूचना मिटाने पर कम गर्मी उत्पन्न होती है।
उदाहरण: कल्पना कीजिए कि आप एक दस्तावेज़ को फाड़ रहे हैं। एक अराजक ढेर में (बिना नियमों के), इसे फाड़ने में बहुत प्रयास लगता है और घर्षण (गर्मी) पैदा होता है। लेकिन यदि कागज पहले से ही एक विशिष्ट, नियम-बद्ध ढेर में व्यवस्थित है, तो इसे फाड़ना थोड़ा अधिक कुशल हो सकता है, जिससे कम अपशिष्ट ऊष्मा (waste heat) उत्पन्न होगी।

"ओमेगा" संख्या और 'हाल्टिंग प्रॉब्लम' (Halting Problem)

अंत में, यह पेपर चैटिन का ओमेगा नंबर (Chaitin's Omega number) नामक एक प्रसिद्ध गणितीय अवधारणा पर चर्चा करता है। यह संख्या इस संभावना का प्रतिनिधित्व करती है कि एक यादृच्छिक कंप्यूटर प्रोग्राम अंततः चलना बंद कर देगा (halt होगा) बजाय इसके कि वह हमेशा के लिए चलता रहे।

ट्विस्ट: बिना नियमों वाली दुनिया में, यह संख्या "असंपीड्य" (incompressible) है (आप इसे वर्णित करने के लिए कोड को छोटा नहीं कर सकते)।
नया परिणाम: जब आप व्याकरण नियम जोड़ते हैं, तो पेपर सुझाव देता है कि यह संख्या बदल जाती है ( $\Omega_q$ बन जाती है)। यह संकेत देता है कि जैसे-जैसे हम किसी सिस्टम में अधिक नियम जोड़ते हैं, "अनिश्चितता" (undecidability - यह रहस्य कि क्या कोई प्रोग्राम रुक जाएगा) निरंतर रूप से बदलती है। यह समझने के लिए एक द्वार खोलता है कि जैसे-जैसे सिस्टम अधिक या कम बाधित (constrained) होते जाते हैं, जटिलता कैसे विकसित होती है।

सारांश

सरल शब्दों में, यह पेपर तर्क देता है कि नियम सूचना के गणित को बदल देते हैं।

बिना नियमों के: सूचना एक सीधी रेखा में बढ़ती है (शास्त्रीय एंट्रॉपी)।
नियमों के साथ (व्याकरण): सूचना एक वक्र के रूप में बढ़ती है (त्सैलिस एंट्रॉपी)।
यह क्यों मायने रखता है: यह समझाता है कि मानव भाषा और जटिल प्रणालियाँ विशिष्ट पैटर्न (जैसे जिप का नियम) का पालन क्यों करती हैं, और यह सुझाव देता है कि नियम-बद्ध प्रणालियों में, सूचना उत्पन्न करना या मिटाना, जितना हमने पहले सोचा था, उससे अधिक "ऊर्जा कुशल" (कम गर्मी) हो सकता है।

लेखक का दावा है कि यह पहली बार है जब त्सैलिस एंट्रॉपी को बिल्कुल बुनियादी स्तर से निकाला गया है, जो इस बात से शुरू होता है कि सूचना की स्ट्रिंग्स कैसे बनती हैं, न कि केवल फॉर्मूला का अनुमान लगाने से।

तकनीकी सारांश: चैल्टिन-कोलमोगोरोव सूचनात्मक एंट्रॉपी से व्युत्पन्न टैलिस एंट्रॉपी (Tsallis Entropy)

समस्या विवरण
यह शोध पत्र गैर-योगात्मक (non-additive) टैलिस एंट्रॉपी ( $S_q$ ) के लिए एक कठोर, प्रथम-सिद्धांत (first-principle) सूक्ष्म व्युत्पत्ति की लंबे समय से चली आ रही अनुपस्थिति को संबोधित करता है। यद्यपि टैलिस सांख्यिकी को सुपरस्टैटिस्टिक्स (Superstatistics) या थर्मोफ्रैक्टल्स (thermofractals) जैसे ढांचों के माध्यम से व्युत्पन्न करते हुए विभिन्न क्षेत्रों (सांख्यिकीय यांत्रिकी से लेकर अर्थशास्त्र तक) में सफलतापूर्वक लागू किया गया है, लेकिन एल्गोरिद्मिक सूचना सिद्धांत (algorithmic information theory) पर आधारित प्रत्यक्ष व्युत्पत्ति का अभाव था। पूर्व के प्रयास, जैसे कि संदर्भ [16] में, एल्गोरिद्मिक सूचना सिद्धांत के मानक ढांचे का पालन नहीं करते थे जिसे कोलमोगोरोव और चैल्टिन द्वारा स्थापित किया गया था। केंद्रीय समस्या यह निर्धारित करना है कि क्या सूचनात्मक स्ट्रिंग्स (information strings) के निर्माण पर विशिष्ट संरचनात्मक बाधाएं (व्याकरण/grammar) लगाने से स्वाभाविक रूप से शास्त्रीय बोल्ट्ज़मैन-गिब्स (BG) एंट्रॉपी के बजाय गैर-योगात्मक एंट्रॉपी का रूप प्राप्त होता है।

कार्यप्रणाली (Methodology)
लेखक चैल्टिन के एल्गोरिद्मिक सूचना सिद्धांत के दृष्टिकोण का उपयोग करता है, जिसमें एक स्ट्रिंग $S$ की जटिलता $C(S)$ को एक यूनिवर्सल ट्यूरिंग मशीन पर $S$ को उत्पन्न करने में सक्षम लघुतम प्रोग्राम $p$ के आकार के रूप में परिभाषित किया गया है।

शास्त्रीय आधार रेखा (Classical Baseline): शोध पत्र पहले मानक व्युत्पत्ति की समीक्षा करता है जहाँ स्ट्रिंग निर्माण पर कोई प्रतिबंध नहीं लगाया जाता है। इस परिदृश्य में, एल्गोरिद्मिक लागत स्ट्रिंग की लंबाई $L$ के साथ रैखिक रूप से बढ़ती है, जिससे विस्तृत (extensive), योगात्मक BG एंट्रॉपी प्राप्त होती है।
व्याकरण नियमों का परिचय: मुख्य कार्यप्रणाली में "प्रतिबंधात्मक नियमों" (व्याकरण) को पेश करना शामिल है जो वैध स्ट्रिंग्स के सेट को सीमित करते हैं। इसे एक फलन $\nu(n)$ द्वारा मॉडल किया गया है जो एल्गोरिदम अनुकूलन पर व्याकरण के प्रभाव को सारांशित करता है, जहाँ $n$ प्रोग्राम का आकार है।
पावर-लॉ (Power-Law) धारणा: शोध पत्र यह प्रतिपादित करता है कि नियमों की एक सीमित और छोटी संख्या के लिए, वैध स्ट्रिंग्स का घनत्व (या अनुक्रम स्थान में 'रिक्त स्थान/voids') एक पावर-लॉ वितरण का पालन करता है, $\nu(n) = n^\alpha$ । यह धारणा फ्रैक्टल प्रकृति के बाधाओं से प्रेरित है और बाद में भाषाई नियमों (हीप्स और जिप के नियम) तथा संख्यात्मक सिमुलेशन के विरुद्ध परीक्षण की जाती है।
अनुकूलन (Optimization): निश्चित स्ट्रिंग लंबाई $L$ के प्रतिबंध के तहत एल्गोरिद्मिक लागत का चरम मान (extremize) निकाला जाता है। लेखक पावर-लॉ बाधाओं के तहत इष्टतम प्रोग्राम आकार और स्ट्रिंग लंबाई के बीच संबंध को व्युत्पन्न करता है।

प्रमुख योगदान और परिणाम

टैलिस एंट्रॉपी का व्युत्पन्न: एल्गोरिद्मिक लागत फलन पर पावर-लॉ प्रतिबंध $\nu(n) = n^\alpha$ लागू करके, लेखक प्रदर्शित करता है कि परिणामी एंट्रॉपी $L$ के सापेक्ष रैखिक नहीं रहती है। इसके बजाय, एंट्रॉपी $H(L)$ , $L^\alpha$ के रूप में स्केल करती है। एकीकरण के माध्यम से, यह सीधे टैलिस एंट्रॉपी सूत्र की ओर ले जाता है:
$S_q(W) = \frac{W^{1-q} - 1}{1-q}$
जहाँ एंट्रॉपी सूचकांक (entropic index) को $q = 1 - 1/\alpha$ के रूप में परिभाषित किया गया है।
व्याकरण से गैर-योगात्मकता: शोध पत्र यह स्थापित करता है कि टैलिस एंट्रॉपी की गैर-योगात्मकता मौलिक रूप से व्याकरण संबंधी बाधाओं के कारण वैध स्ट्रिंग्स की कमी से उत्पन्न होती है। पावर-लॉ व्यवहार इन बाधाओं की स्केल इनवेरिएंस (scale invariance) को दर्शाता है।
भाषाई नियमों से जुड़ाव: लेखक व्युत्पन्न पावर-लॉ घातांक $\alpha$ को अनुभवजन्य भाषाई अवलोकनों से जोड़ता है। विशेष रूप से, हीप्स के नियम ( $V \propto L^\beta$ ) को पाठ की लंबाई के साथ शब्दावली (एल्गोरिद्मिक लागत) के स्केलिंग के रूप में व्याख्यायित किया गया है। शोध पत्र सुझाव देता है कि प्राकृतिक भाषा में जिप के नियम और हीप्स के नियम के बीच के तनाव को टैलिस ढांचे के भीतर कम किया जा सकता है, जहाँ विशिष्ट $q$ के मान (जैसे, $q \approx 2.25$ ) देखे गए घातांकों के बीच सामंजस्य बिठाने के लिए एक तंत्र प्रदान करते हैं।
संख्यात्मक सिमुलेशन: सबस्ट्रिंग घनत्व (स्थानीय और गैर-स्थानीय नियमों) के आधार पर एलेएटरी (aleatory) अनुक्रमों को हटाने के लिए फिल्टर का उपयोग करके एक सिमुलेशन किया गया। परिणामों ने पुष्टि की कि वैध स्ट्रिंग्स की उत्तरजीविता प्रायिकता (survival probability) एक पावर-लॉ $P(L) \sim L^{\alpha-1}$ का पालन करती है, जो इस सैद्धांतिक धारणा की पुष्टि करती है कि प्रतिबंधात्मक व्याकरण एल्गोरिद्मिक लागत में पावर-लॉ स्केलिंग की ओर ले जाता है।
संशोधित लैंडावर सीमा (Modified Landauer's Limit): शोध पत्र लैंडावर के सिद्धांत पर व्युत्पन्न एंट्रॉपी को लागू करता है। यह दिखाता है कि $q > 1$ के लिए, एक बिट को मिटाने के लिए आवश्यक ऊष्मा अपव्यय ( $Q_q$ ), शास्त्रीय सीमा ( $Q = kT \ln 2$ ) की तुलना में कम हो जाता है।
सामान्यीकृत चैल्टिन संख्या ( $\Omega_q$ ): लेखक चैल्टिन की हाल्टिंग प्रोबेबिलिटी संख्या $\Omega$ की पुनर्व्याख्या करता है। व्याकरण नियमों की उपस्थिति में, संभावित स्ट्रिंग्स की वृद्धि घातांकीय (exponential) से पावर-लॉ की ओर स्थानांतरित हो जाती है। इससे एक सामान्यीकृत इनकंप्रेसिबल नंबर $\Omega_q$ प्राप्त होता है, जो यह सुझाव देता है कि अनिश्चितता (undecidability) की डिग्री सिस्टम की जटिलता (पैरामीटर $q$ द्वारा संचालित) के साथ निरंतर बदल सकती है।

महत्ता और दावे
शोध पत्र का दावा है कि यह एल्गोरिद्मिक सूचना सिद्धांत का उपयोग करके पूर्णतः प्रथम-सिद्धांतों पर आधारित टैलिस एंट्रॉपी की पहली व्युत्पत्ति प्रदान करता है। इसकी महत्ता टैलिस सांख्यिकी की समझ को एक गणितीय सामान्यीकरण या उतार-चढ़ाव वाले मापदंडों के परिणाम से बदलकर प्रतिबंधित गणना (constrained computation) के एक अपरिहार्य परिणाम के रूप में स्थापित करने में निहित है।

लेखक का तर्क है कि टैलिस एंट्रॉपी उन स्ट्रिंग्स को उत्पन्न करने की सूचनात्मक लागत का अद्वितीय प्रभावी विवरण है जो एक वाक्यात्मक नियमों (syntactic rules) द्वारा शासित ब्रह्मांड में काम करती है। यह कार्य सुझाव देता है कि एंट्रॉपी की गैर-योगात्मक प्रकृति मनमानी नहीं है, बल्कि वैध स्ट्रिंग्स के स्थान पर व्याकरण नियमों द्वारा प्रेरित फ्रैक्टल संरचना का सीधा परिणाम है। इसके अतिरिक्त, यह शोध पत्र दीर्घ-श्रेणी सहसंबंधों (long-range correlations) वाले सिस्टम में गणना की सीमाओं ( $\Omega_q$ के माध्यम से) और ऊष्मप्रवैगिकी दक्षता (संशोधित लैंडावर सीमा) के बारे में एक नया दृष्टिकोण प्रदान करता है।

शोध पत्र प्राकृतिक भाषा में घातांकों के सटीक मूल्यों के संबंध में मध्यम रुख अपनाता है, और व्युत्पन्न एवं अनुभवजन्य मूल्यों के बीच "तनाव" को स्वीकार करता है, लेकिन यह दावा करता है कि टैलिस ढांचा इस तनाव को कम करने और पदानुक्रमित व्याकरण संबंधी बाधाओं का अधिक सूक्ष्म विवरण प्रदान करने के लिए एक गणितीय तंत्र प्रदान करता है।