A Zipf-preserving, long-range correlated surrogate for written language and other symbolic sequences

यहाँ मोंटेमुरो और डेगली एस्पोस्टी (Physica A, 2026) के शोध पत्र "A Zipf-preserving, long-range correlated surrogate for written language and other symbolic sequences" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

प्रतीकात्मक अनुक्रम (Symbolic sequences), जैसे कि प्राकृतिक भाषा और जीनोमिक डीएनए, दो विशिष्ट सांख्यिकीय गुणों को प्रदर्शित करते हैं:

1. प्रथम-क्रम सांख्यिकी (First-order statistics): एक अत्यधिक विषम आवृत्ति वितरण (frequency distribution), जिसे प्रसिद्ध रूप से ज़िफ के नियम (Zipf's law) द्वारा वर्णित किया जाता है ($f(r) \propto r^{-\gamma}$ जहाँ $\gamma \approx 1$)।
2. दीर्घ-परासी सहसंबंध (Long-range correlations): सैकड़ों या हजारों प्रतीकों तक विस्तृत अस्थायी निर्भरता (temporal dependencies), जिसे डिट्रेंडेड फ्लक्चुएशन एनालिसिस (DFA) घातांक $\alpha > 0.5$ (जो निरंतरता/persistence को दर्शाता है) द्वारा मापा जाता है।

अंतराल (The Gap): इन प्रणालियों के बारे में परिकल्पनाओं का परीक्षण करने के लिए उपयोग किए जाने वाले मौजूदा सरोगेट डेटा मॉडल या तो आवृत्ति वितरण (जैसे, शब्द-स्तर पर शफलिंग) को सुरक्षित रखते हैं या सहसंबंध संरचना (जैसे, फूरियर-ट्रांसफॉर्म सरोगेट्स या फ्रैक्शनल गौसियन नॉइज़) को, लेकिन दोनों को एक साथ नहीं।

• शब्द शफलिंग ज़िफ के नियम को सुरक्षित रखती है लेकिन दीर्घ-परासी सहसंबंधों को नष्ट कर देती है ($\alpha \to 0.5$)।
• गौसियन-आधारित सरोगेट्स सहसंबंधों को सुरक्षित रखते हैं लेकिन प्रतीकात्मक डेटा के असतत (discrete), भारी-पूंछ वाले ज़िफ वितरण को पुनरुत्पादित करने में विफल रहते हैं।

प्रतीकात्मक डेटा के विशिष्ट ज़िफ वितरण को बनाए रखते हुए, मूल पाठ के विशिष्ट दीर्घ-परासी सहसंबंध ढांचे को एक साथ पुनरुत्पादित करने के लिए कोई सिद्धांतिक विधि उपलब्ध नहीं थी।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन सरोगेट जनरेशन फ्रेमवर्क प्रस्तावित करते हैं जो एक निरंतर, दीर्घ-परासी सहसंबंधित स्टोकेस्टिक प्रक्रिया को एक आवृत्ति-संरक्षण असाइनमेंट का उपयोग करके एक असतत प्रतीकात्मक वर्णमाला (alphabet) पर मैप करके इस अंतराल को पाटता है।

मुख्य एल्गोरिदम (Core Algorithm)

1. इनपुट: लंबाई $N$ वाला एक मूल प्रतीकात्मक अनुक्रम $T$ जिसका शब्दावली $\mathcal{A}$ और अनुभवजन्य आवृत्तियाँ $f(a_i)$ है।
2. लक्ष्य प्रक्रिया (Target Process): एक निरंतर-मान वाला टाइम सीरीज़ $Z = \{z(t)\}$ उत्पन्न करना जो एक विशिष्ट हर्स्ट घातांक $H$ (जहाँ DFA घातांक $\alpha = H$) के साथ फ्रैक्शनल गौसियन नॉइज़ (FGN) का प्रतिनिधित्व करता है।
3. आवृत्ति-बाधित मैपिंग (Frequency-Constrained Mapping - नवाचार):
   • इसके बजाय यादृच्छिक असाइनमेंट के, यह विधि वास्तविक रेखा (FGN के मानों की सीमा) को लक्षित आवृत्तियों के संचयी वितरण फलन (CDF) के आधार पर $V$ विलगित अंतरालों (disjoint intervals) में विभाजित करती है।
   • ये अंतराल इस प्रकार परिभाषित हैं कि प्रत्येक अंतराल $I_i$ के भीतर का प्रायिकता द्रव्यमान (probability mass) ठीक से प्रतीक $a_i$ की अनुभवजन्य आवृत्ति $f(a_i)/N$ के अनुरूप होता है।
   • रैंक-आधारित विविक्तकरण (Rank-Based Discretization):
     • FGN मानों को आरोही क्रम (ascending order) में व्यवस्थित करें।
     • सबसे अधिक आवृत्ति वाले प्रतीक को शीर्ष $f(a_1)$ मानों के लिए असाइन करें, दूसरे सबसे अधिक आवृत्ति वाले को अगले $f(a_2)$ मानों के लिए, और इसी तरह आगे भी।
     • FGN मानों के मूल टेम्पोरल ऑर्डर को बहाल करने के लिए व्युत्क्रम क्रमपरिवर्तन (inverse permutation) लागू करें।
4. पुनरावृत्ति सुधार (Iterative Correction):
   • क्योंकि विविक्तकरण प्रक्रिया (निरंतर मानों को असतत प्रतीकों में मैप करना) मापे गए DFA घातांक को कम ($\alpha_S < \alpha_{FGN}$) कर सकती है, इसलिए लेखक बाइसेक्शन सर्च (bisection search) का उपयोग करते हैं।
   • वे FGN जनरेटर के इनपुट हर्स्ट घातांक ($H$) को पुनरावृत्ति रूप से तब तक समायोजित करते हैं जब तक कि परिणामी सरोगेट अनुक्रम $S$ का मापा गया DFA घातांक $\alpha_S$, मूल पाठ के लक्षित घातांक से एक निर्दिष्ट सहनशीलता (tolerance) के भीतर मेल न खा जाए।

कम्प्यूटेशनल जटिलता (Computational Complexity)

यह विधि मुख्य रूप से FGN मानों को सॉर्ट करने पर निर्भर करती है, जिसके परिणामस्वरूप इसकी कम्प्यूटेशनल जटिलता $O(N \log N)$ होती है, जो इसे बड़े टेक्स्ट और जीनोमिक अनुक्रमों के लिए कुशल बनाती है।

3. प्रमुख योगदान (Key Contributions)

• दोहरा-संरक्षण सरोगेट (Dual-Preservation Surrogate): पहला मॉडल जो सख्ती से मूल डेटा के अनुभवजन्य ज़िफ वितरण और दीर्घ-परासी DFA स्केलिंग घातांक दोनों को संरक्षित करने वाले प्रतीकात्मक अनुक्रम उत्पन्न करने में सक्षम है।
• सिद्धांतिक नल मॉडल (Principled Null Model): यह निर्धारित करने के लिए एक कठोर आधार प्रदान करता है कि कौन से लक्षण सरल आवृत्ति सांख्यिकी/रैखिक स्मृति से उत्पन्न होते हैं और कौन से उच्च-क्रम के सिंटैक्टिक, सिमेंटिक या गैर-रैखिक तंत्रों की आवश्यकता रखते हैं।
• सामान्यीकरण (Generalizability): भाषा विज्ञान से परे अन्य प्रतीकात्मक डोमेन, विशेष रूप से जीनोमिक डीएनए में भी इसकी प्रयोज्यता प्रदर्शित करता है।
• एल्गोरिद्मिक कार्यान्वयन: यह एक कुशल, रैंक-आधारित प्रक्रिया (एल्गोरिदम 1) प्रदान करता है जो जटिल पुनरावृत्ति आयाम समायोजन (AAFT विधियों के विपरीत) की आवश्यकता को समाप्त करते हुए आवृत्ति बाधाओं को सख्ती से लागू करती है।

4. परिणाम (Results)

लेखकों ने तीन अलग-अलग डेटासेट पर मॉडल को मान्य किया:

1. अंग्रेजी पाठ (On the Origin of Species):

   • सरोगेट ने मूल पाठ के ज़िफ वितरण को पूरी तरह से पुनरुत्पादित किया।
   • DFA विश्लेषण ने प्रासंगिक स्केल रेंज में मूल पाठ और सरोगेट के बीच समान स्केलिंग घातांक ($\alpha$) दिखाया।
   • लघु-परासी निर्भरता (syntax) को रैंडमाइज किया गया, जिससे पुष्टि हुई कि सरोगेट दीर्घ-परासी स्मृति को अलग करता है।

2. लैटिन पाठ (Newton's Principia Mathematica):

   • अंग्रेजी पाठ के समान परिणाम: आवृत्ति वितरण का सटीक संरक्षण और मिलान करने वाले DFA घातांक, जो विभिन्न भाषाओं और ऐतिहासिक कालखंडों में इसकी मजबूती की पुष्टि करता है।

3. जीनोमिक डीएनए (Drosophila melanogaster Chromosome 2L):

   • एक प्यूरीन-पाइरीमिडीन (R/Y) मैपिंग ($\{A,G\} \to +1, \{C,T\} \to -1$) का उपयोग करते हुए, सरोगेट ने सटीक बेस संरचना (A, C, G, T आवृत्तियाँ) को संरक्षित किया।
   • सरोगेट ने $10^2$ से $10^6$ बेस के पैमाने पर जीनोमिक वॉक की दीर्घ-परासी ($\alpha \approx 0.65$) को पुनरुत्पादित किया।
   • उच्च-क्रम संरचनाएं (जैसे, डाइन्यूक्लियोटाइड आवृत्तियाँ) संरक्षित नहीं की गईं, जैसा कि अपेक्षित था (एक प्रथम-क्रम/द्वितीय-क्रम सहसंबंध मॉडल के लिए)।

5. महत्व और निहितार्थ (Significance and Implications)

• संरचना को अलग करना (Disentangling Structure): यह ढांचा शोधकर्ताओं को यह परीक्षण करने की अनुमति देता है कि क्या भाषा या डीएनए में देखे गए स्केलिंग नियम केवल आवृत्ति पूर्वाग्रहों और रैखिक दीर्घ-स्मृति के परस्पर प्रभाव से संचालित होते हैं, या उनके लिए जटिल, उच्च-क्रम संगठनात्मक सिद्धांतों (सिंटैक्स, सिमेंटिक्स या नियामक मोटिफ) की आवश्यकता होती है।
• परिकल्पना परीक्षण (Hypothesis Testing): यह एक शक्तिशाली 'नल मॉडल' के रूप में कार्य करता है। यदि कोई वास्तविक पाठ या जीनोम ऐसे जटिल लक्षण प्रदर्शित करता है जिन्हें यह सरोगेट (जो कि डिज़ाइन के अनुसार मोनोफ्रैक्टल है) पुनरुत्पादित नहीं कर सकता, तो उन लक्षणों को गैर-रैखिक या पदानुक्रमित तंत्रों के रूप में जिम्मेदार ठहराया जा सकता है।
• व्यापक प्रयोज्यता (Broad Applicability): यह विधि केवल भाषा विज्ञान तक सीमित नहीं है; यह किसी भी ऐसे प्रतीकात्मक तंत्र के लिए लागू है जिसमें विषम आवृत्ति वितरण और दीर्घ-परासी सहसंबंध होते हैं, जैसे कि वित्तीय समय श्रृंखला, संगीत स्वरलिपि और कोड रिपॉजिटरी।
• सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): परिणाम बताते हैं कि प्राकृतिक भाषा में दीर्घ-परासीय संरचना का एक महत्वपूर्ण हिस्सा एक बार जब लेक्सिकल आवृत्तियों को नियंत्रित कर लिया जाता है, तो उसे द्वितीय-क्रम सांख्यिकी के माध्यम से कैप्चर किया जा सकता है, हालांकि समग्र संगठन में उच्च-क्रम भाषाई विशेषताएं अभी भी योगदान देती हैं।

निष्कर्षतः, यह शोध पत्र जटिल प्रतीकात्मक प्रणालियों के विश्लेषण में एक महत्वपूर्ण पद्धतिगत अंतराल को भरता है, जो आवृत्ति वितरण के प्रभावों को दीर्घ-परासी लौकिक सहसंबंधों से सख्ती से अलग करने के लिए एक उपकरण प्रदान करता है।