Berezinskii--Kosterlitz--Thouless transition in a context-sensitive random language model

तकनीकी सारांश: एक संदर्भ-संवेदनशील रैंडम लैंग्वेज मॉडल में बेरेज़िंस्की–कोस्टरलिट्ज़–थौ (BKT) संक्रमण

समस्या विवरण
प्राकृतिक भाषाएँ सांख्यिकीय नियमितताएँ प्रदर्शित करती हैं, जैसे कि जिप का नियम (Zipf's law) और सूचनात्मक दूरी में पावर-लॉ क्षय (power-law decay), जो चरण संक्रमणों (phase transitions) के निकट भौतिक प्रणालियों के स्केलिंग गुणों के समान हैं। जबकि बड़े भाषा मॉडलों (LLMs) ने हाल ही में उभरते हुए स्केलिंग कानूनों (emergent scaling laws) का प्रदर्शन किया है, गणितीय रूप से कठोर चरण संक्रमणों (जैसा कि सांख्यिकीय भौतिकी में परिभाषित है) को प्रदर्शित करने वाले विशिष्ट जनरेटिव भाषा मॉडलों का अभाव है। संभावabilistic कॉन्टेक्स्ट-फ्री ग्रामर (CFGs) के पिछले अन्वेषण मानक थर्मोडायनामिक सीमाओं में वास्तविक चरण संक्रमणों को निर्णायक रूप से प्रदर्शित करने में विफल रहे हैं। इसके अलावा, हालांकि बेरेज़िंस्की–कोस्टरलिट्ज़–थौ (BKT) संक्रमण भौतिक प्रणालियों में मजबूत स्केलिंग कानूनों की व्याख्या करता है, यह पारंपरिक रूप से निरंतर समरूपताओं (continuous symmetries) वाली द्वि-आयामी प्रणालियों से जुड़ा हुआ है। लेखक इस प्रश्न को संबोधित करते हैं कि क्या एक एक-आयामी भाषा मॉडल, जिसमें स्वाभाविक रूप से असतत स्वतंत्रता की कोटियाँ (discrete degrees of freedom) होती हैं, बिना किसी विशिष्ट क्रिटिकल पॉइंट (critical point) के फाइन-ट्यूनिंग की आवश्यकता के BKT संक्रमण प्रदर्शित कर सकता है।

कार्यप्रणाली
लेखक एक कॉन्टेक्स्ट-सेंसिटिव रैंडम लैंग्वेज मॉडल (CS-RLM) का निर्माण करते हैं, जो कॉन्टेक्स्ट-सेंसिटिव ग्रामर (CSGs) की श्रेणी के अंतर्गत आने वाला एक संभाव्यता मॉडल है। यह मॉडल एक-आयामी लॉन्ग-रेंज पॉट्स मॉडल (long-range Potts model) से प्रेरित है और तीन परस्पर क्रिया करने वाली प्रक्रियाओं के माध्यम से संचालित होता है:

1. वृद्धि (Growth): नॉन-टर्मिनल प्रतीक नियमों (जैसे, $X \to YZ$) के माध्यम से विस्तारित होते हैं, जिससे स्ट्रिंग की लंबाई बढ़ती है ताकि थर्मोडायनामिक सीमा ($N \to \infty$) प्राप्त की जा सके।
2. कॉन्टेक्स्ट-सेंसिटिव रीराइट्स (Context-Sensitive Rewrites): सबस्ट्रिंग्स को आसपास के संदर्भ के आधार पर पुन: लिखा जाता है ($\alpha_- X \alpha_+ \to \alpha_- Y \alpha_+$) जहाँ स्वीकृति की संभावनाएँ मेट्रोपोलिस-हेस्टिंग्स एल्गोरिदम द्वारा नियंत्रित होती हैं। ऊर्जा परिवर्तन $\Delta E$ की गणना लॉन्ग-रेंज इंटरैक्शन कर्नेल $|i-j|^{-(1+s)}$ का उपयोग करके की जाती है, जो $|i-j|$ दूरी पर प्रतीक युग्मों को जोड़ती है।
3. समाप्ति (Termination): नॉन-टर्मिनल प्रतीक टर्मिनल प्रतीकों में परिवर्तित हो जाते हैं (थर्मोडायनामिक सीमा को सुगम बनाने के लिए प्राथमिक विश्लेषण में इन्हें उपेक्षित किया गया है)।

अध्ययन $K=2$ (आइसिंग मॉडल के अनुरूप) वर्णमाला आकार के मामले पर केंद्रित है और ब्रांचिंग नियम $X \to YZ$ का उपयोग करता है। लेखक सिस्टम का विश्लेषण मानक सांख्यिकीय भौतिकी अवलोकनों का उपयोग करके करते हैं:

• ऑर्डर पैरामीटर (चुंबकत्व, $M$): इसे प्रतीक आवृत्तियों के वेक्टर योग के परिमाण के रूप में परिभाषित किया गया है, जो प्रतीक पीढ़ी में पूर्वाग्रहों को पकड़ता है।
• ससेप्टिबिलिटी ($\chi$): यह ऑर्डर पैरामीटर के विचरण (variance) को मापता है।
• बाइंडर पैरामीटर ($U$): यह ऑर्डर पैरामीटर का सामान्यीकृत कर्टोसिस (kurtosis) है, जिसका उपयोग विस्केंद्रित (disordered), व्यवस्थित (ordered) और क्रिटिकल चरणों के बीच अंतर करने के लिए किया जाता है।
• सहसंबंध फलन (Correlation Functions): पावर-लॉ बनाम एक्सपोनेंशियल क्षय का पता लगाने के लिए विश्लेषण किया जाता है।

लेखक थर्मोडायनामिक सीमा में व्यवहार का अनुमान लगाने के लिए मोंटे कार्लो सिमुलेशन (वाक्य की लंबाई $N = 16$ से $4096$ तक बदलकर) पर फाइनाइट-साइज़ स्केलिंग विधियों का उपयोग करते हैं।

मुख्य परिणाम

1. चरण संक्रमण की उपस्थिति: संख्यात्मक सिमुलेशन एक स्पष्ट चरण संक्रमण प्रदर्शित करते हैं जहाँ ऑर्डर पैरामीटर (चुंबकत्व) तापमान पैरामीटर $k_B T$ को ट्यून करने पर पूरी तरह से शून्य (विस्केंद्रित) से पूरी तरह से गैर-शून्य (व्यवस्थित) में बदल जाता है।
2. BKT संक्रमण की पहचान: सिस्टम एक मानक सेकंड-ऑर्डर ट्रांजिशन के बजाय BKT संक्रमण की विशेषताएं प्रदर्शित करता है:
   • विस्तारित क्रिटिकलिटी (Extended Criticality): ससेप्टिबिलिटी केवल एक एकल क्रिटिकल पॉइंट पर नहीं, बल्कि पूरे लो-टेम्परेचर फेज में विवर्जित (diverge) होती है, जो यह संकेत देती है कि सिस्टम एक सीमित पैरामीटर रेंज में क्रिटिकल बना रहता है।
   • बाइंडर पैरामीटर व्यवहार: बाइंडर पैरामीटर विभिन्न सिस्टम आकारों के लिए एक क्रॉसिंग पॉइंट दिखाता है और क्रिटिकल रिजीम में गैर-तुच्छ (non-trivial) मान लेता है (0 और 1 के बीच), जो BKT व्यवहार के अनुरूप है।
   • सहसंबंध क्षय: क्रिटिकल रिजीम में, सहसंबंध फलन एक्सपोनेंशियल क्षय के बजाय पॉलिनोमियल (पावर-लॉ) क्षय प्रदर्शित करते हैं।
3. पैरामीटर्स के प्रति मजबूती: BKT संक्रमण तब भी देखा जाता है जब इंटरैक्शन कर्नेल का क्षय घातांक (decay exponent) $s=0.9$ होता है, जो मानक एक-आयामी लॉन्ग-रेंज पॉट्स मॉडलों के लिए आवश्यक $s=1$ से भिन्न है। यह संक्रमण मल्टी-लेवल स्पिन्स ($K>2$) के लिए भी बना रहता है।
4. क्रिटिकल एक्सपोनेंट्स: लेखक फाइनाइट-साइज़ स्केलिंग के माध्यम से क्रिटिकल एक्सपोनेंट्स $\nu$ और $\gamma$ निर्धारित करते हैं। वे पाते हैं कि जबकि $\gamma$ विभिन्न ब्रांचिंग नियमों ($X \to YZ$ बनाम $X \to XX$) में स्थिर रहता है, दोनों एक्सपोनेंट्स ग्रोथ रेट पैरामीटर $q$ और वर्णमाला आकार $K$ पर निर्भर करते हैं।

महत्व और दावे
पत्र का दावा है कि यह प्राकृतिक भाषा मॉडल ढांचे के भीतर पहले स्पष्ट BKT संक्रमण का अनूमिक प्रदर्शन प्रदान करता है। इस निष्कर्ष का महत्व तीन गुना है:

• सैद्धांतिक नवीनता: यह एक एक-आयामी प्रणाली में असतत स्वतंत्रता की कोटियों के साथ एक दुर्लभ घटना (BKT फेज) को कैप्चर करता है, जो इस पारंपरिक दृष्टिकोण को चुनौती देता है कि ऐसे चरणों के लिए द्वि-आयामी निरंतर समरूपताओं की आवश्यकता होती है।
• स्केलिंग कानूनों की व्याख्या: परिणाम बताते हैं कि प्राकृतिक भाषाओं और LLMs में देखे जाने वाले मजबूत स्केलिंग कानून (जिन्हें किसी विशिष्ट क्रिटिकल पॉइंट के लिए फाइन-ट्यूनिंग की आवश्यकता नहीं होती है) को BKT चरणों के बीच अंतर्निहित संबंध के माध्यम से सामान्य रूप से समझाया जा सकता है। एक BKT फेज में, स्केल-इनवेरिएंट व्यवहार एक सीमित क्षेत्र में बना रहता है, मानक क्रिटिकल पॉइंट्स के विपरीत।
• व्याकरण की भूमिका: अध्ययन इस बात पर प्रकाश डालता है कि कॉन्टेक्स्ट-सेंसिटिव तंत्र (लॉन्ग-रेंज डिपेंडेंसी और एक्सपेंशन डायनेमिक्स) गैर-तुच्छ चरण संक्रमण उत्पन्न करने के लिए पर्याप्त हैं, जो CSGs को CFGs से अलग करते हैं। लेखक तर्क देते हैं कि भाषा निर्माण में निहित "ग्रोथ" तंत्र सिस्टम की प्रभावी विमा (dimensionality) को संशोधित करता है, जिससे यह अपरंपरागत क्रिटिकलिटी संभव होती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका मॉडल एक सरलीकरण है, यह इस बात का एक सिद्धांत-आधारित स्पष्टीकरण प्रदान करता है कि भाषा मॉडल बिना किसी बाहरी ट्यूनिंग के क्यों उभरती हुई क्षमताओं और स्केलिंग कानूनों को प्रदर्शित करते हैं, जिसका श्रेय कॉन्टेक्स्ट-सेंसिटिव जेनेरेटिव प्रक्रियाओं के अंतर्निहित सांख्यिकीय यांत्रिकी को दिया जाता है।