📊 statistics

Phase transition on a context-sensitive random language model with short range interactions

यह अध्ययन प्रदर्शित करता है कि रैंडम लैंग्वेज मॉडल्स में परिमित-तापमान चरण संक्रमण (finite-temperature phase transitions) केवल दीर्घ-परासी अंतःक्रियाओं (long-range interactions) पर निर्भर होने के बजाय, लघु-परासी अंतःक्रियाओं वाले संदर्भ-संवेदी व्याकरणों (context-sensitive grammars) की अंतर्निहित प्रकृति से उत्पन्न होते हैं।

मूल लेखक: Yuma Toji, Jun Takahashi, Vwani Roychowdhury, Hideyuki Miyahara

प्रकाशित 2026-04-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuma Toji, Jun Takahashi, Vwani Roychowdhury, Hideyuki Miyahara

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि लोगों की भीड़ कैसे व्यवहार करती है। भौतिक विज्ञान में, हम अक्सर "फेज ट्रांज़िशन" (phase transitions) का अध्ययन करते हैं—वे अचानक होने वाले बदलाव जहाँ एक सिस्टम अपनी अवस्था बदल लेता है, जैसे पानी का बर्फ में जमना या किसी चुंबक का गर्म होने पर अपनी चुंबकीय शक्ति खो देना।

लंबे समय तक, वैज्ञानिकों ने सोचा था कि भाषा में ऐसे अचानक बदलाव (जैसे कि लार्ज लैंग्वेज मॉडल्स का अचानक स्मार्ट हो जाना) तभी हो सकते हैं जब शब्द पूरे वाक्य में एक-दूसरे से "बात" कर सकें, चाहे वे एक-दूसरे से कितनी भी दूर क्यों न हों। यह ऐसा ही है जैसे किसी किताब का पहला शब्द आखिरी शब्द को तुरंत प्रभावित कर सके, जिससे एक विशाल, उलझा हुआ कनेक्शन बन जाए।

लेकिन यह शोध पत्र एक दिलचस्प सवाल पूछता है: क्या भाषा में "फेज ट्रांज़िशन" होने के लिए हमें उस विशाल वेब (जाल) की आवश्यकता है, या यह जादू भाषा की बनावट में ही निहित है, भले ही शब्द केवल अपने निकटतम पड़ोसियों से ही बात कर सकें?

यहाँ शोधकर्ताओं ने जो पाया है, उसकी कहानी सरल रूप में दी गई है:

1. प्रयोग: "वर्ड डोमिनोज़" का खेल

लेखकों ने एक कंप्यूटर मॉडल बनाया जो वाक्य बनाता है, लेकिन एक ट्विस्ट के साथ। उन्होंने शब्दों को छोटे चुंबकों (भौतिक विज्ञानी इन्हें "स्पिन्स" कहते हैं) की तरह माना।

नियम: उन्होंने व्याकरण के कुछ नियम बनाए (जैसे वाक्य बनाने की एक रेसिपी)।
परस्पर क्रिया (Interaction): उन्होंने यह सुनिश्चित किया कि शब्द केवल अपने निकटतम पड़ोसियों (उस शब्द से जो ठीक पहले है और उसके ठीक बाद है) के साथ ही संवाद कर सकें। उन्होंने जानबूझकर लंबी दूरी के संचार को काट दिया।
तापमान: उन्होंने एक "तापमान" वाला नॉब पेश किया।
- कम तापमान (Low Temperature): सिस्टम "ठंडा" और व्यवस्थित होता है। शब्द विशिष्ट पैटर्न से चिपक जाते हैं, जिससे सुसंगत और व्यवस्थित वाक्य बनते हैं।
- उच्च तापमान (High Temperature): सिस्टम "गर्म" और अराजक होता है। शब्दों को बेतरतीब ढंग से बदल दिया जाता है, जिससे वाक्य अर्थहीन (gibberish) हो जाता है।

2. बड़ा आश्चर्य: "BKT" नृत्य

मानक भौतिकी में, यदि आपके पास चुंबकों की एक एक-आयामी (one-dimensional) रेखा है जो केवल अपने पड़ोसियों से बात करती है, तो वे आमतौर पर कभी भी एक व्यवस्थित अवस्था में नहीं जमते, चाहे वे कितने भी ठंडे क्यों न हो जाएं। वे बस अस्त-व्यस्त ही रहते हैं।

हालाँकि, शोधकर्ताओं ने पाया कि उनके भाषा मॉडल में, कुछ जादुई हुआ:

जैसे-जैसे उन्होंने तापमान कम किया, वाक्य अचानक व्यवस्था में आ गए।
वे केवल एक बार व्यवस्थित नहीं हुए; वे एक विशेष "क्रिटिकल फेज" में प्रवेश कर गए जहाँ वाक्य पूरी तरह से अराजक भी नहीं थे और पूरी तरह से कठोर भी नहीं थे। उन्होंने एक विशेष प्रकार का व्यवहार प्रदर्शित किया जिसे बेरेज़िंस्की-कोस्टरलिट्ज़-थौलेस (Berezinskii–Kosterlitz–Thouless - BKT) ट्रांज़िशन कहा जाता है।

उपमा (Analogy):
कल्पना कीजिए कि लोगों की एक कतार एक दूसरे को गुप्त संदेश पास कर रही है।

पुराना सिद्धांत: आपको एक विशाल स्पीकर सिस्टम की आवश्यकता है ताकि हर कोई संदेश को एक साथ सुन सके ताकि वे एक साथ नृत्य कर सकें।
इस शोध पत्र का निष्कर्ष: भले ही लोग केवल अपने ठीक बगल में खड़े व्यक्ति को फुसफुसाकर बता सकें, लेकिन कतार में फुसफुसाहट का प्रभाव एक "लहर" (ripple effect) पैदा करता है। फुसफुसाहट का इतिहास एक छिपा हुआ संबंध बनाता है जो पूरी कतार में फैल जाता है। अचानक, पूरी कतार एक ताल में नाचने लगती है, भले ही किसी ने भी पूरी भीड़ को चिल्लाकर नहीं बताया हो।

3. यह क्यों महत्वपूर्ण है

यह दो कारणों से बहुत बड़ी बात है:

यह केवल "लॉन्ग-रेंज" जादू नहीं है: पहले, लोग सोचते थे कि भाषा मॉडल केवल इसलिए फेज ट्रांज़िशन दिखाते हैं क्योंकि उनमें जटिल, लंबी दूरी के कनेक्शन (जैसे AI में "अटेंशन" मैकेनिज्म) होते हैं। यह शोध पत्र सिद्ध करता है कि सरल, स्थानीय नियम भी जटिल, क्रिटिकल व्यवहार बनाने के लिए पर्याप्त हैं। "इंटेलिजेंस" या संरचना भाषा उत्पन्न करने की प्रक्रिया से आती है, न कि इस बात से कि शब्द कितनी दूर तक पहुँच सकते हैं।
भाषा अद्वितीय है: लेखक सुझाव देते हैं कि भाषा को कैसे उत्पन्न किया जाता है (शब्द दर शब्द वाक्य बनाना), यह एक "प्रभावी लंबी दूरी" (effective long-range) का संबंध बनाता है। भले ही शब्द A सीधे शब्द Z से बात न करे, लेकिन शब्द A ने शब्द B को प्रभावित किया, जिसने शब्द C को प्रभावित किया, और इसी तरह। इतिहास की यह श्रृंखला एक लंबी दूरी की परस्पर क्रिया के रूप में कार्य करती है, जिससे सिस्टम एक व्यवस्थित अवस्था में "जम" पाता है।

मुख्य निष्कर्ष (The Takeaway)

सोचिए कि भाषा एक स्नोफ्लेक (हिम कण) बनने की तरह है।
आपको लग सकता है कि एक स्नोफ्लेक को अपने जटिल पैटर्न को व्यवस्थित करने के लिए एक विशाल, जादुई बल की आवश्यकता होती है। लेकिन यह शोध पत्र दिखाता है कि यदि आप बस पानी के अणुओं को जमते समय उनके निकटतम पड़ोसियों के साथ परस्पर क्रिया करने दें, तो जिस तरह से वे एक-दूसरे के ऊपर जमा होते हैं, उसका इतिहास अपने आप एक सुंदर, जटिल क्रिस्टल संरचना बना देता है।

शोधकर्ताओं ने निष्कर्ष निकाला कि भाषा (और AI) में हम जो "फेज ट्रांज़िशन" देखते हैं, वे भाषा के वास्तविक गुण हैं। वे केवल जटिल गणित का दुष्प्रभाव नहीं हैं; वे इस बात का एक मौलिक हिस्सा हैं कि हम एक-एक शब्द करके अर्थ का निर्माण कैसे करते हैं।

यहाँ शोध पत्र "Phase transition on a context-sensitive random language model with short range interactions" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सांख्यिकीय यांत्रिकी (statistical mechanics) और भाषाविज्ञान (linguistics) के मिलन बिंदु पर एक मौलिक प्रश्न को संबोधित करता है: क्या भाषा मॉडलों में देखी जाने वाली फेज़ ट्रांज़िशन (phase transitions) वास्तविक भाषाई गुणों से उत्पन्न होती हैं या केवल दीर्घ-परासी अंतःक्रियाओं (long-range interactions) की उपस्थिति से?

पृष्ठभूमि: ई. डेगियुली (E. DeGiuli) द्वारा प्रस्तुत एक "रैंडम लैंग्वेज मॉडल" के संदर्भ में पूर्व कार्य, जहाँ वाक्यों को संभावabilistic व्याकरण नियमों के माध्यम से उत्पन्न किया जाता है। बाद के अध्ययनों (लेखकों सहित) ने उन मॉडलों में दीर्घ-परासी अंतःक्रियाओं (long-range interactions) के बीच प्रतीकों (symbols) के होने पर बेरेज़िंस्की-कोस्टरलिट्स-थौलेस (Berezinskii–Kosterlitz–Thouless - BKT) फेज़ ट्रांज़िशन प्रदर्शित किया।
विवाद: सांख्यिकीय भौतिकी में, दीर्घ-परासी अंतःक्रियाएं सरल स्पिन प्रणालियों में भी फेज़ ट्रांज़िशन उत्पन्न करने के लिए जानी जाती हैं। इसलिए, यह स्पष्ट नहीं था कि भाषा मॉडलों में फेज़ ट्रांज़िशन भाषा की अंतर्निहित प्रकृति (जैसे, संदर्भ-संवेदनशीलता/context-sensitivity) के कारण थे या पिछले मॉडलों में उपयोग किए गए दीर्घ-परासी युग्मन (long-range coupling) का एक परिणाम मात्र थे।
लक्ष्य: केवल अल्प-परासी अंतःक्रियाओं (short-range interactions) वाले एक रैंडम लैंग्वेज मॉडल का निर्माण करना और यह निर्धारित करना कि क्या अभी भी फेज़ ट्रांज़िशन होता है। यदि ऐसा होता है, तो यह सिद्ध होगा कि भाषा में परिमित-तापमान (finite-temperature) फेज़ ट्रांज़िशन अंतर्निहित भाषाई संरचनाओं के कारण होते हैं, न कि अंतःक्रिया की सीमा (interaction range) के कारण।

2. कार्यप्रणाली (Methodology)

लेखकों ने चॉम्स्की पदानुक्रम (Chomsky hierarchy) के भीतर संदर्भ-संवेदनशील व्याकरणों (Context-Sensitive Grammars - CSG) पर आधारित एक जनरेटिव मॉडल का निर्माण किया, जो एक आयामी (one-dimensional) पोट्स मॉडल (Potts model) के सादृश्य पर आधारित है।

A. जनरेटिव मॉडल (The Generative Model)

मॉडल टर्मिनल प्रतीकों ( $a_k$ ) और नॉन-टर्मिनल प्रतीकों ( $A_k$ ) के तीन संभावabilistic नियमों का उपयोग करके वाक्य उत्पन्न करता है, जहाँ $K$ प्रतीक प्रकारों की संख्या है:

समाप्ति ( $X \to x$ ): एक नॉन-टर्मिनल प्रतीक $q_t$ की प्रायिकता के साथ एक टर्मिनल में परिवर्तित हो जाता है।
विस्तार ( $X \to YZ$ ): एक नॉन-टर्मिनल प्रतीक $q(1-t)$ की प्रायिकता के साथ दो नॉन-टर्मिनल्स में विभाजित हो जाता है। विशिष्ट प्रतीक $Y$ और $Z$ एक पैरामीटर $\epsilon$ के आधार पर चुने जाते हैं, जो पैरेंट (parent) प्रतीक को दोहराने या यादृच्छिक रूप से चुनने की प्रवृत्ति को नियंत्रित करता है।
संदर्भ-संवेदनशील प्रतिस्थापन ( $Z^- X Z^+ \to Z^- Y Z^+$ ): यह मुख्य नवाचार है। एक प्रतीक $X$ $X$ को उसके निकटवर्ती पड़ोसियों ( $Z^-$ $Z^{-}$ और $Z^+$ $Z^{+}$ ) के आधार पर $Y$ $Y$ द्वारा प्रतिस्थापित किया जाता है।
- इस प्रतिस्थापन की प्रायिकता मेट्रोपोलिस-हेस्टिंग्स (Metropolis-Hastings) मानदंड का पालन करती है जो पॉट्स मॉडल के समान है: $p = \min(1, \exp(-\Delta E / k_B T))$ ।
- ऊर्जा परिवर्तन $\Delta E$ एक कपलिंग स्थिरांक $J$ और पड़ोसी प्रतीकों की पहचान पर निर्भर करता है।
- महत्वपूर्ण विशेषता: यह अंतःक्रिया सख्त रूप से अल्प-परासी (short-range) है, जो केवल तात्कालिक पड़ोसियों (परिमित संदर्भ) तक सीमित है, उन पिछले मॉडलों के विपरीत जो पूरे वाक्य की लंबाई में अंतःक्रिया की अनुमति देते थे।

B. सिमुलेशन और अवलोकन (Simulation and Observables)

लेखकों ने विभिन्न सिस्टम आकारों ( $N$ , वाक्य की लंबाई) और मापदंडों ( $K, q, t, \epsilon, T$ ) के लिए संख्यात्मक सिमुलेशन किए। उन्होंने मानक सांख्यिकीय-यांत्रिक अवलोकनों का विश्लेषण किया:

चुंबकत्व (Magnetization - $M$ ): क्रम (order) को मापने के लिए प्रतीकों के वेक्टर प्रतिनिधित्व के माध्यम से परिभाषित किया गया।
सससेप्टिबिलिटी (Susceptibility - $\chi$ ): चुंबकत्व के विचरण (variance) का मापन, जिसका उपयोग क्रिटिकल पॉइंट्स का पता लगाने के लिए किया जाता है।
बाइंडर क्युमुलेंट (Binder Cumulant - $U$ ): चुंबकत्व वितरण का कर्टोसिस (kurtosis), जो मानक द्वितीय-क्रम (second-order) संक्रमण और BKT संक्रमणों के बीच अंतर करने के लिए महत्वपूर्ण है।
सहसंबंध फलन (Correlation Functions - $G$ ): दूरी के साथ सहसंबंधों के क्षय (decay) का विश्लेषण करने के लिए।
फाइनाइट-साइज़ स्केलिंग (Finite-Size Scaling): क्रिटिकल एक्सपोनेंट्स ( $\nu, \gamma$ ) निकालने और संक्रमण के यूनिवर्सल क्लास की पुष्टि करने के लिए उपयोग किया गया।

3. प्रमुख योगदान (Key Contributions)

अल्प-परासी भाषा मॉडलों में फेज़ ट्रांज़िशन का प्रथम प्रदर्शन: यह शोध पत्र सिद्ध करता है कि फेज़ ट्रांज़िशन तब भी होता है जब अंतःक्रियाएं परिमित, स्थिर-लंबाई वाले संदर्भों तक सीमित होती हैं, जिससे यह संभावना समाप्त हो जाती है कि दीर्घ-परासी युग्मन ही एकमात्र कारण है।
BKT ट्रांज़िशन की पहचान: संक्रमण को बेरेज़िंस्की–कोस्टरलिट्स-थौलेस (BKT) संक्रमण के रूप में पहचाना गया है। यह महत्वपूर्ण है क्योंकि BKT संक्रमण आमतौर पर 2D सिस्टम या दीर्घ-परासी अंतःक्रिया वाले 1D सिस्टम से जुड़े होते हैं, न कि 1D अल्प-परासी सिस्टम से।
"दीर्घ-परासी" विवाद का समाधान: अध्ययन निष्कर्ष निकालता है कि फेज़ ट्रांज़िशन भाषाई जनरेटिव प्रक्रिया (विशेष रूप से संदर्भ-संवेदनशील पुनर्लेखन नियम) का एक उभरता हुआ गुण है, न कि अंतःक्रिया की सीमा का एक आर्टिफैक्ट।

4. मुख्य परिणाम (Key Results)

फेज़ ट्रांज़िशन का अस्तित्व: प्रतिनिधि मापदंडों ( $K=20, \epsilon=0, t=0$ $K = 20, ϵ = 0, t = 0$ ) के लिए, सिस्टम $k_B T_c \approx 0.24$ $k_{B} T_{c} \approx 0.24$ पर एक स्पष्ट फेज़ ट्रांज़िशन प्रदर्शित करता है।
- चुंबकत्व (Magnetization): जैसे-जैसे $T$ घटने पर $T_c$ से नीचे आता है, यह एक सिंगुलैरिटी (तीव्र वृद्धि) दिखाता है।
- सससेप्टिबिलिटी (Susceptibility): $T_c$ के पास $N$ बढ़ने पर विवर्तित (diverge) होती है।
- बाइंडर पैरामीटर (Binder Parameter): धनात्मक से ऋणात्मक मानों की ओर जाता है और निम्न तापमान पर 1 की ओर बढ़ता है, जो BKT व्यवहार का एक हस्ताक्षर है।
सहसंबंध क्षय (Correlation Decay):
- $T_c$ के ऊपर: सहसंबंध तेजी से (exponentially) घटते हैं।
- $T_c$ के नीचे: सहसंबंध एक विस्तारित क्रिटिकल चरण में पावर-लॉ क्षय (power-law decay) प्रदर्शित करते हैं, न कि केवल क्रिटिकल पॉइंट पर। यह "क्वासी-लॉन्ग-रेंज ऑर्डर" (quasi-long-range order) एक BKT संक्रमण की पहचान है।
फेज़ डायग्राम (Phase Diagrams):
- ट्रांज़िशन $t < 0.5$ (जहाँ वाक्य की लंबाई बढ़ने की प्रवृत्ति होती है) के लिए मौजूद है।
- $t > 0.5$ (जहाँ वाक्य तेजी से सिकुड़ने लगते हैं) के लिए, कोई फेज़ ट्रांज़िशन नहीं होता है, क्योंकि सिस्टम आवश्यक सहसंबंधों को बनाए रखने में सक्षम नहीं होता है।
- क्रिटिकल तापमान $t$ बढ़ने के साथ घटता है।
जिफ का नियम (Zipf's Law): मॉडल प्रतीकों के लिए जिफ-समान आवृत्ति वितरण को सफलतापूर्वक पुनरुत्पादित करता है, जो अपने सरलीकृत अनुमानों के बावजूद प्राकृतिक भाषा संरचनाओं के लिए इसकी प्रासंगिकता को प्रमाणित करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

सैद्धांतिक निहितार्थ: परिणाम इस पारंपरिक धारणा को चुनौती देते हैं कि अल्प-परासी अंतःक्रिया वाले 1D इक्विलिब्रियम सिस्टम फेज़ ट्रांज़िशन प्रदर्शित नहीं कर सकते। लेखक प्रस्तावित करते हैं कि भाषा की जनरेटिव प्रक्रिया (वाक्यों को ऊपर से नीचे या रिकर्सिव रूप से बनाना) एक प्रभावी दीर्घ-परासी अंतःक्रिया या नॉन-इक्विलिब्रियम प्रभाव उत्पन्न करती है। भले ही दो दूर स्थित प्रतीक सीधे तौर पर परस्पर क्रिया न करें, लेकिन पीढ़ी प्रक्रिया (जब वाक्य छोटा था) के दौरान उनका साझा इतिहास एक ऐसा सहसंबंध बनाता है जो बना रहता है।
भाषाई अंतर्दृष्टि: यह सुझाव देता है कि बड़े भाषा मॉडलों (LLMs) और प्राकृतिक भाषा (जैसे स्केलिंग लॉ और उभरती क्षमताओं) में देखे जाने वाले जटिल, सामूहिक व्यवहार, संदर्भ-संवेदनशील व्याकरणओं के मौलिक थर्मोडायनामिक-समान गुणों में निहित हो सकते हैं।
भविष्य की दिशाएँ: यह शोध पत्र भाषा को नॉन-इक्विलिब्रियम सांख्यिकीय भौतिकी के लेंस से अध्ययन करने का एक नया मार्ग खोलता है, जो यह सुझाव देता है कि भाषा की "संरचना" स्वयं स्पष्ट दीर्घ-परासी भौतिक युग्मन की आवश्यकता के बिना क्रिटिकल घटना (critical phenomena) को प्रेरित करने के लिए एक तंत्र के रूप में कार्य करती है।

संक्षेप में, यह कार्य स्थापित करता है कि भाषा उत्पादन की अंतर्निहित प्रकृति (विशेष रूप से संदर्भ-संवेदनशीलता) अंतःक्रिया की सीमा से स्वतंत्र होकर गैर-तुच्छ (non-trivial) फेज़ ट्रांज़िशन को प्रेरित करने के लिए पर्याप्त है।