Phase transition in large language models and the criticality of natural languages

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स में फेज़ ट्रांज़िशन (Phase Transition) और प्राकृतिक भाषाओं की क्रिटिकैलिटी (Criticality)

समस्या विवरण
प्राकृतिक भाषाएँ सार्वभौमिक सांख्यिकीय विशेषताओं को प्रदर्शित करती हैं, विशेष रूप से पावर-लॉ व्यवहार जैसे कि ज़िप का नियम (शब्द आवृत्ति बनाम रैंक) और हीप्स का नियम (शब्दावली का आकार बनाम दस्तावेज़ की लंबाई)। सांख्यिकीय भौतिकी (statistical physics) में, ऐसा पावर-लॉ व्यवहार उन प्रणालियों का एक लक्षण है जो एक क्रिटिकल पॉइंट (critical point) पर स्थित होती हैं, जो दो अलग-अलग मैक्रोस्कोपिक चरणों के बीच एक फेज़ ट्रांज़िशन के निकट होती हैं। यह अवलोकन इस परिकल्पना को प्रेरित करता है कि प्राकृतिक भाषा उत्पन्न करने वाली स्टोकेस्टिक प्रक्रिया एक "दोहराव वाले" (repetitive) चरण और एक "समझ से बाहर" (incomprehensible) चरण को अलग करने वाली एक क्रिटिकल सतह पर स्थित है। हालाँकि, इस परिकल्पना का परीक्षण करना मौलिक रूप से कठिन है क्योंकि वास्तविक दुनिया की प्राकृतिक भाषाओं में नियंत्रणीय पैरामीटरों का अभाव होता है; आप एक ट्रांज़िशन को देखने के लिए "तापमान" (temperature) या बाहरी क्षेत्र (external field) को बदल नहीं सकते। सरल गणितीय मॉडलों का उपयोग करने वाले पिछले प्रयास वास्तविक भाषाई घटनाओं के बारे में सीमित अंतर्दृष्टि प्रदान कर पाए हैं।

कार्यप्रणाली (Methodology)
प्राकृतिक भाषाओं में नियंत्रण की कमी को दूर करने के लिए, लेखक प्रभावी, नियंत्रणीय मॉडल के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करते हैं। विशेष रूप से, वे पाइल (Pile - एक बड़े पैमाने के अंग्रेजी डेटासेट) पर प्रशिक्षित 160M-पैरामीटर वाले पाइथिया (Pythia) मॉडल का उपयोग करते हैं। अध्ययन में टेक्स्ट जनरेशन को एक स्टोकेस्टिक प्रक्रिया के रूप में माना गया है जहाँ सैंपलिंग के दौरान तापमान पैरामीटर $T$ (जो बोल्ट्ज़मैन वितरण में भौतिक तापमान के समान है) को बदला जाता है।

लेखक सांख्यिकीय विश्लेषण को सुगम बनाने के लिए जनरेट किए गए टेक्स्ट को पार्ट-ऑफ-स्पीच (POS) टैग्स (18 विशिष्ट मान) के अनुक्रमों में मैप करते हैं। वे विभिन्न तापमानों ($T$) और प्रशिक्षण चरणों ($k$) में जनरेट किए गए टेक्स्ट का व्यवस्थित रूप से विश्लेषण करते हैं ताकि निम्नलिखित की जांच की जा सके:

1. कोरिलेशन डिके (Correlation Decay): POS टैग्स के बीच टाइम कोरिलेशन $C(t, t+\Delta t)$ को मापना ताकि यह निर्धारित किया जा सके कि कोरिलेशन घातांकीय रूप से (exponentially) घटता है (अव्यवस्थित/disordered) या पावर-लॉ का पालन करता है (क्रिटिकल)।
2. इंटीग्रेटेड कोरिलेशन ($\tau$): अनुक्रम की लंबाई $N$ के फलन के रूप में शॉर्ट-रेंज और लॉन्ग-रेंज ऑर्डर के बीच अंतर करने के लिए कोरिलेशन के योग की गणना करना।
3. पावर स्पेक्ट्रम विश्लेषण: आवधिक संरचनाओं (periodic structures) का पता लगाने के लिए POS अनुक्रमों के पावर स्पेक्ट्रम $S(\omega)$ का विश्लेषण करना और दोहराव वाले पैटर्न को चरित्रित करने के लिए चोटियों (peaks) की संख्या ($n_{peaks}$) गिनना।
4. ट्रेनिंग डायनेमिक्स: यह निर्धारित करने के लिए कि ये क्रिटिकल फीचर्स कब उभरते हैं, विभिन्न प्रशिक्षण चरणों ($k$) पर आंशिक रूप से प्रशिक्षित मॉडलों पर इन विश्लेषणों को दोहराना।
5. परप्लेक्सिटी इवैल्यूएशन (Perplexity Evaluation): पाइल डेटासेट पर परप्लेक्सिटी का उपयोग करके यह मात्रात्मक रूप से मापना कि विभिन्न $T$ और $k$ पर जनरेट किए गए टेक्स्ट प्राकृतिक भाषा के सांख्यिकीय गुणों से कितनी निकटता से मेल खाते हैं।

मुख्य परिणाम

1. $T_c \approx 1$ पर फेज़ ट्रांज़िशन: विश्लेषण LLM में $T_c \approx 1$ के क्रिटिकल तापमान पर एक स्पष्ट फेज़ ट्रांज़िशन प्रकट करता है।

   • लो-टेम्परेचर फेज ($T < 1$): टेक्स्ट लॉन्ग-रेंज ऑर्डर प्रदर्शित करते हैं जहाँ कोरिलेशन एक सकारात्मक मान की ओर अभिसरित (converge) होते हैं। पावर स्पेक्ट्रम चोटियों की एक विचलन वाली संख्या ($n_{peaks} \propto N$) दिखाता है, जो सरल आवधिकता के बजाय जटिल, विषम दोहराव वाली संरचनाओं को इंगित करता है।
   • हाई-टेम्परेचर फेज ($T > 1$): टेक्स्ट अव्यवस्थित और समझ से बाहर होते हैं। कोरिलेशन तेजी से घटते हैं (शॉर्ट-रेंज), और पावर स्पेक्ट्रम में केवल $\omega=0$ पर एक एकल चोटी होती है।
   • क्रिटिकल पॉइंट ($T \approx 1$): कोरिलेशन पावर-लॉ डिके का पालन करते हैं ($C \sim \Delta t^{-\eta}$ जहाँ $\eta \approx 0.2$), और इंटीग्रेटेड कोरिलेशन $\tau$, अनुक्रम लंबाई $N$ के साथ विचलन (diverge) प्रदर्शित करता है। यह व्यवहार प्राकृतिक भाषाओं में देखे गए पावर-लॉ सांख्यिकी को दर्शाता है।

2. प्रशिक्षण के दौरान उद्भव (Emergence During Training): ये घटनाएँ मॉडल आर्किटेक्चर की अंतर्निहित विशेषता नहीं हैं, बल्कि मॉडल द्वारा प्राकृतिक भाषा सीखने के साथ उभरती हैं।

   • शुरुआती प्रशिक्षण चरणों ($k \lesssim 100$) में, मॉडल तापमान के बावजूद अव्यवस्थित टेक्स्ट जनरेट करता है, और कोई फेज़ ट्रांज़िशन नहीं देखा जाता है।
   • क्रिटिकल व्यवहार (विचलन $\tau$) $k_c \approx 102$ के आसपास उभरता है।
   • जटिल दोहराव वाली संरचनाएं (विचलन $n_{peaks}$) थोड़ा बाद में, लगभग $k \approx 10^3$ के आसपास उभरती हैं।
   • यह इंगित करता है कि क्रिटिकैलिटी और जटिल दोहराव दोनों ही प्राकृतिक भाषा डेटा पर प्रशिक्षण के माध्यम से प्राप्त की गई अंतर्निहित विशेषताएं हैं।

3. प्राकृतिक भाषा के साथ इष्टतम मिलान: अध्ययन पाता है कि प्राकृतिक भाषा डेटासेट पर मॉडल की परप्लेक्सिटी अंतिम प्रशिक्षण चरण ($k=143,000$) और क्रिटिकल तापमान $T \approx 1$ पर न्यूनतम होती है। यह मात्रात्मक रूप से पुष्टि करता है कि क्रिटिकल पॉइंट पर परिभाषित LLM की स्टोकेस्टिक प्रक्रिया प्राकृतिक भाषा के सांख्यिकीय गुणों के सबसे करीब है।

महत्व और दावे
यह शोध पत्र इस तर्क को पुख्ता सबूत प्रदान करता है कि प्राकृतिक भाषाएँ क्रिटिकल हैं। लेखक एक योजनाबद्ध मॉडल (schematic model) प्रस्तावित करते हैं जहाँ प्राकृतिक भाषा की स्टोकेस्टिक प्रक्रिया एक क्रिटिकल सतह पर स्थित है जो दोहराव वाले और समझ से बाहर के चरणों को अलग करती है। एक प्राकृतिक भाषा पर प्रशिक्षित LLM, स्टोकेस्टिक प्रक्रियाओं के स्थान में एक एक-आयामी मैनिफोल्ड (one-dimensional manifold) को परिभाषित करता है; यह मैनिफोल्ड क्रिटिकल सतह को उस बिंदु के पास काटता है जो तापमान को क्रिटिकल मान पर सेट करने पर प्राकृतिक भाषा के अनुरूप होता है।

इस कार्य का महत्व इस प्रकार है:

• अनुभवजन्य सत्यापन (Empirical Validation): खिलौना (toy) गणितीय मॉडलों से आगे बढ़कर वास्तविक, बड़े पैमाने के भाषा मॉडलों में फेज़ ट्रांज़िशन को प्रदर्शित करना।
• सांख्यिकीय भौतिकी परिप्रेक्ष्य: क्रिटिकल फेनोमेना के लेंस के माध्यम से प्राकृतिक भाषाओं को चरित्रित करने के लिए एक ढांचा प्रदान करना, जो यह सुझाव देता है कि भाषा में देखे गए पावर-लॉ व्यवहार एक सिस्टम के क्रिटिकल पॉइंट के पास संचालित होने के संकेत हैं।
• सार्वभौमिकता (Universality): प्रारंभिक परिणाम बताते हैं कि ये घटनाएँ विभिन्न मॉडल आकारों और भाषाओं (चीनी, फ्रेंच, जापानी, कोरियाई, स्पेनिश) में सुदृढ़ हैं, जो प्राकृतिक भाषाओं की एक सार्वभौमिक क्रिटिकल प्रकृति का संकेत देती हैं।

लेखक निष्कर्ष निकालते हैं कि प्राकृतिक भाषाएँ वास्तव में क्रिटिकल हैं, जिसमें LLM एक नियंत्रणीय प्रभावी मॉडल के रूप में कार्य करता है जो इस क्रिटिकैलिटी के अनुभवजन्य अवलोकन की अनुमति देता है, जो अन्यथा वास्तविक दुनिया के भाषाई डेटा में सुलभ नहीं है।