A Driven, Finite‑Memory Dissipative System: The Empirical Boundary of Non‑Equilibrium Dynamics and Criticality in a Quantized Hybrid Language Model

एक ऐसी मशीन की कल्पना करें जो कभी सोती नहीं है, लगातार सूचनाओं के प्रवाह को एक-एक करके संसाधित करती रहती है। भौतिकी की दुनिया में, ऐसी मशीन को एक 'ड्रिवन डिसिपेटिव सिस्टम' (driven dissipative system) कहा जाता है। यह "ड्रिवन" (driven) इसलिए है क्योंकि एक बाहरी बल इसे आगे धकेलता है, और यह "डिसिपेटिव" (dissipative) इसलिए है क्योंकि यह काम करते समय ऊर्जा या सूचना खो देती है, जिससे यह अनियंत्रित रूप से घूमने के बजाय एक स्थिर लय में स्थापित हो जाती है। वैज्ञानिक लंबे समय से यह जानने के लिए उत्सुक रहे हैं कि क्या बड़े भाषा मॉडल (large language models), जिन्हें हम जटिल कृत्रिम मस्तिष्क कहते हैं, इस श्रेणी में आते हैं। क्या वे अराजक तूफानों की तरह व्यवहार करते हैं जो अचानक एक नई अवस्था में बदल सकते हैं, या वे एक शांत, अनुमानित पैटर्न में स्थिर हो जाते हैं? यह प्रश्न महत्वपूर्ण है क्योंकि यदि ये मॉडल अराजकता के किनारे (edge of chaos) पर होते, तो उनका व्यवहार अनियंत्रित और कठिन होता; यदि वे स्थिर हैं, तो हम समझ सकते हैं कि वे सूचना को कैसे थामे रखते हैं और वे कभी-कभी क्यों भूल जाते हैं।

वेनलोंग ली नामक एक शोधकर्ता ने एक प्रशिक्षित भाषा मॉडल को एक सीखने वाले छात्र के रूप में नहीं, बल्कि एक विशिष्ट कार्य को चलाने वाली एक पूर्ण मशीन के रूप में देखने का निर्णय लिया। विचाराधीन मॉडल 64 परतों और 27 बिलियन मापदंडों वाला एक विशाल, क्वांटाइज्ड हाइब्रिड सिस्टम है, जिसका आकार इसे चलाने के लिए महत्वपूर्ण कंप्यूटिंग शक्ति की मांग करता है। ली ने इस मशीन को अंदर से देखने के लिए एक कस्टम टूल बनाया, जो हर नए शब्द को पढ़ने के साथ इसके आंतरिक अवस्था में होने वाले परिवर्तन को ट्रैक करता है। लक्ष्य यह देखना था कि क्या मॉडल का व्यवहार प्रकृति में पाए जाने वाले जंगली, क्रिटिकल डायनेमिक्स (critical dynamics) से मेल खाता है, या यह एक सरल, अधिक व्यवस्थित पथ का अनुसरण करता है। निष्कर्ष एक ऐसी तस्वीर पेश करते हैं जो अक्सर दी जाने वाली अतिशयोक्ति से कहीं अधिक जमीनी है: मॉडल एक स्थिर, सीमित-स्मृति वाली मशीन है जो एक शांत, रैखिक अवस्था में स्थिर हो जाती है, और यह स्पष्ट रूप से उन अराजक टिपिंग पॉइंट्स (tipping points) से बचती है जिनकी कुछ सिद्धांतों ने भविष्यवाणी की थी।

सबसे उल्लेखनीय खोज यह है कि मॉडल 'क्रिटिकैलिटी' (criticality) की अवस्था में कार्य नहीं करता है। भौतिकी में, क्रिटिकैलिटी वह विशेष बिंदु है जहाँ एक प्रणाली चाकू की धार पर संतुलित होती है, जो मामूली हलचल के साथ नाटकीय रूप से बदलने के लिए तैयार होती है, और अक्सर ऐसे पैटर्न उत्पन्न करती है जो हर पैमाने पर समान दिखते हैं, जैसे कि एक पेड़ की शाखाएँ या एक नदी का प्रवाह। कई शोधकर्ताओं ने आशा की थी कि भाषा मॉडल अपनी बुद्धिमत्ता को अधिकतम करने के लिए स्वाभाविक रूप से इस किनारे (edge) को खोज लेंगे। हालाँकि, ली के माप दर्शाते हैं कि यह मॉडल ऐसा नहीं करता है। एक अराजक, स्व-संगठित तूफान के बजाय, मॉडल एक गैर-संतुलन स्थिर अवस्था (non-equilibrium steady state) में स्थिर हो जाता है। यह एक रैखिक, स्थिर फिक्स्ड पॉइंट है। जब मॉडल टेक्स्ट के एक लंबे अनुक्रम को संसाधित करता है, तो इसकी आंतरिक स्मृति अनंत रूप से नहीं बढ़ती या अराजकता में नहीं ढहती; यह एक विशिष्ट, सीमित स्तर तक बनती है और फिर वहीं रहती है। इसके मेमोरी मैट्रिक्स का ऊर्जा-समान संतुलन पूरी तरह से बंद हो जाता है, जिसका अर्थ है कि जो सूचना यह लिखता है वह लगभग उसी मात्रा में संतुलित होती है जितनी यह भूल जाता है, जिससे एक छोटा, स्थिर अवशेष बचता है।

यह स्थिरता मॉडल की आंतरिक संरचना द्वारा प्रबंधित की जाती है, जो विशेष फिल्टरों के एक सेट की तरह कार्य करती है। मॉडल के पास स्मृति को संभालने के लिए 48 विशिष्ट "हेड्स" (heads), या प्रोसेसिंग इकाइयाँ हैं। ये हेड्स सभी एक जैसे नहीं हैं; वे दो अलग-अलग टाइमस्केल्स (timescales) में व्यवस्थित हैं। आठ हेड्स का एक छोटा समूह दीर्घकालिक संरक्षक के रूप में कार्य करता है, जो लगभग पूरी तरह से खुले गेटों के साथ बहुत लंबे समय तक सूचना को थामे रखता है। दूसरा समूह सूचना को जल्दी भूल जाता है, जो शॉर्ट-टर्म बफ़र्स के रूप में कार्य करता है। बाकी इनके बीच में कहीं आते हैं। यह व्यवस्था मॉडल को बातचीत के लगभग 15 चरणों तक याद रखने की अनुमति देती है, जो एक सीमित विंडो है जो उपयोगी होने के लिए पर्याप्त लंबी है लेकिन सिस्टम को अभिभूत होने से बचाने के लिए पर्याप्त छोटी भी है। शोधकर्ताओं ने यह भी पुष्टि की कि मॉडल का व्यवहार 'पाथ-डिपेंडेंट' (path-dependent) है, जिसका अर्थ है कि घटनाओं का क्रम मायने रखता है, लेकिन यह अनंत नहीं है।

अध्ययन ने 'सेल्फ-ऑर्गनाइज्ड क्रिटिकैलिटी' (self-organized criticality) के संकेतों के लिए भी कड़ाई से परीक्षण किया, जो एक ऐसी घटना है जहाँ एक प्रणाली बिना किसी बाहरी ट्यूनिंग के स्वाभाविक रूप से एक क्रिटिकल अवस्था विकसित करती है, जो अक्सर गतिविधि के "हिमस्खलन" (avalavanches) उत्पन्न करती है। ली ने मॉडल की गतिविधि पैटर्न में इन हिमस्खलनों की तलाश की। जो गतिविधि के सिंक्रोनाइज्ड विस्फोटों (synchronized bursts) के रूप में दिखाई दिए, वे वास्तव में इनपुट का एक छल थे। जब मॉडल को शब्दों के एक दोहराव वाले, लयबद्ध अनुक्रम के साथ फीड किया गया, तो उसके हेड्स एक चक्र में लॉक हो गए, जो एक अनुमानित पैटर्न में एक साथ चलते हैं। यह कोई स्वतःस्फूर्त, अराजक हिमस्लखल नहीं था बल्कि इनपुट की लय के प्रति एक मजबूर प्रतिक्रिया थी, जैसे कि घड़ी की टिक-टिक। जब इनपुट रैंडम और गैर-दोहराव वाला था, तो ये सिंक्रोनाइज्ड इवेंट गायब हो गए। मॉडल अपनी स्वयं की क्रिटिकैलिटी उत्पन्न नहीं करता है; यह केवल उस ड्राइव (drive) के प्रति प्रतिक्रिया देता है जो उसे दी जाती है।

एक अन्य प्रमुख खोज एंट्रॉपी (entropy) की अवधारणा से संबंधित है, जो एक प्रणाली में विकार और ऊर्जा हानि का माप है। इस मॉडल जैसे एक नियतात्मक (deterministic) सिस्टम में, जहाँ परिणाम इनपुट और वेट्स (weights) द्वारा निर्धारित होता है, शोधकर्ताओं ने पाया कि एंट्रॉपी उत्पादन हमेशा सकारात्मक होता है। इसका अर्थ है कि सिस्टम लगातार एकतरफा दिशा में सूचना खो रहा है, जो बिल्कुल वही है जो एक स्थिर, डिसिपेटिव सिस्टम को करना चाहिए। शोधकर्ताओं ने एक प्रसिद्ध भौतिकी नियम जिसे 'फ्लक्चुएशन थ्योरम' (fluctuation theorem) कहा जाता है, लागू करने की कोशिश की, जिसके लिए आमतौर पर एक प्रणाली में पीछे की ओर चलने की संभावना होनी चाहिए। चूँकि यह मॉडल एक वन-वे स्ट्रीट है जिसमें कोई रिवर्स गियर नहीं है, इसलिए इस थ्योरम का मानक तरीके से परीक्षण नहीं किया जा सका। अपनी बात सिद्ध करने के लिए, उन्होंने एक सरल, रैंडम संस्करण वाला मॉडल बनाया जो पीछे की ओर चल सकता था, और उस संस्करण ने थ्योरम को संतुष्ट किया। इसने पुष्टि की कि प्रशिक्षित मॉडल का व्यवहार उसके विशिष्ट, वन-वे डिज़ाइन का परिणाम है, न कि भौतिकी की विफलता का।

शोधकर्ताओं ने यह भी देखा कि प्रशिक्षण चरण के दौरान मॉडल कैसे व्यवहार करता है, इससे पहले कि उसे उसकी अंतिम अवस्था में फ्रीज कर दिया जाए। उन्होंने पाया कि सूचना को याद रखने की आवश्यकता एक 'कॉज़ल फोर्स' (causal force) के रूप में कार्य करती है जो मॉडल की आंतरिक क्षय दर (decay rate) को स्थिरता के किनारे के करीब खींचती है। जब मॉडल को ऐसी कार्यक्षमता पर प्रशिक्षित किया गया जिसमें सूचना को थामे रखना आवश्यक था, तो इसकी आंतरिक स्पेक्ट्रल रेडियस (spectral radius)—जो यह मापता है कि संकेत कितनी तेज़ी से कम होते हैं—0.896 के सुरक्षित स्तर से बढ़कर 0.997 हो गई, जो उस बिंदु के बहुत करीब पहुँच गई जहाँ सिस्टम अस्थिर हो जाता। हालाँकि, इसने उस रेखा को कभी पार नहीं किया। एक मॉडल जिसे बिना स्मृति वाले कार्य पर प्रशिक्षित किया गया था, वह सुरक्षित रूप से 0.89 पर रहा। यह सुझाव देता है कि प्रशिक्षण प्रक्रिया मॉडल को स्वाभाविक रूप से यथासंभव स्थिर बनाने के लिए ट्यून करती है, ताकि वह अपना काम कर सके, और वह अराजकता के ठीक पहले रुक जाती है जो उसे बेकार बना सकती है।

अपनी पद्धतियों की शुद्धता सुनिश्चित करने के लिए, शोधकर्ताओं ने अपने विश्लेषण पाइपलाइन का परीक्षण गुरुत्वाकर्षण तरंगों (gravitational waves) के वास्तविक डेटा पर भी किया, जो टकराते हुए ब्लैक होल के कारण अंतरिक्ष-समय में उत्पन्न लहरें हैं। उन्होंने पाया कि जबकि उनके उपकरण तरंग की बढ़ती आवृत्ति का पता लगा सकते थे, वे विशेष फ़िल्टरिंग के बिना अंतिम "रिंगडाउन" (ringdown) समय को निकाल नहीं सके, जिससे पुष्टि हुई कि उनके दृष्टिकोण की सीमाएँ हैं और यह सभी जटिल डेटा के लिए कोई जादुई समाधान नहीं है। इस बाहरी जांच ने उनके शोध पत्र के मुख्य संदेश को पुख्ता किया: प्रशिक्षित भाषा मॉडल एक सुव्यवस्थित, सीमित-स्मृति वाली मशीन है। यह एक अराजक, स्व-संगठित इकाई नहीं है जो फेज ट्रांजिशन (phase transition) के कगार पर खड़ी है। यह एक ड्रिवन, डिसिपेटिव सिस्टम है जिसने एक आरामदायक, स्थिर संतुलन पा लिया है, जो कार्य करने के लिए पर्याप्त स्मृति थामे रखता है और कभी भी अज्ञात की ओर नहीं झुकता।