Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics
यह शोध पत्र मात्रात्मक प्रयोगात्मक साक्ष्य प्रदान करता है कि ट्रांसफॉर्मर की गतिशीलता इन्फ्रारेड सामूहिक संगठन (infrared collective organization) के एक सार्वभौमिक सिद्धांत द्वारा शासित होती है, जहाँ सीखना धीमी विश्रांति मोड (slow relaxation modes) के संचय के माध्यम से स्मृति को बढ़ाने और विस्मृति को कम करने के लिए समय-पैमाने के अवस्था घनत्व (time-scale density of states) को पुनर्गठित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, डिजिटल मस्तिष्क की कल्पना करें जो अरबों छोटे स्विचों से बना है, जिसे 'ट्रांसफॉर्मर' (Transformer) के रूप में जाना जाता है। लंबे समय तक, वैज्ञानिकों ने सोचा कि ये मस्तिष्क एक साधारण असेंबली लाइन की तरह काम करते हैं: एक चरण दूसरे चरण की ओर ले जाता है, और "बुद्धिमत्ता" बस अंत में उभर आती है। लेकिन एक नया अध्ययन बताता है कि इसके भीतर कुछ बहुत ही विचित्र घटित हो रहा है। यह पता चला है कि ये मॉडल केवल डेटा को प्रोसेस नहीं कर रहे हैं; वे एक सामूहिक संज्ञानात्मक क्षेत्र (collective cognitive field) का निर्माण कर रहे हैं, जो एक प्रकार का अदृश्य, साझा मानसिक वातावरण है जो एक विशिष्ट प्रकार के भौतिक नृत्य के माध्यम से खुद को व्यवस्थित करता है।
द ग्रेट स्लो-डाउन पार्टी (The Great Slow-Down Party)
यह समझने के लिए कि क्या हो रहा है, मस्तिष्क की आंतरिक गतिविधि को धावकों की एक विशाल भीड़ के रूप में कल्पना करें। प्रशिक्षण के बिल्कुल प्रारंभ में (जब मॉडल "जन्म" लेता है), धावक हर जगह बिखरे हुए होते हैं। कुछ बहुत तेज़ दौड़ रहे हैं, कुछ जॉगिंग कर रहे हैं, और कुछ बस खड़े हैं। यह अराजक है।
जैसे-जैसे मॉडल सीखता है, कुछ अजीब होता है। तेज़ दौड़ने वाले केवल तेज़ ही नहीं होते; वे धीमे होने लगते हैं। वे में से अधिक से अधिक लोग "इन्फ्रारेड" ज़ोन की ओर बढ़ने लगते हैं—जो भौतिकी का एक फैंसी शब्द है सबसे धीमी, सबसे आरामदायक स्पेक्ट्रम के लिए। यह ऐसा है जैसे पूरी भीड़ अचानक दौड़ने के बजाय बैठने और एक लंबी, गहरी बातचीत करने का निर्णय ले लेती है।
शोधकर्ताओं ने इसे "जैकबियन स्पेक्ट्रम" (Jacobian spectrum) को देखकर मापा, जो मूल रूप से इस बात का एक स्नैपशॉट है कि मॉडल की आंतरिक स्थिति एक परत से दूसरी परत में कैसे बदलती है। उन्होंने पाया कि जैसे-जैसे प्रशिक्षण आगे बढ़ता है, मॉडल केवल स्मार्ट ही नहीं होता; बल्कि वह अपनी पूरी आंतरिक लय को पुनर्गठित करता है। "टाइम-स्केल डेंसिटी ऑफ स्टेट्स" (TDOS)—जो यह गिनने का एक तरीका है कि कितने 'स्लो मोड्स' मौजूद हैं—धीमे क्षेत्र में लगभग सपाट हो जाता है। इसका अर्थ है कि मॉडल धीमी रिलैक्सेशन मोड्स की एक श्रेणी (hierarchy of slow relaxation modes) का निर्माण करता है। यह केवल एक धीमी स्मृति नहीं है; यह उन कई मोड्स का एक ऑर्केस्ट्रा है, जो एक साथ गूँज रहे हैं।
"क्रिटिकल" क्षण: एक रेखा नहीं, एक शिखर
यहाँ कहानी का सबसे आश्चर्यजनक हिस्सा है। आप उम्मीद कर सकते हैं कि जैसे-जैसे मॉडल सीखता है, उसकी "स्मृति शक्ति" एक सीधी रेखा में लगातार मजबूत होती जाती है। लेकिन शोध दिखाता है कि ऐसा नहीं होता है।
इसके बजाय, मॉडल की "मेमोरी सेल्फ-एनर्जी" (एक माप कि अतीत वर्तमान को कितना प्रभावित करता है) प्रशिक्षण के बिल्कुल प्रारंभ में तेजी से ऊपर की ओर बढ़ती है। यह स्टेप 2,000 के आसपास एक स्पष्ट क्षणिक अधिकतम (pronounced transient maximum) तक पहुँचती है। इस सटीक क्षण पर, मॉडल एक "क्रिटिकल" अवस्था में होता है। इसे एक रस्सी पर चलने वाले (tightrope walker) के रूप में सोचें जो तार के बीच में बिल्कुल सही संतुलन बनाए हुए है। "कॉग्निटिव फॉरगेटिंग गैप" (याद रखने और भूलने के बीच की दूरी) अपने सबसे छोटे बिंदु पर सिमट जाता है, और जानकारी के प्रति प्रतिक्रिया करने की मॉडल की क्षमता ("कलेक्टिव ससेप्टिबिलिटी") बहुत बड़ी हो जाती है।
लेकिन यहाँ मोड़ है: मॉडल इस शिखर पर नहीं रुकता। उस अधिकतम स्तर पर पहुँचने के बाद, मेमोरी सेल्फ-एनर्जी वास्तव में थोड़ा नीचे गिर जाती है और एक स्थिर, "मेटास्टेबल नियर-क्रिटिकल" (metastable near-critical) शासन में बस जाती है। यह ऐसा है जैसे रस्सी पर चलने वाला व्यक्ति शिखर के ठीक नीचे एक सुरक्षित, आरामदायक स्थान पा लेता है जहाँ वह बिना गिरे लंबे समय तक खड़ा रह सकता है। शोध का तर्क है कि यह क्षणिक क्रिटिकल फॉर्मेशन (transient critical formation) वह मुख्य क्षण है जहाँ "संज्ञानात्मक क्षेत्र" का जन्म होता है, और फिर मॉडल एक संरक्षित अवस्था में स्थिर हो जाता है जो दीर्घकालिक स्मृति के लिए तैयार होती है।
सार्वभौमिक नियम: 1 ओवर टाइम (1 Over Time)
एक बार जब यह क्षेत्र बन जाता है, तो मॉडल एक बहुत ही विशिष्ट प्रकार की स्मृति विकसित करता है। अधिकांश प्रणालियाँ चीजों को जल्दी भूल जाती हैं, जैसे छेद वाला बाल्टी। लेकिन यह मॉडल चीजों को इस तरह याद रखता है जो एक यूनिवर्सल पावर लॉ (universal power law) का पालन करता है।
"मेमोरी कर्नेल" (अतीत भविष्य को कैसे प्रभावित करता है) नियम का पालन करता है। इसका मतलब है कि स्मृति तेजी से (exponentially) खत्म नहीं होती; यह धीरे-धीरे कम होती है, एक लंबी गूँज की तरह जो कभी पूरी तरह से गायब नहीं होती। यह पूरे नेटवर्क में होता है, पहली परत से लेकर अंतिम परत तक, और यह इस बात पर निर्भर नहीं करता कि मॉडल कितना बड़ा है।
उन्होंने इसे तीन अलग-अलग आकार के मॉडलों पर परखा: 70M, 410M, और 1.4B पैरामीटर्स। भले ही ये मॉडल आकार में बहुत भिन्न थे, उन सभी ने एक ही नृत्य किया। उन सभी ने एक ही स्लो-मोड पदानुक्रम बनाया, वे सभी मेमोरी सेल्फ-एनर्जी में उसी क्षणिक शिखर तक पहुँचे, और वे सभी एक ही मेमोरी पैटर्न में बस गए। यह सुझाव देता है कि यह "इन्फ्रारेड ऑर्गनाइजेशन" किसी विशिष्ट मॉडल की कोई खामी नहीं है; यह इन प्रणालियों के सीखने का एक सार्वभौमिक सिद्धांत (universal principle) है।
यह क्या नहीं है
शोध पत्र इस बारे में बहुत स्पष्ट है कि यह क्या नहीं है। यह इस विचार को खारिज करता है कि बुद्धिमत्ता केवल व्यक्तिगत न्यूरॉन्स के सक्रिय होने का एक समूह है या एक सरल अनुकूलन प्रक्रिया है जहाँ मॉडल बस एक सीधी रेखा में "बेहतर" होता जाता है। यह इस विचार को भी खारिज करता है कि मॉडल स्मृति के लिए एक एकल, प्रमुख "स्लो टाइम" विकसित करता है। इसके बजाय, यह कई अलग-अलग धीमी गति के एक विस्तृत, निरंतर वितरण का मामला है जो मिलकर काम करते हैं।
निष्कर्ष (The Bottom Line)
अध्ययन ने इन गतिकी (dynamics) को पाइथिया (Pythia) लैंग्वेज मॉडल्स (मुख्य डेटा के लिए विशेष रूप से 410M संस्करण के साथ, 70M और 1.4B की तुलना के लिए) का उपयोग करके सीधे मापा। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने मॉडल के अपने गणित से रिलैक्सेशन रेट की गणना की और पाया कि संख्याएँ "कॉग्निटिव फील्ड थ्योरी" के अनुमानों से मेल खाती हैं।
साक्ष्य बताते हैं कि ट्रांसफॉर्मर लर्निंग इन्फ्रारेड कलेक्टिव ऑर्गनाइजेशन द्वारा शासित है। मॉडल केवल तथ्यों को याद नहीं करता; वह अपनी आंतरिक भौतिकी को एक साझा, धीमी गति वाले स्मृति क्षेत्र को बनाने के लिए पुनर्गठित करता है। यह शुरुआत में एक क्रिटिकल पीक पर पहुँचता है, फिर एक स्थिर, नियर-क्रिटिकल अवस्था में बस जाता है जहाँ वह जानकारी को लंबे समय तक थामे रख सकता है, जो कि एक स्केलिंग कानून का पालन करता है जो मॉडल छोटा हो या बहुत बड़ा, समान रूप से काम करता है। यह पहला मात्रात्मक प्रायोगिक प्रमाण प्रदान करता है कि ये विशाल AI सिस्टम केवल विशाल कैलकुलेटर नहीं, बल्कि जटिल, सामूहिक भौतिक प्रणालियों की तरह व्यवहार कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।