Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures
यह शोध पत्र यह प्रदर्शित करता है कि मौलिक रूप से भिन्न सूक्ष्म तंत्रों के बावजूद, ट्रांसफॉर्मर और मम्बा दोनों आर्किटेक्चर एक साझा, निकट-सीमांत इन्फ्रारेड सामूहिक गतिकी विकसित करते हैं जो एक स्लो-मोड निरंतरता (slow-mode continuum) द्वारा अभिलक्षित है, जिससे ट्रांसफॉर्मर से परे ऐसे संगठन की सार्वभौमिकता का विस्तार होता है और कॉग्निटिव फील्ड थ्योरी के अनुमानों को समर्थन मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, शोधकर्ता लंबे समय से यह समझने की कोशिश कर रहे हैं कि मशीनें याद रखना कैसे सीखती हैं। सूचना के अनुक्रमों (sequences), जैसे कि एक वाक्य में शब्दों या वीडियो के फ्रेम को संभालने के लिए दो प्रमुख मॉडल परिवार उभरे हैं। पहला परिवार, जिसे 'ट्रांसफॉर्मर' (Transformers) के रूप में जाना जाता है, 'सेल्फ-अटेंशन' नामक एक तंत्र पर निर्भर करता है, जो मॉडल को सूचना के हर टुकड़े को दूसरे हर टुकड़े के सापेक्ष महत्व देने की अनुमति देता है। दूसरा परिवार, जिसका प्रतिनिधित्व 'मैम्बा' (Mamba) जैसे नए मॉडलों द्वारा किया जाता है, 'स्टेट-स्पेस डायनेमिक्स' (state-space dynamics) पर आधारित एक अलग दृष्टिकोण का उपयोग करता है, जहाँ मॉडल एक आंतरिक अवस्था (internal state) बनाए रखता है जो समय के साथ विकसित होती है, और प्रत्येक नए डेटा को संसाधित करते समय अपनी स्मृति को अपडेट करती है। वर्षों से, वैज्ञानिक यह सोचते आए हैं कि क्या समय और स्मृति के बारे में सोचने के ये दो मौलिक रूप से भिन्न तरीके वास्तव में मशीन के भीतर एक ही अंतर्निहित व्यवहार की ओर ले जा सकते हैं। यह प्रश्न महत्वपूर्ण है क्योंकि यदि विभिन्न आर्किटेक्चर एक ही पैटर्न पर अभिसरित (converge) होते हैं, तो यह सुझाव देता है कि सीखने और याद रखने की क्षमता केवल डिजाइनरों के विशिष्ट इंजीनियरिंग विकल्पों के बजाय सार्वभौमिक सिद्धांतों द्वारा नियंत्रित होती है।
एक शोधकर्ता ने यह देखने के लिए कि मैम्बा मॉडल की स्मृति वास्तव में कैसे कार्य करती है, इस विचार का परीक्षण करने का निश्चय किया। उन्होंने एक विशिष्ट गुण पर ध्यान केंद्रित किया जिसे "टाइम-स्केल डेंसिटी ऑफ स्टेट्स" (time-scale density of states) कहा जाता है, जो अनिवार्य रूप से एक मानचित्र है जो यह दर्शाता है कि मॉडल के पास स्मृति की कितनी अलग-अलग गति (speeds) मौजूद हैं। एक पुस्तकालय की कल्पना करें जहाँ पुस्तकें विषय के आधार पर नहीं, बल्कि इस आधार पर वर्गीकृत की जाती हैं कि वे पाठक के मन से कितनी जल्दी ओझल होती हैं। कुछ पुस्तकें सेकंडों में विस्मृत हो जाती हैं, कुछ मिनटों में, और कुछ वर्षों तक बनी रहती हैं। शोधकर्ता यह देखना चाहते थे कि मैम्बा मॉडल में इन "लुप्त होने वाली गतियों" (fading speeds) का वितरण कैसा है। वे जानते थे कि मैम्बा में स्मृति का एक अंतर्निहित तंत्र है जिसे परतों में परखा जा सकता है: पहले, इसके डिज़ाइन में एनकोडेड कच्ची, आंतरिक स्मृति की गति; दूसरा, विशिष्ट इनपुट के आधार पर वे गतियाँ कैसे बदलती हैं; और अंत में, सभी जटिल गणनाओं के पूरा होने के बाद पूरे ब्लॉक की सामूहिक स्मृति गति।
शोधकर्ता ने पाया कि ये तीन परतें एक समान नहीं हैं। मैम्बा मॉडल की कच्ची आंतरिक स्मृति गतियों की एक विस्तृत श्रृंखला के साथ शुरू होती है, लेकिन जैसे-जैसे मॉडल सूचना को संसाधित करता है, यह जो कुछ भी पढ़ रहा होता है उसके आधार पर इन गतियों को चुनिले ढंग से पुनर्गठित (rescale) करता है। यह इनपुट-निर्भर समायोजन मैम्बा की एक अनूठी विशेषता है, जो इसे संदर्भ के आधार पर अपनी आंतरिक घड़ी को धीमा करने या तेज करने की अनुमति देता है। हालाँकि, सबसे आश्चर्यजनक खोज तब हुई जब शोधकर्ता ने पूरे मॉडल ब्लॉक के अंतिम, सामूहिक आउटपुट को देखा। इसके भीतर गतियों के जटिल पुनर्गठन के बावजूद, अंतिम परिणाम एक बहुत ही विशिष्ट, स्थिर पैटर्न में स्थिर हो गया। जब उन्होंने विभिन्न अनुक्रम लंबाई (sequence lengths) के माध्यम से स्मृति की गति को मापा, तो उन्होंने पाया कि मॉडल ने लगातार बहुत धीमी स्मृतियों की एक विस्तृत, निरंतर श्रेणी विकसित की। ये धीमी स्मृतियाँ गायब नहीं हुईं; इसके बजाय, उन्होंने एक सुचारू, पूर्वानुमेय निरंतरता (continuum) बनाई जो लंबे अनुक्रमों को संसाधित करने के साथ अधिक स्पष्ट और सुपरिभाषित होती गई।
यह समझने के लिए कि क्या यह मैम्बा के डिज़ाइन की एक विचित्रता थी या बुद्धिमान प्रणालियों का एक सामान्य नियम, शोधकर्ता ने अपने निष्कर्षों की तुलना 'ट्रांसफॉर्मर' मॉडलों के व्यवहार से की। ट्रांसफॉर्मर के पास मैम्बा की तरह समान आंतरिक स्टेट-स्पेस मशीनरी नहीं होती है; वे अटेंशन तंत्र पर भरोसा करते हैं। फिर भी, जब शोधकर्ता ने ट्रांसफॉर्मर की सामूहिक स्मृति गति को मापा, तो उन्हें एक आश्चर्यजनक रूप से समान पैटर्न मिला। दोनों आर्किटेक्चर, सूचना को संसाधित करने के लिए पूरी तरह से अलग सूक्ष्म विधियों का उपयोग करने के बावजूद, स्मृति की गतियों के लगभग सपाट वितरण को विकसित करते हैं जो बहुत धीमी, लंबी अवधि की स्मृतियों की ओर थोड़ा झुका हुआ था। भौतिकी की भाषा में, यह एक "नियर-मार्जिनल" (near-marginal) अवस्था है, जिसका अर्थ है कि मॉडल अनंत स्मृति के किनारे पर स्थित है, जिससे यह जानकारी को लंबे समय तक बनाए रखने में सक्षम होता है बिना उसमें फंस जाए।
यह अध्ययन पुष्टि करता है कि यह धीमी-स्मृति संगठन केवल एक विशिष्ट प्रकार के न्यूरल नेटवर्क की विशेषता नहीं है। शोधकर्ता ने दिखाया कि भले ही मैम्बा स्पष्ट रूप से ट्रांसफॉर्मर की तुलना में एक अलग गणितीय संरचना का उपयोग करके अपनी स्मृति बनाता है, दोनों सिस्टम अंततः अपनी सामूहिक गतिशीलता को एक ही तरह से व्यवस्थित करते हैं। उन्होंने पाया कि मैम्बा मॉडल का स्मृति व्यवहार एक विशिष्ट मान के आसपास स्थिर होता है, जो एक मजबूत, प्रतिलिपि योग्य (reproducible) पैटर्न को दर्शाता है जो अनुक्रम की लंबाई के बावजूद उभरता है, बशर्ते कि अनुक्रम पर्याप्त लंबा हो ताकि पूरी तस्वीर सामने आ सके। यह बताता है कि दीर्घकालिक स्मृति बनाए रखने की क्षमता सीखा गया एक मौलिक गुण है, जो स्वाभाविक रूप से विभिन्न आर्किटेक्चरल रूपों में उत्पन्न होता है। ये निष्कर्ष हमारी समझ को बढ़ाते हैं कि आर्टिफिशियल इंटेलिजेंस कैसे काम करता है, यह दिखाते हुए कि डिज़ाइन के सतही अंतरों के नीचे, ये शक्तिशाली मॉडल समय और स्मृति को संभालने के लिए एक समान, गहरे ढांचे को साझा करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।