Self-attention is a Dyson equation for many-body machine learning
यह शोधपत्र यह प्रतिपादित करता है कि सेल्फ-अटेंशन (self-attention), टू-बॉडी सेल्फ-एनर्जी (two-body self-energy) वाले एक रियल-स्पेस डायसन समीकरण (real-space Dyson equation) के रूप में कार्य करता है, जिससे उन नॉनलोकल सहसंबंधों (nonlocal correlations) को पकड़ा जा सकता है जो उत्तेजित अवस्थाओं (excited states) और जटिल तरंग फलनों (complex wavefunctions) के मॉडलिंग के लिए आवश्यक हैं, जिन्हें सिमेट्रिक सम-पूलिंग (symmetric sum-pooling/DeepSets) अपने मीन-फील्ड (mean-field) सीमाओं के कारण दर्शाने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक विज्ञान के विशाल परिदृश्य में, उन मशीनों के भीतर एक शांत क्रांति हो रही है जो सीखती हैं। दशकों से, शोधकर्ता परमाणुओं और इलेक्ट्रॉनों के व्यवहार की नकल करने के लिए कृत्रिम बुद्धिमत्ता (AI) का निर्माण कर रहे हैं, इस उम्मीद में कि वे पदार्थ के सबसे मौलिक स्तर पर इसके व्यवहार की भविष्यवाणी कर सकें। ऐसा करने के लिए, वे गणितीय मॉडलों पर भरोसा करते हैं जो कणों को अंतरिक्ष में घूमने वाले व्यक्तिगत तत्वों के रूप में देखते हैं। हालाँकि, ब्रह्मांड शायद ही कभी अलग-थलग व्यक्तियों का संग्रह होता है; यह संबंधों का एक जाल है जहाँ प्रत्येक कण पास के प्रत्येक अन्य कण के खिंचाव और दबाव को महसूस करता है। चुनौती हमेशा यह रही है कि कंप्यूटर को इन जटिल, बदलते संबंधों को समझने के लिए कैसे सिखाया जाए, बिना इन अंतःक्रियाओं की अत्यधिक संख्या से अभिभूत हुए। लंबे समय तक, सबसे सफल दृष्टिकोण समस्या को सरल बनाना था, यानी एक सामान्य बोध प्राप्त करने के लिए विवरणों का औसत निकालना। यह कुछ कार्यों के लिए अच्छा काम करता था, जैसे कि एक स्थिर अणु की ऊर्जा की भविष्यवाणी करना, लेकिन जब सिस्टम जटिल हो जाता था, जैसे कि जब इलेक्ट्रॉन अत्यधिक सह-संबंधित (correlated) हो जाते हैं या जब कोई अणु उच्च ऊर्जा अवस्था में उत्तेजित होता है, तो यह बुरी तरह विफल हो जाता था। प्रश्न बना हुआ था: औसत निकालने की सरल विधि कुछ चीजों के लिए क्यों काम करती थी लेकिन दूसरों के लिए क्यों विफल हो जाती थी, और क्या किसी अलग प्रकार का मशीन लर्निंग आर्किटेक्चर इस पहेली को हल कर सकता था?
इंपीरियल कॉलेज लंदन के जारविस्ट मूर फ्रॉस्ट का एक नया अध्ययन दो स्पष्ट रूप से असंबंधित क्षेत्रों को जोड़कर एक आश्चर्यजनक उत्तर प्रदान करता है: कई परस्पर क्रिया करने वाले कणों का भौतिक विज्ञान और आधुनिक कृत्रिम बुद्धिमत्ता का आर्किटेक्चर। अनुसंधान से पता चलता है कि 'सेल्फ-अटेंशन' (self-attention) के रूप में ज्ञात एक विशिष्ट प्रकार का न्यूरल नेटवर्क घटक, केवल एक चतुर इंजीनियरिंग चाल नहीं है, बल्कि भौतिक दुनिया में कण कैसे परस्पर क्रिया करते हैं, उसका एक सीधा गणितीय प्रतिनिधित्व है। शोध पत्र तर्क देता है कि लोकप्रिय "सम-पूलिंग" (sum-pooling) पद्धति, जो सभी कणों से जानकारी का केवल औसत निकालती है, अनिवार्य रूप से एक सरलीकृत मॉडल है जो कणों के जोड़ों के बीच के विशिष्ट, मजबूत बंधों की अनदेखी करता है। जबकि यह औसत एक स्थिर प्रणाली की बुनियादी ऊर्जा की गणना के लिए काम करता है, यह उन जटिल, फ्रैक्टल जैसी पैटर्नों को धुंधला कर देता है जो कणों के कसकर जुड़े होने पर उभरते हैं। इसके विपरीत, सेल्फ-अटेंशन तंत्र, जो कंप्यूटर को एक कण के सापेक्ष दूसरे कण के महत्व को गतिशील रूप से तौलने की अनुमति देता है, इन जटिल, युग्मवार (pairwise) संबंधों को पकड़ने के लिए एक सटीक उपकरण के रूप में कार्य करता है।
इस विचार का परीक्षण करने के लिए, शोधकर्ता ने दो-आयामी स्थान में छह इलेक्ट्रॉनों के एक तंत्र को शामिल करते हुए एक सिमुलेशन डिजाइन किया। लक्ष्य मशीन लर्निंग मॉडल को एक विशिष्ट, अत्यधिक जटिल पैटर्न सिखाना था जिसे "फ्रैक्टल बैकफ्लो" (fractal backflow) कहा जाता है। यह पैटर्न बताता है कि कैसे एक इलेक्ट्रॉन की स्थिति अन्य सभी की उपस्थिति से तुरंत और जटिल रूप से बदल जाती है, जिससे एक ऐसा आकार बनता है जो विभिन्न पैमानों पर खुद को दोहराता है, ठीक वैसे ही जैसे एक फर्न की शाखाएं या किसी देश का तट। अध्ययन ने दो अलग-अलग दृष्टिकोणों की तुलना की। पहले में मानक औसत पद्धति का उपयोग किया गया, जो प्रत्येक कण को ऐसे मानती है जैसे वह एक समान, चिकनी पृष्ठभूमि से घिरा हुआ हो। दूसरे में सेल्फ-अटेंशन तंत्र का उपयोग किया गया, जो मॉडल को किसी भी दो कणों के बीच की विशिष्ट दूरी और संबंध पर तीव्रता से ध्यान केंद्रित करने की अनुमति देता है।
परिणाम स्पष्ट और निर्णायक थे। जब मॉडल ने औसत पद्धति का उपयोग किया, तो वह जटिल फ्रैक्टल संरचना को पकड़ने में पूरी तरह से विफल रहा। जटिल, दोहराते हुए पैटर्न की सूक्ष्म जेबों (pockets) को देखने के बजाय, मॉडल ने एक चिकना, विशेषताहीन धब्बा (blob) उत्पन्न किया। यह ऐसा था मानो मॉडल ने सभी तीखे किनारों और बारीक विवरणों को सुचारू कर दिया हो, जिससे केवल एक सामान्य आकार बचा हो जिसका वास्तविक भौतिकी से कोई मेल नहीं था। मॉडल उन विशिष्ट सहसंबंधों को बनाए रखने में असमर्थ रहा जो फ्रैक्टल आकार उत्पन्न करने के लिए आवश्यक थे। हालाँकि, जब शोधकर्ता ने औसत पद्धति को सेल्फ-अटेंशन तंत्र से बदल दिया, तो मॉडल ने तुरंत जटिल संरचना को पुनः प्राप्त कर लिया। इसने उन नेस्टेड, स्व-समान जेबों और तीखे, जटिल सीमाओं को सफलतापूर्वक पुन: निर्मित किया जो फ्रैक्टल पैटर्न को परिभाषित करते हैं।
अध्ययन यह समझाने के लिए आगे बढ़ता है कि ऐसा क्यों होता है जब कण एक-दूसरे के करीब आते हैं। वास्तविक भौतिक प्रणाली में, जब दो कण एक-दूसरे के करीब आते हैं, तो उनके बीच का बल नाटकीय और तात्कालिक रूप से बदल जाता है, जबकि दूर के कणों पर प्रभाव छोटा रहता है। हालाँकि, औसत मॉडल अलग तरह से व्यवहार करता है। जब दो कण पास आते हैं, तो मॉडल गलत तरीके से इस तीव्र स्थानीय परिवर्तन को सिस्टम के प्रत्येक कण तक प्रसारित कर देता है, जैसे कि पूरे समूह को एक ही मात्रा में झकझोरा गया हो। इससे एक "क्रॉसटॉक" (crosstalk) त्रुटि पैदा होती है जहाँ दूर के कण एक स्थानीय घटना से गलत तरीके से प्रभावित होते हैं। इसके विपरीत, सेल्फ-अटेंशन मॉडल, तीव्र अंतःक्रिया को केवल शामिल दो कणों तक सीमित रखकर, दूर के कणों को अप्रभावित छोड़ देता है। स्थानीय, मजबूत अंतःक्रियाओं और दूरस्थ, कमजोर अंतःक्रियाओं के बीच अंतर करने की यह क्षमता ही सेल्फ-अटेंशन मॉडल को सिस्टम के वास्तविक, जटिल व्यवहार के पुनर्निर्माण करने की अनुमति देती है।
शोध पत्र निष्कर्ष निकालता है कि यह सफलता कोई संयोग नहीं है। यह सुझाव देता है कि क्योंकि भौतिकी के मौलिक नियम कणों के जोड़ों के बीच की अंतःक्रियाओं पर आधारित हैं, इसलिए इन प्रणालियों को मॉडल करने का सबसे प्रभावी तरीका एक ऐसे उपकरण का उपयोग करना है जो सीधे उन युग्मवार अंतःक्रियाओं की गणना करने के गणितीय रूप से समकक्ष हो। सेल्फ-अटेंशन तंत्र, जिसमें किसी सेट की किन्हीं भी दो वस्तुओं के बीच के संबंध को गतिशील रूप से तौलने की क्षमता है, इस काम के लिए एकदम सही उपकरण साबित होता है। यह प्रभावी रूप से 'डायसन इटरेशन' (Dyson iteration) नामक एक जटिल गणितीय ऑपरेशन करता है, जो भौतिकी में यह वर्णन करने का एक मानक तरीका है कि भीड़भाड़ वाले वातावरण में कण एक-दूसरे को कैसे प्रभावित करते हैं। अध्ययन दर्शाता है कि जहाँ साधारण औसत उन कार्यों के लिए पर्याप्त है जहाँ कण स्वतंत्र रूप से कार्य करते हैं या जहाँ केवल स्थानीय ऊर्जा मायने रखती है, वहीं यह जटिल क्वांटम पदार्थ को परिभाषित करने वाले समृद्ध, गैर-स्थानीय सहसंबंधों को पकड़ने में मौलिक रूप से अक्षम है।
यह खोज आर्टिफिशियल इंटेलिजेंस में अटेंशन-आधारित मॉडलों के हालिया प्रभुत्व के लिए एक गहरा सैद्धांतिक कारण प्रदान करती है। यह सुझाव देती है कि इन मॉडलों के इतने विभिन्न भौतिक प्रणालियों में इतना अच्छा काम करने का कारण यह है कि वे स्वाभाविक रूप से उसी तरह से संरेखित हैं जैसे ब्रह्मांड बना है। वे केवल पैटर्न पहचान में अच्छे नहीं हैं; वे संरचनात्मक रूप से उन विशिष्ट युग्मवार कनेक्शनों को संभालने के लिए डिज़ाइन किए गए हैं जो पदार्थ के व्यवहार को नियंत्रित करते हैं। उन वैज्ञानिकों के लिए जो पदार्थ की सबसे जटिल अवस्थाओं को समझने की कोशिश कर रहे हैं, जैसे कि सुपरकंडक्टर में इलेक्ट्रॉनों का व्यवहार या उत्तेजित अणुओं की गतिशीलता, अध्ययन संकेत देता है कि आगे का रास्ता इन युग्मवार अंतःक्रियाओं को मिटाने के बजाय उन्हें अपनाने में निहित है। मशीन लर्निंग में अटेंशन की "अतार्किक प्रभावशीलता" (unreasonable effectiveness), इस दृष्टिकोण से, केवल इस बात की पहचान है कि जोड़ों से बने ब्रह्मांड में, जोड़ों पर ध्यान केंद्रित करने की क्षमता ही वास्तव में पर्याप्त है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।