E2Former-V2: On-the-Fly Equivariant Attention with Linear Activation Memory
E2Former-V2 एक स्केलेबल इक्विवेरिएंट ग्राफ न्यूरल नेटवर्क आर्किटेक्चर है जो इक्विवेरिएंट एक्सिस-अलाइन्ड स्पारसिफिकेशन और ऑन-द-फ्लाई इक्विवेरिएंट अटेंशन मैकेनिज्म पेश करके मुख्यधारा के मॉडल्स की कम्प्यूटेशनल बाधाओं को दूर करता है, जिससे 3D एटोमिस्टिक सिस्टम्स पर प्रेडिक्टिव परफॉरमेंस बनाए रखते हुए 20-गुना TFLOPS सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि लोगों की एक विशाल भीड़ (परमाणु) एक कमरे में कैसे चलेगी और आपस में कैसे क्रिया करेगी। रसायन विज्ञान और भौतिकी की दुनिया में, इसे "एटोमिस्टिक मॉडलिंग" (atomistic modeling) कहा जाता है। लंबे समय से, वैज्ञानिक एक विशेष प्रकार के AI का उपयोग करते आए हैं जिसे इक्विवेरिएंट ग्राफ न्यूरल नेटवर्क (Equivariant Graph Neural Network - EGNN) कहा जाता है। ये नेटवर्क बेहतरीन हैं क्योंकि वे समझते हैं कि यदि पूरे कमरे को घुमाया जाए, तो उसके अंदर की भौतिकी नहीं बदलनी चाहिए।
हालाँकि, इन नेटवर्कों के वर्तमान संस्करणों के साथ एक बड़ी समस्या है: जब भीड़ बड़ी हो जाती है, तो वे भद्दे और धीमे हो जाते हैं।
यहाँ इस पेपर का समाधान, E2Former-V2, रोजमर्रा के उदाहरणों का उपयोग करके दिया गया है।
समस्या: "एज-सेंट्रिक" (Edge-Centric) ट्रैफिक जाम
एक ऐसी पार्टी की कल्पना करें जहाँ हर कोई अपने पड़ोसियों से बात करना चाहता है।
- पुराना तरीका (पारंपरिक EGNNs): सिस्टम पार्टी में होने वाली हर एक बातचीत की एक विशाल, भौतिक सूची बनाता है। यदि 1,000 लोग हैं, और प्रत्येक 50 पड़ोसियों से बात करता है, तो सिस्टम को गणित करने से पहले एक विशाल व्हाइटबोर्ड (मेमोरी) पर 50,000 अलग-अलग बातचीत के नोट्स लिखने पड़ते हैं।
- रुकावट (The Bottleneck): जैसे-जैसे पार्टी बढ़ती है (अधिक परमाणु), यह व्हाइटबोर्ड इतना बड़ा हो जाता है कि कंप्यूटर के पास जगह खत्म हो जाती है। यह वास्तव में सोचने के बजाय इन नोट्स को इधर-उधर व्यवस्थित करने में अपना सारा समय बिता देता है। यही कारण है कि पुराने मॉडल बड़े अणुओं (जैसे प्रोटीन) का अनुकरण करते समय क्रैश हो जाते हैं या बहुत धीमे हो जाते हैं।
समाधान: E2Former-V2
लेखकों ने एक नया सिस्टम बनाया है जो हर एक बातचीत का नोट लिखना बंद कर देता है। इसके बजाय, यह प्रक्रिया को बिजली की तरह तेज़ बनाने के लिए दो चतुर तरीकों का उपयोग करता है।
ट्रिक 1: "जादुई दिशा-सूचक यंत्र" (Equivariant Axis-Aligned Sparsification)
पुराने सिस्टम में, परमाणुओं के बीच होने वाली क्रियाओं की गणना करना एक ऐसे पहेली को हल करने जैसा है जहाँ हर टुकड़ा किसी भी दिशा में घूम सकता है। यह अव्यवस्थित है और इसमें बहुत अधिक गणित की आवश्यकता होती है।
- उदाहरण: कल्पना कीजिए कि आपके पास एक जटिल 3D पहेली है। इसे घुमाते हुए हल करने के बजाय, आप एक "जादुक दिशा-सूचक यंत्र" (Magic Compass) का उपयोग करते हैं ताकि पूरी पहेली को इस तरह घुमाया जा सके कि एक विशिष्ट टुकड़ा हमेशा सीधा ऊपर की ओर इशारा करे।
- परिणाम: एक बार जब पहेली संरेखित (align) हो जाती है, तो अधिकांश हिस्से खाली या शून्य हो जाते हैं। अब आपको खाली हिस्सों पर गणित करने की आवश्यकता नहीं है। यह पेपर इसे EAAS कहता है। यह एक अव्यवस्थित, घने (dense) कैलकुलेशन को एक सरल "री-इंडेक्सिंग" खेल (केवल टुकड़ों को इधर-उधर ले जाना) में बदल देता है, जो बहुत तेज़ है।
ट्रिक 2: "स्ट्रीमिंग शेफ" (On-the-Fly Equivariant Attention)
यह सबसे बड़ी सफलता है।
- पुराना तरीका (बफे/Buffet): पुराना सिस्टम पूरी बफे (सभी 50,000 बातचीत के नोट्स) तैयार करता है और किसी के भी खाने से पहले उसे मेज पर रख देता है। यदि मेज बहुत छोटी है, तो खाना गिर जाता है, और पार्टी रुक जाती है।
- नया तरीका (स्ट्रीमिंग शेफ): नया सिस्टम, E2Former-V2, एक ऐसे शेफ की तरह काम करता है जो ग्राहक के सामने एक बार में एक प्लेट खाना बनाता है और उसे तुरंत परोसता है।
- यह नोट्स नहीं लिखता है।
- यह पूरी सूची को स्टोर नहीं करता है।
- यह दो लोगों के बीच की बातचीत की गणना करता है, परिणाम को अंतिम स्कोर में जोड़ता है, और फिर अगले जोड़े के लिए जगह बनाने के लिए विवरणों को तुरंत भूल जाता है।
- परिणाम: इसे "ऑन-द-फ्लाई" (On-the-Fly) प्रोसेसिंग कहा जाता है। क्योंकि यह कभी भी विशाल व्हाइटबोर्ड नहीं बनाता, इसलिए यह लगभग न के बराबर मेमोरी का उपयोग करता है। यह सब कुछ कंप्यूटर के सुपर-फास्ट इंटरनल कैश (SRAM) में फिट कर देता है, जिससे यह पुराने तरीकों की तुलना में 20 गुना तेज़ हो जाता है।
उन्होंने वास्तव में क्या हासिल किया
लेखकों ने इस नए सिस्टम का परीक्षण दो मुख्य चीजों पर किया:
- छोटे अणु (SPICE): उन्होंने दवा जैसे अणुओं का परीक्षण किया। नया सिस्टम मौजूदा सर्वोत्तम मॉडलों जितना ही सटीक था, लेकिन बहुत तेज़ था।
- विशाल अणु (OMol25): उन्होंने विशाल रासायनिक संरचनाओं का परीक्षण किया।
- सीमा (The Limit): पुराने मॉडल 10,000 से अधिक परमाणुओं वाले सिस्टम का अनुकरण करते समय क्रैश हो जाते थे (मेमोरी खत्म हो जाने के कारण)।
- जीत (The Win): E2Former-V2 बिना क्रैश हुए 100,000 परमाणुओं वाले सिस्टम का सफलतापूर्वक अनुकरण करने में सफल रहा।
उल्लेखित वास्तविक दुनिया के परीक्षण
लेखकों ने केवल नंबर नहीं चलाए; उन्होंने वास्तविक भौतिकी का अनुकरण किया:
- तरल जल (Liquid Water): उन्होंने पानी के अणुओं के एक बॉक्स का अनुकरण किया। नए मॉडल ने भविष्यवाणी की कि पानी के अणु खुद को कैसे व्यवस्थित करते हैं (रेडियल डिस्ट्रीब्यूशन फंक्शन), जो वास्तविक दुनिया के प्रयोगों के लगभग समान था, और यह पिछले मॉडलों की तुलना में वास्तविक प्रयोगों के साथ बेहतर मेल खाता है।
- प्रोटीन (Proteins): उन्होंने पानी में तैरते हुए एक बड़े प्रोटीन (लगभग 30,000 परमाणु) का अनुकरण किया। मॉडल ने प्रोटीन को स्थिर रखा और इसे एक ऐसे आकार में फोल्ड होने में मदद की जो वास्तविक प्रयोगात्मक डेटा से मेल खाता है, जिससे यह साबित होता है कि यह जटिल जैविक संरचनाओं को संभाल सकता है।
सारांश
E2Former-V2 एक ऐसे सिस्टम से अपग्रेड करने जैसा है जो एक विशाल, धीमे व्हाइटबोर्ड पर हर एक बातचीत लिखने के बजाय, एक स्मार्ट शेफ की तरह एक-एक करके बातचीत को तुरंत पकाकर परोसता है। यह वैज्ञानिकों को मानक कंप्यूटरों पर बिना मेमोरी खत्म किए विशाल आणविक प्रणालियों (जैसे बड़े प्रोटीन) का अनुकरण करने की अनुमति देता है, जबकि भौतिकी की सटीकता को बनाए रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।