🧬 biology

Learning Inter-Atomic Potentials without Explicit Equivariance

यह शोध पत्र TransIP को प्रस्तुत करता है, जो एक नवीन ट्रांसफॉर्मर-आधारित ढांचा है जो स्पष्ट रूप से समरूपता संबंधी वास्तुशिल्प बाधाओं या डेटा संवर्धन पर निर्भर रहने के बजाय एम्बेडिंग स्पेस अनुकूलन के माध्यम से SO(3)-इक्विवैरिएंस (समरूपता) सीखकर मशीन-लर्नड इंटर-एटॉमिक पोटेंशियल में अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Ahmed A. Elhag, Arun Raja, Alex Morehead, Samuel M. Blau, Hongtao Zhao, Christian Tyrchan, Eva Nittinger, Garrett M. Morris, Michael M. Bronstein

प्रकाशित 2026-04-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ahmed A. Elhag, Arun Raja, Alex Morehead, Samuel M. Blau, Hongtao Zhao, Christian Tyrchan, Eva Nittinger, Garrett M. Morris, Michael M. Bronstein

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

यहाँ TransIP पेपर का सरल भाषा, उपमाओं और रूपकों का उपयोग करते हुए विवरण दिया गया है।

बड़ी समस्या: अदृश्य दुनिया का अनुकरण (Simulating the Invisible World)

कल्पना कीजिए कि आप एक शेफ हैं जो एक बेहतरीन केक बनाने की कोशिश कर रहे हैं। इसे करने के लिए, आपको यह जानना होगा कि हर सामग्री (मैदा, चीनी, अंडे) एक-दूसरे के साथ कैसे क्रिया करती है। रसायन विज्ञान की दुनिया में, वैज्ञानिक यह काम अणुओं (molecules) के साथ करते हैं। वे यह समझने के लिए सिमुलेशन करना चाहते हैं कि परमाणु कैसे आपस में जुड़ते हैं, टूटते हैं या चलते हैं, ताकि नई दवाओं या सामग्रियों की खोज की जा सके।

इसे करने के लिए "गोल्ड स्टैंडर्ड" (सर्वश्रेष्ठ मानक) डेंसिटी फंक्शनल थ्योरी (DFT) नामक एक अत्यंत जटिल गणितीय सूत्र है। यह एक मास्टर शेफ होने जैसा है जो हर एक कण को चख सकता है और आपको सटीक रूप से बता सकता है कि केक कैसा बनेगा। लेकिन एक समस्या है: यह मास्टर शेफ अविश्वसनीय रूप से धीमा है। यदि आप एक पूरी बेकरी (एक बड़ा सिस्टम) बनाना चाहते हैं या लंबे समय तक केक को फूलते हुए देखना चाहते हैं, तो मास्टर शेफ को पूरा करने में वर्षों लग जाएंगे।

इसलिए, वैज्ञानिकों ने मशीन-लर्नड इंटर-एटॉमिक पोटेंशियल (MLIPs) बनाए। इन्हें "छात्र शेफ" के रूप में सोचें। वे मास्टर शेफ की रेसिपी से सीखते हैं कि अणु कैसे व्यवहार करते हैं, लेकिन वे इसे हजारों गुना तेजी से करते हैं।

पुराना तरीका: एक कठोर रोबोट बनाना (Building a Rigid Robot)

लंबे समय तक, सबसे अच्छे "छात्र शेफ" एक बहुत ही सख्त नियम पुस्तिका के साथ बनाए गए थे। क्योंकि अणु 3D वस्तुएं होते हैं, वे तब भी एक जैसे ही दिखते हैं जब आप उन्हें घुमाते हैं या मेज पर किसी अलग जगह रखते हैं। इसे सिमिट्री (Symmetry - समरूपता) कहा जाता है।

यह सुनिश्चित करने के लिए कि उनका AI भ्रमित न हो जाए यदि कोई अणु उल्टा घूम जाए, वैज्ञानिकों ने इक्विवेरिएंट न्यूरल नेटवर्क (Equivariant Neural Networks) बनाए।

उपमा: कल्पना कीजिए कि एक रोबोट शेफ बनाने की जिसमें गियर्स और लीवर भौतिक रूप से एक साथ लॉक किए गए हैं। यदि आप रोबोट का सिर घुमाते हैं, तो उसके हाथ अनिवार्य रूप से एक विशिष्ट, पूर्व-निर्धारित तरीके से घूमने चाहिए।
समस्या: यह "हार्ड-वायर्ड" रोबोट बहुत कठोर है। इसे बनाना कठिन है, यह भारी (कंप्यूटेशनल रूप से महंगा) है, और यह बहुत लचीला नहीं है। यह कार चलाने जैसा है जिसका स्टीयरिंग व्हील डैशबोर्ड से बोल्ट द्वारा बंधा हुआ है; यह काम तो करता है, लेकिन यह बहुत बोझिल है।

नया तरीका: एक लचीले छात्र को सिखाना (TransIP)

इस पेपर के लेखकों ने TransIP पेश किया। एक लॉक किए गए गियर्स वाले रोबट बनाने के बजाय, उन्होंने एक लचीले छात्र (एक मानक ट्रांसफॉर्मर मॉडल, वही AI जो ChatGPT जैसे टूल्स के पीछे है) को बनाया और उसे नियमों को 'अभ्यास' के माध्यम से सिखाया, न कि उसके जोड़ों को लॉक करके।**

उन्होंने इसे कैसे किया, इसका सरल विवरण यहाँ दिया गया है:

1. "मिरर" ट्रेनिंग गेम (The "Mirror" Training Game)

कल्पना कीजिए कि आपके पास एक छात्र शेफ (AI) है और एक दर्पण है।

चरण 1: आप छात्र को एक अणु (कॉफी का कप) की तस्वीर दिखाते हैं।

चरण 2: आप तस्वीर को 90 डिग्री घुमाते हैं (कप को तिरछा करते हैं) और इसे छात्र को फिर से दिखाते हैं।

लक्ष्य: छात्र को यह महसूस करना होगा कि भले ही तस्वीर अलग दिख रही हो, कॉफी का सार वही है। यदि छात्र कॉफी की ऊर्जा (energy) का अनुमान लगाता है, तो संख्या समान होनी चाहिए। यदि वे बल (force - कैसे तरल हिलता है) का अनुमान लगाते हैं, तो दिशा ठीक वैसे ही घूमनी चाहिए जैसे कप घूमा था।

2. "जादुई अनुवादक" (The "Magic Translator" - Learned Equivariance)

पुराने "कठोर रोबोट" मॉडलों में, रोटेशन (घूर्णन) कोड के अंदर ही बना हुआ था। TransIP में, AI को अभी नियम पता नहीं हैं। इसलिए, शोधकर्ताओं ने एक विशेष जादुई अनुवादक (Magic Translator) (एक छोटा न्यूरल नेटवर्क) जोड़ा।

प्रक्रिया:

AI कॉफी कप को देखता है।

AI घूमे हुए कप को देखता है।

जादुई अनुवादक अनुमान लगाने की कोशिश करता है: "यदि मैं पहले कप से AI की 'ब्रेन स्टेट' (मस्तिष्क की स्थिति) लूँ और इस रोटेशन को लागू करूँ, तो क्या यह दूसरे कप की ब्रेन स्टेट जैसा दिखेगा?"

यदि अनुवादक गलत होता है, तो AI को एक "डिंग" (जुर्माना) मिलता है और वह अपनी आंतरिक ब्रेन स्टेट को समायोजित करना सीखता है ताकि रोटेशन समझ में आ सके।

समय के साथ, AI अपने स्वयं के आंतरिक "मस्तिष्क" को व्यवस्थित करना सीख जाता है ताकि इनपुट को घुमाने से आउटपुट अपने आप घूम जाए, बिना किसी भौतिक गियर या हार्ड-कोडेड नियमों के। वह प्राकृतिक रूप से समरूपता (symmetry) सीख जाता है, ठीक वैसे ही जैसे एक इंसान चेहरे को पहचानने के लिए सीखता है चाहे वह उल्टा हो या तिरछा।

यह एक बड़ी बात क्यों है?

1. यह तेज़ और हल्का है
क्योंकि TransIP में वे भारी, जटिल "गियर्स" (इक्विवेरिएंट लेयर्स) नहीं हैं, यह कंप्यूटरों पर बहुत तेज़ी से चलता है। यह एक भारी, बख्तरबंद टैंक से बदलकर एक चिकनी, हाई-स्पीड स्पोर्ट्स कार में स्विच करने जैसा है। यह कम समय में अधिक अणुओं को प्रोसेस कर सकता है।

2. यह कम डेटा के साथ बेहतर सीखता है
शोधकर्ताओं ने इस मॉडल का परीक्षण अणुओं के एक विशाल डेटासेट पर किया। उन्होंने पाया कि जब डेटा कम होता है (जैसे कम अणुओं पर प्रशिक्षण), तो TransIP पुराने तरीकों की तुलना में 40% से 60% बेहतर है, जो केवल डेटा ऑग्मेंटेशन (Data Augmentation) के माध्यम से समरूपता दिखाने की कोशिश करते हैं।

उपमा: पुराना तरीका एक छात्र को बिल्ली की फोटो दिखाने, फिर बिल्ली की उल्टी फोटो दिखाने, फिर तिरछी फोटो दिखाने जैसा है, इस उम्मीद में कि वह समझ जाएगा। TransIP एक छात्र को "बिल्लीपन" की अवधारणा सिखाने जैसा है ताकि वह रोटेशन को तुरंत समझ सके, भले ही उसके पास कम फोटो हों।

3. यह स्केल (Scale Up) कर सकता है
जैसे-जैसे AI बड़ा होता है (अधिक पैरामीटर्स), पुराने कठोर मॉडल अक्सर भ्रमित या धीमे हो जाते हैं। TransIP खूबसूरती से स्केल करता है, बढ़ने के साथ और भी स्मार्ट और तेज़ होता जाता है, ठीक वैसे ही जैसे मानव मस्तिष्क पैटर्न को अधिक सीखने के साथ बेहतर होता जाता है।

निचोड़ (The Bottom Line)

शोधकर्ताओं ने साबित किया कि 3D समरूपता (symmetry) को समझने के लिए आपको एक जटिल, कठोर मशीन बनाने की आवश्यकता नहीं है। आप एक मानक, लचीले AI (ट्रांसफॉर्मर) को ले सकते हैं और उसे एक चतुर ट्रेनिंग गेम के माध्यम से रोटेशन और मूवमेंट को समझने के लिए सिखा सकते हैं।

TransIP एक बच्चे को साइकिल चलाना सिखाने जैसा है—उसे एक कठोर फ्रेम से बांधने के बजाय, उसे संतुलन बनाना और गति को महसूस करने देने के माध्यम से। परिणाम एक ऐसा सिस्टम है जो अतीत के जटिल, भारी-भरकम मॉडलों की तुलना में तेज़, सस्ता और उतना ही सटीक है। यह नई दवाओं और सामग्रियों की खोज की गति को काफी बढ़ा सकता है।

यहाँ शोध पत्र "Learning Inter-Atomic Potentials Without Explicit Equivariance" (TransIP) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मशीन-लर्नड इंटर-एटॉमिक पोटेंशियल (MLIPs) ड्रग डिस्कवरी और सामग्री विज्ञान (materials science) में आणविक सिमुलेशन को गति देने के लिए महत्वपूर्ण हैं, जो डेंसिटी फंक्शनल थ्योरी (DFT) की तुलना में कई गुना अधिक गति प्रदान करते हैं। हालाँकि, वर्तमान स्टेट-ऑफ-द-आर्ट (SOTA) MLIPs रोटो-ट्रांसलेशनल सिमेट्री (roto-translational symmetries) को लागू करने के लिए इक्विवैरिएंट न्यूरल नेटवर्क आर्किटेक्चर (जैसे SE(3)-इक्विवैरिएंट GNNs) पर बहुत अधिक निर्भर करते हैं।

वर्तमान दृष्टिकोणों की सीमाएँ: ये हार्ड-वायर्ड इक्विवैरिएंट आर्किटेक्चर अक्सर कम लचीलेपन, उच्च कम्प्यूटेशनल लागत (स्फेरिकल हार्मोनिक्स या टेंसर उत्पादों के कारण), और सीमित स्केलेबिलिटी से ग्रस्त होते हैं।

अंतराल (The Gap): जबकि अनकन्स्ट्रेंड मॉडल (जैसे मानक ट्रांसफॉर्मर) अन्य डोमेन (जैसे AlphaFold 3) में सफल हैं, वे बिना किसी स्पष्ट आर्किटेक्चरल बाधा या व्यापक डेटा ऑगमेंटेशन के ज्यामितीय सिमेट्री को कुशलतापूर्वक सीखने में संघर्ष करते हैं। यह शोध पत्र पूछता है: क्या एक सामान्य, नॉन-इक्विवैरिएंट ट्रांसफॉर्मर केवल प्रशिक्षण के माध्यम से प्रभावी रूप से SO(3)-इक्विवैरिएंट सीख सकता है, बिना किसी हार्ड-कोडेड सिमेट्री लेयर्स के?

2. कार्यप्रणाली: TransIP (Methodology: TransIP)

लेखक TransIP (ट्रांसफॉर्मर-बेस्ड इंटर-एटॉमिक पोटेंशियल) प्रस्तावित करते हैं, जो एक प्रशिक्षण प्रतिमान (training paradigm) है जो आर्किटेक्चरल बाधाओं के बजाय एक लर्नड लेटेंट ट्रांसफॉर्मेशन के माध्यम से SO(3)-इक्विवैरिएंस प्राप्त करता है।

मुख्य आर्किटेक्चर (Core Architecture)

बैकबोन (Backbone): एक मानक, अनकन्स्ट्रेंड ट्रांसफॉर्मर एनकोडर।

टोकेनाइजेशन (Tokenization): अणुओं को परमाणुओं के परिवर्तनीय लंबाई वाले अनुक्रमों (sequences) के रूप में माना जाता है।

एम्बेडिंग्स (Embeddings): परमाणु विशेषताओं में परमाणु संख्या ( $z$ ), केंद्रित निर्देशांक ( $r$ ), कुल आवेश ( $q$ ), और स्पिन मल्टीप्लिसिटी ( $s$ ) शामिल हैं। वैश्विक गुणों ( $q, s$ ) को प्रत्येक लेयर में एक ब्रॉडकास्ट बायस के रूप में इंजेक्ट किया जाता है।

मैकेनिज्म (Mechanism): यह परमाणुओं को प्रोसेस करने के लिए मास्क किए गए सेल्फ-अटेंशन का उपयोग करता है, जिससे दूरी कटऑफ या स्पष्ट ग्राफ किनारों (edges) की आवश्यकता समाप्त हो जाती है।

प्रेडिक्शन हेड (Prediction Head): एक परम्यूटेशन-इनवेरिएंट एग्रीगेटर और उसके बाद एक MLP ऊर्जा ( $E$ ) की भविष्यवाणी करता है। बल ( $F$ ) को ऑटोमैटिक डिफरेंशिएशन ( $-\nabla_r E$ ) के माध्यम से प्राप्त किया जाता है।

नवीनता: लर्नड लेटेंट इक्वैरिएंस (The Novelty: Learned Latent Equivariance)

आर्किटेक्चर में इक्वैरिएंस लागू करने के बजाय, TransIP एक कंट्रास्टिव ऑब्जेक्टिव (contrastive objective) का उपयोग करके एम्बेडिंग स्पेस में इसे लागू करता है।

ट्रांसफॉर्मेशन नेटवर्क ( $T_\tau$ ): एक अलग MLP जो यह सीखता है कि एक ग्रुप एक्शन (रोटेशन $g \in SO(3)$ ) एक लेटेंट वेक्टर को कैसे रूपांतरित करता है। यह रोटेशन मैट्रिक्स और मूल एम्बेडिंग को इनपुट के रूप में लेता है।

लेटेंट इक्वैरिएंस लॉस ( $L_{leq}$ ):
$L_{leq} = \| f(\phi(g)(m)) - T_\tau(\phi(g), f(m)) \|^2$
जहाँ:

$f(m)$ मूल अणु का एम्बेडिंग है।

$f(\phi(g)(m))$ रोटेटेड अणु का एम्बेडिंग है।

$T_\tau$ मूल एम्बेडिंग से रोटेटेड एम्बेडिंग की भविष्यवाणी करने का प्रयास करता है।

लॉस वास्तविक रोटेटेड एम्बेडिंग और अनुमानित रूपांतरण के बीच के अंतर को कम करता है।

प्रशिक्षण उद्देश्य (Training Objective)

कुल लॉस तीन घटकों का एक भारित योग (weighted sum) है:
$L_{total} = \lambda_E L_E + \lambda_F L_F + \lambda_{leq} L_{leq}$

$L_E$ : ऊर्जा भविष्यवाणी त्रुटि (MAE)।

$L_F$ : बल भविष्यवाणी त्रुटि (MSE)।

$L_{leq}$ : लेटेंट इक्वैरिएंस बाधा।

3. मुख्य योगदान (Key Contributions)

सिंगल-स्टेज ट्रेनिंग पाइपलाइन: उन तरीकों के विपरीत जिनमें प्री-ट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता होती है, TransIP एक सामान्य ट्रांसफॉर्मर का उपयोग करके एक ही चरण में सिमेट्री सीखता है और गुणों की भविष्यवाणी करता है।

आर्किटेटेक्चर-एग्नोस्टिक कंट्रास्टिव लॉस: एक ऐसा लॉस फंक्शन पेश करता है जो एक अनकन्स्ट्रेंड मॉडल के लेटेंट स्पेस में SO(3)-इक्विवैरिएंस को बढ़ावा देता है, जिससे जटिल इक्वैरिएंट लेयर्स (जैसे स्फेरिकल हार्मोनिक्स) की आवश्यकता समाप्त हो जाती है।

स्केलेबिलिटी और दक्षता: यह प्रदर्शित करता है कि लर्नड इक्वैरिएंस, पारंपरिक डेटा ऑगमेंटेशन तकनीकों की तुलना में डेटा साइज और मॉडल पैरामीटर्स के साथ बेहतर स्केल करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन ओपन मॉलिक्यूल्स 2025 (OMol25) डेटासेट पर किया गया, जिसमें विविध रसायन विज्ञान (बायोमोलिक्यूल्स, इलेक्ट्रोलाइट्स, मेटल कॉम्प्लेक्स, ऑर्गेनिक्स) शामिल हैं।

डेटा स्केलिंग (1M बनाम 4M सैंपल्स):

TransIP ने SO(3) डेटा ऑगमेंटेशन (TransAug) का उपयोग करने वाले बेसलाइन की तुलना में, विशेष रूप से लो-डेटा रिजीम में, काफी बेहतर प्रदर्शन किया।

1M सैंपल्स पर, TransIP ने फोर्स MAE को 600 meV/Å (TransAug) से घटाकर 255 meV/Å कर दिया और फोर्स कोसाइन सिमिलरिटी को 0.44 से बढ़ाकर 0.70 कर दिया।

4M सैंपल्स पर भी, TransIP ने ऑगमेंटेशन बेसलाइन पर 40-60% प्रदर्शन सुधार बनाए रखा।

मॉडल स्केलिंग:

TransIP मॉडल के आकार (Small: 14M, Medium: 85M, Large: 302M पैरामीटर्स) के साथ सुचारू रूप से स्केल करता है।

इसके विपरीत, डेटा-ऑगमेंटेशन बेसलाइन (TransAug) ने खराब स्केलिंग दिखाई; बड़े मॉडल छोटे मॉडलों की तुलना में खराब प्रदर्शन करते थे, जो बताता है कि केवल ऑगमेंटेशन उच्च-क्षमता वाले मॉडलों के लिए अपर्याप्त है।

SOTA इक्वैरिएंट मॉडल्स के साथ तुलना:

TransIP-Large (80 एपोच के लिए प्रशिक्षित) ने eSCN और GemNet-OC (SOTA इक्वैरिएंट बेसलाइन्स) के मुकाबले प्रतिस्पर्धी परिणाम प्राप्त किए।

TransIP-Medium और Large वर्ज़न ने eSCN-small के समान टोटल एनर्जी MAE प्राप्त किया, जबकि वे इन्फरेंस (inference) में काफी तेज़ थे (उदाहरण के लिए, TransIP-S: 160k परमाणु/सेकंड बनाम eSCN: 15k परमाणु/सेकंड)।

लर्न्ड सिमेट्री का विश्लेषण:

लेखकों ने सत्यापित किया कि सीखा गया रूपांतरण विभिन्न अणुओं के लिए एक साझा ऑर्थोगोनल मैप के रूप में कार्य करता है। इनपुट स्पेस में रोटेशन, लेटेंट स्पेस में एक सुसंगत ऑर्थोगोनल रूपांतरण के अनुरूप होते हैं, जो पुष्टि करता है कि मॉडल ने सफलतापूर्वक सिमेट्री स्ट्रक्चर को सीख लिया है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र MLIPs के लिए हार्ड-वायर्ड इक्वैरिएंट आर्किटेक्चर की आवश्यकता को चुनौती देता है। यह सिद्ध करता है कि एक कंट्रास्टिव ऑब्जेक्टिव के माध्यम से लर्न्ड इक्वैरिएंस एक शक्तिशाली और कुशल विकल्प है।

स्केलेबिलिटी: मानक ट्रांसफॉर्मर अटेंशन मैकेनिज्म का उपयोग करके, TransIP इक्वैरिएंट कन्वेल्यूशन्स की कम्प्यूटेशनल बाधाओं से बचता है, जिससे यह बड़े पैमाने के सिमुलेशन के लिए अत्यधिक स्केलेबल हो जाता है।

व्यावहारिक प्रभाव: यह विधि ऐसे तेज़, अधिक लचीले और डेटा-कुशल MLIPs बनाने का मार्ग प्रशस्त करती है जो भौतिक सिमेट्री बाधाओं से समझौता किए बिना सामान्य-उद्देश्य वाले ट्रांसफॉर्मर्स के विशाल आर्किटेक्चरल सुधारों का लाभ उठा सकते हैं।

कोड ओपन-सोर्स है, जो जटिल ज्यामितीय लर्निंग कार्यों के लिए सरल, स्केलेबल आर्किटेक्चर का लाभ उठाने के लिए आगे के शोध को प्रोत्साहित करता है।

बड़ी समस्या: अदृश्य दुनिया का अनुकरण (Simulating the Invisible World)

पुराना तरीका: एक कठोर रोबोट बनाना (Building a Rigid Robot)

नया तरीका: एक लचीले छात्र को सिखाना (TransIP)

1. "मिरर" ट्रेनिंग गेम (The "Mirror" Training Game)

2. "जादुई अनुवादक" (The "Magic Translator" - Learned Equivariance)

यह एक बड़ी बात क्यों है?

निचोड़ (The Bottom Line)

1. समस्या विवरण (Problem Statement)

2. कार्यप्रणाली: TransIP (Methodology: TransIP)

मुख्य आर्किटेक्चर (Core Architecture)

नवीनता: लर्नड लेटेंट इक्वैरिएंस (The Novelty: Learned Latent Equivariance)

प्रशिक्षण उद्देश्य (Training Objective)

3. मुख्य योगदान (Key Contributions)

4. प्रयोगात्मक परिणाम (Experimental Results)

5. महत्व और निष्कर्ष (Significance and Conclusion)

इसी तरह के और पेपर