Mixture of Experts Framework in Machine Learning Interatomic Potentials for Atomistic Simulations

यहाँ शोध पत्र "Mixture of Experts Framework in Machine Learning Interatomic Potentials for Atomistic Simulations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

प्रथम-सिद्धांत (first-principles) परमाणु सिमुलेशन (जैसे, डेंसिटी फंक्शनल थ्योरी, DFT) जटिल भौतिक घटनाओं को समझने के लिए आवश्यक हैं, लेकिन बड़े सिस्टम या लंबी समय-सीमाओं के लिए ये अत्यधिक गणनात्मक रूप से महंगे (prohibitive) होते हैं। हालांकि मशीन लर्निंग इंटरएटोमिक पोटेंशियल (MLIPs), विशेष रूप से Allegro जैसे E(3)-इक्विवैरिएंट आर्किटेक्चर ने लागत को काफी कम कर दिया है, फिर भी विशाल विषम प्रणालियों (जैसे, उत्प्रेरक इंटरफेस) के लिए इनका इन्फरेंस (inference) खर्च एक बाधा बना हुआ है।

इन समस्याओं को हल करने के लिए मौजूदा रणनीतियों में शामिल हैं:

• फोर्स-मिक्सिंग (Force-mixing): विभिन्न पोटेंशियल्स से बलों (forces) का मिश्रण। यह अक्सर वैश्विक संवेग संरक्षण (global momentum conservation) और ऊर्जा संरक्षण को तोड़ देता है, जिससे गैर-संरक्षण संबंधी गतिकी (non-conservative dynamics) और ऊर्जा विचलन (energy drift) उत्पन्न होता है।
• एनर्जी-मिक्सिंग (Energy-mixing): स्थानिक निर्देशांकों (spatial coordinates) के आधार पर पोटेंशियल को बदलना। इसके लिए स्विचिंग पैरामीटर के ग्रेडिएंट की गणना करने की आवश्यकता होती है, जो जटिलता बढ़ाता है।
• एंड-टू-एंड मिक्सचर ऑफ एक्सपर्ट्स (End-to-end Mixture of Experts - MoE): वैश्विक गुणों या परमाणु प्रजातियों के आधार पर रूटिंग। ये विधियाँ अक्सर स्थानिक दक्षता (spatial efficiency) को संबोधित करने में विफल रहती हैं, क्योंकि वे सभी परमाणुओं पर समान रूप से उच्च-सटीकता वाली गणनात्मक लागत लागू करती हैं, भले ही वे सरल बल्क क्षेत्रों में हों जहाँ एक सस्ता मॉडल पर्याप्त होता।

मुख्य चुनौती: एक सिमुलेशन डोमेन को रासायनिक रूप से जटिल (उच्च-सटीकता वाले) और सरल (निम्न-सटीकता वाले) क्षेत्रों में कैसे विभाजित किया जाए, जबकि दोनों मॉडलों के बीच इंटरफेस पर सटीक ऊर्जा संरक्षण और यांत्रिक निरंतरता (mechanical consistency) (कोई कृत्रिम तनाव नहीं) सुनिश्चित की जा सके।

2. कार्यप्रणाली (Methodology)

लेखक E(3)-इक्विवैरिएंट Allegro आर्किटेक्चर पर आधारित एक स्थिर डोमेन अपघटन (static domain decomposition) फ्रेमवर्क का प्रस्ताव करते हैं, जो एक विशिष्ट सह-प्रशिक्षण रणनीति (co-training strategy) के साथ "मिक्सचर-ऑफ-एक्सपर्ट्स" (MoE) दृष्टिकोण का उपयोग करता है।

A. स्थिर डोमेन अपघटन (Static Domain Decomposition)

• विभाजन (Partitioning): सिमुलेशन ग्राफ $G=(V, E)$ को रासायनिक जटिलता (जैसे, सतह/एडसोर्बेट बनाम बल्क लैटिस) के आधार पर दो विलगित (disjoint) सेटों, $V_A$ (उच्च-सटीकता) और $V_B$ (निम्न-सटीकता) में विभाजित किया जाता है।
• स्प्लिट-इवैल्यूएट-मर्ज (Split-Evaluate-Merge):
  • स्प्लिट (Split): पड़ोसी सूचियाँ (neighbor lists) अलग की जाती हैं। $V_B$ के परमाणु $V_A$ के लिए "घोस्ट एटम्स" (ghost atoms) के रूप में कार्य करते हैं (जो ज्यामितीय संदर्भ प्रदान करते हैं लेकिन मॉडल A में अपना ऊर्जा योगदान नहीं देते)।
  • इवैल्यूएट (Evaluate): मॉडल A और मॉडल B अपने संबंधित सबग्राफ पर समानांतर में चलते हैं।
  • मर्ज (Merge): कुल ऊर्जा दोनों डोमेन से परमाणु ऊर्जाओं का योग है, जिसमें से एक सुधार पद ($E_{ghost}$) घटाया जाता है ताकि पड़ोसी परमाणुओं के लिए ऊर्जा शिफ्ट की दोहरी गणना (double-counting) को रोका जा सके।
• संरक्षण (Conservation): क्योंकि असाइनमेंट स्थिर है (परमाणु इंडेक्स के आधार पर, न कि गतिशील स्थिति के आधार पर), हैमिल्टोनियन (Hamiltonian) समय-अपरिवर्तनीय और अवकलनीय (differentiable) है। बल, कुल ऊर्जा के ग्रेडिएंट ($F = -\nabla E$) के रूप में विश्लेषणात्मक रूप से प्राप्त किए जाते हैं, जो बिना किसी थर्मोस्टेट या स्विचिंग ग्रेडिएंट के सटीक ऊर्जा संरक्षण और संवेग संरक्षण की गारंटी देते हैं।

B. सहमति बाधाओं के साथ सह-प्रशिक्षण (Co-training with Agreement Constraints)

"इंटरफेस मिसमैच" की समस्या को हल करने के लिए (जहाँ स्वतंत्र मॉडल अलग-अलग लैटिस स्थिरांक या बल्क मॉड्यूलस की भविष्यवाणी करते हैं, जिससे कृत्रिम तनाव पैदा होता है), लेखक एक सह-प्रशिक्षण रणनीति पेश करते हैं:

• साझा डेटासेट ($D_{agree}$): बल्क कॉन्फ़िगरेशन के एक उपसमुच्चय का उपयोग दोनों मॉडलों के लिए किया जाता है।
• मिश्रित लॉस फंक्शन (Composite Loss Function):
  $$L_{total} = \alpha L_1 + (1 - \alpha)L_2$$
  • $L_1$: अपने विशिष्ट डोमेन पर प्रत्येक मॉडल के लिए DFT ग्राउंड ट्रुथ के विरुद्ध मानक MSE लॉस।
  • $L_2$: एग्रीमेंट लॉस (Agreement Loss)। साझा बल्क वातावरण में मूल्यांकन के दौरान मॉडल A और मॉडल B के बीच अनुमानित ऊर्जा और बलों में विसंगतियों को दंडित करता है।
• तंत्र (Mechanism): यह उच्च-सटीकता वाले मॉडल को बल्क सामग्री के अपने आंतरिक प्रतिनिधित्व को निम्न-सटीकता वाले मॉडल के साथ संरेखित करने के लिए मजबूर करता है, जिससे इंटरफेस पर एक एकीकृत भौतिक विवरण (सुसंगत समीकरण अवस्था और बल्क मॉड्यूलस) सुनिश्चित होता है।

3. प्रमुख योगदान (Key Contributions)

1. रूढ़िवादी बहु-सटीकता फ्रेमवर्क (Conservative Multifidelity Framework): MLIPs के लिए MoE का एक अभिनव कार्यान्वयन जो स्थिर डोमेन अपघटन और विश्लेषणात्मक ग्रेडिएंट का उपयोग करके सटीक ऊर्जा संरक्षण बनाए रखता है, जो फोर्स-मिक्सिंग की गैर-संरक्षण प्रकृति से बचता है।
2. सहमति बाधा रणनीति (Agreement Constraint Strategy): एक सह-प्रशिक्षण तकनीक जो साझा बल्क डेटा पर ऊर्जा/बल विसंगतियों को दंडित करके इंटरफेस पर यांत्रिक बेमेल को स्पष्ट रूप से कम करती है, जिससे कृत्रिम तनाव क्षेत्र समाप्त हो जाते हैं।
3. स्केलेबल आर्किटेक्चर (Scalable Architecture): यह प्रदर्शित करता है कि गणनात्मक लागत कुल सिस्टम आकार के बजाय रासायनिक रूप से जटिल क्षेत्र के आकार के साथ स्केल करती है, जिससे लागत-सटीकता पारेटो फ्रंटियर (Pareto frontier) अनुकूलित होता है।
4. एकीकृत रासायनिक क्षमताएं (Unified Chemical Potentials): एग्रीमेंट लॉस स्पष्ट रूप से प्रजाति-निर्भर ऊर्जा गेज (energy gauges) को संरेखित करता है, जो भविष्य के गतिशील असाइनमेंट स्कीम्स के लिए एक महत्वपूर्ण आवश्यकता है।

4. परिणाम (Results)

फ्रेमवर्क को एक Pt+CO उत्प्रेरक प्रणाली (कार्बन मोनोऑक्साइड अधिशोषित प्लैटिनम सतह) पर मान्य किया गया।

• सटीकता बनाम निरंतरता (Accuracy vs. Consistency):
  • स्वतंत्र प्रशिक्षण (Independent Training): अलग-अलग प्रशिक्षित मॉडल बल्क गुणों (जैसे, बल्क मॉड्यूलस $B_0$ में ~30 GPa का अंतर) में महत्वपूर्ण असहमति दिखाते थे, जिससे कृत्रिम तनाव पैदा होता था।
  • सह-प्रशिक्षण (Co-training): सहमति बाधाओं ($\alpha < 1$) के साथ, मॉडलों ने समीकरण अवस्था (Equation of State - EOS) में लगभग पूर्ण संरेखण प्राप्त किया। अनुमानित बल्क मॉड्यूलस में अंतर घटकर < 3 GPa रह गया।
  • पूर्वानुमान शक्ति (Predictive Power): संयुक्त मॉडल ने टेस्ट सेट पर पूर्ण उच्च-सटीकता मॉडल के समान सटीकता बनाए रखी, और अनकन्स्ट्रेंड सह-प्रशिक्षण की तुलना में फोर्स/एनर्जी MAE में कोई गिरावट नहीं देखी गई।
• कंप्यूटेशनल दक्षता (Computational Efficiency):
  • परीक्षण प्रणाली: 1,040-परमाणु वाला Pt स्लैब जिसमें CO एडसोर्बेट्स हैं।
  • गति (Speedup): मल्टीफिडेलिटी दृष्टिकोण ने पूरे सिस्टम पर पूर्ण उच्च-सटीकता मॉडल चलाने की तुलना में >2x की गति वृद्धि प्राप्त की।
  • दक्षता (Efficiency): कार्यान्वयन ने सैद्धांतिक न्यूनतम समय (एज काउंट के आधार पर गणना किया गया) के सापेक्ष 95% दक्षता प्राप्त की, जिसमें ग्राफ हेरफेर और मेमोरी प्रबंधन के कारण केवल 5% ओवरहेड हुआ।
  • स्केलिंग (Scaling): उच्च-सटीकता मॉडल को ~42% परमाणुओं (सतह/एडसोर्बेट्स) तक सीमित कर दिया गया, जबकि निम्न-सटीकता मॉडल ने शेष ~58% (बल्क) को संभाला, जिससे संसाधनों को प्रभावी ढंग से वहीं केंद्रित किया गया जहाँ उनकी आवश्यकता थी।

5. महत्व (Significance)

यह कार्य प्रथम-सिद्धांत-गुणवत्ता वाले सिमुलेशन को प्रयोगों के लिए प्रासंगिक लंबाई और समय के पैमाने तक स्केल करने के लिए एक मजबूत मार्ग प्रदान करता है।

• भौतिक कठोरता (Physical Rigor): पिछले मिक्सिंग तरीकों के विपरीत, यह सटीक संरक्षण संबंधी गतिकी की गारंटी देता है, जिससे कृत्रिम थर्मोस्टेट के बिना स्थिर NVE (माइक्रोकैनोनिकल) सिमुलेशन संभव होते हैं।
• व्यावहारिक अनुप्रयोग: यह बड़े, विषम सिस्टम (जैसे, उत्प्रेरक, ग्रेन बाउंड्रीज़, या दोष) के सिमुलेशन के लिए महत्वपूर्ण बाधा को हल करता है जहाँ उच्च सटीकता की आवश्यकता केवल स्थानीय स्तर पर होती है।
• भविष्य का दृष्टिकोण: यह फ्रेमवर्क गतिशील असाइनमेंट स्कीम्स (जहाँ परमाणु सिमुलेशन के दौरान मॉडल बदलते हैं) के लिए आधार तैयार करता है, जो आवश्यक गणितीय निरंतरता स्थापित करता है। लेखक भविष्य के कार्य में इसे पूरी तरह से डिफरेंशिएबल, एडैप्टिव रिफाइनमेंट तक विस्तारित करने की योजना बना रहे हैं।