Interpretation of Crystal Energy Landscapes with Kolmogorov-Arnold Networks

"Kolmogorov–Arnold Networks के साथ क्रिस्टल ऊर्जा परिदृश्य (Crystal Energy Landscapes) की व्याख्या" का विस्तृत तकनीकी सारांश:

1. समस्या विवरण (Problem Statement)

क्रिस्टलीय सामग्रियों के ऊर्जा परिदृश्यों (energy landscapes) का लक्षण वर्णन करना ऊष्मप्रवैगिकी स्थिरता (thermodynamic stability), इलेक्ट्रॉनिक संरचना और कार्यात्मक व्यवहार की भविष्यवाणी करने के लिए मौलिक है। जबकि डेंसिटी फंक्शनल थ्योरी (DFT) सटीक भविष्यवाणियाँ प्रदान करती है, इसकी उच्च कम्प्यूटेशनल लागत बड़े पैमाने पर रासायनिक स्थान के अन्वेषण को रोकती है। मशीन लर्निंग (ML) मॉडल एक समाधान के रूप में उभरे हैं लेकिन वे दो महत्वपूर्ण सीमाओं का सामना करते हैं:

• "ब्लैक-बॉक्स" की समस्या: अधिकांश उच्च-प्रदर्शन वाले मॉडल (जैसे, ग्राफ न्यूरल नेटवर्क) निश्चित सक्रियण फलनों (activation functions) के साथ जटिल आर्किटेक्चर पर निर्भर करते हैं, जो अंतर्निहित भौतिक तंत्र को अस्पष्ट कर देते हैं और वैज्ञानिक अंतर्दृष्टि में बाधा डालते हैं।
• संरचनात्मक डेटा पर निर्भरता: अत्याधुनिक मॉडल अक्सर इनपुट के रूप में 3D परमाणु निर्देशांक या रिलैक्स्ड क्रिस्टल संरचनाओं की आवश्यकता रखते हैं। यह उनकी उपयोगिता को प्रारंभिक चरण की खोज में सीमित करता है जहाँ काल्पनिक यौगिकों के पास परिभाषित संरचनाएँ नहीं होती हैं, या अमोर्फस (amorphous) प्रणालियों के लिए भी।

2. कार्यप्रणाली: एलिमेंट-वेटेड कोलमोगोरोव-आर्नोल्ड नेटवर्क (EWKAN)

लेखक EWKAN का प्रस्ताव करते हैं, जो उच्च सटीकता और व्याख्यात्मकता (interpretability) प्राप्त करने के लिए केवल-संरचना (composition-only) इनपुट और कोलमोगोरोव-आर्नोल्ड नेटवर्क (KAN) आर्किटेक्चर को जोड़ता है।

• इनपुट प्रतिनिधित्व (Input Representation): यह मॉडल विशेष रूप से रासायनिक संरचना पर कार्य करता है। यह एक सामग्री को उनके भिन्नात्मक प्रचुरता ($r_i$) के आधार पर सीखने योग्य तत्व एम्बेडिंग्स (element embeddings) के भारित योग के रूप में दर्शाता है:
  $$f_{comp} = \sum_{i \in E} r_i \cdot e_i$$
  यह दृष्टिकोण सार्वभौमिकता और गति सुनिश्चित करता है, जो किसी भी यौगिक के लिए लागू है जिसे उसके सूत्र द्वारा परिभाषित किया गया हो, बिना किसी संरचनात्मक डिस्क्रिप्टर की आवश्यकता के।

• आर्किटेक्चरल नवाचार (KAN): पारंपरिक न्यूरल नेटवर्क (MLPs) के विपरीत जो निश्चित सक्रियण फलनों (जैसे, ReLU) का उपयोग करते हैं, KANs उन्हें सीखने योग्य एकचर फलनों (univariate functions) से बदल देते हैं।

  • यह कोलमोगोरोव-आर्नोल्ड प्रतिनिधित्व प्रमेय (Kolmogorov–Arnold Representation Theorem) पर आधारित है, जो बताता है कि किसी भी निरंतर बहुचर फलन (multivariate function) को निरंतर एकचर फलनों के संयोजन के रूप में दर्शाया जा सकता है।
  • सक्रियण फलनों को B-splines (विशेष रूप से $g=5$ ग्रिड पॉइंट्स और $k=3$ ऑर्डर के साथ क्वाड्रेटिक B-splines) का उपयोग करके पैरामीटराइज किया जाता है।
  • नेटवर्क विशिष्ट कार्य के लिए इष्टतम गैर-रेखीय रूपांतरण सीखता है, जिससे सीखे गए गणितीय संबंधों का सीधा निरीक्षण संभव होता है।

• मॉडल संरचना: EWKAN एक एम्बेडिंग लेयर के बाद एक दो-परत वाला KAN है जिसका चौड़ाई अनुक्रम $[n, 2n+1, 1]$ है, जो सख्ती से प्रमेय की परिभाषा का पालन करता है। आउटपुट एक स्केलर गुण मान (जैसे, फॉर्मेशन एनर्जी) है।

3. मुख्य योगदान (Key Contributions)

1. EWKAN का परिचय: एक कंपोजिशन-ओनली मॉडल जो सामग्री गुण भविष्यवाणी के लिए KANs को एकीकृत करता है, जो अत्यधिक सघन आर्किटेक्चर के साथ अत्याधुनिक (SOTA) सटीकता प्राप्त करता है।
2. वैज्ञानिक व्याख्यात्मकता: मॉडल को रासायनिक प्रवृत्तियों को सीखने के लिए स्पष्ट भौतिक बाधाओं की आवश्यकता नहीं है। प्रिंसिपल कंपोनेंट एनालिसिस (PCA) और सहसंबंध अध्ययनों के माध्यम से, लेखक प्रदर्शित करते हैं कि सीखे गए एम्बेडिंग्स और सक्रियण फलन स्वाभाविक रूप से आवर्त सारणी की प्रवृत्तियों और क्वांटम मैकेनिकल सिद्धांतों (जैसे, विद्युत ऋणात्मकता, आयनीकरण ऊर्जा) के साथ संरेखित होते हैं।
3. दक्षता बनाम प्रदर्शन: मॉडल बहुत कम मापदंडों (parameters) के साथ प्रतिस्पर्धी माध्य पूर्ण त्रुटि (MAE) प्राप्त करता है, जो बड़े ग्राफ न्यूरल नेटवर्क (GNNs) की तुलना में बेहतर दक्षता प्रदान करता है।
4. लर्निंग डायनेमिक्स का विश्लेषण: अध्ययन से पता चलता है कि विभिन्न भौतिक गुण (बैंड गैप, वर्क फंक्शन, फॉर्मेशन एनर्जी) अलग-अलग लर्निंग सैचुरेशन व्यवहार प्रदर्शित करते हैं, जो इन गुणों की अंतर्निści जटिलता के बारे में अंतर्दृष्टि प्रदान करते हैं।

4. परिणाम (Results)

मॉडल का परीक्षण तीन बड़े पैमाने के डेटासेट्स पर किया गया: MatBench MP Gap (बैंड गैप), JARVIS-C2DB (वर्क फंक्शन), और JARVIS-DFT (फॉर्मेशन एनर्जी)।

• भविधिक सटीकता (Predictive Accuracy):
  • बैंड गैप: 0.35 eV का MAE प्राप्त किया (इष्टतम आर्किटेक्चर $[7, 15, 1]$), जो ReLU-आधारित बेसलाइन (0.63 eV) के प्रदर्शन को लगभग दोगुना कर देता है।
  • वर्क फंक्शन: ~0.38 eV का MAE प्राप्त किया (इष्टतम आर्किटेक्चर $[6, 13, 1]$)।
  • फॉर्मेशन एनर्जी: 0.155 eV/atom का MAE प्राप्त किया (इष्टतम आर्किटेक्चर $[10, 21, 1]$)।
• पैरामीटर दक्षता: NetScore मीट्रिक का उपयोग करते हुए, EWKAN ने असाधारण दक्षता प्रदर्शित की। फॉर्मेशन एनर्जी के लिए, इसने केवल ~8K मापदंडों के साथ 4.67 का दक्षता स्कोर प्राप्त किया, जो eSEN-30M (30M मापदंड) और MatterSim जैसे विशाल मॉडलों से काफी बेहतर है।
• व्याख्यात्मकता निष्कर्ष (Interpretability Findings):
  • PCA विश्लेषण: सीखे गए एम्बेडिंग्स का पहला प्रिंसिपल कंपोनेंट (PC1), विद्युत ऋणात्मकता (electronegativity) के साथ एक मजबूत सहसंबंध ($r=0.686$) दिखाया।
  • आवर्त प्रवृत्तियाँ (Periodic Trends): आवर्त सारणी में PC1 के विज़ुअलाइज़ेशन ने एक स्पष्ट "विद्युत ऋणात्मकता-धात्विकता" आयाम प्रकट किया, जहाँ क्षारीय धातुएं नकारात्मक मान रखती थीं और हैलोजन सकारात्मक मान रखते थे, जो बिना किसी स्पष्ट पर्यवेक्षण के पॉलिंग विद्युत ऋणात्मकता को दर्शाता है।
  • सक्रियण फलन: सीखे गए B-spline सक्रियण फलन स्थिर, व्याख्यात्मक आकृतियों में अभिसरित (converged) हुए, जिन्होंने संरचना और गुणों के बीच गैर-रेखीय संबंधों को कैप्चर किया।
• लर्निंग सैचुरेशन:
  • बैंड गैप और वर्क फंक्शन: प्रदर्शन विशिष्ट आर्किटेक्चर ($[7, 15, 1]$ और $[6, 13, 1]$) पर संतृप्त (saturate) हो गया, जो इंगित करता है कि नेटवर्क ने संरचना से सभी सीखने योग्य जानकारी निकाल ली है।
  • फॉर्मेशन एनर्जी: मॉडल के आकार में वृद्धि के साथ निरंतर सुधार दिखाया, जो सुझाव देता है कि इस गुण में अधिक जटिल 'मेनी-बॉडी इंटरैक्शन' और दीर्घ-रेंज निर्भरताएं शामिल हैं जिनके लिए उच्च मॉडल क्षमता की आवश्यकता होती है।

5. महत्व और भविष्य का दृष्टिकोण (Significance and Future Outlook)

• प्रतिमान परिवर्तन (Paradigm Shift): EWKAN पारदर्शी, रसायन-आधारित सामग्री सूचना विज्ञान (materials informatics) के लिए एक नया प्रतिमान स्थापित करता है। यह भविष्यवाणात्मक प्रदर्शन और वैज्ञानिक समझ के बीच के अंतर को पाटता है, जो "ब्लैक-बॉक्स" भविष्यवाणी से "व्याख्यात्मक" खोज की ओर बढ़ता है।
• डेटा दक्षता: उच्च सटीकता प्राप्त करने की क्षमता इन मॉडलों को संसाधन-बाधित वातावरण और एज कंप्यूटिंग के लिए उपयुक्त बनाती है।
• सीमाएं और भविष्य का कार्य: वर्तमान केवल-संरचना दृष्टिकोण रासायनिक सूत्र डिजेनेरेसी (chemical formula degeneracies) (जैसे, ग्रेफाइट बनाम हीरा, जिनका सूत्र C समान है लेकिन संरचनाएं भिन्न हैं) के बीच अंतर नहीं कर सकता है। लेखक नोट करते हैं कि यह इनपुट प्रतिनिधित्व की एक सीमा है, न कि KAN आर्किटेक्चर की। भविष्य के कार्य में इन डिजेनेरेसी को हल करने और रिवर्स डिज़ाइन को सक्षम करने के लिए KAN फ्रेमवर्क में संरचनात्मक डिस्क्रिप्टर्स (जैसे, स्पेस ग्रुप, कोआर्डिनेशन एनवायरनमेंट) को एकीकृत करने पर ध्यान केंद्रित किया जाएगा।

निष्कर्षतः, यह कार्य प्रदर्शित करता है कि कोलमोगोरोव-आर्नोल्ड नेटवर्क सामग्री विज्ञान के लिए एक शक्तिशाली उपकरण हैं, जो डेटा से मौलिक भौतिक नियमों को स्वायत्त रूप से पुनः प्राप्त करने में सक्षम हैं और साथ ही सामग्री गुणों को नियंत्रित करने वाले रासायनिक तंत्रों में एक पारदर्शी खिड़की प्रदान करते हैं।