Point Group Equivariant Graph Neural Networks for Materials

तकनीकी सारांश: सामग्रियों के लिए पॉइंट ग्रुप इक्विवेरिएंट ग्राफ न्यूरल नेटवर्क

समस्या विवरण
इक्विवेरिएंट ग्राफ न्यूरल नेटवर्क (GNNs) ने परमाणु संरचना से सीधे भौतिक गुणों, विशेष रूप से लोचदार (elastic) और परावैद्युत (dielectric) टेंसर जैसे दिशात्मक और टेंसरल मात्राओं की भविष्यवाणी करने के लिए शक्तिशाली उपकरण के रूप में अपनी पहचान स्थापित की है। पारंपरिक दृष्टिकोण $SO(3)$ इक्विवेरिएंस (equivariance) को लागू करते हैं, जो यह सुनिश्चित करता है कि मॉडल का आउटपुट इनपुट संरचना के साथ सुसंगत रूप से घूमता है। हालाँकि, ये मॉडल एक दिए गए घूर्णी क्रम (rotational order) $\ell$ के $(2\ell+1)$-आयामी उप-स्थानों (subspaces) को अविभाज्य ब्लॉकों के रूप में देखते हैं, जो इस ब्लॉक के भीतर सभी घटकों के बीच भार (weights) साझा करते हैं। यह दृष्टिकोण क्रिस्टलीय सामग्रियों में निहित सूक्ष्म सममिति संरचना की अनदेखी करता है, विशेष रूप से पॉइंट ग्रुप सममिति (point group symmetries) की, जो इन घूर्णी उप-स्थानों को और अधिक विभाजित करती है। फलस्वरूप, मानक $SO(3)$-इक्विवेरिएंट नेटवर्क क्रिस्टल के पॉइंट ग्रुप के तहत विशेषताओं के विशिष्ट रूपांतरण व्यवहारों के प्रति अनभिज्ञ रहते हैं, जिससे उच्च-क्रम की सममिति पर आधारित संभावित भविष्यवाणात्मक संबंधों का लाभ नहीं उठाया जा पा रहा है। इसके अलावा, जबकि इन नेटवर्कों में फ़िल्टर फंक्शन डेटा से आंतरिक रूप से सममिति सीखते हैं, वे अंतर्निहित पॉइंट ग्रुप की विविक्त (discrete) सममिति को सख्ती से लागू नहीं करते हैं।

कार्यप्रणाली
लेखक पॉइंट-ग्रुप सिमेट्री अवेयर इक्विवेरिएंट ग्राफ न्यूरल नेटवर्क (PGEqNN) प्रस्तुत करते हैं। मुख्य नवाचार विशेषताओं, भार और फ़िल्टर फंक्शनों के वास्तुशिल्प विभाजन (architectural partitioning) को परिष्कृत करना है। केवल घूर्णी क्रम $\ell$ के आधार पर (जैसा कि $SO(3)$इक्विवेरिएंट नेटवर्कों में होता है) समूहों में बांटने के बजाय, मॉडल इन तत्वों को घूर्णी क्रम$\ell$ और पॉइंट-ग्रुप इर्रेड्यूसिबल रिप्रेजेंटेशन (IR) $\alpha$ दोनों द्वारा विभाजित करता है।

मुख्य पद्धतिगत घटक शामिल हैं:

1. कैनोनिकलाइजेशन और मानक आधार (Standard Bases): वर्कफ़्लो spglib और pymatgen का उपयोग करके इंटरनेशनल टेबल्स फॉर क्रिस्टलोग्राफी द्वारा परिभाषित एक कैनोनिकल फ्रेम में क्रिस्टल संरचनाओं को मानकीकृत करने से शुरू होता है। यह नियतात्मक प्रीप्रोसेसिंग सममिति अक्षों को कार्टेशियन निर्देशांकों के साथ संरेखित करती है, जिससे परमाणु स्थितियों और टेंसर गुणों को पॉइंट-ग्रुप IR लेबल सौंपना प्रत्यक्ष हो जाता है।
2. पॉइंट-ग्रुप हार्मोनिक्स (PGH): प्रत्येक घूर्णी क्रम $\ell$ के भीतर, मानक स्फेरिकल हार्मोनिक बेसिस को एक यूनिटरी मैट्रिक्स $U^{(\ell)}_G$ के माध्यम से पॉइंट-ग्रुप हार्मोनिक्स के एक सममिति-अनुकूलित आधार में परिवर्तित किया जाता है। इस आधार में, अलग-अलग पॉइंट-ग्रुप IRs से संबंधित घटक पॉइंट ग्रुप ऑपरेशन्स द्वारा कभी भी मिश्रित नहीं होते हैं, जिससे नेटवर्क को एक ही $\ell$ ब्लॉक के भीतर विभिन्न IR घटकों के लिए अलग-अलग सीखने योग्य भार (learnable weights) आवंटित करने की अनुमति मिलती है।
3. वाइकोफ ग्राफ्स (Wyckoff Graphs): रेडंडेंसी को कम करने के लिए, इनपुट ग्राफ्स का निर्माण वाइकोफ स्थितियों का उपयोग करके किया जाता है, जहाँ सममिति-तुल्य परमाणु साइटों को एकल नोड्स में मैप किया जाता है। एज फीचर्स (edge features) अंतर-परमाणु दिशाओं के स्फेरिकल हार्मोनिक्स से प्राप्त किए जाते हैं, और नोड फीचर्स परमाणु गुणों को एनकोड करते हैं।
4. मॉडल वेरिएंट्स: अध्ययन चार मॉडलों की तुलना एक सख्त पैरामीटर-मैच्ड प्रोटोकॉल (प्रत्येक घूर्णी क्रम के भीतर सक्रिय मापदंडों को समान बनाना) के तहत करता है:
   • इनवेरिएंट स्केलर बेसलाइन: एक मानक इनवेरिएंट नेटवर्क (जैसे CGCNN शैली) जो कैनोनिकल फ्रेम में केवल सममिति-अनुमत स्केलर गुणांकों ($A_1$ घटक) की भविष्यवाणी करता है।
   • **$SO(3)$पार्टीशन:** एक मानक इक्विवेरिएंट नेटवर्क जो प्रत्येक$\ell$ ब्लॉक को एक एकल इकाई के रूप में मानता है।
   • फुल पॉइंट-ग्रुप (PG) पार्टीशन: पूर्ण PGEqNN आर्किटेक्चर, जिसमें प्रत्येक $\ell$ के भीतर प्रत्येक पॉइंट-ग्रुप IR के लिए अलग-अलग भार होते हैं।
   • $A_1$-रिस्ट्रिक्टेड वेरिएंट: PG मॉडल का एक प्रतिबंधित संस्करण जहाँ सभी सीखने योग्य भार सख्ती से ट्रिवियल-IR ($A_1$) ब्लॉक्स तक सीमित हैं। गैर-ट्रिवियल IR ब्लॉक्स को शून्य कर दिया जाता है, हालांकि मॉडल में सभी ऑर्डर्स पर एज हार्मोनिक्स के $A_1$ प्रोजेक्शन को प्रोसेस करने की क्षमता बनी रहती है।

मुख्य योगदान

• वास्तुशिल्प शोधन (Architectural Refinement): शोध पत्र यह प्रदर्शित करता है कि इक्विवेरिएंट ऑपरेशन्स को घूर्णी क्रम के साथ-साथ पॉइंट-ग्रुप IRs द्वारा विभाजित करने से "सब-इररेप विशिष्टता" (sub-irrep specificity) मिलती है। यह मॉडल को उन विशेषताओं के बीच अंतर करने में सक्षम बनाता है जो एक ही $\ell$ साझा करते हैं लेकिन पॉइंट ग्रुप के तहत अलग तरह से रूपांतरित होते हैं (उदाहरण के लिए, $D_{4h}$ सिस्टम में $A_{2u}$ से $E_u$ को अलग करना)।
• भविष्यवाणी सामग्री का अनुभवजन्य विश्लेषण: मटेरियल्स प्रोजेक्ट से इलास्टिक और डाइइलेक्ट्रिक टेंसर डेटासेट पर व्यापक प्रयोगों के माध्यम से, लेखक जांच करते हैं कि आर्किटेक्चर के कौन से घटक प्रदर्शन को संचालित करते हैं।
• $A_1$-रिस्ट्रिक्टेड वेरिएंट: एक ऐसे मॉडल का परिचय जो ट्रिवियल-IR ब्लॉक्स में सीखने को सीमित करता है, जो पूर्ण विभाजन वाले मॉडलों के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करता है और साथ ही काफी कम सक्रिय मापदंडों का उपयोग करता है।

परिणाम
अध्ययन चार इलास्टिक और चार डाइइलेक्ट्रिक डेटासेट्स ($O_h, D_{6h}, D_{4h}, D_{2h}, D_{3d}, C_{2v}, C_{2h}$) का प्रतिनिधित्व करने वाले डेटासेट्स पर प्रदर्शन का मूल्यांकन करता है।

• सिंथेटिक टास्क: सिंथेटिक $D_{4h}$ सामग्रियों पर एक वर्गीकरण कार्य ने पुष्टि की कि $SO(3)$-इक्विवेरिएंट नेटवर्क मुख्य अक्ष के साथ संरेखित वेक्टर फीचर्स ($A_{2u}$) बनाम लंबवत तल ($E_u$) के बीच अंतर करने में विफल रहे, और चांस एक्यूरेसी (chance accuracy) प्राप्त की। PG-पार्टीशन किया गया नेटवर्क अलग-अलग वेट पाथ के माध्यम से रूटिंग करके इसे आसानी से हल कर लेता है।
• इलास्टिक टेंसर प्रेडिक्शन: $A_1$-रिस्ट्रिक्टेड मॉडल ने सभी डेटासेट्स में फुल PG और $SO(3)$मॉडलों के प्रदर्शन की बराबरी की या उसमें सुधार किया, बावजूद इसके कि इसने बहुत कम सक्रिय मापदंडों (अक्सर$SO(3)$ संदर्भ के बजट के आधे से भी कम) का उपयोग किया। फुल PG पार्टीशन ने $D_{2h}$ डेटासेट में $SO(3)$पर स्पष्ट लाभ दिखाया, जहाँ इसने सफलतापूर्वक उन सूक्ष्म एनिसोट्रोपिक संकेतों को रिकवर किया जिन्हें$SO(3)$ मॉडल मिस कर गया था।
• डाइइलेक्ट्रिक टेंसर प्रेडिक्शन: अधिकांश डेटासेट्स के लिए, तीन सममिति-जागरूक मॉडल सांख्यिकीय रूप से अविभेद्य थे। हालाँकि, $D_{3d}$ डेटासेट में, जिसमें $\ell=2$ ब्लॉक में एक वास्तविक सीखने योग्य एनिसोट्रोपिक सिग्नल है, फुल PG पार्टीशन ने $A_1$-रिस्ट्रिक्टेड और $SO(3)$ दोनों मॉडलों से बेहतर प्रदर्शन किया।
• सामान्य निष्कर्ष:
  • इनवेरिएंट स्केलर बेसलाइन लगातार सभी सममिति-जागरूक मॉडलों से कम प्रदर्शन करती रही, जो पुष्टि करती है कि इनवेरिएंट कोणीय सामग्री साधारण अंतर-परमाणु दूरियों से परे भविष्यवाणात्मक जानकारी ले जाती है।
  • पॉइंट-ग्रुप पार्टीशन की भविष्यवाणात्मक सामग्री लगभग पूरी तरह से ट्रिवियल-IR ($A_1$) ब्लॉक्स में केंद्रित है।
  • फुल PG पार्टीशन मुख्य रूप से तब लाभ देता है जब डेटासेट में गैर-ट्रिवियल ब्लॉक्स में एक मजबूत, सीखने योग्य एनिसोट्रोपिक सिग्नल होता है (जैसे $D_{3d}$ डाइइलेक्ट्रिक)। जिन मामलों में सिग्नल कमजोर होता है या जहाँ सममिति उप-स्थानों को हल नहीं करती है (जैसे क्यूबिक $O_h$), वहाँ $A_1$-रिस्ट्रिक्टेड मॉडल पर्याप्त और अधिक कुशल है।

महत्व और दावे
शोध पत्र का दावा है कि इक्विवेरिएंट नेटवर्कों में पॉइंट-ग्रुप जागरूकता व्यापक के बजाय विशिष्ट लाभ प्रदान करती है। प्राथमिक मूल्य आवश्यक रूप से सभी कार्यों में पूर्ण सटीकता में भारी वृद्धि नहीं है, बल्कि ट्रिवियल-IR ब्लॉक्स में भविष्यवाणात्मक सामग्री को अलग करके समान सटीकता के साथ लीनर (leaner) मॉडल बनाने की क्षमता है।

लेखक तर्क देते हैं कि टेंसरियल भौतिक गुणों के लिए, न्यूमैन का सिद्धांत (Neumann's principle) लक्षित टेंसरों को ट्रिवियल-IR घटकों तक सीमित करता है। इसलिए, एक फुल PG नेटवर्क में गैर-ट्रिवियल ब्लॉक्स केवल अप्रत्यक्ष रूप से योगदान करते हैं। आर्किटेक्चर को $A_1$ ब्लॉक्स तक स्पष्ट रूप से सीमित करके, मॉडल मानक डेटासेट्स पर प्रदर्शन से समझौता किए बिना दक्षता प्राप्त करता है। फुल पार्टीशन को केवल उन विशिष्ट परिदृश्यों में मूल्यवान दिखाया गया है जहाँ डेटा में गैर-ट्रिवियल इरेप्स (irreps) में एक "वास्तव में सीखने योग्य एनिसोट्रोपिक सिग्नल" होता है।

यह कार्य सुझाव देता है कि निरंतर सममिति ($SO(3)$) के साथ विविक्त सममिति (पॉइंट ग्रुप्स) को स्पष्ट रूप से एनकोड करना भौतिक रूप से आधारित मशीन लर्निंग के लिए एक उत्पादक दिशा है। यह सीधे तौर पर सममिति-अनुमत घटकों के प्रति-प्रति (per-copy) भविष्यवाणी और कमजोर-सिग्नल ब्लॉक्स पर मजबूती के लिए एक तंत्र प्रदान करता है, साथ ही यह भी रेखांकित करता है कि गैर-ट्रिवियल इरेप्स (जैसे इलेक्ट्रॉनिक हैमिल्टनियन) को वास्तव में पॉपुलेट करने वाले गुणों को लक्षित करने वाले भविष्य के अनुप्रयोगों में IR-लेबल विशिष्टता की पूर्ण क्षमता का लाभ उठाया जा सकता है।