QT-Net: Rethinking Evaluation of AI Models in Atomic Chemical Space

तकनीकी सारांश: QT-Net: परमाणु रासायनिक स्थान में AI मॉडलों के मूल्यांकन का पुनर्मूल्यांकन

समस्या विवरण
परमाणु गुण, जैसे कि आंशिक आवेश (partial charges), इलेक्ट्रॉन जनसंख्या (electron populations), और मल्टीपोल (multipoles), रासायनिक रूप से सार्थक जानकारी को एनकोड करते हैं जो डाउनस्ट्रीम आणविक गुण भविष्यवाणी के लिए आवश्यक है। हालाँकि, इन परमाणु गुणों को लक्षित करने वाले मशीन लर्निंग (ML) मॉडलों का मूल्यांकन परमाणु स्तर पर एक सुव्यवस्थित आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) प्रोटोकॉल की कमी के कारण बाधित हुआ है। मौजूदा साहित्य अक्सर रैंडम मॉलिक्यूलर स्प्लिट्स (random molecular splits) पर निर्भर करता है, जो "परमाणु वातावरण रिसाव" (atomic environment leakage) को रोकने में विफल रहता है—जहाँ प्रशिक्षण के दौरान देखे गए स्थानीय वातावरण वाले परमाणु परीक्षण सेट में दिखाई देते हैं। यह अत्यधिक आत्मविश्वासी प्रदर्शन मेट्रिक्स की ओर ले जाता है जो रासायनिक स्थान में वास्तविक सामान्यीकरण क्षमताओं को प्रतिबिंबित नहीं करते हैं। इसके अलावा, यह स्पष्ट नहीं है कि क्या मॉडल अनदेखे परमाणु वातावरणों के लिए QTA (क्वांटम थ्योरी ऑफ एटम्स इन मॉलिक्यूल्स) गुणों का अनुमान लगा सकते हैं और क्या इन अनुमानित गुणों में डाउनस्ट्रीम कार्यों के लिए भविष्य कहनेवाला शक्ति (predictive power) बनी रहती है।

कार्यप्रणाली
लेखक एक कठोर मूल्यांकन ढांचा और एक नया आर्किटेक्चर, क्वांटम टोपोलॉजिकल न्यूरल नेटवर्क (QT-Net) प्रस्तावित करते हैं।

1. डेटा और क्लस्टरिंग: अध्ययन AIMEl डेटासेट का उपयोग करता है, जो QM9 का एक उपसमुच्चय है जिसमें H, C, N, और O परमाणुओं के लिए QTA गुण (इलेक्ट्रॉन जनसंख्या $N$, द्विध्रुव योगदान $\mu$, चतुर्ध्रुव क्षण $Q$, और लोकलाइजेशन इंडेक्स $\lambda$) शामिल हैं। एक विश्वसनीय OOD मूल्यांकन सेट बनाने के लिए, लेखक स्मूथ ओवरलैप ऑफ एटमिक पोजीशंस (SOAP) डिस्क्रिप्टर्स का उपयोग करके परमाणु वातावरणों को क्लस्टर करते हैं। परमाणुओं को उनके स्थानीय ज्यामिति के आधार पर तत्व-विशिष्ट समूहों में वर्गीकृत किया जाता है।
2. होल्ड-आउट मूल्यांकन प्रोटोकॉल: रैंडम मॉलिक्यूलर स्प्लिट्स के बजाय, लेखक विशिष्ट क्लस्टर लेबल (जैसे, $H_{10}, C_{11}, N_{13}, O_{10}$) चुनते हैं जिन्हें प्रशिक्षण सेट से पूरी तरह से बाहर रखा गया है। परीक्षण सेट में ऐसे अणु शामिल होते हैं जिनमें ये अनदेखे परमाणु वातावरण होते हैं। मेट्रिक्स की गणना केवल इन होल्ड-आउट क्लस्टरों से संबंधित परमाणुओं पर की जाती है, जिससे यह सुनिश्चित होता है कि मूल्यांकन वास्तविक OOD प्रदर्शन को मापता है।
3. सांख्यिकीय ढांचा: अध्ययन एक 5-रिपीट, 5-फोल्ड क्रॉस-वैलिडेशन (5×5 CV) प्रोटोकॉल का उपयोग करता है। फोल्ड्स के बीच उत्पन्न होने वाले सहसंबंध को संभालने के लिए, लेखक रिपीटेड मेजर्स ANOVA (RM-ANOVA) के बाद टकीज़ ऑनेस्टली सिग्निफिकेंट डिफरेंस (Tukey's HSD) परीक्षण का उपयोग करते हैं। यह विभिन्न मॉडल आर्किटेक्चर के बीच एक सांख्यिकीय रूप से कठोर तुलना करने की अनुमति देता है।
4. QT-Net आर्किटेक्चर: प्रस्तावित QT-Net एक डेंसली कनेक्टेड, नॉन-इक्विवेरिएंट ग्राफ न्यूरल नेटवर्क (GNN) है जिसमें रोटेशनल डेटा ऑग्मेंटेशन का उपयोग किया गया है। यह नोड्स और एड्ज के बीच मैसेज पासिंग का उपयोग करता है, जिसमें ज्योमेट्रिक गेट्स और रेडियल बेसिस फंक्शन्स (RBFs) शामिल हैं। यह आर्किटेक्चर अटेंशन मैकेनिज्म, फीचर सेपरेशन और केमिकल रिमाइंडर्स से प्रेरित है। जबकि लेखकों ने E(3)-इक्विवेरिएंट मॉडलों का परीक्षण किया, अंतिम QT-Net डिज़ाइन स्केलर (नॉन-इक्विवेरिएंट) है, लेकिन प्रशिक्षण के दौरान रोटेशन ऑग्मेंटेशन के साथ सुसज्जित है।

मुख्य योगदान

• सांख्यिकीय रूप से महत्वपूर्ण बेंचमार्किंग: यह पेपर स्केलर और टेंसर QTA गुणों की भविष्यवाणी करने के लिए E(3)-इक्विवेरिएंट मॉडलों बनाम नॉन-इक्विवेरिएंट, रोटेशनली ऑगमेंटेड मॉडलों की तुलना करने के लिए एक मजबूत सांख्यिकीय ढांचा (RM-ANOVA + Tukey HSD) पेश करता है।
• विश्वसनीय OOD मूल्यांकन: परमाणु वातावरणों को क्लस्टर करके और विशिष्ट क्लस्टर लेबल को हटाकर, लेखक एक ऐसा प्रोटोकॉल स्थापित करते हैं जो परमाणु वातावरण रिसाव को रोकता है, जिससे मॉडल के सामान्यीकरण का अधिक सटीक मूल्यांकन प्राप्त होता है।
• अनुमानित गुणवत्ता का आकलन: लेखक प्रदर्शित करते हैं कि QT-Net व्यापक QM9 डेटासेट (AIMEl प्रशिक्षण उपसमुच्चय के बाहर) के परमाणुओं के लिए QTA गुणों का अनुमान लगा सकता है। महत्वपूर्ण रूप से, वे दिखाते हैं कि इन अनुमानित योगदानों को जोड़ने से उच्च सटीकता ($R^2 \approx 0.93$) के साथ ग्राउंड-ट्रुथ मॉलिक्यूलर डायपोल मोमेंट्स प्राप्त होते हैं, जो अनुमानित गुणों की भौतिक निरंतरता को प्रमाणित करता है।

परिणाम

• मॉडल प्रदर्शन: नॉन-इक्विवेरिएंट, रोटेशनली ऑगमेंटेड मॉडल होल्ड-आउट OOD सेटों पर QTA गुणों की भविष्यवाणी करने में E(3)-इक्विवेरिएंट समकक्षों की तुलना में काफी बेहतर प्रदर्शन करते हैं। विशेष रूप से, SG-8-12 आर्किटेक्चर (स्केलर, 8 बोहर कटऑफ, 12 निकटतम पड़ोसी, 7 परतें) ने सर्वश्रेष्ठ प्रदर्शन किया। लेखक तर्क देते हैं कि स्केलर मॉडलों के बढ़े हुए डेप्थ का उपयोग ज्यामितीय जानकारी को परिष्कृत करने के लिए किया जाता है, न कि रासायनिक जानकारी को पास करने के लिए, जिसे इक्विवैरिएंट मॉडल डिज़ाइन द्वारा संभालते हैं।
• डाउनस्ट्रीम उपयोगिता: जब अनुमानित QTA गुणों का उपयोग डाउनस्ट्रीम आणविक गुण भविष्यवाणी (पॉलेराइजेबिलिटी $\alpha$, HOMO-LUMO गैप $\Delta$, आंतरिक ऊर्जा $U_0$, और ऊष्मा क्षमता $C_v$ की भविष्यवाणी करना) के लिए इनपुट फीचर्स के रूप में किया गया, तो "इंफॉर्म्ड" मॉडल (QTA इनपुट के साथ) ने "ब्लाइंड" मॉडल (बिना QTA इनपुट के) की तुलना में सांख्यिकीय रूप से महत्वपूर्ण सुधार दिखाया, विशेष रूप से कम प्रशिक्षण अंशों पर $U_0$ और $C_v$ के लिए।
• भौतिक निरंतरता: QT-Net के प्रति-परमाणु आउटपुट से पुनर्गठित आणविक द्विध्रुव क्षण, अनदेखे QM9 शेष भाग पर $R^2 = 0.931 \pm 0.003$ के साथ QM9 ग्राउंड-ट्रुथ मानों से मेल खाते हैं। यह सुझाव देता है कि मॉडल ने सांख्यिकीय नियमितताओं को याद करने के बजाय इलेक्ट्रॉन घनत्व के अंतर्निहित QTAIM विभाजन को सीखा है।

महत्व और दावे
पेपर का दावा है कि QTA गुण भविष्यवाणी में प्राथमिक बाधा आर्किटेक्चरल रिप्रेजेंटेशन से बदलकर डेटा उपलब्धता और लक्ष्य चयन की ओर स्थानांतरित हो गई है। लेखक इस बात पर जोर देते हैं कि परमाणु गुणों के लिए OOD मूल्यांकन के लिए परमाणु वातावरणों की सावधानीपूर्वक ट्रैकिंग की आवश्यकता होती है, क्योंकि एक ही तत्व रासायनिक रूप से भिन्न वातावरणों में मौजूद हो सकता है।

इस कार्य का महत्व निम्नलिखित में निहित है:

1. मूल्यांकन त्रुटियों को सुधारना: यह प्रदर्शित करना कि परीक्षण सेट में सभी परमाणुओं (वातावरण रिसाव को अनदेखा करते हुए) को ध्यान में रखने वाले मेट्रिक्स अत्यधिक आत्मविश्वासी परिणाम देते हैं, जबकि वातावरण-जागरूक मेट्रिक्स वास्तविक OOD प्रदर्शन को प्रकट करते हैं।
2. आर्किटेक्चर का चुनाव: इस विशिष्ट कार्य के लिए, घने जुड़ाव (dense connectivity) के साथ संयोजन में, E(3)-इक्विवेरिएंट मॉडलों के बजाय नॉन-इक्विवेरिएंट, रोटेशनली ऑगमेंटेड GNNs के उपयोग को उचित ठहराना, उनकी बेहतर प्रदर्शन क्षमता और कम्प्यूटेशनल दक्षता का हवाला देते हुए।
3. इंडक्टिव बायस (Inductive Bias): यह स्थापित करना कि सीखे गए QTA गुण डाउनस्ट्रीम मॉलिक्यूलर मशीन लर्निंग कार्यों के लिए भौतिक रूप से सार्थक इंडक्टिव बायस के रूप में कार्य कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि इस ढांचे को अन्य क्वांटम-मैकेनिकल रूप से व्युत्पन्न डिस्क्रिप्टर्स (जैसे, कॉन्सेप्चुअल DFT रिएक्टिविटी इंडेक्स, IQA डिकम्पोजिशन) और व्यापक रासायनिक स्थानों तक विस्तारित करना स्वाभाविक अगला कदम है, जो भविष्य की चुनौती को एक मॉडलिंग समस्या के बजाय एक डेटा समस्या के रूप में फ्रेम करता है।