Group-Algebraic Tensors: Provably-optimal Equivariant Learning and Physical Symmetry Discovery

तकनीकी सारांश: प्रमाणित-इष्टतम सममितीय शिक्षण (Equivariant Learning) के लिए समूह-बीजगणितीय टेंसर

समस्या विवरण

वैज्ञानिक डेटा, जैसे कि आणविक विन्यास और क्वांटम अवस्थाएं, स्वाभाविक रूप से बहुआयामी होती हैं और भौतिक सममिति (जैसे घूर्णन, क्रमपरिवर्तन) द्वारा नियंत्रित होती हैं। पारंपरिक मशीन लर्निंग दृष्टिकोण आमतौर पर इस टेंसर डेटा को वेक्टर में बदल देते हैं, जिससे इसकी प्राकृतिक ज्यामितीय संरचना ढह जाती है। यह प्रक्रिया उस संरचनात्मक जानकारी को नष्ट कर देती है जो डेटा को अर्थ देती है, जिससे बाद के मॉडलों को इस संरचना को पुन: प्राप्त करने के लिए उच्च कम्प्यूटेशनल लागत चुकानी पड़ती है।

जबकि इक्विवेरिएंट न्यूरल नेटवर्क (ENNs) ने विशिष्ट वास्तुशिल्प बाधाओं (जैसे घूर्णन-सममित परतें) को इंजीनियर करके सममिति को सफलतापूर्वक शामिल किया है, वे महत्वपूर्ण सीमाओं का सामना करते हैं:

1. संयोजन जटिलता (Combinatorial Complexity): जब कई सममितियाँ सह-अस्तित्व में होती हैं, तो प्रत्येक नए संयोजन के लिए नेटवर्क आर्किटेक्चर को शून्य से फिर से डिजाइन करना पड़ता है।
2. इष्टतमता का अभाव: संपीड़न या सन्निकटन के लिए उपयोग की जाने वाली मौजूदा टेंसर अपघटन विधियाँ (Tucker, CP, Tensor-Train) वैश्विक इष्टतमता गारंटी की कमी रखती हैं या उन्हें कंप्यूट करना NP-hard है।
3. व्याख्यात्मकता (Interpretability): ENNs 'ब्लैक बॉक्स' के रूप में कार्य करते हैं; वे विशिष्ट सममिति चैनलों (irreducible representations) में भविष्यवाणियों का क्लोज्ड-फॉर्म अपघटन प्रदान नहीं करते हैं।
4. खोज (Discovery): वर्तमान ढांचे डेटा से स्वयं डेटा के अंतर्निहित सममिति समूह (symmetry group) की खोज नहीं कर सकते; समूह को मैन्युअल रूप से निर्दिष्ट करना आवश्यक है।

कार्यप्रणाली: $\star_G$ टेंसर बीजगणित

लेखक एक प्रतिमान परिवर्तन (paradigm shift) का प्रस्ताव करते हैं: आर्किटेक्चर को सममिति के अनुरूप ढालने के बजाय, वे गणित को डेटा की ज्यामिति के अनुकूल बनाते हैं। वे $\star_G$ टेंसर बीजगणित पेश करते हैं, जहाँ एक परिमित समूह $G$ गुणन नियम को परिभाषित करता है, जिससे इक्विवेरेंस (equivariance) एक अंतर्निहित बीजगणितीय गुण बन जाता है, न कि केवल एक वास्तुशिल्प बाधा।

मुख्य घटक

1. बीजगणितीय परिभाषा:

   • $n$ कोटि के एक परिमित समूह $G$ के लिए, एक कनवल्शन टेंसर $T \in \mathbb{R}^{n \times n \times n}$ समूह गुणन तालिका (यदि $ab=c$तो$T(a,b,c) = 1$, अन्यथा 0) के आधार पर परिभाषित किया जाता है।
   • दो टेंसरों का $\star_G$ उत्पाद समूह आयामों के साथ समूह कनवल्शन के माध्यम से परिभाषित किया जाता है। यह उत्पाद शास्त्रीय मैट्रिक्स बीजगणित का सामान्यीकरण करता है, जो सममिति समूह को सीधे मल्टीप्लिकेटिव स्ट्रक्चर में समाहित करता है।
   • यह बीजगणित मानक मैट्रिक्स-मिमेटिक ऑपरेशन्स (व्युत्क्रम, ट्रांसपोज़, नॉर्म्स) का समर्थन करता है जो स्वाभाविक रूप से इक्विवेरेंस को बनाए रखते हैं।

2. स्पेक्ट्रल अपघटन (Peter-Weyl प्रमेय):

   • कनवल्शन टेंसर एक स्पेक्ट्रल अपघटन $T(a,b,c) = \sum C(i,j,k) F_G(a,i) F_G(b,j) F_G^{-1}(c,k)$ को स्वीकार करता है, जहाँ $F_G$ समूह के अपरिवर्तनीय यूनिटरी रिप्रेजेंटेशन (irreps) से निर्मित एक सामान्यीकृत ग्रुप फूरियर ट्रांसफॉर्म मैट्रिक्स है।
   • फूरियर डोमेन में, समूह कनवल्शन ब्लॉक-डायगोनल मैट्रिक्स गुणन बन जाता है, जो कुशल गणना की अनुमति देता है: फूरियर डोमेन में रूपांतरण $\to$ प्रत्येक irrep के लिए समानांतर मैट्रिक्स उत्पाद $\to$ इनवर्स ट्रांसफॉर्म।

3. $\star_G$-SVD और इष्टतमता:

   • इस बीजगणित का प्रत्येक टेंसर एक सिंगुलर वैल्यू डीकंपोजिशन (SVD) को स्वीकार करता है: $A = U \star_G S \star_G V^H$।
   • प्रमेय 2.1 (Eckart–Young $\star_G$ के लिए): रैंक-$k$ ट्रंकेशन $A_k$, $\star_G$-रैंक $k$ के अधिकतम $k$ वाले सभी टेंसर $B$ पर फ्रोबेनियस नॉर्म त्रुट $\|A - B\|_F$ को न्यूनतम करता है। यह पहला प्रमाणित-इष्टतम सममिति-संरक्षण टेंसर सन्निकटन प्रदान करता है।
   • Tucker (जो $\sqrt{d}$ कारक के साथ अर्ध-इष्टतम है), CP (NP-hard), या Tensor-Train (वैश्विक इष्टतमता का अभाव) के विपरीत, $\star_G$-SVD सटीक और बहुपद-समय (polynomial-time) में है।

4. समूहों का संयोजन (Composition of Symmetries):

   • प्रमेय 2.2 (प्रोडक्ट ग्रुप्स): एक उत्पाद समूह $G = G_1 \times \dots \times G_d$ के लिए, कनवल्शन टेंसर और फूरियर मैट्रिक्स क्रोनेकर उत्पादों के रूप में गुणनखंडित होते हैं ($T_G = T_{G_1} \otimes \dots \otimes T_{G_d}$)। यह बिना किसी वास्तुशिल्प पुनर्रचना के कई सममितियों को संयोजित करने की अनुमति देता है, केवल फूरियर ट्रांसफॉर्म मैट्रिक्स को अपडेट करके।

प्रमुख योगदान

1. प्रमाणित-इष्टतम संपीड़न: यह शोध पत्र सममिति-संरक्षण टेंसर सन्निकटन के लिए पहला Eckart–Young इष्टतमता गारंटी स्थापित करता है, जो क्लोज्ड-फॉर्म त्रुट सीमाओं के साथ सिद्धांत-आधारित रैंक चयन को सक्षम बनाता है।
2. मशीन-सत्यापित इक्विवेरेंस: बीजगणितीय परिणामों (एसोसिएटिविटी, डिस्ट्रिब्यूटिविटी, SVD इष्टतमता, उत्पाद समूह संरचना) को Lean 4 (600 पंक्तियों का कोड) में औपचारिक रूप दिया गया है, जिसमें शून्य अनसुलझे प्रमाण दायित्व हैं, जो गणितीय शुद्धता का प्रमाण प्रदान करता है।
3. डेटा-संचालित सममिति खोज: यह ढांचा बिना किसी पूर्व ज्ञान के डेटा से अनुकूलतम सममिति समूह और उसके गुणनखंड संरचना की खोज करने में सक्षम बनाता है।
4. प्रति-Irrep व्याख्यात्मकता: यह बीजगणितीय अपघटन भविष्यवाणियों को विशिष्ट अपरिवर्तनीय प्रतिनिधित्व (irreducible representation) चैनलों में एक क्लोज्ड-फॉर्म ब्रेकडाउन प्रदान करता है, जिससे भौतिक अवलोकनों की सममिति सामग्री प्रकट होती है।

प्रयोगात्मक परिणाम

1. सिंथेटिक सत्यापन

सटीक $Z_{12}$ घूर्णन सममिति वाले सिंथेटिक डेटा पर:

• $\star_G$-SVD + रिज रिग्रेशन ने केवल 101 मापदंडों का उपयोग करके पूर्ण भविष्यवाणी ($R^2 = 1.000$) और सटीक इनवेरिएंस (घूर्णन भिन्नता $\approx 10^{-31}$) प्राप्त की।
• न्यूरल बेसलाइन (Standard MLP, Augmented MLP, Invariant MLP) को 5,000–14,000 मापदंडों की आवश्यकता थी, कम सटीकता प्राप्त की, और काफी अधिक घूर्णन भिन्नता प्रदर्शित की (Augmented MLP के लिए $10^{-5}$ तक)।

2. QM9 आणविक गुण भविष्यवाणी

HOMO–LUMO गैप की भविष्यवाणी करने वाले QM9 बेंचमार्क (130,831 अणु) पर:

• $\star_G$-SVD + Ridge ने केवल 107 मापदंडों के साथ $R^2 = 0.556$ प्राप्त किया, जो कम पैरामीटर वाले शासन में न्यूरल बेसलाइन से बेहतर प्रदर्शन करता है।
• स्टैंडर्ड और इनवेरिएंट MLPs छोटे नमूना आकार (1,000 अणु) पर विफल हो गए ($R^2 < 0$), जबकि $\star_G$ ने 100 अणुओं से ही सकारात्मक $R^2$ बनाए रखा।
• विथ-आइसोमर विश्लेषण: आणविक आकार (QM9 में एक प्रमुख कन्फाउंडर) को नियंत्रित करने पर, $\star_G$ और MLPs के बीच प्रदर्शन का अंतर समाप्त हो गया, जो दर्शाता है कि बड़े मॉडलों के $R^2$ लाभ मुख्य रूप से आकार की भविष्यवाणी के कारण थे, न कि बेहतर केमिस्ट्री सीखने के कारण।

3. उत्पाद समूह संयोजन (Product Group Composition)

दो कम्यूटिंग सममितियों ($Z_6 \times Z_4$) वाले कार्य में:

• उत्पाद समूह मॉडल ने 186 मापदंडों के साथ पूर्ण भविष्यवाणी ($R^2 = 1.000$) प्राप्त की।
• सिंगल-फैक्टर मॉडल ($Z_6$ या $Z_4$ अकेले) ने केवल $\le 23\%$ भिन्नता को कैप्चर किया।
• एक नेटिव साइक्लिक सन्निकटन ($Z_{24}$) ने $R^2 = 0.986$ प्राप्त किया, जो उन युग्मित फ्रीक्वेंसी मोड को पकड़ने में विफल रहा जिन्हें उत्पाद संरचना अनूठे रूप से कैप्चर करती है।

4. सममिति और गुणनखंड खोज

• समूह खोज (Group Discovery): QM9 डेटा पर उम्मीदवार समूहों को स्कैन करने से $Z_4$ को सबसे अच्छे फिट के रूप में पहचाना गया, जो बिना किसी क्रिस्टलोग्राफिक इनपुट के कई कार्बनिक अणुओं की $C_4$ घूर्णन सममिति के अनुरूप है।
• गुणन संरचना खोज (Factorization Discovery): 24-तत्व समूह पर डेटा के लिए, एल्गोरिदम ने $Z_3 \times Z_8$ को इष्टतम अपघटन के रूप में पहचाना ($R^2 = 1.000$), जो साइक्लिक $Z_{24}$ ($R^2 = 0.985$) से बेहतर था और गुप्त उत्पाद संरचनाओं को प्रकट किया।

5. विग्नर-एकर्ट चयन नियमों (Wigner–Eckart Selection Rules) की अनुभवजन्य रिकवरी

कायरल ऑक्टाहेड्रल समूह ($O$) पर आणविक ज्यामिति का अपघटन:

• स्केलर गुण (जैसे HOMO-LUMO गैप) $A_1$ ($l=0$) चैनल द्वारा डोमिनेटेड थे।
• वेक्टर घटक (डाइपोल मोमेंट्स) $T_1$ ($l=1$) चैनल द्वारा डोमिनेटेड थे, जिसका $T_1/A_1$ प्रेडिक्टिव पावर अनुपात $\sim 2.8$ था (स्केलर के $\sim 0.5$ के मुकाबले)।
• रैंक-2 टेंसर (आइसोट्रोपिक पोलराइजेबिलिटी) ने $l=1$ चैनल पर लगभग शून्य निर्भरता दिखाई, जो $l=0 \oplus l=2$ के सैद्धांतिक अपघटन के अनुरूप है।
• ये भौतिक चयन नियम बिना किसी क्वांटम-मैकेनिकल इनपुट के केवल डेटा से प्राप्त किए गए।

6. इक्विवेरिएंट न्यूरल नेटवर्क (ENNs) के साथ तुलना

• कूल्ड $R^2$: अत्याधुनिक ENNs (MACE, SchNet) उच्च कूल्ड $R^2$ प्राप्त करते हैं लेकिन उन्हें $\sim 10^6$ मापदंडों की आवश्यकता होती है।
• इनपुट कॉन्ट्रैक्ट: $\star_G$ अणु-स्तर के सारांशों पर कार्य करता है। जब समान अणु-स्तर के इनपुट के साथ MLPs के साथ तुलना की जाती है, तो $\star_G$ कई गुना कम मापदंडों के साथ प्रतिस्पर्धी या बेहतर होता है।
• क्रॉस-सेलेक्टिविटी: पोलराइजेबिलिटी घटकों पर, एकल irreps ($E$ या $T_2$) तक सीमित $\star_G$ मॉडलों ने $\sim 96\%$ क्रॉस-सेलेक्टिविटी प्राप्त की, जबकि ENNs दोनों घटकों को सममित रूप से देखते थे ($< 1\%$ सेलेक्टिविटी), जो \star_ \text{_G}$ की प्रतिनिधित्व-सैद्धांतिक संरचनाओं को अलग करने की अनूठी क्षमता को प्रदर्शित करता है।

महत्व और दावे

लेखक दावा करते हैं कि $\star_G$ ढांचा केवल एक "तेज़-बेहतर-सस्ता" विकल्प नहीं है, बल्कि एक अलग गणितीय क्षमता (mathematical affordance) प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

1. प्रमाणित-इष्टतम सममिति-संरक्षण संपीड़न: सममिति-जागरूक टेंसर सन्निकटन के लिए पहला वैश्विक इष्टतमता गारंटी प्रदान करना।
2. मशीन-सत्यापित इक्विवेरेंस: गणितीय शुद्धता सुनिश्चित करने के लिए औपचारिक सत्यापन का उपयोग करना।
3. प्रति-Irrep व्याख्यात्मकता: भविष्यवाणियों का एक क्लोज्ड-फॉर्म अपघटन प्रदान करना जो भौतिक अवलोकनों की अंतर्निहित सममिति संरचना को प्रकट करता है।
4. डेटा-संचालित भौतिक खोज: अनुभवजन्य डेटा से सीधे भौतिक नियमों (जैसे विग्नर-एकर्ट चयन नियम) और सममिति समूहों की रिकवरी को सक्षम बनाना।

लेखक निष्कर्ष निकालते हैं कि डेटा-दुर्लभ वैज्ञानिक सेटिंग्स में, आर्किटेक्चरल एक्सप्रेसिविटी के बजाय बीजगणितीय संरचना एक मजबूत इंडक्टिव बायस (inductive bias) के रूप में कार्य करती है, जिससे गहरा बीजगणित (deep algebra), बिग डेटा दृष्टिकोणों को पछाड़ देता है।