🤖 machine learning

Equivariant Neural Networks for General Linear Symmetries on Lie Algebras

यह शोध पत्र रिडक्टिव ली न्यूरॉन्स (ReLNs) को प्रस्तुत करता है, जो एक सटीक GL(n)-इक्विवैरिएंट आर्किटेक्चर है जो विविध वैज्ञानिक डोमेन में मैट्रिक्स-मान वाले और ली-एल्जेब्रिक फीचर्स पर कुशल, कम-पैरामीटर वाले लर्निंग को सक्षम करने के लिए रिडक्टिव ली अल्जेब्रा की स्थिरता समस्याओं को हल करता है, और सटीकता एवं कम्प्यूटेशनल दक्षता में मौजूदा बेसलाइनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Chankyo Kim, Sicheng Zhao, Minghan Zhu, Tzu-Yuan Lin, Maani Ghaffari

प्रकाशित 2026-02-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chankyo Kim, Sicheng Zhao, Minghan Zhu, Tzu-Yuan Lin, Maani Ghaffari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। दुनिया आकारों, गतिविधियों और अनिश्चितताओं से भरी है। यदि आप एक घन (cube) को घुमाते हैं, तो वह वही घन रहता है। यदि आप एक ड्रोन की गति बढ़ाते हैं, तो उसकी "अनिश्चितता" (uncertainty) कि वह कहाँ है, एक बहुत ही विशिष्ट, गणितीय तरीके से बदलती है।

वर्तमान के अधिकांश AI मॉडल उन छात्रों की तरह हैं जो विशिष्ट परीक्षण स्थितियों के लिए उत्तर रट लेते हैं। यदि आप परीक्षण छवि को घुमा देते हैं, तो वे भ्रमित हो जाते हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने "इक्विवेरिएंट न्यूरल नेटवर्क" (Equivariant Neural Networks) बनाए हैं—ऐसे मॉडल जो बुनियादी स्तर से ही रोटेशन और सिमेट्री (सममिति) को समझने के लिए निर्मित हैं।

हालाँकि, एक समस्या है। अधिकांश स्मार्ट मॉडल सरल रोटेशन (जैसे एक खिलौने को घुमाना) को संभालने में बहुत अच्छे हैं, लेकिन वे तब संघर्ष करते हैं जब डेटा जटिल हो जाता है। वे मैट्रिक्स (संख्याओं के ग्रिड) के सामने विफल हो जाते हैं जो अनिश्चितता, जड़त्व (inertia), या 3D आकारों जैसी चीजों का प्रतिनिधित्व करते हैं। वे "नॉन-कॉम्पैक्ट" सिमेट्रियों के साथ भी संघर्ष करते हैं, जो अंतरिक्ष को घुमाने के बजाय उसे खींचने या सिकोड़ने (stretching or squeezing) जैसी होती हैं।

यह शोध पत्र एक नया समाधान पेश करता है जिसे रिडक्टिव ली न्यूरॉन्स (Reductive Lie Neurons - ReLNs) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "टूटा हुआ रूलर" (The "Broken Ruler")

कल्पना कीजिए कि आपके पास चीजों को मापने के लिए एक रूलर (पैमाना) है। सरल रोटेशन के लिए, रूलर पूरी तरह से काम करता है। लेकिन जटिल मैट्रिक्स डेटा (जैसे ड्रोन का अनिश्चितता मानचित्र) के लिए, मानक रूलर (गणितीय रूप से जिसे "किलिंग फॉर्म" कहा जाता है) टूटा हुआ या "डिजेनरेट" (degenerate) है। यह कुछ चीजों को सटीक रूप से नहीं माप सकता, जिससे AI अस्थिर या रैखिक (मूर्ख) हो जाता है।

लेखक कहते हैं: "चलिए रूलर को ठीक करते हैं।" उन्होंने एक नया, नॉन-डिजेनरेट बाइलिनियर फॉर्म बनाया है। इसे एक कस्टम-मेड, सुपर-सटीक मापने वाले टेप के रूप में सोचें जो सरल रोटेशन और जटिल मैट्रिक्स खिंचाव दोनों के लिए काम करता है। यह AI को डेटा बिंदुओं के बीच संबंधों को बिना टूटे मापने की अनुमति देता है।

2. समाधान: "यूनिवर्सल अडैप्टर" (The "Universal Adapter")

इस शोध पत्र से पहले, यदि आपके पास एक ड्रोन होता, तो आपको एक AI चाहिए होता जो उसकी गति (एक वेक्टर) को समझ सके और एक बिल्कुल अलग AI चाहिए होता जो उसकी अनिश्चितता (एक मैट्रिक्स) को समझ सके। आपको उन्हें अनाड़ी तरीके से आपस में जोड़ना पड़ता था, जिससे अक्सर महत्वपूर्ण ज्यामितीय जानकारी खो जाती थी।

ReLNs एक यूनिवर्सल अडैप्टर की तरह कार्य करते हैं।

उपमा: कल्पना कीजिए कि आपके पास एक पेचकश (screwdriver) और एक रिंच (wrench) है। आमतौर पर, आपको उन्हें उपयोग करने के लिए दो अलग-अलग उपकरणों की आवश्यकता होती है। ReLNs एक "स्विस आर्मी नाइफ" की तरह हैं जो पेचकश और रिंच दोनों को एक ही स्लॉट में रख सकते हैं, और उन्हें एक ही परिवार के हिस्से के रूप में देख सकते हैं।
यह कैसे काम करता है: यह गति (एक वेक्टर) और अनिश्चितता (एक मैट्रिक्स) को लेता है और उन्हें एक ही साझा भाषा (Lie Algebra) में अनुवादित करता है। एक बार जब वे एक ही भाषा बोलने लगते हैं, तो AI उन्हें स्वाभाविक रूप से प्रोसेस कर सकता है, इस बात का सम्मान करते हुए कि वे तब कैसे बदलते हैं जब ड्रोन मुड़ता है या अपनी गति बदलता है।

3. उन्होंने इसका परीक्षण किस पर किया

लेखकों ने इसे केवल बनाया ही नहीं; उन्होंने इसे कई वास्तविक दुनिया के परिदृश्यों में परखा:

शेप सॉर्टर (Platonic Solids): उन्होंने परीक्षण किया कि क्या AI 3D आकृतियों (जैसे पासे) को पहचान सकता है, भले ही कैमरा बेतरतीब ढंग से घूम रहा हो। ReLNs लगभग 100% समय सही रहे, जबकि मानक मॉडल बुरी तरह विफल रहे।
ड्रोन पायलट: उन्होंने एक ड्रोन का अनुकरण किया जो आक्रामक रूप से उड़ रहा था। AI को शोर वाले गति डेटा और बदलते "अनिश्चितता मानचित्र" के आधार पर अनुमान लगाना था कि ड्रोन कहाँ है।
- परिणाम: ReLNs सबसे अच्छे थे। उन्होंने पथ को सही करने के लिए अनिश्चितता डेटा का उपयोग किया, जबकि अन्य मॉडल अनिश्चितता डेटा जोड़े जाने पर भ्रमित हो गए।
3D पेंटर (Gaussian Splatting): यह धुंधले, एनिसोट्रोपिक "बादलों" (Gaussians) का उपयोग करके 3D दृश्यों को रेंडर करने का एक नया तरीका है। इन बादलों का एक केंद्र और एक आकार (अनिश्चितता) होता है। ReLNs ने पिछले तरीकों की तुलना में इन 3D बादलों को बहुत बेहतर ढंग से समझा, विशेष रूप से जब वस्तुएं घूम रही थीं।
डबल पेंडुलम: झूलते हुए हाथ वाली एक क्लासिक भौतिकी समस्या। ReLNs ने भौतिकी के नियमों को वर्तमान अत्याधुनिक मॉडलों के समान ही सीखा, लेकिन उन्होंने काफी कम कंप्यूटिंग शक्ति (लगभग 11 गुना कम गणना प्रति चरण) का उपयोग किया।

4. बड़ी जीत: दक्षता और स्थिरता

शोध पत्र का दावा है कि ReLNs न केवल सटीक हैं; वे कुशल (efficient) भी हैं।

रूपक: कल्पना कीजिए कि दो कारें एक ही दूरी तय कर रही हैं। एक भारी, तेल की खपत करने वाला ट्रक (पिछले मॉडल) है जिसे सड़क पर बने रहने के लिए जटिल गणनाओं की आवश्यकता होती है। दूसरा एक चिकनी इलेक्ट्रिक स्पोर्ट्स कार (ReLNs) है। यह समान (या बेहतर) माइलेज प्राप्त करती है लेकिन बहुत कम ऊर्जा का उपयोग करती है।
क्योंकि ReLNs एक "क्लोज्ड-फॉर्म" गणितीय दृष्टिकोण (एक सीधा सूत्र) का उपयोग करते हैं, न कि प्रत्येक समूह के लिए जटिल पहेलियों को हल करने का प्रयास करते हैं, इसलिए वे तेज़ और हल्के हैं।

सारांश

संक्षेप में, यह शोध पत्र ReLNs प्रस्तुत करता है, जो एक नए प्रकार का AI मस्तिष्क है जो सरल बिंदुओं को समझने की तरह ही सहजता से जटिल, मैट्रिक्स-आधारित डेटा (जैसे अनिश्चितता और 3D आकार) को समझ सकता है। यह उस गणितीय "टूटे हुए रूलर" को ठीक करता है जो पिछले मॉडलों के लिए समस्या बन गया था, जिससे यह अधिक विविधता वाली सिमेट्री (रोटेशन, स्ट्रेच और स्क्वीज़) को उच्च सटीकता और बहुत कम कंप्यूटिंग पावर के साथ संभालने में सक्षम होता है। यह ज्यामितिक डीप लर्निंग के लिए एक "वन-साइज़-फिट्स-ऑल" बैकबोन है।

तकनीकी सारांश: ली अल्जेब्रा पर सामान्य रैखिक समरूपताओं के लिए इक्विवेरिएंट न्यूरल नेटवर्क

1. समस्या विवरण

कई वैज्ञानिक और ज्यामितीय समस्याएँ सामान्य रैखिक समरूपता (general linear symmetries) प्रदर्शित करती हैं, फिर भी वर्तमान इक्विवेरिएंट न्यूरल नेटवर्क आर्किटेक्चर मुख्य रूप से कॉम्पैक्ट समूहों (जैसे $SO(3)$, $E(n)$ ) या सरल वेक्टर विशेषताओं के लिए डिज़ाइन किए गए हैं। यह सीमा मैट्रिक्स-मान वाले डेटा, जैसे कि कोवेरियेंस (covariances), इनेर्शिया (inertias), या शेप टेंसर (shape tensors), जो नॉन-कॉम्पैक्ट जनरल लीनियर ग्रुप $GL(n)$ के तहत रूपांतरित होते हैं, की प्रयोज्यता को प्रतिबंधित करती है।

$GL(n) $-इक्विवेरिएंट लर्निंग के लिए एक केंद्रीय चुनौती$ GL(n) $की नॉन-कॉम्पैक्टनेस है। कॉम्पैक्ट समूहों के विपरीत,$ GL(n)$ में एक कैनोनिकल पॉजिटिव-डेफिनिट Ad-इनवेरिएंट इनर प्रोडक्ट का अभाव है। विशेष रूप से, $\mathfrak{gl}(n)$ पर किलिंग फॉर्म (Killing form) डीजेनरेट है क्योंकि $\mathfrak{gl}(n)$ रिडक्टिव (reductive) है लेकिन सेमीसिंपल (semisimple) नहीं है (इसमें एक गैर-तुच्छ केंद्र/center शामिल है)। यह डीजेनरेसी स्थिर इनवेरिएंट स्केलर (गेटिंग और नॉर्मलाइजेशन के लिए आवश्यक) के निर्माण को रोकती है और स्थिर नॉनलीनियर इक्विवेरिएंट ऑपरेशंस के डिजाइन को जटिल बनाती है। इसके अलावा, वास्तविक दुनिया के ज्यामितीय इनपुट अक्सर विषम (heterogeneous) होते हैं, जिनमें वेक्टर (लेफ्ट एक्शन के माध्यम से रूपांतरित होने वाले) और मैट्रिसेस (कॉन्ग्रुएंस के माध्यम से रूपांतरित होने वाले, जैसे $\Sigma \mapsto A\Sigma A^\top$ ) का संयोजन होता है। इन फीचर्स को सीधे जोड़ने से टेंसर संरचना नष्ट हो जाती है, जबकि स्पेक्ट्रल पैरामीट्रिज़ेशन डिफरेंशिएशन के तहत नाजुक हो सकता है।

2. कार्यप्रणाली: रिडक्टिव ली न्यूरॉन्स (ReLNs)

लेखक रिडक्टिव ली न्यूरॉन्स (ReLNs) पेश करते हैं, जो एक सामान्य-उद्देश्य वाला आर्किटेक्चर है जिसे $\mathfrak{gl}(n)$ पर उसके ली अल्जेब्रा के एडजॉइंट एक्शन (adjoint action) के प्रति सटीक रूप से इक्विवेरिएंट होने के लिए डिज़ाइन किया गया है।

मुख्य नवाचार: नॉन-डीजेनरेट Ad-इनवेरिएंट बाइलिनियर फॉर्म

रिडक्टिव अल्जेब्रा पर किलिंग फॉर्म की डीजेनरेसी को हल करने के लिए, लेखक एक संशोधित, नॉन-डीजेनरेट Ad-इनवेरिएंट बाइलिनियर फॉर्म $\tilde{B}$ प्रस्तावित करते हैं। एक रिडक्टिव ली अल्जेब्रा $\mathfrak{g} = \mathfrak{z}(\mathfrak{g}) \oplus [\mathfrak{g}, \mathfrak{g}]$ (केंद्र प्लस सेमीसिंपल आइडियल) के लिए, $\tilde{B}$ का निर्माण सेमीसिंपल भाग पर किलिंग फॉर्म और केंद्र पर एक मनमाने Ad-इनवेरिएंट इनर प्रोडक्ट को जोड़कर किया जाता है।
$\mathfrak{gl}(n)$ के विशिष्ट मामले के लिए, यह फॉर्म क्लोज्ड फॉर्म में इस प्रकार दिया गया है:
$\tilde{B}(X, Y) = 2n \text{Tr}(XY) - \text{Tr}(X)\text{Tr}(Y)$
यह रूप सममित (symmetric), Ad-इनवेरिएंट और नॉन-डीजेनरेट है, जो सिद्धांतपूर्ण नॉनलीनियर इंटरैक्शन और इनवेरिएंट फीचर निर्माण को सक्षम बनाता है।

आर्किटेक्चर घटक

ReLNs सीधे $n \times n$ मैट्रिक्स रिप्रेजेंटेशन पर कार्य करते हैं, जो ली-अल्जेब्रिक लिफ्टिंग (जैसे वेलोसिटी वेक्टर्स को $\mathfrak{so}(3) \subset \mathfrak{gl}(3)$ में और कोवेरियेंस को सिमेट्रिक मैट्रिसेस में मैप करना) के माध्यम से वेक्टर्स और मैट्रिसेस को एक साझा फीचर स्पेस में एकीकृत करते हैं। आर्किटेक्चर में शामिल हैं:

ReLN-Linear: एक लीनियर मैप जो ज्यामितीय आयाम पर ग्रुप एक्शन के साथ कम्यूट करता है।
ReLN-ReLU: एक इक्विवेरिएंट नॉनलिनियटी जो एक इनवेरिएंट स्केलर गेट कंप्यूट करने के लिए $\tilde{B}$ का उपयोग करती है, जिसे एक इक्विवेरिएंट दिशा के साथ लागू किया जाता है।
ReLN-Bracket: एक लेयर जो चैनलों के बीच नॉनलीनियर इंटरैक्शन बनाने के लिए ली ब्रैकेट (मैट्रिक्स कम्यूटेटर) का उपयोग करती है, जिससे Ad-इक्विवेरिएंस सुरक्षित रहता है।
Max-Killing Pooling और इनवेरिएंट लेयर्स: फीचर एग्रीगेशन और इनवेरिएंट आउटपुट उत्पन्न करने के लिए तंत्र।

विषम इनपुट के लिए एकीकृत प्रतिनिधित्व

ReLNs एक "यूनिफाइड लिफ्टिंग" रणनीति का उपयोग करते हैं। विषम इनपुट, जैसे वेलोसिटी वेक्टर्स (लेफ्ट एक्शन) और कोवेरियंस मैट्रिसेस (कॉन्ग्रुएंस एक्शन), को एक ही $\mathfrak{gl}(n)$ फीचर स्पेस में एम्बेड किया जाता है। ऑर्थोगोनल फ्रेम्स के लिए कॉन्ग्रुएंस और एडजॉइंट एक्शन के बीच आइसोमोर्फिज्म के तहत, दोनों प्रकार का डेटा एक ही एडजॉइंट एक्शन $Ad_g(X) = gXg^{-1}$ के तहत रूपांतरित होता है। यह एक एकल बैकबोन को अलग-अलग विशेषज्ञ आर्किटेक्चर के बिना युग्मित ज्यामितीय डेटा को प्रोसेस करने की अनुमति देता है।

3. मुख्य योगदान

ReLNs आर्किटेक्चर: सटीक $GL(n)$ एडजॉइंट इक्विवेरिएंस के लिए एक नया, सामान्य-उद्देश्य वाला आर्किटेक्चर, जो एक नॉन-डीजेनरेट Ad-इनवेरिएंट बाइलिनियर फॉर्म पर आधारित है जो मानक किलिंग फॉर्म की डीजेनरेसी समस्याओं को हल करता है।
यूनिफाइड लिफ्टिंग: विषम ज्यामितीय इनपुट (वेक्टर और कॉन्ग्रुएंस-ट्रांसफॉर्मिंग मैट्रिसेस) को एक साझा $\mathfrak{gl}(n)$ फीचर स्पेस में एम्बेड करने की विधि, जो एक एकल एडजॉइंट-इक्विवेरिएंट बैकबोन को सक्षम बनाती है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध क्षेत्रों में व्यावहारिक उपयोगिता और दक्षता का प्रदर्शन, जिसमें बीजगणितीय बेंचमार्क, अनिश्चितता-जागरूक स्टेट एस्टीमेशन और 3D गॉसियन स्प्लेटिंग शामिल हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने पाँच कार्यों पर ReLNs का मूल्यांकन किया:

बीजगणितीय बेंचमार्क ( $\mathfrak{sl}(3)$ और $\mathfrak{sp}(4)$ ):
- प्लेटोनिक सॉलिड क्लासिफिकेशन: ReLNs ने रोटेटेड कैमरा व्यूज़ पर लगभग पूर्ण सटीकता (99.78%) प्राप्त की, जो ली न्यूरॉन्स से मेल खाती है और वहां मजबूती प्रदर्शित करती है जहां नॉन-इक्विवेरिएंट MLPs विफल रहे (36.54%)।
- इनवेरिएंट फंक्शन रिग्रेशन: $\mathfrak{sp}(4)$ पर, ReLNs ने लगभग शून्य इनवेरिएंस एरर और कम टेस्ट MSE प्राप्त किया, जो विशेषीकृत ली न्यूरॉन्स के समान है लेकिन एक एकीकृत निर्माण के साथ।
ड्रोन स्टेट एस्टीमेशन:
- शोर वाले वेलोसिटी और कोवेरियंस डेटा से 3D ट्रैजेक्टरीज को पुनर्गठित करने के कार्य में, ReLNs ने नॉन-इक्विवेरिएंट ResNets और अन्य इक्विवेरिएंट बेसलाइन्स (Vector Neurons, TFN, SE(3)-Transformer) को काफी पीछे छोड़ दिया।
- सबसे अच्छा कॉन्फ़िगरेशन (उपयोग करके $(v, \log C)$ ) 13.92 मीटर का एब्सोल्यूट ट्रैजेक्टरी एरर (ATE) प्राप्त करता है, जबकि कोवेरियंस इनपुट के साथ Vector Neurons के लिए यह 191.78 मीटर था।
- एब्लेशन अध्ययनों ने पुष्टि की कि केवल सेमीसिंपल भाग के बजाय पूर्ण रिडक्टिव स्ट्रक्चर (सेंटर + सेमीसिंपल आइडियल) को मॉडल करना बेहतर है।
3D गॉसियन स्प्लेटिंग (3DGS):
- एक Gaussian-MAE फ्रेमवर्क में एकीकृत होकर, ReLNs ने रैंडम रोटेशन के तहत ModelNet10 पर 95.15% क्लासिफिकेशन एक्यूरेसी बनाए रखी, जबकि बेसलाइन 18.28% तक गिर गई।
- ReLNs ने प्री-ट्रेनिंग के दौरान तेजी से अभिसरण (convergence) किया और रोटेशन, स्केल और डेंसिटी एट्रीब्यूट्स केAcross कम रिकंस्ट्रक्शन एरर प्राप्त किया।
EMLP डबल-पेंडुलम बेंचमार्क:
- ReLNs ने कई सिमेट्री ग्रुप्स ( $O(2)$ , $SO(2)$, $D_6$ ) में EMLP रोलआउट एरर के बराबर या उससे बेहतर प्रदर्शन किया।
- दक्षता: ग्रुप-विशिष्ट बेस कंस्ट्रक्शन के बजाय क्लोज्ड-फॉर्म मैट्रिक्स ऑपरेशंस के उपयोग के कारण, ReLNs ने EMLP की तुलना में प्रति-स्टेप FLOPs को लगभग 11.18 $\times$ कम किया और इन्फरेंस लेटेंसी को 27.81 $\times$ कम किया।
लोरेंट्ज़-इक्विवेरिएंट टॉप टैगिंग:
- ReLNs ने जेट टैगिंग कार्यों में पैरामीटर-मैच्ड LorentzNet बेसलाइन्स के प्रदर्शन के बराबर प्रदर्शन किया, जो विशिष्ट एम्बेडिंग्स के माध्यम से नॉन-कॉम्पैक्ट लोरेंट्ज़ समूहों के लिए अपनी प्रयोज्यता प्रदर्शित करता है।

5. महत्व और दावे

लेखक दावा करते हैं कि ReLNs व्यापक रैखिक समरूपताओं के साथ सीखने के लिए एक व्यावहारिक, पुन: प्रयोज्य बैकबोन प्रदान करते हैं। रिडक्टिव अल्जेब्रा पर किलिंग फॉर्म से जुड़ी स्थिरता समस्याओं को हल करके, ReLNs मैट्रिक्स-मान वाले डेटा (जैसे अनिश्चितताएं और इनेर्शिया) के सिद्धांतपूर्ण प्रसंस्करण को सक्षम करते हैं, जिसे पहले सिमेट्री-कंसिस्टेंट तरीके से संभालना कठिन था।

लेखक जोर देते हैं कि ReLNs सटीकता-दक्षता ट्रेड-ऑफ में सुधार करते हैं, लगातार मजबूत बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन करते हैं, जबकि काफी कम पैरामीटर और कंप्यूट का उपयोग करते हैं। यह ढांचा उन अनुप्रयोगों के लिए एक समाधान के रूप में प्रस्तुत किया गया है जिनमें सामान्य रैखिक समरूपताओं के तहत विषम ज्यामितीय गुणों (जैसे रोबोटिक्स में वेलोसिटी और कोवेरियंस, या 3D गॉसियन स्प्लेटिंग में मीन और कोवेरियंस) का संयुक्त प्रसंस्करण आवश्यक है। यह कार्य सुझाव देता है कि रिडक्टिव ली अल्जेब्रा पर सटीक इक्विवेरिएंस संरचित 3D सीन मॉडल और भौतिक प्रणाली मॉडलिंग के लिए एक व्यवहार्य और कुशल दृष्टिकोण है।