🤖 machine learning

Parameter-Level Attribution of Symmetry in Trained Networks Though Parameter-Wise Functional Sensitivity

यह शोधपत्र यह स्थापित करता है कि किसी फलन (function) की समरूपता (symmetry) को साकार करने वाला एक सुगम पैरामीटर-स्पेस एक्शन तभी अस्तित्व में होता है जब उस समरूपता का टेंजेंट ऑर्बिट (tangent orbit), नेटवर्क की कार्यात्मक संवेदनशीलताओं (functional sensitivities) के प्रतिबिंब के भीतर स्थित हो, जो उन स्थानीय पैरामीटर दिशाओं की पहचान करने के लिए एक ढांचा प्रदान करता है जो या तो समरूपता ऑर्बिट का अनुसरण करती हैं या प्रशिक्षित नेटवर्कों में इक्विवेरिएंट सबस्पेस (equivariant subspace) की ओर उतरती हैं।

मूल लेखक: Alan Muriithi, Vedanta Thapar, Torben Berndt

प्रकाशित 2026-08-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alan Muriithi, Vedanta Thapar, Torben Berndt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आधुनिक आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, न्यूरल नेटवर्क को अक्सर 'ब्लैक बॉक्स' के रूप में माना जाता है: जटिल प्रणालियाँ जो डेटा लेती हैं और उत्तर उत्पन्न करती हैं, फिर भी इस बात की बहुत कम जानकारी देती हैं कि वे उन निष्कर्षों तक कैसे पहुँचती हैं। ये प्रणालियाँ गणितीय कनेक्शनों की परतों से बनी होती हैं, जिनमें से प्रत्येक में एक विशिष्ट संख्यात्मक मान, या पैरामीटर होता है, जिसे मशीन प्रशिक्षण के दौरान समायोजित करती है। इन प्रणालियों का अध्ययन करने वाले वैज्ञानिकों के लिए एक केंद्रीय प्रश्न यह है कि क्या एक प्रशिक्षित नेटवर्क की आंतरिक संरचना उस दुनिया के नियमों को दर्शाती है जिसे उसने सीखा है। यदि कोई नेटवर्क एक ऐसा कार्य सीखता है जिसमें समरूपता (symmetry) शामिल है—जैसे कि यह पहचानना कि एक आकृति घूमने के बाद भी वैसी ही दिखती है—तो क्या नेटवर्क के आंतरिक वायरिंग में वास्तव में उस घूर्णन (rotation) को प्रतिबिंबित करने वाला कोई तंत्र मौजूद होता है? शोधकर्ताओं को लंबे समय से संदेह था कि उत्तर 'हाँ' है, लेकिन यह सिद्ध करना कि नेटवर्क के कौन से हिस्से वास्तव में इस व्यवहार के लिए जिम्मेदार हैं, एक कठिन कार्य रहा है। यह अनिश्चितता महत्वपूर्ण है क्योंकि इन मॉडलों की आंतरिक ज्यामिति को समझने से यह पता चल सकता है कि वे ज्ञान का सामान्यीकरण (generalization) कैसे करते हैं और क्या वे वास्तव में उन भौतिक नियमों को समझते हैं जिनकी नकल करने के लिए उन्हें प्रशिक्षित किया गया है।

ऑक्सफोर्ड विश्वविद्यालय और हाइडलबर्ग इंस्टीट्यूट फॉर थ्योरेटिकल स्टडीज के शोधकर्ताओं की एक टीम ने इन नेटवर्कों के भीतर देखने का एक नया तरीका विकसित किया है, जो सरल सांख्यिकी से आगे बढ़कर इस बात की जांच करता है कि पैरामीटर नेटवर्क के आउटपुट को कैसे प्रभावित करते हैं। उन्होंने एक अवधारणा पर ध्यान केंद्रित किया जिसे वे 'फंक्शनल सेंसिटिविटी' (functional sensitivity) कहते हैं, जो यह मापता है कि यदि किसी एक आंतरिक संख्या को थोड़ा सा बदला जाए तो नेटवर्क का अंतिम उत्तर कितना बदल जाता है। इन सूक्ष्म परिवर्तनों का मानचित्रण करके, शोधकर्ताओं ने उन दिशाओं का एक विस्तृत चित्र बनाया जिनमें नेटवर्क अपने आउटपुट को बदल सकता है। उन्होंने एक विशिष्ट प्रश्न पूछा: यदि किसी नेटवर्क ने ज्ञात समरूपता वाली एक फलन (function) को सीखा है, तो क्या उस समरूपता को नेटवर्क के पैरामीटर्स के भीतर एक विशिष्ट गति (motion) के रूप में खोजा जा सकता है? दूसरे शब्दों में, क्या नेटवर्क की आंतरिक सेटिंग्स के माध्यम से एक ऐसा पथ है जो उसके द्वारा किए जाने वाले कार्य के घूमने या खिसकने के अनुरूप है?

शोधकर्ताओं ने इसे एक 'लिफ्टिंग समस्या' (lifting problem) के रूप में तैयार किया, जिसमें यह पूछा गया कि क्या अंतिम आउटपुट में देखे गए सुचारू रूपांतरणों (smooth transformations) को नेटवर्क की आंतरिक सेटिंग्स में एक सुचारू रूपांतरण के रूप में वापस "लिफ्ट" किया जा सकता है। उन्होंने पाया कि ऐसी गति के अस्तित्व के लिए, जिन दिशाओं में समरूपता के कारण फलन बदल सकता है, उन दिशाओं तक नेटवर्क के वर्तमान पैरामीटर्स द्वारा पहुँचा जाना आवश्यक है। यदि नेटवर्क की आंतरिक सेटिंग्स बहुत कठोर या खराब ढंग से संरेखित (aligned) हैं, तो आउटपुट में समरूपता को पूर्णतः साकार नहीं किया जा सकता है। इसका परीक्षण करने के लिए, टीम ने यह गणना करने की विधि विकसित की कि पैरामीटर्स को किसी समरूपता का अनुसरण करने या समरूपता की कमी को सुधारने के लिए किस सर्वोत्तम दिशा में ले जाया जाना चाहिए। उन्होंने दो अलग-अलग पथों की पहचान की: एक जो नेटवर्क को 'समरूपता कक्षा' (symmetry orbit) के साथ आगे बढ़ाता है, जो मूल प्रकृति को बदले बिना सीखे गए फलन को प्रभावी रूप से घुमाता है, और दूसरा जो नेटवर्क को पूर्ण समरूपता की स्थिति की ओर ले जाता है, जिससे उन त्रुटियों को कम किया जा सके जहाँ फलन समरूपता का पालन करने में विफल रहता है।

यह देखने के लिए कि क्या ये सैद्धांतिक दिशाएँ व्यवहार में काम करती हैं, शोधकर्ताओं ने दो अलग-अलग कार्यों पर न्यूरल नेटवर्क को प्रशिक्षित किया। पहले, उन्होंने एक सरल इमेज क्लासिफायर का उपयोग किया जिसे एक पूर्ण वृत्त और एक वेज-आकार के टुकड़े (wedge-shaped slice) के बीच अंतर करने के लिए डिज़ाइन किया गया था। इसके बाद, उन्होंने प्रशिक्षित नेटवर्क पर अपने द्वारा गणना की गई दिशाओं को लागू किया। जब उन्होंने नेटवर्क के पैरामीटर्स को समरूपता पथ के साथ घुमाया, तो नेटवर्क की निर्णय सीमा (decision boundary) ठीक उसी तरह घूमी जैसा कि अनुमान लगाया गया था, जिससे उसकी सटीकता बरकरार रही और उसकी दिशा भी बदल गई। जब उन्होंने पैरामीटर्स को समरूपता की ओर ले जाने वाले पथ के साथ संचालित किया, तो नेटवर्क का आउटपुट घूर्णन के नियमों के अधिक सुसंगत हो गया, जिससे उसके व्यवहार में त्रुटि कम हो गई। महत्वपूर्ण रूप से, उन्होंने पाया कि ये दिशाएँ केवल तभी विश्वसनीय रूप से काम करती हैं जब उन्हें गति के हर चरण पर पुनर्गणना (recalculate) करके निकाला जाता है। यदि उन्होंने शुरुआत में एक बार दिशा की गणना की और उसे स्थिर रखा, तो नेटवर्क जल्दी ही अपने पथ से भटक गया, और समरूपता बनाए रखने या सुधार करने में विफल रहा। इससे यह सिद्ध हुआ कि पैरामीटर्स और समरूपता के बीच का संबंध अत्यधिक स्थानीय (local) है और जैसे-जैसे नेटवर्क आगे बढ़ता है, यह बदलता रहता है।

टीम ने इस प्रक्रिया को एक अधिक जटिल प्रणाली के साथ दोहराया जिसे एक घूमते हुए विभव (rotating potential) को सीखने के लिए डिज़ाइन किया गया था, जिसे हैमिल्टनियन सिस्टम (Hamiltonian system) कहा जाता है। भले ही नेटवर्क के आर्किटेक्चर ने स्पष्ट रूप से इसे घूर्णी समरूपता (rotational symmetry) का पालन करने के लिए मजबूर नहीं किया था, फिर भी प्रशिक्षित नेटवर्क ने अंतर्निहित भौतिकी को सीख लिया था। जब शोधकर्ताओं ने यहाँ अपनी विधि लागू की, तो उन्होंने उसी पैटर्न को देखा: हर चरण पर दिशा की पुनर्गणना करने से नेटवर्क अपने सीखे हुए विभव को घुमाने या इसे अधिक सममित बनाने में सक्षम रहा, जबकि दिशा को स्थिर रखने से सही व्यवहार से धीरे-धीरे विचलन हुआ। यह अध्ययन दर्शाता है कि हालांकि न्यूरल नेटवर्क समरूपताओं को कूटबद्ध (encode) करना सीख सकते हैं, लेकिन इस व्यवहार के लिए जिम्मेदार विशिष्ट पैरामीटर स्थिर नहीं होते हैं। इन समरूपताओं को उनके आंतरिक ढांचे तक वापस ट्रैक करने की क्षमता इस बात पर निर्भर करती है कि पैरामीटर्स की स्थानीय ज्यामिति का निरंतर पुनर्मूल्यांकन किया जाए। ये निष्कर्ष बताते हैं कि समरूपता का आंतरिक प्रतिनिधित्व एक गतिशील विशेषता है, जिसे उन गणितीय नियमों के साथ संरेखित रहने के लिए निरंतर समायोजन की आवश्यकता होती है जिनका नेटवर्क ने पालन करना सीखा है।

तकनीकी सारांश: प्रशिक्षित नेटवर्क में सममिति का पैरामीटर-स्तरीय एट्रिब्यूशन (Attribution)

समस्या विवरण
यह शोध पत्र पैरामीटराइज्ड फंक्शन क्लासेस के अध्ययन में एक मौलिक प्रश्न को संबोधित करता है: जब एक न्यूरल नेटवर्क एक ऐसा फलन (function) सीख लेता है जिसमें एक ज्ञात सममिति (symmetry) मौजूद है, तो क्या उस सममिति को नेटवर्क के पैरामीट्राइजेशन के माध्यम से "लिफ्ट" (lift) किया जा सकता है? विशेष रूप से, लेखक यह जांचते हैं कि क्या पैरामीटर स्पेस में एक ऐसी गति (motion) मौजूद है जो फंक्शन स्पेस में एक ग्रुप एक्शन (group action) को साकार करती है। हालांकि ग्लोबल लिफ्टिंग (पूरे पैरामीटर मैनिफोल्ड पर एक स्मूथ एक्शन) हमेशा संभव नहीं हो सकती है, यह शोध पत्र इन्फिनिटेसिमल लिफ्टिंग समस्या (infinitesimal lifting problem) पर ध्यान केंद्रित करता है: यह निर्धारित करना कि क्या किसी फलन के सिमेट्री ऑर्बिट का टेंजेंट स्पेस, नेटवर्क के रियलाइजेशन मैप के डिफरेंशियल के इमेज (image) के भीतर स्थित है। यदि यह स्थिति बनी रहती है, तो नेटवर्क पैरामीटर अपडेट के माध्यम से सिमेट्री दिशा में स्थानीय रूप से आगे बढ़ सकता है।

कार्यप्रणाली (Methodology)
लेखक फंक्शनल सेंसिटिविटी (functional sensitivity) पर आधारित एक ढांचा पेश करते हैं, जिसे व्यक्तिगत पैरामीटर्स में होने वाले परिवर्तनों के प्रति नेटवर्क आउटपुट की स्थानीय प्रतिक्रिया के रूप में परिभाषित किया गया है।

फंक्शनल सेंसिटिविटी: एक नेटवर्क $f_\theta$ के लिए, जो $\theta$ द्वारा पैरामीटराइज्ड है, $i$ -वें पैरामीटर की पॉइंटवाइज फंक्शनल सेंसिटिविटी $S^*_i(x; \theta) = \frac{\partial f_\theta}{\partial \theta_i}(x)$ है। एग्रीगेट सेंसिटिविटी $S_i(\theta)$ एक प्रोब डिस्ट्रीब्यूशन पर इन सेंसिटिविटीज का रूट-मीन-स्क्वायर (root-mean-square) है।
डिफरेंशियल लिफ्टिंग क्राइटेरियन: शोध पत्र लिफ्टिंग समस्या को रियलाइजेशन मैप $\Phi: \Theta \to \mathcal{B}$ का उपयोग करके तैयार करता है, जहाँ $\mathcal{B}$ फंक्शन्स का स्पेस है। डिफरेंशियल $J_\theta = d\Phi_\theta$ पैरामीटर वेलोसिटी को फंक्शन-स्पेस वेरिएशंस में मैप करता है। $J_\theta$ के कॉलम फंक्शनल सेंसिटिविटीज के अनुरूप होते हैं। एक सिमेट्री जनरेटर $\xi$ को लिफ्ट करने के लिए एक आवश्यक शर्त यह है कि प्रेरित फंक्शन-स्पेस दिशा $\eta_\xi$ , $J_\theta$ के इमेज ( $\text{Im}(J_\theta)$ ) के भीतर होनी चाहिए।
लीस्ट-स्क्वायर्स रिलैक्सेशन (Least-Squares Relaxation): चूंकि ओवरपैरामीटराइज्ड या अपूर्ण रूप से प्रशिक्षित नेटवर्क्स में सटीक लिफ्टिंग अक्सर असंभव होती है, इसलिए लेखक सबसे अच्छे स्थानीय पैरामीटर दिशा को खोजने के लिए एक लीस्ट-स्क्वायर्स दृष्टिकोण प्रस्तावित करते हैं। यह दो विशिष्ट दिशाएं प्रदान करता है:
1. सिमेट्री ऑर्बिट दिशा ( $c^\star$ ): न्यूनतम-नॉर्म पैरामीटर दिशा जो सिमेट्री ऑर्बिट ( $\eta_\xi$ ) के साथ चलने का अनुमान लगाती है। रेसिड्यूल (residual) उस घटक को मापता है जो वर्तमान पैरामीट्राइजेशन के लिए अप्राप्य है।
2. इक्विवेरिएंस-डेफेक्ट दिशा ( $b^\star$ ): न्यूनतम-नॉर्म पैरामीटर दिशा जो फंक्शन को इक्विवैरिएंट सबस्पेस की ओर ले जाती है (अर्थात "इक्विवेरिएंस डेफेक्ट" $\delta_\theta = f_\theta - P_E f_\theta$ को कम करती है)।
एट्रिब्यूशन (Attribution): इन लीस्ट-स्क्वायर्स समाधानों के गुणांक (coefficients) सिमेट्री जनरेटर्स का प्रति-पैरामीटर एट्रिब्यूशन प्रदान करते हैं, जिससे यह पहचान होता है कि कौन से विशिष्ट वेट्स और बायस सिमेट्री में योगदान देते हैं या उसके अभाव के लिए जिम्मेदार हैं।

मुख्य योगदान

फंक्शनल सेंसिटिविटी फ्रेमवर्क: लेखक एक पैरामीटर-लेवल डिफरेंशियल फ्रेमवर्क विकसित करते हैं जो व्यक्तिगत पैरामीटर्स को सीखे गए मैप के स्थानीय परिवर्तनों से जोड़ता है, जिससे ध्यान पैरामीटर स्पेस में सांख्यिकीय सहसंबंधों (जैसा कि मैटी एट अल. के पूर्व कार्य में था) से हटाकर सीखे गए मैप के स्थानीय डिफरेंशियल ज्योमेट्री पर केंद्रित होता है।
सिमेट्री जनरेटर्स का प्रोजेक्शन: वे इन्फिनिटेसिमल सिमेट्री जनरेटर्स को पैरामीटर टेंजेंट स्पेस पर प्रोजेक्ट करने की एक विधि विकसित करते हैं, जिससे प्रति-पैरामीटर एट्रिब्यूशन और इक्विवैरिएंस के लिए एक डायग्नोस्टिक प्राप्त होता है।
प्रायोगिक सत्यापन: वे दो सेटिंग्स में इन मात्राओं का अनुभवजन्य मूल्यांकन करते हैं: एक रोटेशनल रूप से इनवेरिएंट क्लासिफायर और एक हैमिल्टोनियन न्यूरल नेटवर्क (HNN), जिसे रोटेशनल रूप से सिमेट्रिक पोटेंशियल पर प्रशिक्षित किया गया है।

प्रायोगिक परिणाम
लेखक मूल्यांकन करते हैं कि क्या गणना की गई स्थानीय पैरामीटर दिशाएं फंक्शन स्पेस में अनुमानित परिमित परिवर्तनों (finite changes) को प्रेरित करती हैं।

एनुलस क्लासिफायर (Annulus Classifier): एक MLP, जिसे आंतरिक डिस्क और बाहरी एनुलस के बीच अंतर करने के लिए प्रशिक्षित किया गया था, का परीक्षण किया गया। अध्ययन ने "रिज़ॉल्व्ड" (Resolved) ट्रैजेक्टरीज (हर स्टेप पर जैकोबियन और दिशा को पुनर्गणना करना) और "फिक्स्ड" (Fixed) ट्रैजेक्टरीज (इनिशियलाइजेशन पर गणना की गई दिशा का उपयोग करना) की तुलना की।
- रिज़ॉल्व्ड ट्रैजेक्टरीज: सिमेट्री-डायरेक्टेड फ्लो ( $c^\star$ ) ने इक्विवैरिएंट सबस्पेस से दूरी को बनाए रखते हुए फंक्शन को रोटेशनल सिमेट्री ऑर्बिट के साथ सफलतापूर्वक मूव किया। इक्विवैरिएंस-डायरेक्टेड फ्लो ( $b^\star$ ) ने नॉन-इनवेरिएंट घटक (इक्विवेरिएंस डेफेक्ट) को सफलतापूर्वक कम किया।
- फिक्स्ड ट्रैजेक्टरीज: ट्रेनिंग के बाद दिशाएं अनुमानित ऑर्बिट से काफी विचलित हो गईं, जो परिमित ट्रैजेक्टरीज के लिए दिशाओं को पुनर्गणना करने की आवश्यकता को रेखांकित करती हैं।
हैमिल्टोनियन न्यूरल नेटवर्क: मैक्सिकन हैट पोटेंशियल पर प्रशिक्षित अडैप्टेबल सिम्प्लेक्टिक रिकरेंट न्यूरल नेटवर्क्स (ASRNNs) का उपयोग करते हुए, लेखकों ने समान परिणाम देखे। दिशाओं की पुनर्गणना करने से नेटवर्क को प्रभावी रूप से पोटेंशियल को रोटेट करने (सिमेट्री फ्लो) या सीखे गए पोटेंशियल को "अधिक" इक्विवैरिएंट बनाने (इक्विवेरिएंस फ्लो) में मदद मिली। फिक्स्ड दिशाओं ने प्रारंभिक सफलता दिखाई लेकिन समय के साथ ड्रिफ्ट (drift) जमा किया।
आर्किटेक्चर स्वतंत्रता: उल्लेखनीय रूप से, ये परिणाम हैमिल्टोनियन नेटवर्क्स में भी बने रहे जहाँ आर्किटेक्चर ने स्पष्ट रूप से सिमेट्री को लागू नहीं किया था, जो दर्शाता है कि यह विधि मानक आर्किटेक्चर में सिमेट्री एनकोडिंग की पहचान कर सकती है।

महत्व और दावे
शोध पत्र का दावा है कि फंक्शनल सेंसिटिविटी यह पहचानने के लिए एक कठोर उपकरण प्रदान करती है कि कौन से विशिष्ट पैरामीटर्स सीखे गए मैप में सिमेट्री को एनकोड करते हैं। समस्या को लिफ्टिंग टास्क के रूप में तैयार करके, लेखक पॉइंटवाइज फर्स्ट-ऑर्डर लिफ्टिंग के लिए एक आवश्यक और पर्याप्त शर्त स्थापित करते हैं। इसका महत्व निम्नलिखित में निहित है:

प्रशिक्षित नेटवर्क के "इक्विवेरिएंस डेफेक्ट" का निदान करना।
पैरामीटर स्पेस में उन ऑर्थोगोनल दिशाओं की पहचान करना जो सिमेट्री ऑर्बिट के साथ चलने बनाम इक्विवैरिएंट सबस्पेस की ओर जाने के अनुरूप हैं।
यह प्रदर्शित करना कि जबकि लोकल लिफ्टिंग विश्वसनीय है, ग्लोबल लिफ्टिंग के लिए इन दिशाओं की निरंतर पुनर्गणना की आवश्यकता होती है, क्योंकि फिक्स्ड दिशाएं परिमित ट्रैजेक्टरीज के दौरान ऑर्बिट को ट्रैक करने में विफल रहती हैं।

यह कार्य प्रशिक्षण के दौरान सिमेट्री को लागू करने का दावा नहीं करता है, बल्कि प्रशिक्षित नेटवर्क्स के पैरामीटर स्पेस में सिमेट्री कैसे प्रस्तुत की जाती है, इसे समझने के लिए एक पोस्ट-हॉक डायग्नोस्टिक और एट्रिब्यूशन विधि प्रदान करता है।

इसी तरह के और पेपर