🤖 machine learning

On De-Individuated Neurons: Continuous Symmetries Enable Dynamic Topologies

यह शोध पत्र आइसोट्रोपिक सक्रियण फलनों (isotropic activation functions) का उपयोग करने वाली एक कार्यप्रणाली प्रस्तुत करता है जो परतों को विकर्ण बनाने (diagonalize) के लिए आधार स्वतंत्रता (basis independence) का लाभ उठाकर वास्तविक समय में न्यूरोजेनेसिस और न्यूरोडीजेनरेशन के माध्यम से गतिशील नेटवर्क आर्किटेक्चर को सक्षम बनाती है, जिससे कम्प्यूटेशनल कार्यक्षमता को बदले बिना न्यूरॉन्स को हटाने या जोड़ने की अनुमति मिलती है और साथ ही व्याख्यात्मकता और विरलता (sparsity) को बढ़ाया जाता है।

मूल लेखक: George Bird

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: George Bird

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लेगो (LEGO) ईंटों से एक घर बना रहे हैं। एक मानक AI न्यूरल नेटवर्क में, हर ईंट एक विशिष्ट, व्यक्तिगत "न्यूरॉन" है। यदि आप घर को बड़ा या छोटा करना चाहते हैं, तो आपको बहुत सावधानी से विशिष्ट ईंटों को इधर-उधर करना होगा। यदि आप एक ईंट निकाल देते हैं, तो पूरी संरचना ढह सकती है क्योंकि वह ईंट किसी विशेष कोने को थामे हुए थी। यही कारण है कि AI मॉडल के आकार को बदलना आमतौर पर उसे तोड़ देता है या उसके लिए भारी मात्रा में पुन: प्रशिक्षण (retraining) की आवश्यकता होती है।

यह शोध पत्र, "On De-Individuated Neurons," इन डिजिटल घरों को बनाने का एक क्रांतिकारी नया तरीका प्रस्तावित करता है। अलग-अलग ईंटों का उपयोग करने के बजाय, लेखक सुझाव देते हैं कि तरल मिट्टी (liquid clay) या लचीली धातु (malleable metal) से निर्माण किया जाए।

यहाँ सरल उपमाओं का उपयोग करके इस शोध पत्र के विचारों का विवरण दिया गया है:

1. समस्या: "व्यक्तिगत ईंट" का जाल (The "Individual Brick" Trap)

वर्तमान AI में, हम हर न्यूरॉन को एक विशिष्ट व्यक्ति की तरह मानते हैं जिसका एक विशेष काम है।

समस्या: यदि आप एक न्यूरॉन को हटाना (fire) चाहते हैं या एक नया न्यूरॉन जोड़ना (hire) चाहते हैं, तो यह एक विशिष्ट कर्मचारी को निकालने और उसके स्थान पर नया नियुक्त करने जैसा है। नया व्यक्ति काम नहीं जानता, और टीम को फिर से सीखना पड़ता है कि साथ मिलकर कैसे काम करना है।
परिणाम: आप नेटवर्क के आकार को बदले बिना जो कुछ भी सीखा है, उसे खोए बिना आसानी से आकार नहीं बदल सकते।

2. समाधान: "आइसोट्रोपिक" न्यूरॉन्स (The Liquid Clay)

लेखक एक नया प्रकार का गणितीय बिल्डिंग ब्लॉक पेश करते हैं जिसे "Isotropic Activation Function" कहा जाता है।

उपमा: कल्पना कीजिए कि व्यक्तिगत ईंटों के बजाय, आपके पास प्ले-डोह (playdough) का एक ब्लॉक है।
यह कैसे काम करता है: इस प्ले-डोह मॉडल में, कोई "व्यक्तिगत" न्यूरॉन नहीं हैं। पूरा स्तर (layer) बस एक बड़ा, निरंतर आकार है। क्योंकि यह आकार पूरी तरह से सममित (symmetrical/isotropic) है, इससे कोई फर्क नहीं पड़ता कि आप प्ले-डोह के किस हिस्से को "न्यूरॉन A" या "न्यूरॉन B" कहते हैं। वे सभी एक जैसे हैं।
जादू: चूंकि कोई विशिष्ट व्यक्ति नहीं हैं, इसलिए आप प्ले-डोह को फैलाकर परत को चौड़ा (न्यूरॉन जोड़ना) कर सकते हैं या इसे सिकोड़कर परत को संकरा (न्यूरॉन हटाना) कर सकते हैं बिना घर के आकार को बदले। फंक्शन बिल्कुल वैसा ही रहता है।

3. तकनीक: "विकर्ण" दृश्य (The "Diagonal" View)

आप इस प्ले-डोह को बिना गड़बड़ी किए कैसे काट या जोड़ सकते हैं? शोध पत्र "Diagonalization" नामक एक गणितीय ट्रिक का उपयोग करता है।

उपमा: कल्पना कीजिए कि आप ऊन के एक उलझे हुए गोले को देख रहे हैं। यह अस्त-व्यस्त और सुलझाने में असंभव लगता है। लेकिन यदि आप एक विशिष्ट कोण से रोशनी डालते हैं (एक "basis change"), तो ऊन की छायाएं एकदम सीधी, समानांतर पंक्तियों में संरेखित हो जाती हैं।
प्रक्रिया: लेखक दिखाते हैं कि नेटवर्क के दृश्य को कैसे घुमाया जाए ताकि प्रत्येक कनेक्शन पूरी तरह से एक-से-एक (one-to-one) संरेखित हो जाए।
- न्यूरोडिजनरेशन (Pruning/छंटाई): एक बार जब कनेक्शन संरेखित हो जाते हैं, तो आप देख सकते हैं कि कौन से धागे बहुत पतले (कमजोर) हैं। आप बस उन पतले धागों को काट सकते हैं। क्योंकि सिस्टम सममित है, कमजोर धागे को काटने से पूरा ताना-बाना नहीं टूटता; यह केवल इसके वजन के एक छोटे से हिस्से को हटा देता है।
- न्यूरोजेनेसिस (Growth/वृद्धि): इसके विपरीत, आप नए, खाली धागे (scaffold neurons) जोड़ सकते हैं जो वर्तमान में कुछ भी नहीं कर रहे हैं। क्योंकि सिस्टम लचीला है, इन नए धागों को मौजूदा पैटर्न को बाधित किए बिना काम करना शुरू करने के लिए "प्रशिक्षित" किया जा सकता है।

4. "इंट्रिंसिक लेंथ" (The "Intrinsic Length" - सुरक्षा कवच)

जब आप एक धागा काटते हैं, तो कभी-कभी एक छोटा सा "रेशा" (bias) पीछे रह जाता है जो पैटर्न को खराब कर सकता है।

उपमा: एक गुब्बारे की कल्पना करें। यदि आप उसका एक टुकड़ा काट देते हैं, तो हवा बाहर निकल सकती है। इसे रोकने के लिए, लेखक एक नया पैरामीटर पेश करते हैं जिसे "Intrinsic Length" कहा जाता है।
कार्य: इसे प्ले-डोह के भीतर एक छिपे हुए, अदृश्य स्प्रिंग के रूप में सोचें। जब आप एक न्यूरॉन काटते हैं, तो यह स्प्रिंग बचे हुए "फ्रे" या बायस को सोख लेता है, यह सुनिश्चित करता है कि जैसे-जैसे आप इसे छोटा करते हैं, घर पूरी तरह से स्थिर रहे।

5. जैविक संबंध: बढ़ना और सिकुड़ना (Growing and Shrinking)

प्रकृति यह सब समय-समय पर करती है। एक बच्चे का मस्तिष्क बहुत अधिक न्यूरॉन्स के साथ होता है। जैसे-जैसे वे सीखते हैं, मस्तिष्क बेकार कनेक्शनों को काट देता है और उपयोगी कनेक्शनों को मजबूत करता है।

शोध पत्र की खोज: लेखक ने इसे कंप्यूटर विज़न कार्य (बिल्लियों और कुत्तों को पहचानना) पर परखा। उन्होंने एक नेटवर्क के साथ शुरुआत की जिसमें बहुत अधिक न्यूरॉन थे, उसे बढ़ने दिया, और फिर उसे सिकुड़ने दिया।
परिणाम: वह नेटवर्क जो बड़ा होकर सिकुड़ा था, उसने उस नेटवर्क से बेहतर प्रदर्शन किया जो अपने मूल आकार में ही रहा। इसने जैविक लाभ—"अति-प्रचुरता के बाद छंटाई"—की नकल की।

6. "50% स्पर्सिटी" बोनस (The "50% Sparsity" Bonus)

क्योंकि नेटवर्क को इन पूर्ण, सीधी रेखाओं (diagonalized) में पुनर्गठित किया जा सकता है, लेखक ने कुछ अद्भुत खोजा:

उपमा: आप एक अव्यवस्थित कमरे को इस तरह व्यवस्थित कर सकते हैं कि आधे फर्नीचर को दीवार के साथ करीने से लगा दिया जाए, जिससे कमरे का आधा हिस्सा खाली रहे।
परिणाम: आप सैद्धांतिक रूप से एक घने (dense) नेटवर्क में 50% कनेक्शनों को हटा सकते हैं और फिर भी यह बिल्कुल उसी तरह काम करेगा। यह एक सुपर-कुशल AI संस्करण की तरह है जो आधा मेमोरी उपयोग करता है लेकिन बिल्कुल वही काम करता है।

सारांश

यह शोध पत्र सुझाव देता है कि हमें AI न्यूरॉन्स को अलग, नाजुक व्यक्तियों के रूप में देखना बंद कर देना चाहिए। इसके बजाय, हमें उन्हें एक तरल, सममित प्रणाली (fluid, symmetrical system) के रूप में देखना चाहिए। ऐसा करके, हम निम्नलिखित शक्तियां प्राप्त करते हैं:

जैसे-जैसे AI सीखता है, हम इसे वास्तविक समय में बढ़ा और सिकोड़ सकते हैं।
हम पूरे मस्तिष्क को तोड़े बिना कमजोर हिस्सों की छंटाई (pruning) कर सकते हैं।
प्रदर्शन खोए बिना नेटवर्क को आधा काटकर जगह बचा सकते हैं।

यह कठोर लेगो (LEGO) से निर्माण करने से बदलकर बुद्धिमान, स्व-उपचार करने वाली मिट्टी (self-healing clay) से मूर्तिकला बनाने की ओर एक बदलाव है।

यहाँ जॉर्ज बर्ड के शोध पत्र "On De-Individuated Neurons: Continuous Symmetries Enable Dynamic Topologies" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान कृत्रिम तंत्रिका नेटवर्क (ANNs) एलिमेंट-वाइज फंक्शनल फॉर्म्स (जैसे कि मानक एक्टिवेशन फंक्शन जैसे ReLU या Tanh, जो व्यक्तिगत न्यूरॉन्स पर अलग-अलग लागू होते हैं) पर निर्भर करते हैं। यह निर्माण अंतर्निहित रूप से यह मान लेता है कि न्यूरॉन्स इंडिविडुएटेड यूनिट्स (व्यक्तिगत इकाइयाँ) हैं जिनका एक निश्चित आधार (basis) है। फलस्वरूप:

आर्किटेक्चरल रिजिडिटी (संरचनात्मक कठोरता): नेटवर्क टोपोलॉजी को वास्तविक समय में संशोधित करना (न्यूरॉन्स को जोड़ना या हटाना) कठिन है क्योंकि मजबूत इंटरकनेक्टिविटी और बेसिस-डिपेंडेंस के कारण संरचनात्मक परिवर्तनों के दौरान कार्यक्षमता को बनाए रखना मुश्किल हो जाता है।
सीमित प्रूनिंग/ग्रोथ (छंटाई/वृद्धि): प्रूनिंग (न्यूरोडिजनरेशन) या ग्रोथ (न्यूरोजेनेसिस) की मौजूदा विधियाँ अक्सर डिस्क्रीट परम्यूटेशन या मास्किंग पर निर्भर करती हैं, जो प्रदर्शन को खराब कर सकती हैं या पुन: प्रशिक्षण (retraining) की आवश्यकता डाल सकती हैं।
जैविक समानता का अभाव: जैविक मस्तिष्क प्लास्टिसिटी प्रदर्शित करते हैं, जहाँ न्यूरॉन्स गतिशील रूप से बढ़ते और सिकुड़ते हैं। वर्तमान ANNs के पास इस निरंतर संरचनात्मक अनुकूलन को कार्यात्मक अपरिवर्तनीयता (functional invariance) के साथ बनाए रखने के लिए एक गणितीय ढांचा नहीं है।

यह शोध पत्र यह तर्क देता है कि "इंडिविडुएटेड न्यूरॉन्स" का अनुमान एक वैचारिक सीमा है न कि एक गणितीय आवश्यकता, जो वास्तविक डायनेमिक टोपोलॉजी को रोकता है।

2. कार्यप्रणाली (Methodology)

मुख्य कार्यप्रणाली एलिमेंट-वाइज प्रिमिटिव्स को आइसोट्रोपिक प्रिमिटिव्स (Isotropic Primitives) से बदलने में शामिल है, विशेष रूप से आइसोट्रोपिक एक्टिवेशन फंक्शन्स, जो निरंतर ऑर्थोगोनल सिमिट्रीज़ ( $O(n)$ ) से व्युत्पन्न हैं।

A. आइसोट्रोपिक एक्टिवेशन फंक्शन्स (Isotropic Activation Functions)

एक वेक्टर के प्रत्येक घटक $i$ पर फंक्शन $f(x_i)$ लागू करने के बजाय, यह शोध पत्र ऐसे एक्टिवेशन फंक्शन्स को परिभाषित करता है जो ऑर्थोगोनल ट्रांसफॉर्मेशन के तहत इक्विवेरिएंट (equivariant) होते हैं।

परिभाषा: एक फंक्शन $f: \mathbb{R}^n \to \mathbb{R}^n$ आइसोट्रोपिक है यदि $f(R\vec{x}) = Rf(\vec{x})$ किसी भी ऑर्थोगोनल मैट्रिक्स $R \in O(n)$ के लिए सत्य हो।
रूप: ये फंक्शन $f(\vec{x}) = \sigma(\|\vec{x}\|) \hat{x}$ के रूप में होते हैं, जहाँ आउटपुट दिशा इनपुट के सापेक्ष संरक्षित रहती है, और परिमाण (magnitude) इनपुट नॉर्म के एक फंक्शन द्वारा स्केल किया जाता है।
निहितार्थ: यह बेसिस-इंडिपेंडेंट (आधार-स्वतंत्र) न्यूरॉन्स बनाता है। यहाँ कोई कैनोनिकल बेसिस डिकम्पोजिशन के लिए नहीं है; "न्यूरॉन" एक गेज-डिपेंडेंट (gauge-dependent) अवधारणा है।

B. लेयर डायगोनलाइजेशन (Layer Diagonalisation)

बेसिस इंडिपेंडेंस का लाभ उठाते हुए, लेखक सिंगुलर वैल्यू डिकम्पोजिशन (SVD) का उपयोग करके एक लेयर-वाइज़ डायगोनलाइजेशन प्रक्रिया प्रस्तावित करते हैं।

तंत्र: एक आइसोट्रोपिक नॉन-लिनियैरिटी के आसपास के एफ़ाइन लेयर्स (affine layers) का उपयोग करके ऑर्थोगोनल रीपैरामेट्रिज़ेशन लागू करके, मध्यवर्ती लेयर के वेट मैट्रिक्स को एक डायगोनल मैट्रिक्स ( $\Sigma$ ) में बदला जा सकता है।
परिणाम: नेटवर्क को इस तरह से पुन: व्यक्त किया जाता है कि एक लेयर के न्यूरॉन्स अगली लेयर के न्यूरॉन्स के साथ वन-टू-वन संवाद करते हैं, जो सिंगुलर वैल्यू मैग्नीट्यूड द्वारा क्रमबद्ध होते हैं।
स्पैरसिटी (विरलता): यह नेटवर्क को एक स्पार्स बेसिस में पुन: व्यक्त करने की अनुमति देता है। सैद्धांतिक रूप से, एक डेंस नेटवर्क को सटीक कार्यक्षमता बनाए रखते हुए एसिम्प्टोटिक रूप से 50% कम पैरामीटर्स के साथ डायगोनलाइज किया जा सकता है।

C. डायनेमिक टोपोलॉजी (न्यूरोजेनेसिस और न्यूरोडिजनरेशन)

डायगोनलाइज होने के बाद, नेटवर्क अपनी चौड़ाई को गतिशील रूप से बदल सकता है:

न्यूरोडिजनरेशन (प्रूनिंग): छोटे सिंगुलर वैल्यूज ( $\Sigma_{ii} \approx 0$ $Σ_{ii} \approx 0$ ) वाले न्यूरॉन्स को हटाया जा सकता है। चूंकि कनेक्टिविटी वन-टू-वन है, इसलिए एक "न्यूरॉन" को हटाना एक एकल कनेक्शन को हटाने के समान है, जिससे कार्यात्मक हानि न्यूनतम होती है।
- चुनौती: न्यूरॉन को हटाने से एक अवशिष्ट बायस (residual bias) टर्म रह जाता है।
- समाधान: एक "इंट्रिन्सिक लेंथ" पैरामीटर ( $o$ ) का परिचय। यह ट्रेन करने योग्य पैरामीटर एक परपेंडिकुलर बायस के रूप में कार्य करता है जो अवशिष्ट बायस को "सोख" लेता है, जिससे यह सुनिश्चित होता है कि नेटवर्क कार्यात्मक रूप से अपरिवर्तनीय बना रहे, भले ही वेट्स शून्य की ओर बढ़ रहे हों।
न्यूरोजेनेसिस (ग्रोथ): "स्कैफोल्ड न्यूरॉन्स" को वेक्टर स्पेस की डाइमेंशनलिटी बढ़ाकर जोड़ा जा सकता है। इन नए न्यूरॉन्स को शून्य सिंगुलर वैल्यूज के साथ इनिशियलाइज़ किया जाता है (कार्यात्मक रूप से निष्क्रिय), लेकिन वे एफ़ाइन मैप्स के माध्यम से जुड़े होते हैं। आइसोट्रोपिक फंक्शन्स के नॉन-डायगोनल जैकोबियन के कारण, ग्रेडिएंट्स इन नए न्यूरॉन्स तक पहुँचते हैं, जिससे उन्हें ट्रेनिंग के दौरान विकसित होने और सक्रिय होने की अनुमति मिलती है।

3. मुख्य योगदान (Key Contributions)

ऑन्टोलॉजिकल इनवर्जन (सिमिट्री-लेड डिज़ाइन): यह पेपर पारंपरिक डिज़ाइन लॉजिक को उलट देता है। व्यक्तिगत न्यूरॉन्स की अवधारणा से सिमिट्री निकालने के बजाय, यह निरंतर ऑर्थोगोनल समूहों को प्रिमिटिव फंक्शनल फॉर्म को परिभाषित करने के लिए निर्धारित (prescribe) करता है। न्यूरॉन्स एक व्युत्पन्न अवधारणा के रूप में उभरते हैं न कि एक मौलिक इकाई के रूप में।
आइसोट्रोपिक प्रिमिटिव्स और डी-इंडिविडुएशन: यह बेसिस-इंडिपेंडेंट, नॉन-एलिमेंट-वाइज़ प्रिमिटिव्स का एक वर्ग पेश करता है। यह न्यूरॉन्स के "इंडिविडुएशन" को हटा देता है, जिससे बिना कार्यात्मक गिरावट के निरंतर रीपैरामेट्रिज़ेशन संभव होता है।
डायनेमिक टोपोलॉजी फ्रेमवर्क: यह वास्तविक समय में नेटवर्क पुनर्गठन (ग्रोथ और प्रूनिंग) के लिए एक गणितीय रूप से कठोर प्रक्रिया प्रदान करता है जो कार्यक्षमता को सटीक रूप से (ग्रोथ के लिए) या उच्च सन्निकटन (प्रूनिंग के लिए) के साथ सुरक्षित रखता है।
इंट्रिन्सिक लेंथ पैरामीटर: प्रूनिंग के दौरान बायस टर्म्स को संभालने के लिए पेश किया गया एक नया ट्यून करने योग्य पैरामीटर, जो एनालिटिकल इनवेरिएंस सुनिश्चित करता है।
सैद्धांतिक स्पैरसिटी: यह प्रदर्शित करता है कि आइसोट्रोपिक नेटवर्क डायगोनलाइजेशन के माध्यम से सटीक नेटवर्क कार्यक्षमता बनाए रखते हुए एक एसिम्प्टोटिक 50% स्पैरसिटी फैक्टर (पैरामीटर्स को आधा करना) प्राप्त कर सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

कार्यप्रणाली का परीक्षण आइसोट्रोपिक-tanh एक्टिवेशन फंक्शन्स के साथ मल्टी-लेयर परसेप्ट्रॉन्स (MLPs) का उपयोग करके CIFAR-10 क्लासिफिकेशन पर किया गया।

डायनेमिक एडैप्टेशन: नेटवर्क को प्रशिक्षित किया गया, फिर उनकी चौड़ाई को प्रति युग (epoch) $\pm 1$ न्यूरॉन की दर से 48 अतिरिक्त युगों के लिए गतिशील रूप से समायोजित किया गया।
परफॉरमेंस स्टेबिलिटी:
- चौड़ाई (16, 24, 32 न्यूरॉन्स) के बीच संक्रमण करने वाले नेटवर्क न्यूनतम हानि के साथ उच्च सटीकता बनाए रखते हैं।
- ओवरएबंडेंस हाइपोथीसिस (अति-प्रचुरता परिकल्पना): वे नेटवर्क जो चौड़ी चौड़ाई (32) से शुरू हुए और 16 या 24 न्यूरॉन्स तक प्रून किए गए, उन्होंने छोटी चौड़ाई से शुरू होने वाले नेटवर्क की तुलना में बेहतर प्रदर्शन किया। यह जैविक निष्कर्षों को दर्शाता है जहाँ न्यूरॉन्स के प्रारंभिक अति-उत्पादन के बाद प्रूनिंग से अधिक कुशल नेटवर्क बनते हैं।
- विफलता का मामला (Failure Case): 8 न्यूरॉन्स तक प्रून करने से सटीकता में महत्वपूर्ण गिरावट आई, जो इस विशिष्ट कार्य के लिए क्षमता की एक हार्ड लिमिट को दर्शाता है।
तुलना: आइसोट्रोपिक नेटवर्क, मानक एनिसोट्रोपिक (एलिमेंट-वाइज़) Tanh एक्टिवेशन वाले कंट्रोल नेटवर्क की तुलना में काफी बेहतर प्रदर्शन करते हैं, भले ही आइसोट्रोपिक नेटवर्क को प्रून किया गया हो।

5. महत्व और भविष्य के निहितार्थ (Significance and Future Implications)

जैविक संभाव्यता (Biological Plausibility): यह दृष्टिकोण एक गणितीय ढांचा प्रदान करता है जो वर्तमान स्टैटिक आर्किटेक्चर की तुलना में जैविक न्यूरोप्लास्टिसिटी (ग्रोथ और प्रूनिंग) की अधिक निकटता से नकल करता है।
दक्षता (Efficiency): कार्य की मांग के आधार पर नेटवर्क के आकार को गतिशील रूप से समायोजित करने की क्षमता, अधिक कुशल मॉडल बना सकती है जो संसाधनों को केवल वहीं आवंटित करते हैं जहाँ आवश्यक हो।
व्याख्यात्मकता (Interpretability): डायगोनलाइजेशन प्रक्रिया यह स्पष्ट दृश्य प्रदान करती है कि कौन से "न्यूरॉन-टू-न्यूरॉन" कनेक्शन प्रभावशाली हैं, जो यांत्रिक व्याख्यात्मकता (mechanistic interpretability) के लिए नए मार्ग खोलती है।
नया डिज़ाइन स्पेस: न्यूरॉन की अवधारणा को एक निश्चित बेसिस से अलग करके, यह पेपर न्यूरल नेटवर्क के लिए एक नया डिज़ाइन एक्सिस खोलता है, जो सुझाव देता है कि भविष्य के प्रिमिटिव्स को डिस्क्रीट एलिमेंट-वाइज़ ऑपरेशन्स के बजाय निरंतर सिमिट्रीज़ द्वारा परिभाषित किया जा सकता है।
सीमाएं और भविष्य का कार्य: पेपर नोट करता है कि जबकि फॉरवर्ड-पास फंक्शन इनवेरिएंट है, एडेप्टिव ऑप्टिमाइज़र (जैसे Adam) के तहत ग्रेडिएंट ट्रेजेक्टरीज रीपैरामेट्रिज़ेशन के कारण विचलित हो सकती हैं। भविष्य का कार्य विभिन्न फंक्शन वाले नेटवर्क को मर्ज करने और निरंतर सीखने (continual learning) के अनुप्रयोगों का पता लगाना होगा।

संक्षेप में, यह पेपर स्टैटिक, एलिमेंट-वाइज़ नेटवर्क से डायनेमिक, सिमिट्री-प्रिंसिपल नेटवर्क की ओर एक प्रतिमान परिवर्तन (paradigm shift) का प्रस्ताव करता है, जो न्यूनतम कार्यात्मक लागत के साथ वास्तविक समय में आर्किटेक्चरल अनुकूलन को सक्षम बनाता है।