🤖 machine learning

On the Architectural Complexity of Neural Networks

यह शोधपत्र टेंसर ऑपरेशन्स को स्पष्ट रूप से मॉडल करके डीप न्यूरल नेटवर्क्स के विश्लेषण और निर्माण के लिए एक एकीकृत सैद्धांतिक ढांचा प्रस्तुत करता है, जो वास्तुशिल्प जटिलता और महत्वपूर्ण सफलताओं के बीच ऐतिहासिक संबंधों को उजागर करता है और 3,000 से अधिक अनछुए उच्च-जटिलता वाले आर्किटेक्चर के एक डेटासेट की पहचान कर उसे जारी करता है।

मूल लेखक: Nicholas J. Cooper, François G. Meyer, Michael L. Roberts, Carlos Zapata-Carratalá, Lijun Chen, Danna Gurari

प्रकाशित 2026-05-07✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nicholas J. Cooper, François G. Meyer, Michael L. Roberts, Carlos Zapata-Carratalá, Lijun Chen, Danna Gurari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक डीप न्यूरल नेटवर्क (DNN) बनाना एक विशाल, जटिल फैक्ट्री बनाने जैसा है। पिछले 40 वर्षों से, इंजीनियर इन फैक्ट्रियों को अलग-अलग तरीकों से मानक लेगो ब्रिक्स (परतों) को एक के ऊपर एक रखकर बना रहे हैं। हम जानते हैं कि ये फैक्ट्रियां अविश्वसनीय रूप से अच्छा काम करती हैं, लेकिन हमारे पास वास्तव में ऐसा कोई ब्लूप्रिंट नहीं था जो यह समझा सके कि ये ईंटें बुनियादी स्तर पर एक दूसरे के साथ वास्तव में कैसे जुड़ती हैं। हम फैक्ट्री को बाहर से देख रहे थे, और अंदर घूमते हुए गियरों के बारे में केवल अनुमान लगा रहे थे।

यह पेपर एक नया, अत्यंत विस्तृत ब्लूप्रिंट पेश करता है जिसे हाइरार्किकल कॉम्बिनेटोरियल फ्रेमवर्क (Hierarchical Combinatorial Framework) कहा जाता है। यह केवल फैक्ट्री को देखता ही नहीं है; बल्कि यह डेटा को कैसे स्थानांतरित और मिश्रित किया जाता है, इसके आणविक स्तर तक इसे खोलकर देखता है।

यहाँ उनके द्वारा की गई खोज का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. नया ब्लूप्रिंट: "ब्लैक बॉक्स" से "पारदर्शी गियर" तक

पिछले अधिकांश सिद्धांतों ने न्यूरल नेटवर्क की परतों को "ब्लैक बॉक्स" की तरह माना। उन्होंने कहा, "यह बॉक्स एक छवि लेता है और आपको एक लेबल देता है," बिना यह बताए कि आंतरिक मशीनरी क्या है।

लेखक इन नेटवर्कों को देखने का एक नया तरीका प्रस्तावित करते हैं जिसे हाइरार्किकल कॉम्बिनेटोरियल कॉम्प्लेक्सिस (HCCs) कहा जाता है। इसे रूसी नेस्टिंग डॉल्स (एक के भीतर एक खिलौने) के सेट के रूप में सोचें:

तत्व (The Elements - ईंटें): कच्चा डेटा (संख्याएँ)।
स्लाइस (The Slices - ढेर): उन संख्याओं को पंक्तियों या कॉलमों में समूहबद्ध करना।
मोड्स (The Modes - शेल्फ): उन ढेरों को विशिष्ट आयामों (जैसे ऊंचाई, चौड़ाई, रंग) में व्यवस्थित करना।
टेन्सर्स (The Tensors - बॉक्स): डेटा को रखने वाले वास्तविक 3D (या उच्चतर) कंटेनर।
ऑपरेशन्स (The Operations - मिक्सर): वे मशीनें जो इन बॉक्सों को मिलाती हैं (जैसे मैट्रिक्स मल्टीप्लिकेशन)।
आर्किटेक्चर (The Architecture - फैक्ट्री फ्लोर): कैसे सभी मिक्सर और बॉक्स एक दूसरे से जुड़े हुए हैं।

यहाँ मुख्य नवाचार यह है कि वे स्पष्ट रूप से "टेन्सर ऑपरेशन्स" (मिक्सर्स) को मॉडल करते हैं। पिछले सिद्धांतों ने इन मिक्सर के विशिष्ट आकार और संरचना को अनदेखा कर दिया था। यह पेपर कहता है, "आइए गिनें कि मिक्सर में कितने गियर हैं और वे एक-दूसरे में कैसे फंसे हुए हैं।"

2. इतिहास का सबक: नए आर्किटेक्चर क्यों काम करते हैं

लेखकों ने अपने नए ब्लूप्रिंट का उपयोग करके न्यूरल नेटवर्क के 40 वर्षों के इतिहास को देखा। उन्होंने विशिष्ट प्रकार के कनेक्शनों को गिनकर प्रसिद्ध आर्किटेक्चर (जैसे मूल परसेप्ट्रॉन, CNN, ResNet, ट्रांसफॉर्मर) की "जटिलता" को मापा।

उपमा: कल्पना कीजिए कि आप एक कार की जटिलता माप रहे हैं।

1986 (FCNN): एक साइकिल। सरल, एक गियर।
1998 (CNN): ट्रांसमिशन के साथ एक कार। इसमें अलग-अलग इलाकों को संभालने के लिए अधिक गियर (उच्च क्रम के ऑपरेशन्स) हैं।
2016 (ResNet): टर्बोचार्जर और बाईपास वाल्व (स्किप कनेक्शन) के साथ एक कार। यह इंजन को सुचारू रूप से चलाने के लिए इसमें और अधिक भाग जोड़े गए हैं।
2017 (Transformer): एक जेट इंजन। यह पूरी तरह से अलग, अधिक जटिल प्रकार के दहन (combustion) का उपयोग करता है (2-वे मिक्सर के बजाय 3-वे मिक्सर)।

निष्कर्ष: हर बार जब एक "क्रांतिकारी" आर्किटेक्चर का आविष्कार किया गया, तो वह केवल एक मामूली बदलाव नहीं था; बल्कि वह जटिलता के एक उच्च स्तर पर छलांग थी। पेपर ने पाया कि सबसे सफल मॉडल वे थे जो एक नया "गियर" या डेटा को मिलाने का एक नया तरीका लेकर आए जो पहले उपयोग नहीं किया गया था।

3. खोज: अनबिल्ट फैक्ट्रियों का ब्रह्मांड

यहाँ सबसे रोमांचक हिस्सा है। लेखकों ने महसूस किया कि जबकि हम 2-वे मिक्सर (बाइनरी ऑपरेशन्स) और 3-वे मिक्सर के साथ निर्माण कर रहे थे, यहाँ 4-वे, 5-वे और यहाँ तक कि उच्च स्तर के मिक्सर का एक पूरा ब्रह्मांड है जिसे हमने पूरी तरह से अनदेखा कर दिया है।

उन्होंने पूछा: "क्या होगा यदि हम इन सुपर-कॉम्प्लेक्स मिक्सर्स का उपयोग करके एक फैक्ट्री बनाएं?"

अपने फ्रेमवर्क का उपयोग करते हुए, उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इन उच्च-जटिलता वाले मिक्सर्स का उपयोग करके 3,028 नए फैक्ट्री डिजाइन व्यवस्थित रूप से तैयार किए। उन्होंने केवल सिद्धांत नहीं दिया; उन्होंने उन्हें बनाया और परीक्षण किया।

परिणाम:
उन्होंने पाया कि इनमें से कुछ "अजीब", उच्च-जटिलता वाले डिजाइन आश्चर्यजनक रूप से कुशल थे।

उपमा: कल्पना कीजिए कि एक मानक डिलीवरी ट्रक (MobileNetV2) है जो अपने छोटे और कुशल होने के लिए प्रसिद्ध है। लेखकों ने अपने जटिल मिक्सर का उपयोग करके एक नया वाहन बनाया। यह नया वाहन छोटा था (केवल 10% भागों का उपयोग करके) लेकिन यह प्रसिद्ध ट्रक की तुलना में अधिक कार्गो (उच्च सटीकता प्राप्त की) ले जा सकता था।
विशेष रूप से, उनके एक 5-लेयर वाले मॉडल ने बहुत कम पैरामीटर्स का उपयोग करके एक प्रसिद्ध 30-लेयर वाले मॉडल को पछाड़ दिया।

4. "रेड स्टार" आर्किटेक्चर

उन्होंने एक विशिष्ट डिजाइन ("रेड स्टार") को उजागर किया जो एक चैंपियन था।

इसने एक "स्किप कनेक्शन" (डेटा को मिक्सर के चारों ओर भेजना) का उपयोग किया, लेकिन इसे एक बहुत ही जटिल 4-वे मिक्सर के साथ जोड़ा।
इसने भागों (वेट्स) का चतुराई से पुन: उपयोग किया, जैसे कि एक मैकेनिक एक इंजन के हिस्से से बोल्ट निकालकर दूसरे को ठीक करने के लिए उपयोग करता है।
इसने साबित कर दिया कि शानदार परिणाम प्राप्त करने के लिए आपको एक विशाल, गहरा नेटवर्क बनाने की आवश्यकता नहीं है; आपको बस सही प्रकार का जटिल मिश्रण चाहिए।

सारांश

यह पेपर इंजीनियरों को न्यूरल नेटवर्क को समझने और बनाने के लिए एक नया सेट उपकरण देने जैसा है।

उपकरण: यह वर्णन करने के लिए एक सटीक गणितीय भाषा कि डेटा कैसे मिश्रित होता है, न कि केवल यह कि डेटा कैसे बहता है।
अंतर्दृष्टि: इतिहास दिखाता है कि सफलता तब होती है जब हम नए प्रकार के "मिक्सर्स" का आविष्कार करते हैं।
प्रयोग: उन्होंने इन अनछुए, जटिल मिक्सर्स का उपयोग करके हजारों नए डिजाइन बनाए।
आश्चर्य: इनमें से कुछ नए डिजाइन अविश्वसनीय रूप से कुशल हैं, जो बहुत कम संसाधनों के साथ वर्तमान उद्योग मानकों को पछाड़ देते हैं।

पेपर निष्कर्ष निकालता है कि न्यूरल नेटवर्क का भविष्य उन्हें गहरा या व्यापक बनाने के बारे में नहीं है, बल्कि उन्हें उन तरीकों से संरचनात्मक रूप से अधिक जटिल बनाने के बारे में है जिन्हें हमने अभी तक आज़माया नहीं है। उन्होंने अपने 3,000+ नए डिजाइन अध्ययन और उपयोग के लिए सभी के लिए जारी कर दिए हैं।

तकनीकी सारांश: न्यूरल नेटवर्क की वास्तुशिल्प जटिलता पर

समस्या विवरण

डीप न्यूरल नेटवर्क (DNNs) ने विविध और जटिल आर्किटेक्चर के प्रसार के माध्यम से महत्वपूर्ण अनुभवजन्य सफलता प्राप्त की है। हालांकि, मौजूदा एकीकृत सैद्धांतिक ढांचे (जैसे, जियोग्राफिक डीप लर्निंग, कैटेगोरिकल डीप लर्निंग) टेंसर ऑपरेशन्स के उच्च-स्तरीय एब्स्ट्रैक्शन पर निर्भर करते हैं, जो अक्सर उन्हें ब्लैक-बॉक्स पैरामीटराइज्ड फंक्शन या एब्स्ट्रैक्ट लीनियर ट्रांसफॉर्मेशन के रूप में देखते हैं। यह एब्स्ट्रैक्शन टेंसर ऑपरेशन्स की पदानुक्रमित संरचना (hierarchical structure) को धुंधला कर देता है—विशेष रूप से निम्न-स्तरीय जानकारी कि टेंसर कैसे युग्मित (coupled), स्लाइस (sliced) और रूपांतरित (transformed) होते हैं। फलस्वरूप, इस बात की सैद्धांतिक समझ में एक अंतराल है कि आर्किटेक्चरल जटिलता समय के साथ कैसे विकसित होती है, और नए प्रकार के टेंसर ऑपरेशन्स के आधार पर नवीन आर्किटेक्चर बनाने के लिए व्यवस्थित विधियों का अभाव है। इसके अतिरिक्त, न्यूरल आर्किटेक्चर सर्च (NAS) वर्तमान में मौजूदा ऑपरेशन्स के निश्चित सेटों के बीच कनेक्शन को बदलने तक सीमित है, जो मौलिक रूप से नए टेंसर ऑपरेशन्स से निर्मित आर्किटेक्चर के स्थान (space) को खोजने में विफल रहता है।

कार्यप्रणाली

लेखक Hierarchical Combinatorial Complexes (HCCs) पर आधारित एक एकीकृत पदानुक्रमित संयोजी ढांचे (unified hierarchical combinatorial framework) को प्रस्तुत करते हैं। यह ढांचा टेंसर ऑपरेशन्स को एब्स्ट्रैक्ट करने के बजाय उनके संरचनात्मक मॉडल को स्पष्ट रूप से दर्शाता है। यह ढांचा एक रैंक-5 HCC का निर्माण करता है जो न्यूरल नेटवर्क का प्रतिनिधित्व करता है, जिसे इस प्रकार व्यवस्थित किया गया है:

रैंक 0 — तत्व (Elements): वास्तविक-मान वाले वेरिएबल्स का एक आधार सेट।
रैंक 1 — स्लाइस (Slices): तत्वों से व्युत्पन्न क्रमबद्ध सेट।
रैंक 2 — मोड्स (Modes): स्लाइस के विभाजन, जो टेंसर के आयामों (dimensions) का प्रतिनिधित्व करते हैं।
रैंक 3 — टेंसर (Tensors): 3-सेल्स के रूप में परिभाषित सामान्यीकृत टेंसर। मानक मल्टी-डायमेंशनल एरेज़ के विपरीत, ये "जग्ड" (jagged) टेंसर (अपूर्ण एरेज़) और "हाइपर-टेंसर" (मल्टी-इंडेक्स को कई तत्वों से मैप करने वाले) का प्रतिनिधित्व कर सकते हैं, जो क्रमबद्ध सेटों के विभाजन और स्ट्रिक्ट वीक ऑर्डर का उपयोग करते हैं।
रैंक 4 — ऑपरेशन्स (Operations): इस स्तर को दो प्रकारों में विभाजित किया गया है:
- मोड मैप्स (Mode Maps): स्लाइस स्पेस संरचनाओं को संरक्षित करने वाले टेंसरों के बीच फंक्शन (जैसे, फ्लैटनिंग, अनफोल्डिंग, पैच-इफ़ाइंग)।
- टेंसर ऑपरेशन्स (Tensor Operations): कई टेंसरों को संयोजित करने के तंत्र (जैसे, मैट्रिक्स मल्टीप्लिकेशन, हेडामर्ड प्रोडक्ट, मल्टी-हेड प्रोजेक्शन)। इन्हें टेंसर ऑपरेशन मैट्रिसेस (TOMs) के माध्यम से परिभाषित किया जाता है, जो इनपुट टेंसरों और आउटपुट टेंसर के मोड्स के बीच इनसिडेंस रिलेशनशिप (incidence relationships) को एनकोड करते हैं, जिसमें कॉन्ट्रैक्शन (समेशन) भी शामिल है।
रैंक 5 — न्यूरल नेटवर्क (Neural Networks): मोड मैप्स और टेंसर ऑपरेशन्स से निर्मित, जिन्हें टेंसर इक्वेशन मैट्रिसेस (TEMs) द्वारा दर्शाया जाता है जो ऑपरेशन्स और टेंसरों के बीच संबंधात्मक संरचना का वर्णन करते हैं।

यह ढांचा आर्किटेक्चरल कॉम्प्लेक्सिटी को मापने के लिए विशिष्ट मेट्रिक्स पेश करता है:

ऑपरेशन कॉम्प्लेक्सिटी ( $C_{op}$ ): ऑपरेशन्स की संख्या।
टेंसर कॉम्प्लेक्सिटी ( $C_T$ ): टेंसरों की संख्या।
एरिटी कॉम्प्लेक्सिटी ( $C_\alpha$ ): एक एकल ऑपरेशन में ऑपरेंड्स की अधिकतम संख्या।
ऑर्डर कॉम्प्लेक्सिटी ( $C_O$ ): एक ऑपरेशन में मोड्स की अधिकतम संख्या।
कपलिंग-एरिटी कॉम्प्लेक्सिटी ( $C_A$ ): कपलिंग (साझा मोड्स) का अधिकतम आकार।

लेखक इस ढांचे का लाभ उठाकर दो मुख्य कार्य करते हैं: 40 वर्षों के DNN विकास का एक पूर्वव्यापी विश्लेषण (retrospective analysis) और नवीन आर्किटेक्चर का व्यवस्थित निर्माण।

मुख्य योगदान

पदानुक्रमित संयोजी ढांचा (Hierarchical Combinatorial Framework): शोध पत्र पहला ऐसा ढांचा निर्मित करता है जो टेंसर ऑपरेशन्स की संरचना को स्पष्ट रूप से मॉडल करता है, जो आर्किटेक्चर के विस्तृत स्थान को पैरामीटराइज करता है और आर्किटेक्चर डायग्राम जैसी अवधारणाओं को इनसिडेंस रिलेशनशिप के रूप में औपचारिक रूप देता है।
पूर्वव्यापी जटिलता विश्लेषण (Retrospective Complexity Analysis): लेखक आठ आधारभूत आर्किटेक्चर (FCNN, CNN, ResNet, Transformer, Poly-Net, MO-Net, ViM, TT-Net) का विश्लेषण करने के लिए इस ढांचे को लागू करते हैं। वे प्रत्येक के लिए एक "कॉम्प्लेक्सिटी सिग्नेचर" को परिभाषित करते हैं और पिछले चार दशकों में उनके हस्ताक्षरों के विकास को ट्रैक करते हैं।
नवीन आर्किटेक्चर का व्यवस्थित निर्माण: ज्ञात आर्किटेक्चर की सीमा से आगे बढ़ते हुए, लेखक 3,028 नवीन उच्च-जटिलता वाले आर्किटेक्चर का एक डेटासेट व्यवस्थित रूप से उत्पन्न करते हैं। इनका निर्माण नए टेंसर ऑपरेशन मैट्रिसेस (TOMs) और टेंसर इक्वेशन मैट्रिसेस (TEMs) के नमूनाकरण (sampling) द्वारा किया जाता है, जिनमें पहले से खोजे गए आर्किटेक्चर की तुलना में उच्च अरिटी ( $C_\alpha$ ) और कपलिंग अरिटी ( $C_A$ ) है।
सैद्धांतिक अपघटन (Theoretical Decomposition): शोध पत्र विशिष्ट शर्तों (आधार ऑपरेशन्स की एसोसिएटिविटी और डिस्ट्रीब्यूटिविटी) के तहत यह सिद्ध करने वाले सैद्धांतिक प्रमाण (जैसे, प्रमेय A.35) प्रदान करता है कि उच्च-एरी ऑपरेशन्स को बाइनरी ऑपरेशन्स के अनुक्रमों में विघटित किया जा सकता है, और इसके विपरीत, बाइनरी ऑपरेशन्स के अनुक्रम उच्च-एरी ऑपरेशन्स के समकक्ष हो सकते हैं।

परिणाम

आर्किटेक्चरल कॉम्प्लेक्सिटी का विकास

ऐतिहासिक आर्किटेक्चर का विश्लेषण यह स्पष्ट करता है कि क्रांतिकारी आर्किटेक्चरल बदलाव विशिष्ट प्रकार की जटिलता में वृद्धि के अनुरूप होते हैं।

FCNNs कम जटिलता के साथ बेसलाइन का प्रतिनिधित्व करते हैं।
CNNs ने कनवल्शन के माध्यम से उच्च ऑर्डर कॉम्प्लेक्सिटी ( $C_O$ ) पेश की।
ResNets ने स्किप कनेक्शन के माध्यम से टेंसर और ऑपरेशन कॉम्प्लेक्सिटी ( $C_T, C_{op}$ ) को बढ़ाया।
Transformers ने सेल्फ-अटेंशन के लिए टर्नरी ऑपरेशन्स का उपयोग करते हुए पहली महत्वपूर्ण एरिटी कॉम्प्लेक्सिटी ( $C_\alpha$ ) में वृद्धि दर्ज की।
पोस्ट-ट्रांसफॉर्मर आर्किटेक्चर (Poly-Net, MO-Net, ViM, TT-Net) ने उच्च जटिलता को और बढ़ाया, जिनमें से कुछ ने उच्च कपलिंग अरिटी ( $C_A > 2$ ) और उच्च अरिटी ( $C_\alpha > 3$ ) का अन्वेषण किया।
अध्ययन नोट करता है कि कई उच्च-जटिलता वाले आर्किटेक्चर संयोग से खोजे गए थे या निम्न-जटिलता वाले एनकोडिंग का उपयोग करके वर्णित किए गए थे; यह ढांचा उनके वास्तविक, उच्च-जटिलता वाले हस्ताक्षरों को प्रकट करता है।

नवीन आर्किटेक्चर का प्रदर्शन

3,028 नमूनाकृत आर्किटेक्चर के डेटासेट का इमेज क्लासिफिकेशन कार्यों (CIFAR-10, CIFAR-100, Tiny ImageNet) पर मूल्यांकन किया गया।

पैरामीटर दक्षता (Parameter Efficiency): कई नमूनाकृत आर्किटेक्चर ने उल्लेखनीय पैरामीटर और डेप्थ दक्षता प्रदर्शित की।
विशिष्ट उपलब्धि: एक विशिष्ट "रेड स्टार" आर्किटेक्चर (नमूना $\star$ ) जिसने केवल 5 लेयर्स और लगभग 198,000 पैरामीटर्स (152,000 बेस स्टेज से और 46,342 नवीन ब्लॉक से) के साथ CIFAR-100 पर 65.52% सटीकता प्राप्त की।
तुलना: इस प्रदर्शन ने MobileNetV2 (64.29% सटीकता) को पीछे छोड़ दिया, जो 2.5 मिलियन पैरामीटर्स वाला एक व्यापक रूप से उपयोग किया जाने वाला लाइटवेट आर्किटेक्चर है, जबकि इसने 10% से भी कम पैरामीटर्स का उपयोग किया।
दक्षता: परिणाम बताते हैं कि उच्च-जटिलता वाले टेंसर ऑपरेशन्स ऐसे मॉडल दे सकते हैं जो वर्तमान अत्याधुनिक लाइटवेट मॉडल्स की तुलना में काफी अधिक पैरामीटर-कुशल हैं।

महत्व और दावे

शोध पत्र का दावा है कि यह टेंसर ऑपरेशन्स की स्पष्ट संरचना के आधार पर न्यूरल नेटवर्क के कठोर विश्लेषण और निर्माण के लिए पहला एकीकृत भाषा प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

छिपी हुई जटिलता को उजागर करना: यह प्रकट करता है कि डीप लर्निंग का विकास विशिष्ट जटिलता मेट्रिक्स (विशेष रूप से अरिटी और कपलिंग अरिटी) में वृद्धि द्वारा संचालित होता है, जो पहले उच्च-स्तरीय एब्स्ट्रैक्शन द्वारा ओझल थे।
सीमाओं को परिभाषित करना: यह ज्ञात आर्किटेक्चरल कॉम्प्लेक्सिटी क्लासेज की सीमा की पहचान करता है, यह रेखांकित करता है कि उच्च-जटिलता वाले आर्किटेक्चर के बड़े वर्ग (जैसे, $C_A > 2$ ) काफी हद तक अनछुए रहे हैं।
व्यवस्थित निर्माण: यह ट्रायल-एंड-एरर या कनेक्शन-आधारित खोज (NAS) से आगे बढ़कर नवीन टेंसर ऑपरेशन्स से आर्किटेक्चर के व्यवस्थित निर्माण की ओर बढ़ता है।
संसाधन दक्षता: इसके अनुभवजन्य परिणाम दर्शाते हैं कि उच्च-जटिलता वाले स्थानों का अन्वेषण करने से ऐसे आर्किटेक्चर मिल सकते हैं जो न केवल नवीन हैं बल्कि वर्तमान अत्याधुनिक मॉडलों की तुलना में काफी अधिक पैरामीटर-कुशल भी हैं, जो इस धारणा को चुनौती देते हैं कि प्रदर्शन के लिए विशाल पैरामीटर काउंट की आवश्यकता होती है।

लेखक निष्कर्ष निकालते हैं कि उनका ढांचा उच्च-जटिलता वाले टेंसर ऑपरेशन्स से निर्मित आर्किटेक्चर के नए स्थानों के अन्वेषण को सक्षम बनाता है, जो अगली पीढ़ी के, अत्यधिक कुशल न्यूरल नेटवर्क डिजाइनों की ओर एक मार्ग प्रदान करता है। इस डोमेन में आगे के अनुसंधान को सुगम बनाने के लिए डेटासेट और कोड सार्वजनिक रूप से जारी किए गए हैं।