Compositionality Emerges in a Narrow Depth-Connectivity Regime: Architecture Constraints and Solution Manifolds
यह शोध पत्र प्रदर्शित करता है कि न्यूरल नेटवर्क में संरचनात्मक आंतरिक संरचनाएं केवल विशिष्ट कनेक्टिविटी पैटर्न और नेटवर्क गहराई के एक संकीर्ण, लक्ष्य-निर्भर शासन (regime) के भीतर ही उभरती हैं, और समानता-आधारित प्रूनिंग (similarity-based pruning) तथा एक डेप्थ प्रेडिक्टर का प्रस्ताव करता है ताकि इन स्थितियों को पहचाना और उनका लाभ उठाया जा सके, साथ ही एक सैद्धांतिक ढांचा भी प्रदान करता है जो यह स्पष्ट करता है कि ग्रेडिएंट डिसेंट अन्यथा खंडित समाधानों की ओर क्यों अभिसरित होता है।