Optimal Initialization in Depth: Lyapunov Initialization and Limit Theorems for Deep Leaky ReLU Networks
यह शोध पत्र सक्रियण स्थिरता (activation stability) को नियंत्रित करने वाले एक लियापुनोव घातांक (Lyapunov exponent) को प्राप्त करने के लिए डीप लीकी रेलू (Leaky ReLU) नेटवर्क का एक कठोर संभाव्य विश्लेषण प्रदान करता है, जो मानक प्रारंभिककरण विधियों की सीमाओं को उजागर करता है और एक नवीन "लियापुनोव प्रारंभिककरण" (Lyapunov initialization) प्रस्तावित करता है जो इष्टतम प्रशिक्षण स्थिरता सुनिश्चित करने के लिए इस घातांक को शून्य पर सेट करता है।