Competing nonlinearities, criticality, and order-to-chaos transition in deep networks
यह शोधपत्र प्रदर्शित करता है कि सांख्यिकीय रूप से सक्रियण फलनों (जैसे कि Tanh और Swish) को मिश्रित करना एक विशिष्ट मिश्रण अंश पर क्रिटिकैलिटी (criticality) की ओर एक नियंत्रणीय, सुचारू चरण संक्रमण (phase transition) बनाता है, जो स्केल-इनवेरिएंट सिग्नल प्रोपेगेशन और अवकलनीयता (differentiability) के बीच ऐतिहासिक समझौते को हल करते हुए सामान्यीकरण और प्रशिक्षण प्रदर्शन को बढ़ाता है।