Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights
Die Arbeit beweist, dass die endlich-dimensionalen Verteilungen von tiefen neuronalen Netzen mit zufällig initialisierten Gewichten und Lipschitz-stetigen Aktivierungsfunktionen bei wachsender Schichtbreite gegen eine Gauß-Verteilung konvergieren, wobei für proportional wachsende Schichten explizite Konvergenzraten hergeleitet werden.