Curse of Dimensionality in Neural Network Optimization
Diese Arbeit zeigt, dass der Fluch der Dimensionalität die Optimierung neuronaler Netze mit glatten Aktivierungsfunktionen fundamental einschränkt, indem sie nachweist, dass die Konvergenzrate des Populationsrisikos unter Gradientenfluss durch die Dimension des Eingaberaums und die Glattheit der Zielfunktion begrenzt wird.