Geodesic Gradient Descent: A Generic and Learning-rate-free Optimizer on Objective Function-induced Manifolds
Deze paper introduceert Geodesic Gradient Descent (GGD), een generieke en leerstap-grootte-vrije optimalisatie-algoritme dat de geometrie van objectief-functie-geïnduceerde oppervlakken beter benadert door lokale omgevingen te benaderen met n-dimensionale bollen, wat resulteert in aanzienlijke verbeteringen in testfouten en verlies ten opzichte van de Adam-algoritme.