OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality
Die Arbeit stellt OptEMA vor, einen adaptiven Exponential Moving Average-Optimierer für stochastische Probleme, der ohne Kenntnis der Lipschitz-Konstante auskommt und im noise-freien Fall eine nahezu optimale Konvergenzrate von erreicht.