On-Average Stability of Multipass Preconditioned SGD and Effective Dimension
Diese Arbeit entwickelt eine neue Stabilitätsanalyse für multipass Preconditioned SGD, die zeigt, wie die Wechselwirkung zwischen der Krümmung des Populationsrisikos und der Gradientenrauschen-Geometrie die Generalisierungsfähigkeit über die effektive Dimension bestimmt, und liefert dazu sowohl obere Schranken als auch passende untere Schranken.