Minor First, Major Last: A Depth-Induced Implicit Bias of Sharpness-Aware Minimization
Die Studie zeigt, dass Sharpness-Aware Minimization (SAM) bei tiefen linearen Netzwerken im Gegensatz zum Gradientenabstieg zu einem stark initialisierungsabhängigen Verhalten führt, das bei -SAM zu nicht-intuitiven Grenzwerten und bei -SAM zu einer sequenziellen Verstärkung zunächst schwacher Merkmale führt, was die Unzulänglichkeit rein asymptotischer Analysen der impliziten Verzerrung aufdeckt.