What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training
Diese Arbeit zeigt, dass, obwohl variierende Buchhaltungskonventionen für die Zählung von Parametern und Rechenleistung die angenäherten Exponenten der compute-optimalen Trainingsfront signifikant verändern, die resultierende praktische Auswirkung auf die Trainingseffizienz aufgrund der Flachheit der Verlustlandschaft moderat ist, wobei die spezifischen Buchhaltungswahlen aus einfachen Architekturverhältnissen vorhersagbar sind.