What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training
Dit artikel으로oont aan dat hoewel variërende boekhoudkundige conventies voor het tellen van parameters en rekenkracht de gefitste exponenten van de rekenoptimaal getrainde grens aanzienlijk veranderen, de resulterende praktische impact op de trainingsefficiëntie bescheiden is vanwege de vlakheid van het verlieslandschap, waarbij de specifieke boekhoudkundige keuzes voorspelbaar zijn vanuit eenvoudige architecturale ratio's.