What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training
Questo articolo dimostra che, sebbene la variazione delle convenzioni contabili per il conteggio dei parametri e del calcolo alteri significativamente gli esponenti adattati della frontiera di addestramento computazionalmente ottimale, l'impatto pratico risultante sull'efficienza dell'addestramento è modesto a causa della piattezza del panorama della perdita, con le specifiche scelte contabili essendo prevedibili da semplici rapporti architettonici.