What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training
本論文は、パラメータ数および計算量の計上に関する会計上の慣習の差異が、計算最適(compute-optimal)な学習フロンティアの適合指数を大きく変化させる一方で、損失ランドスケープの平坦性により、その結果として生じる実用的な学習効率への影響はわずかであり、具体的な計上方法の選択は単純なアーキテクチャ比率から予測可能であることを示している。