What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training
Cet article démontre que, bien que la variation des conventions comptables pour le décompte des paramètres et du calcul modifie de manière significative les exposants ajustés de la frontière d'entraînement optimal pour le calcul, l'impact pratique sur l'efficacité de l'entraînement est modeste en raison de la platitude du paysage de perte, les choix de comptabilité spécifiques étant prévisibles à partir de simples ratios architecturaux.