What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training
Este artículo demuestra que, si bien la variación de las convenciones contables para el conteo de parámetros y cómputo altera significativamente los exponentes ajustados de la frontera de entrenamiento óptimo de cómputo, el impacto práctico resultante en la eficiencia del entrenamiento es modesto debido a la planitud del paisaje de pérdida, siendo las elecciones contables específicas predecibles a partir de proporciones arquitectónicas simples.