What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training
Este artigo demonstra que, embora a variação das convenções contábeis para a contagem de parâmetros e computação altere significativamente os expoentes ajustados da fronteira de treinamento computacionalmente otimizada, o impacto prático resultante na eficiência do treinamento é modesto devido à planura do panorama de perda, sendo as escolhas contábeis específicas previsíveis a partir de razões arquitetônicas simples.