Predictable Emergence: An Empirical Analysis of Whether Sharp Capability Jumps Follow from Smooth Per-Token Scaling Laws
Cet article démontre que les sauts « émergents » brusques de la précision de correspondance exacte observés dans l'addition d'entiers à plusieurs chiffres ne sont pas de véritables discontinuités de la capacité du modèle, mais sont plutôt des artefacts entièrement prévisibles résultant d'améliorations suivant une loi de puissance et de manière fluide de la précision par jeton, cumulées par la non-linéarité de l'exigence que tous les chiffres soient corrects.