Predictable Emergence: An Empirical Analysis of Whether Sharp Capability Jumps Follow from Smooth Per-Token Scaling Laws
本文表明,在多位数整数加法中观察到的精确匹配准确率(exact-match accuracy)中剧烈的“涌现”跳变并非模型能力的真实不连续性,而是由单标记准确率(per-token accuracy)遵循幂律规律的平滑提升,结合要求所有数字均正确的非线性效应所共同导致的、完全可预测的人为产物。