Spectral Reach: Understanding Neural Scaling as Progress into the Spectral Tail
本文引入了“谱位置”(spectral position)这一概念,旨在证明更大的神经模型通过将其学习能力扩展到经验神经切向核(empirical neural tangent kernel)的谱尾部(spectral tail)从而实现了更优越的性能,而这种能力是由特征学习所赋能的,它能够自适应地放大梯度,以获取较小模型无法触及的微弱信号。