Spectral Reach: Understanding Neural Scaling as Progress into the Spectral Tail
Dieses Paper führt die „spektrale Position“ ein, um zu demonstrieren, dass größere neuronale Modelle eine überlegene Leistung erzielen, indem sie ihre Lernkapazität in den spektralen Ausläufer des empirischen Neural Tangent Kernels ausdehnen – eine Fähigkeit, die durch Feature-Learning ermöglicht wird, welches Gradienten adaptiv verstärkt, um schwache Signale zu erschließen, die für kleinere Modelle unzugänglich sind.