Predictable Emergence: An Empirical Analysis of Whether Sharp Capability Jumps Follow from Smooth Per-Token Scaling Laws
Diese Arbeit zeigt, dass die scharfen „emergenten“ Sprünge in der Genauigkeit bei der exakten Übereinstimmung (exact-match accuracy), die bei der Addition mehrstelliger Ganzzahlen beobachtet werden, keine echten Diskontinuitäten in der Modellkapazität sind, sondern stattdessen vollkommen vorhersehbare Artefakte, die aus glatten, Potenzgesetz-basierten Verbesserungen der pro-Token-Genauigkeit resultieren, welche durch die Nichtlinearität der Anforderung, dass alle Ziffern korrekt sein müssen, kumuliert werden.