Towards Engineering Scaling Laws with Pretraining Data Composition
Diese Arbeit zeigt auf, dass in der Teilchenphysik, wo hochpräzise Simulatoren eine kostengünstige Generierung synthetischer Daten ermöglichen, das Skalierungsverhalten von Modellen zur Klassifizierung hadronischer Jets durch die strategische Kuratierung von Vortrainingsdatensätzen dahingehend manipuliert werden kann, dass die Datenvielfalt und die Ausrichtung gegenüber der Modellgröße priorisiert werden.