⚛️ high-energy experiments

Predict before you train: Scaling Laws for particle physics foundation models

Diese Arbeit zeigt auf, dass gemeinsam auf Modell- und Datenskalierung angewendete Skalierungsgesetze, die auf kleinen Transformer-Modellen gefittet wurden, die Leistung wesentlich größerer Foundation-Modelle für die Teilchenphysik bereits vor dem Training präzise vorhersagen können, was die Übersetzung von Rechenbudgets in erwartete physikalische Ergebnisse ermöglicht und den Ansatz gegen State-of-the-Art-Benchmarks validiert.

Ursprüngliche Autoren: Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

Veröffentlicht 2026-07-28

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den perfekten Kuchen zu backen, aber Sie wissen nicht, wie viel Mehl, Zucker oder Hitze Sie benötigen. In der Welt der Teilchenphysik bauen Wissenschaftler ständig „digitale Gehirne“ (Maschinelle-Lernmodelle), um den chaotischen Trümmern aus Teilchenkollisionen zu analysieren, in der Hoffnung, verborgene Muster zu finden, die neue Naturgesetze offenbaren. Diese digitalen Gehirne sind wie riesige Öfen: Je größer der Ofen (das Modell) und je mehr Zutaten man ihm füttert (die Daten), desto besser schmeckt der Kuchen normalerweise. Das Backen dieser Kuchen ist jedoch unglaublich teuer; es erfordert enorme Mengen an Elektrizität und Supercomputern. Jahrelang mussten Wissenschaftler raten, wie groß ihr Ofen sein sollte, bevor sie mit dem Backen begannen. Sie gaben Millionen von Dollar für einen riesigen Ofen aus, nur um später festzustellen, dass ein mittelgroßer genauso gut getan hätte, oder dass sie einen viel größeren gebraucht hätten, um das gewünschte Ergebnis zu erzielen. Die große Frage war: Kann man den Geschmack des Kuchens vorhersagen, noch bevor man den Ofen überhaupt einschaltet?

Dieses Papier mit dem Titel „Predict before you train“ befasst sich genau mit diesem Problem. Die Forscher wollten herausfinden, ob sie eine „Rezeptregel“ (einen sogenannten Scaling Law) finden können, die ihnen genau sagt, wie viel Rechenleistung sie benötigen, um ein bestimmtes Ergebnis zu erzielen, ohne das riesige Modell zuerst tatsächlich bauen zu müssen. Sie konzentrierten sich auf einen speziellen Typ von digitalen Gehirnen, den „Transformer“, der normalerweise zum Lesen von Text verwendet wird, aber hier lernten sie, Teilchen zu lesen, die aus einem Collider herausfliegen. Indem sie zuerst eine Reihe kleiner, günstiger Modelle trainierten, versuchten sie, eine Linie in einem Graphen zu zeichnen, die vorhersagt, was passieren würde, wenn sie ein Modell bauen würden, das hundertmal größer ist. Sie wollten auch wissen, ob ein besseres „Pre-training“ (das Erlernen allgemeiner Muster) tatsächlich helfen würde, das Modell bei spezifischen Physik-Aufgaben besser zu machen, wie etwa beim Aufspüren eines Top-Quarks oder beim Unterscheiden eines Quarks von einem Gluons.

Das „Kristallkugel“-Modell für die Teilchenphysik

Das Team, angeführt von Forschern der Stanford University und dem SLAC, entschied sich, eine kühne Idee zu testen: Könnten sie die Leistung eines massiven Modellen für maschinelles Lernen vorhersagen, indem sie lediglich die Ergebnisse winziger, günstiger Modelle betrachteten? Zu diesem Zweck verwendeten sie einen Datensatz namens „OmniLearned“, der etwa eine Milliarde simulierte Teilchen-Jets (Teilchenstrahlen) enthält. Sie bauten eine Familie von Modellen namens ParticleViT. Betrachten Sie diese Modelle als eine Gruppe digitaler Detektive. Der kleinste ist ein Anfänger-Detektiv, und der größte ist ein Super-Ermittler mit einem gewaltigen Gedächtnis.

Die Forscher begannen damit, die Anfänger-Detektive mit einer geringen Menge an Rechenleistung zu trainieren (weniger als $10^{19}$ FLOPs, eine Einheit der Berechnung). Sie beobachteten, wie gut diese kleinen Detektive lernten. Dann nutzten sie eine mathematische Formel (einen „Scaling Law“), um eine Linie in einem Graphen zu ziehen, die vorhersagt, was passieren würde, wenn sie einen Detektiv mit einem hundertmal größeren Gedächtnis trainieren würden.

Die Vorhersage trat ein
Das Ergebnis war wie der Besitz einer Kristallkugel. Als sie die riesigen Modelle tatsächlich trainierten (unter Verwendung von bis zu $3,4 \times 10^{20}$ FLOPs), landeten die Ergebnisse fast exakt dort, wo die Vorhersage sie vermuten ließ. Die tatsächliche Leistung lag innerhalb von einem Prozent der Prognose. Dies ist eine große Sache, denn bis jetzt hatte niemand zuvor die Leistung eines Modells erfolgreich vorhergesagt, das er noch gar nicht trainiert hatte, und zwar in der Teilchenphysik. Es bedeutet, dass Wissenschaftler nun einen „Testlauf“ mit kleinen, günstigen Modellen durchführen können, um genau herauszufinden, wie viel Rechenleistung sie kaufen müssen, bevor sie sich den teuren, riesigen Trainingsläufen verpflichten.

Die Überraschung über die „Informationsdichte“

Einer der interessantesten Funde betraf die Frage, wie viel „Gehirnleistung“ (Modellgröße) tatsächlich benötigt wird. In der Welt der Sprachmodelle (wie jenen, die Aufsätze schreiben oder mit Ihnen chatten) ist die Faustregel, dass man ein riesiges Modell braucht, um eine große Menge an Daten zu verarbeiten. Aber für die Teilchenphysik fanden die Forscher etwas anderes heraus.

Sie entdeckten, dass ein einzelnes Teilchen in einem Jet viel weniger „Information“ trägt als ein einzelnes Wort in einem Satz. Ein Wort kann je nach Kontext eine Million verschiedene Bedeutungen haben, aber ein Teilchen ist einfach ein Teilchen mit ein paar spezifischen Zahlenwerten. Da die Daten weniger „dicht“ an Informationen sind, ist die optimale Modellgröße für diesen Milliarden-Teilchen-Datensatz tatsächlich viel kleiner, als Sprach-Experten vermuten würden. Das Papier legt nahe, dass man für diese spezifische Aufgabe kein riesiges Gehirn braucht; man muss dem Gehirn lediglich sehr viele Beispiele füttern. Der „Sweet Spot“ für die Modellgröße wurde weit kleiner gefunden als die Standardregeln für Sprachmodelle, was darauf hindeutet, dass es in der Teilchenphysik besser ist, sein Budget in mehr Daten statt in ein größeres Modell zu investieren.

Hilft ein besseres „Allgemeinwissen“?

Das Team prüfte auch, ob das Abschneiden bei der allgemeinen Pre-training-Aufgabe (das Lernen über alle Teilchen hinweg) tatsächlich half, das Modell bei spezifischen Physik-Aufgaben später besser zu machen. Sie testeten zwei gängige Aufgaben:

Top Tagging: Identifizierung, ob ein Jet aus Teilchen von einem schweren „Top-Quark“ stammt.
Quark/Gluon Tagging: Unterscheidung zwischen Jets, die von Quarks erzeugt wurden, und solchen, die von Gluonen erzeugt wurden.

Sie fanden eine klare, gerade Linie: Die Modelle, die einen niedrigeren „Loss“ hatten (was bedeutet, dass sie die allgemeinen Muster während des Pre-trainings besser gelernt hatten), schnitten auch bei diesen spezifischen Aufgaben nach dem Fine-Tuning besser ab. Mit anderen Worten: Wenn Ihr digitaler Detektiv ein Genie in der allgemeinen Teilchenphysik ist, wird er auch ein Genie darin sein, Top-Quarks aufzuspüren. Dies bestätigt, dass das „Rechenbudget“ direkt in eine erwartete Physik-Leistung übersetzt werden kann. Wenn Sie wissen, wie viel Rechenleistung Sie haben, können Sie nun vorhersagen, wie gut Ihr Modell darin sein wird, neue Physik zu finden.

Die finale Entscheidung

Schließlich verglichen die Forscher ihre neuen, generischen „ParticleViT“-Modelle mit OmniLearned, einem berühmten, hochspezialisierten Modell, das mit spezifischen Physik-Regeln in seinem Design gebaut wurde (wie etwa dem Wissen um die Gesetze der Relativität). Die Ergebnisse waren überraschend. Die generischen ParticleViT-Modelle, die keine speziellen Physik-Regeln in sich trugen, schnitten bei den meisten Metriken genauso gut ab wie das spezialisierte OmniLearned-Modell.

Der einzige Bereich, in dem das spezialisierte Modell einen leichten Vorsprung hatte, war in den sehr schwierigen, extremen Fällen des „Top Tagging“ (dem „High-Purity Tail“), wo es etwa 5 % besser darin war, Hintergrundrauschen abzulehnen. Aber für fast alles andere war das einfache, generische Modell, das von Grund auf lernte, genauso gut. Dies deutet darauf hin, dass man für viele Physik-Aufgaben nicht unbedingt komplexe, physikspezifische Architekturen bauen muss; ein Standard-, gut skalierter Transformer, der auf genügend Daten trainiert wurde, kann den Job ebenso effektiv erledigen.

Was dies für die Zukunft bedeutet

Das Papier schließt damit ab, fünf dieser Modelle (von klein bis extra-groß) sowie den vollständigen Code zu veröffentlichen, damit andere Wissenschaftler sie nutzen können. Die wichtigste Erkenntnis ist, dass die Ära des „Ratens und Hoffens“ für dieses Feld vorbei ist. Wissenschaftler können nun ein kleines, günstiges Experiment nutzen, um das Ergebnis eines massiven, teuren Experiments vorherzusagen. Sie können genau berechnen, wie viel Rechenleistung sie benötigen, um ein bestimmtes Ziel zu erreichen, was Zeit und Ressourcen spart. Obwohl das Papier nicht behauptet, die gesamte Physik gelöst zu haben, hat es eine zuverlässige Karte zur Navigation durch die teure Landschaft des Trainings von Machine-Learning-Modellen in der Teilchenphysik bereitgestellt – ein Beweis dafür, dass der beste Weg, die Zukunft zu sehen, manchmal darin besteht, klein anzufangen.

Technisches Resümee: Vorhersagen vor dem Training: Skalierungsgesetze für Fundamentallmodelle der Teilchenphysik

Problemstellung
In der Teilchenphysik sind die größten Machine-Learning-Modelle auch die rechenintensivsten beim Training. Es besteht eine kritische Lücke im Fachgebiet: Während Skalierungsgesetze (Scaling Laws) retrospektiv für Jet-Daten angepasst wurden, konnten sie bisher nicht nachweisen, dass sie die Leistung von Modellen vorhersagen, auf denen sie nicht bereits angepasst wurden. Infolgedessen kann der Return on Investment für die Skalierung einer spezifischen Architektur nicht abgeschätzt werden, bevor Rechenressourcen zugewiesen werden. Zudem hat bisher keine Studie erfolgreich ein Pretraining-Loss-Skalierungsgesetz mit Downstream-Physikmetriken (wie etwa der Hintergrundunterdrückung) verknüpft, was es Praktikern unmöglich macht, ein Rechenbudget im Voraus in eine erwartete physikalische Leistung zu übersetzen.

Methodik
Die Autoren führen ParticleViT ein, eine generische Transformer-Architektur, die auf Jet-Konstituenten angewendet wird und nur minimale physikspezifische induktive Biase aufweist (sie verzichtet auf Lorentz-Äquivarianz oder paarweise Interaktionsmerkmale). Die Studie verwendet ein „Fit-then-Forecast“-Protokoll:

Daten und Zielsetzung: Die Modelle werden auf dem OmniLearned-Korpus, einer Sammlung von etwa $1,06 \times 10^9$ Jets, vortrainiert. Das Pretraining-Ziel ist eine 210-Klassen-Klassifizierungsaufgabe (Jet-Prozesse, Flavors und Datensatz-Kategorien).
Skalierungs-Sweep: Eine geometrische Leiter von ParticleViT-Modellen wird auf einem IsoFLOP-Gitter trainiert, wobei die Modellgröße ( $N$ ) und die Datensatzgröße ( $D$ ) variiert werden, während das Trainingsbudget konstant gehalten wird. Der Sweep deckt zehn Rechenbudgets ab, die bis zu $3 \times 10^{18}$ FLOPs reichen.
Anpassung der Skalierungsgesetze: Die Autoren passen ein kombiniertes Modell-und-Daten-Skalierungsgesetz (im Chinchilla-Stil) an den Pretraining-Loss von Modellen an, die unter $10^{19}$ FLOPs trainiert wurden. Die funktionale Form lautet:
$L(N, D) = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_\infty$
Held-Out-Extrapolation: Unter Verwendung ausschließlich der Daten kleinerer Modelle sagen die Autoren den Loss der fünf größeren Modelle voraus, die mit bis zu $113\times$ mehr Rechenleistung (bis zu $3,4 \times 10^{20}$ FLOPs) trainiert wurden.
Downstream-Validierung: Die vortrainierten Modelle werden auf zwei Standard-Benchmarks feinjustiert: Top-Quark-Tagging und Quark/Gluon-Diskriminierung. Die Autoren analysieren die Korrelation zwischen dem Pretraining-Loss und dem Downstream-Feinabstimmungs-Loss bzw. der Hintergrundunterdrückung.
Benchmarking: Das größte „Frontier“-ParticleViT-Modell wird mit OmniLearned, einem State-of-the-Art physik-bewussten Fundamentallmodell, verglichen, das auf demselben Korpus trainiert wurde.

Wesentliche Beiträge

Validierte Prognose: Die Studie präsentiert die erste validierte Vorhersage eines Skalierungsgesetzes in der Teilchenphysik. Indem sie das Gesetz auf Modellen anpassten, die unter $10^{19}$ FLOPs trainiert wurden, sagten die Autoren den Loss von Modellen voraus, die mit über $100\times$ mehr Rechenleistung trainiert wurden. Die gemessenen Losses lagen innerhalb von 1 % der Vorhersagen (mittlerer relativer Fehler 0,26 %).
Compute-to-Performance-Kette: Die Autoren etablieren eine direkte Verbindung zwischen Rechenbudget und physikalischer Leistung. Sie zeigen, dass ein niedrigerer Pretraining-Loss systematisch zu einem niedrigeren Downstream-Feinabstimmungs-Loss und einer höheren Hintergrundunterdrückung bei beiden Tagging-Aufgaben führt. Dies ermöglicht es, ein Ziel für die physikalische Leistung im Voraus in ein geschätztes Rechenbudget zu übersetzen.
Rechenoptimale Allokation: Das angepasste Skalierungsgesetz zeigt, dass die rechenoptimale Modellgröße für den Milliarden-Jet-Korpus signifikant kleiner ist als die Faustregel aus Sprachmodellen (die $\sim 1$ Parameter pro 20 Tokens suggeriert). Der angepasste Exponent für die Daten ( $\beta \approx 0,06$ ) ist viel kleiner als der für die Modellgröße ( $\alpha \approx 0,23$ ), was impliziert, dass Rechenleistung in der Teilchenphysik am besten damit eingesetzt wird, die Anzahl der Trainingsbeispiele massiv zu erhöhen, anstatt die Modellkapazität zu steigern.
Open Release: Fünf vortrainierte ParticleViT-Modelle (S bis XL), das vollständige Trainingsrezept und die Feinabstimmungs-Protokolle werden der Community zur Verfügung gestellt.

Ergebnisse

Skalierungsgenauigkeit: Die extrapolierten Loss-Vorhersagen für die fünf Held-Out-Modelle (mit einer Spanne von 16M bis 397M Parametern) waren hochgradig präzise, mit einem maximalen relativen Fehler von 0,66 %.
Downstream-Leistung: Ein niedrigerer Pretraining-Loss korrelierte konsistent mit einer besseren Downstream-Leistung. Das größte ParticleViT-Modell (397M Parameter) erreichte eine Leistung, die konsistent mit den veröffentlichten Zahlen des physik-bewussten OmniLearned-Modells (423M Parameter) hinsichtlich Genauigkeit, AUC und Quark/Gluon-Unterdrückung ist.
Vergleich mit physik-bewussten Modellen: Der generische Transformer (ParticleViT) erreichte die physik-bewussten Baselines (OmniLearned) bei den Bulk-Metriken. Das physik-bewusste Modell behielt einen messbaren Vorsprung nur im Bereich des hocheffizienten Tails beim Top-Tagging (Hintergrundunterdrückung bei $\epsilon_S=0,5$ und $0,3$), wo seltene Strahlungsmuster entscheidend sind.
Informationsdichte: Die Autoren interpretieren den kleinen Daten-Exponenten und die Bevorzugung kleinerer Modelle als Reflexion des geringeren Informationsgehalts eines „Teilchen-Tokens“ im Vergleich zu einem „Sprach-Tokens“.

Bedeutung und Ansprüche
Das Paper behauptet, den Kreislauf zwischen Rechenbudget und erwarteter physikalischer Leistung geschlossen zu haben. Durch den Nachweis, dass ein Skalierungsgesetz, das auf kleinen Modellen angepasst wurde, den Loss wesentlich größerer Modelle präzise vorhersagen kann und dass dieser Loss Downstream-Physikmetriken vorhersagt, argumentieren die Autoren, dass Praktiker nun große Trainingsläufe mit Zuversicht planen können.

Die Autoren betonen explizit, dass diese Methodik nicht spezifisch für Jets ist; jeder datenreiche wissenschaftliche Bereich, der einen Sweep kleiner Modelle durchführen kann, könnte dieses „Fit-then-Forecast“-Protokoll anwenden. Sie mahnen zur Bescheidenheit hinsichtlich ihrer Ansprüche: Das Skalierungsgesetz sagt die Leistung innerhalb der spezifischen Modellfamilie und der untersuchten Aufgaben voraus, und die Verbindung zu Downstream-Metriken ist ein beobachteter Transfer, keine Garantie für beliebige neue physikalische Fragestellungen. Die Studie behauptet nicht, dass das physik-bewusste Modell obsolet sei, sondern dass ein generischer Transformer, wenn er gemäß dem abgeleiteten Gesetz skaliert wird, eine Leistung erreichen kann, die auf Standard-Benchmarks konsistent mit spezialisierten physik-bewussten Baselines ist, wobei das spezialisierte Modell nur einen marginalen Vorteil in extremen Hochreinheitsregimen bietet.

Das „Kristallkugel“-Modell für die Teilchenphysik

Die Überraschung über die „Informationsdichte“

Hilft ein besseres „Allgemeinwissen“?

Die finale Entscheidung

Was dies für die Zukunft bedeutet

Mehr davon