⚛️ high-energy experiments

Predict before you train: Scaling Laws for particle physics foundation models

Dit artikel toont aan dat gezamenlijke model- en data-schaalwetten die zijn aangepast op kleine transformer-modellen, de prestaties van veel grotere fundamentele modellen voor de deeltjesfysica accuraat kunnen voorspellen vóór de training, wat de vertaling van rekenbudgetten naar verwachte natuurkundige resultaten mogelijk maakt en de aanpak valideert tegenover state-of-the-art benchmarks.

Oorspronkelijke auteurs: Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het perfecte gebak probeert te bakken, maar je weet niet hoeveel bloem, suiker of hitte je nodig hebt. In de wereld van de deeltjesfysica bouwen wetenschappers constant "digitale hersenen" (machine learning-modellen) om de chaotische brokstukken van deeltjesbotsingen te analyseren, in de hoop verborgen patronen te vinden die nieuwe natuurwetten onthullen. Deze digitale hersenen zijn als enorme ovens: hoe groter de oven (het model) en hoe meer ingrediënten je erin stopt (de data), hoe beter de taart meestal smaakt. Echter, het bakken van deze taarten is ongelooflijk duur; het vereist enorme hoeveelheden elektriciteit en supercomputers. Jarenlang moesten wetenschappers raden hoe groot hun oven moest zijn voordat ze begonnen met bakken. Ze gaven miljoenen dollars uit aan een enorme oven, om er later achter te komen dat een middelgrote oven het werk ook even goed had gedaan, of dat ze juist een veel grotere nodig hadden om het gewenste resultaat te krijgen. De grote vraag was: Kunnen we de smaak van de taart voorspellen nog voordat we de oven aanzetten?

Dit artikel, getiteld "Predict before you train," pakt precies dat probleem aan. De onderzoekers wilden zien of ze een "receptregel" (een zogenaamde scaling law) konden ontdekken die hen precies vertelt hoeveel rekenkracht ze nodig hebben om een specifief resultaat te bereiken, zonder dat ze het gigantische model eerst daadwerkelijk hoeven te bouwen. Ze richtten zich op een specifiek type digitaal brein genaamd een "transformer", die normaal gesproken wordt gebruikt voor het lezen van tekst, maar hier leerden het deeltjes te "lezen" die uit een collider vliegen. Door eerst een reeks kleine, goedkope modellen te trainen, probeerden ze een lijn op een grafiek te tekenen die voorspelt wat er zou gebeuren als ze een model honderd keer groter zouden maken. Ze wilden ook weten of een betere "pre-training" (het leren van algemene patronen) er daadwerkelijk toe zou leiden dat het model later beter werd in specifieke fysica-taken, zoals het opsporen van een topquark of het onderscheiden van een quark van een gluon.

De "Glazen Bol" voor de Deeltjesfysica

Het team, geleid door onderzoekers van Stanford en SLAC, besloot een gedurfde hypothese te testen: konden zij de prestaties van een massief machine learning-model voorspellen door enkel naar de resultaten van piepkleine, goedkope modellen te kijken? Hiervoor gebruikten ze een dataset genaamd "OmniLearned", die ongeveer één miljard gesimuleerde deeltjesjets (stralen van deeltjes) bevat. Ze bouwden een familie van modellen genaamd ParticleViT. Zie deze modellen als een reeks digitale detectives. De kleinste is een beginner-detective, en de grootste is een superdetective met een enorm geheugen.

De onderzoekers begonnen met het trainen van de beginner-detectives met een kleine hoeveelheid rekenkracht (minder dan $10^{19}$ FLOPs, een eenheid van berekening). Ze observeerden hoe goed deze kleine detectives leerden. Vervolgens gebruikten ze een wiskundige formule (een "scaling law") om een lijn op een grafiek te trekken, die voorspelde wat er zou gebeuren als ze een detective met een geheugen dat honderd keer groter was, zouden trainen.

De Voorspelling kwam uit
Het resultaat was alsover een glazen bol. Toen ze de gigantische modellen daadwerkelijk trainden (met behulp van tot wel $3.4 \times 10^{20}$ FLOPs), landden de resultaten bijna exact waar de voorspelling had aangegeven. De werkelijke prestaties lagen binnen één procent van de prognose. Dit is een enorme prestatie, omdat tot nu toe niemand erin geslaagd was de prestaties van een model te voorspellen dat ze nog niet getraind hadden in de deeltjesfysica. Het betekent dat wetenschappers nu een "proefdraai" kunnen doen met kleine, goedkope modellen om precies uit te rekenen hoeveel rekenkracht ze moeten inkopen voordat ze zich vastleggen op de dure, gigantische trainingssessies.

De verrassing van de "Informatiedichtheid"

Een van de meest interessante bevindingen ging over hoeveel "hersencapaciteit" (modelgrootte) er eigenlijk nodig is. In de wereld van taalmodellen (zoals de modellen die essays schrijven of met je chatten), is de vuistregel dat je een enorm model nodig hebt om veel data te verwerken. Maar voor de deeltjesfysica ontdekten de onderzoekers iets anders.

Ze ontdekten dat een enkel deeltje in een jet veel minder "informatie" draagt dan een enkel woord in een zin. Een woord kan afhankelijk van de context een miljoen verschillende dingen betekenen, maar een deeltje is gewoon een deeltje met een paar specifieke getallen eraan gekoppeld. Omdat de data minder "dicht" is qua informatie, is de optimale modelgrootte voor deze miljard-deeltjesdataset feitelijk veel kleiner dan wat taalexperts zouden vermoeden. Het artikel suggereert dat je voor deze specifieke taak geen gigantisch brein nodig hebt; je moet het brein simpelweg veel meer voorbeelden voeren. De "sweet spot" voor de modelgrootte bleek veel kleiner te zijn dan de standaardregels voor taalmodellen, wat suggereert dat het voor de deeltjesfysica beter is om je budget te besteden aan meer data in plaats aan een groter model.

Helpt een betere "Algemene Kennis"?

Het team controleerde ook of het goed presteren bij de algemene pre-training taak (het leren over alle deeltjes) daadwerkelijk hielp om het model later beter te maken in specifieke fysica-taken. Ze testten twee veelvoorkomende taken:

Top Tagging: Identificeren of een jet van deeltjes afkomstig is van een zware "topquark".
Quark/Gluon Tagging: Het onderscheid maken tussen jets die door quarks worden gemaakt en jets die door gluonen worden gemaakt.

Ze vonden een duidelijke, rechte lijn: de modellen die een lagere "loss" hadden (wat betekent dat ze de algemene patronen tijdens de pre-training beter leerden) presteerden ook beter op deze specifieke taken na de fine-tuning. Met andere woorden: als je digitale detective een genie is in algemene deeltjesfysica, dan is hij ook een genie in het opsporen van topquarks. Dit bevestigt dat de "rekenbudget" direct vertaald kan worden naar een verwachte prestatie in de fysica. Als je weet hoeveel rekenkracht je hebt, kun je nu voorspellen hoe goed je model zal zijn in het vinden van nieuwe fysica.

De Laatste Strijd

Ten slotte vergeleken de onderzoekers hun nieuwe, generieke "ParticleViT"-modellen met OmniLearned, een beroemd, zeer gespecialiseerd model dat is gebouwd met specifieke natuurkundige regels in het ontwerp ingebakken (zoals het kennen van de wetten van de relativiteitstheorie). De resultaten waren verrassend. De generieke ParticleViT-modellen, die geen speciale natuurkundige regels in zich hadden, presteerden net zo goed als het gespecialiseerde OmniLearned-model op de meeste metrieken.

Het enige punt waarop het gespecialiseerde model een lichte voorsprong had, was in de zeer moeilijke, extreme gevallen van "top tagging" (de "high-purity tail"), waar het ongeveer 5% beter was in het afwijzen van achtergrondruis. Maar voor bijna alles wat betre else kwam het eenvoudige, generieke model dat vanaf nul leerde, net zo goed uit. Dit suggereert dat je voor veel fysica-taken niet noodzakelijkerwijs een complexe, natuurkunde-specifieke architectuur nodig hebt; een standaard, goed geschaalde transformer die op voldoende data is getraind, kan de klus net zo effectief klaren.

Wat dit betekent voor de toekomst

Het artikel concludeert door vijf van deze modellen (van klein tot extra groot) en de volledige code vrij te geven, zodat andere wetenschappers deze kunnen gebruiken. De belangrijkste les is dat het tijdperk van "gokken en hopen" voorbij is in dit vakgebied. Wetenschappers kunnen nu een klein, goedkoop experiment gebruiken om de uitkomst van een enorme, dure experiment te voorspellen. Ze kunnen exact berekenen hoeveel rekenkracht ze nodig hebben om een specifiek doel te bereiken, wat tijd en middelen bespaart. Hoewel het artikel niet beweert dat het alle fysica heeft opgelost, heeft het een betrouwbare kaart geboden om te navigeren door het dure landschap van het trainen van machine learning-modellen in de deeltjesfysica, waarmee bewezen wordt dat soms de beste manier om de toekomst te zien, is door klein te beginnen.

Technische Samenvatting: Voorspellen vóór het trainen: Schalingswetten voor fundamentele modellen in de deeltjesfysica

Probleemstelling
In de deeltjesfysica zijn de grootste machine learning-modellen ook de meest computationeel dure om te trainen. Er bestaat een kritische kloof in het veld: hoewel schalingswetten retrospectief zijn aangepast voor jet-data, zijn ze niet aangetoond om de prestaties van modellen te voorspellen waarvoor ze niet zijn aangepast. Gevolgelijk kan het rendement op investering (ROI) voor het opschalen van een specifieke architectuur niet worden ingeschat voordat de rekenbronnen zijn toegewezen. Bovendien heeft nog geen enkele studie erin geslaagd een pretraining loss-schalingswet te verbinden aan downstream fysica-metrieken (zoals achtergrondrejectie), waardoor beoefenaars een compute-budget niet vooraf kunnen vertalen naar de verwachte fysica-prestaties.

Methodologie
De auteurs introduceren ParticleViT, een generieke transformer-architectuur toegepast op jet-constituënten met minimale natuurkundespecifieke inductieve bias (het weglaat Lorentz-invariantie of pairwise interactiekenmerken). De studie hanteert een "fit-then-forecast"-protocol:

Data en Doelstelling: De modellen worden voorgetraind op de OmniLearned-corpus, een collectie van ongeveer $1,06 \times 10^9$ jets. De pretraining-doelstelling is een 210-klasse classificatietaak (jet-processen, flavors en datasetcategorieën).
Schalingssweep: Een geometrische ladder van ParticleViT-modellen wordt getraind op een IsoFLOP-grid, waarbij de modelgrootte ( $N$ ) en de datasetgrootte ( $D$ ) variëren terwijl het totale trainings-compute constant wordt gehouden. De sweep beslaat tien compute-budgetten variërend tot $3 \times 10^{18}$ FLOPs.
Schalingswet-fitting: De auteurs passen een gezamenlijk model-en-data schalingswet toe (Chinchilla-stijl) op de pretraining loss van modellen die getraind zijn onder de $10^{19}$ FLOPs. De functionele vorm is:
$L(N, D) = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_\infty$
Gehouden Extrapolatie: Gebruikmakend van enkel de data van de kleinere modellen, voorspellen de auteurs de loss van vijf grotere modellen die getraind zijn met tot wel $113\times$ meer compute (tot $3,4 \times 10^{20}$ FLOPs).
Downstream Validatie: De voorgetrainde modellen worden gefinetuned op twee standaard benchmarks: Top Quark Tagging en Quark/Gluon discriminatie. De auteurs analyseren de correlatie tussen de pretraining loss en de downstream fine-tuning loss/achtergrondrejectie.
Benchmarking: Het grootste "frontier" ParticleViT-model wordt vergeleken met OmniLearned, een state-of-the-art natuurkunde-bewust fundamenteel model dat op dezelfde corpus is getraind.

Belangrijkste Bijdragen

Gevalideerde Voorspelling: De studie presenteert de eerste gevalideerde voorspelling van een schalingswet in de deeltjesfysica. Door de wet aan te passen op modellen getraind onder $10^{19}$ FLOPs, voorspelden de auteurs de loss van modellen die getraind zijn met meer dan $100\times$ meer compute. De gemeten losses kwamen binnen 1% van de voorspellingen uit (gemiddelde relatieve fout 0,26%).
Compute-naar-Prestatie Keten: De auteurs leggen een directe link tussen het compute-budget en de natuurkundige prestaties. Ze tonen aan dat een lagere pretraining loss systematisch leidt tot een lagere downstream fine-tuning loss en een hogere achtergrondrejectie bij beide tagging-taken. Dit stelt in staat om een doelstelling voor natuurkundige prestaties vooraf te vertalen naar een geschat compute-budget voordat een groot model getraind wordt.
Compute-Optimale Allocatie: De aangepaste schalingswet laat zien dat de compute-optimale modelgrootte voor de miljarden-jets corpus aanzienlijk kleiner is dan de vuistregel afgeleid van taalmodellen (die suggereert dat $\sim 1$ parameter per 20 tokens optimaal is). De aangepaste exponent voor data ( $\beta \approx 0,06$ ) is veel kleiner dan die voor modelgrootte ( $\alpha \approx 0,23$ ), wat impliceert dat voor de deeltjesfysica de rekenkracht overwegend het beste besteed kan worden aan het vergroten van het aantal trainingsvoorbeelden in plaats van het vergroten van de modelcapaciteit.
Open Release: Vijf voorgetrainde ParticleViT-modellen (S t/m XL), het volledige trainingsrecept en de fine-tuning protocollen worden aan de community vrijgegeven.

Resultaten

Schalingsnauwkeurigheid: De geëxtrapoleerde loss-voorspellingen voor de vijf gehouden modellen (variërend van 16M tot 397M parameters) waren zeer accuraat, met een maximale relatieve fout van 0,66%.
Downstream Prestaties: Een lagere pretraining loss correleerde consistent met betere downstream prestaties. Het grootste ParticleViT-model (397M parameters) bereikte prestaties die consistent zijn met de gepubliceerde cijfers van het natuurkunde-bewuste OmniLearned-model (423M parameters) op het gebied van nauwkeurigheid, AUC en quark/gluon-rejectie.
Vergelijking met Natuurkunde-bewuste Modellen: De generieke transformer (ParticleViT) evenaarde de natuurkunde-bewuste baseline (OmniLearned) op bulk-metrieken. Het natuurkunde-bewuste model behield een meetbaar voordeel alleen in de hoog-zuivere staart van de top-tagging (achtergrondrejectie bij $\epsilon_S=0,5$ en $0,3$), waar zeldzame stralingspatronen het meest kritiek zijn.
Informatiedichtheid: De auteurs interpreteren de kleine data-exponent en de voorkeur voor kleinere modellen als een reflectie van de lagere informatierijkdom van een "deeltjes-token" vergeleken met een "taal-token".

Betekenis en Claims
Het artikel beweert de cirkel te sluiten tussen het compute-budget en de verwachte natuurkundige prestaties. Door aan te tonen dat een schalingswet die is aangepast op kleine modellen accuraat de loss van veel grotere modellen kan voorspellen, en dat deze loss de downstream natuurkundige metrieken voorspelt, stellen de auteurs dat beoefenaars nu met vertrouwen grote trainingsruns kunnen plannen.

De auteurs verklaren expliciet dat deze methodologie niet specifiek is voor jets; elk datarijk wetenschappelijk domein dat in staat is tot een sweep van kleine modellen kan dit "fit-then-forecast"-protocol toepassen. Ze benadrukken hun bescheidenheid met betrekking tot hun claims: de schalingswet voorspelt de prestaties binnen de specifieke modelfamilie en taken die zijn bestudeerd, en de verbinding met downstream metrieken is een geobserveerde transfer, geen garantie voor willekeurige nieuwe natuurkundige vraagstukken. De studie beweert niet dat het natuurkunde-bewuste model overbodig is, maar stelt dat een generieke transformer, wanneer deze volgens de afgeleide wet wordt opgeschaald, een prestatie kan bereiken die consistent is met gespecialiseerde natuurkunde-bewuste baselines op standaard benchmarks, waarbij het gespecialiseerde model slechts een marginaal voordeel biedt in extreme hoog-zuivere regimes.

De "Glazen Bol" voor de Deeltjesfysica

De verrassing van de "Informatiedichtheid"

Helpt een betere "Algemene Kennis"?

De Laatste Strijd

Wat dit betekent voor de toekomst

Meer zoals dit