⚛️ high-energy experiments

Scaling Collider Event Generation with Residual-Quantized Tokens

Dit artikel introduceert een schaalbaar, autoregressief transformer-gebaseerd framework voor het genereren van volledige collider-events met behulp van residual-gekwantiseerde tokens, waarbij wordt aangetoond dat verlies op tokenniveau de fysieke getrouwheid effectief voorspelt en snelle, op ML gebaseerde surrogaten in staat stelt om knelpunten in High-Luminosity LHC-simulaties te overwinnen.

Oorspronkelijke auteurs: Dan Godi, Dmitrii Kobylianskii, Eilam Gross

Gepubliceerd 2026-10-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dan Godi, Dmitrii Kobylianskii, Eilam Gross

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het hart van Europa, waar de Large Hadron Collider protonen tegen elkaar aan laat botsen met bijna de snelheid van het licht, worden wetenschappers geconfronteerd met een probleem van pure omvang. Wanneer de machine in de komende jaren zijn volledige vermogen bereikt, zal deze zoveel data genereren dat de computers die nodig zijn om te simuleren wat er in de detector gebeurt, tekort zullen schieten in tijd en geheugen. Om deze botsingen te begrijpen, vertrouwen onderzoekers traditioneel op massieve, stapsgewijze computerprogramma's die het gedrag van elk afzonderlijk deeltje nabootsen terwijl het door de detector vliegt. Deze programma's zijn ongelooflijk nauwkeurig, maar ook ongelooflijk traag, en vereisen enorme hoeveelheden rekenkracht om simpelweg de synthetische data te creëren die nodig is om nieuwe theorieën te testen. De wetenschappelijke gemeenschap heeft een snellere manier nodig om deze simulaties te genereren, een methode die het tempo van de machine kan bijhouden zonder de fysieke realiteit van de resultaten op te offeren.

Een team onderzoekers aan het Weizmann Institute of Science in Israël heeft een oplossing voorgesteld door een techniek te lenen uit de wereld van taalmodellen. Net zoals moderne kunstmatige intelligentie coherente verhalen kan schrijven door het volgende woord in een zin te voorspellen, hebben deze wetenschappers een vergelijkbaar systeem getraind om het volgende "stukje" van een deeltjesbotsing te voorspellen. In plaats van zich bezig te houden met de rommelige, continue getallen die de snelheid en positie van een deeltje beschrijven, vertalen ze eerst elk deeltje naar een korte, discrete reeks symbolen, vergelijkbaar met het omzetten van een zin in een reeks letters. Vervolgens gebruiken ze een krachtig computermodel om de patronen van deze symboolreeksen te leren, waardoor het nieuwe, realistische botsingsgebeurtenissen kan genereren door simpelweg het volgende symbool in de keten te voorspellen. Deze aanpak transformeert de complexe fysica van een deeltjesdetector in een taalprobleem, waarbij de computer de grammatica van subatomaire interacties leert.

De onderzoekers testten deze methode op data van de CMS-detector, een enorm instrument dat het puin van protonbotsingen registreert. Ze begonnen met het nemen van echte botsingsgebeurtenissen en het afbreken ervan in hun fundamentele componenten: de deeltjes die voortkomen uit de botsing en de signalen die die deeltjes achterlaten in de detector. Om deze data beheersbaar te maken voor hun model, gebruikten ze een gespecialiseerde tool om de continue fysieke eigenschappen van elk deeltje — zoals momentum en richting — te comprimeren tot een vaste set digitale codes. Dit proces is vergelijkbaar met het vertalen van een foto met een hoge resolutie naar een reeks pixelwaarden die een computer gemakkelijk kan opslaan en manipuleren. Door hun model te trainen op miljoenen van deze vertaalde gebeurtenissen, leerde het systeem nieuwe reeksen codes te genereren die, wanneer ze worden terugvertaald naar fysieke getallen, er precies zo uitzagen en zich precies zo gedroegen als echte detectordata.

Wat dit werk bijzonder significant maakt, is hoe de onderzoekers verifieerden dat de gegenereerde data niet alleen statistisch vergelijkbaar was, maar ook fysiek getrouw. Ze controleerden niet alleen of de gemiddelde snelheid van de deeltjes overeenkwam; ze onderzochten de volledige structuur van de gebeurtenissen, van individuele deeltjes tot de complexe wolken van puin die bekend staan als jets. Ze ontdekten dat het model er succesvol in slaagde om de subtiele, willekeurige fluctuaties te recreëren die optreden wanneer deeltjes interageren met het detectermateriaal. Cruciaal was dat het systeem in staat was om gebeurtenissen te genereren voor fysieke processen die het nog nooit eerder had gezien, zoals specifieke soorten zeldzame deeltjesvervallen, door de voorspellingen te conditioneren op de initiële botsingsparameters. Dit suggereert dat het model de onderliggende regels van de respons van de detector heeft geleerd, in plaats van alleen de trainingsdata te hebben onthouden, een vitale vereiste voor een hulpmiddel dat de onbekende fysica van toekomstige ontdekkingen moet kunnen afhandelen.

Het team onderzocht ook hoe de grootte van het model en de hoeveelheid data die het zag, de prestaties beïnvloedden. Ze trainden versies van het systeem variërend van tien miljoen tot meer dan een miljard parameters, en testten deze op datasets van verschillende groottes. Ze ontdekten een duidelijke en voorspelbare relatie: naarmate de modellen groter werden en meer data zagen, daalde de fout in hun voorspellingen op een consistente, wiskundige manier. Misschien wel het belangrijkste was dat ze ontdekten dat een eenvoudige maatstaf voor hoe goed het model het volgende symbool in de reeks voorspelde, een betrouwbare indicator was voor hoe nauwkeurig de uiteindelijke fysieke resultaten zouden zijn. Dit betekent dat wetenschappers de interne foutmarge van het model kunnen gebruiken om de kwaliteit van de gegenereerde fysica te peilen, zonder dat ze dure, volledige simulaties hoeven uit te voeren om de output te controleren.

Door aan te tonen dat deze discrete, op taal gebaseerde modellen de complexe output van een deeltjesdetector getrouw kunnen reproduceren, hebben de onderzoekers een nieuwe weg gebaand voor het opschalen van collidersimulaties. Hun werk laat zien dat het mogelijk is om de computationele knelpunten te omzeilen die toekomstige ontdekkingen dreigen te vertragen. De methode rust op een eenvoudig principe: als je de taal van de fysica kunt vertalen naar een formaat dat een computer als een reeks symbolen kan lezen, kun je de krachtigste instrumenten van kunstmatige intelligentie gebruiken om die taal weer tegen je te spreken. De resultaten suggereren dat in het tijdperk van de High-Luminosity Large Hadron Collider, de toekomst van simulatie niet gaat over het bouwen van grotere computers om getallen te verwerken, maar over het leren van machines om de grammatica van het universum te begrijpen.

Technische Samenvatting: Schalen van Collider Event Generatie met Residual-Quantized Tokens

Probleemstelling

Bij de High-Luminosity Large Hadron Collider (HL-LHC) wordt geprojecteerd dat de computationele vereisten voor volledige detector-simulatie en reconstructie van synthetische datasets de beschikbare middelen zullen overstijgen, wat een significante bottleneck vormt voor natuurkundige analyses. Traditionele Fast Simulation (FastSim) methoden vertrouwen op benaderingen die fysieke getrouwheid opofferen voor snelheid. Hoewel Machine Learning (ML) steeds vaker wordt toegepast in High Energy Physics (HEP), en Large Language Models (LLMs) de weg hebben vrijgemaakt voor discrete generatieve modellering, blijft er een behoefte aan schaalbare, hoogwaardige surrogaten die volledige event-data kunnen genereren terwijl de compatibiliteit met bestaande downstream analyse-pipelines behouden blijft. Eerdere ML-benaderingen hebben zich grotendeels gericht op jet-niveau of calorimeter-niveau modellering, of maakten gebruik van flow-matching technieken voor conditionele full-event simulatie, maar hebben het potentieel van de schalingwetten en discrete modelleringsparadigma's die in natuurlijke taalverwerking zijn gevestigd, nog niet volledig benut.

Methodologie

De auteurs stellen een twee-fasen framework voor dat discrete modellering uitbreidt naar het full-event niveau, waarbij collider events worden behandeld als sequenties van tokens afgeleid van residual-quantized representaties.

1. Data Representatie en Tokenisatie (RQ-VAE)

De aanpak maakt gebruik van een Residual-Quantized Variational Autoencoder (RQ-VAE) om continue deeltjes-niveau data te mappen naar een discrete latente ruimte.

Input: Events bestaan uit generator-niveau "Truth" (TR) deeltjes en gereconstrueerde "Particle Flow" (PF) objecten. Elk deeltje wordt beschreven door transversale impuls ( $p_T$ ), pseudorapiditeit ( $\eta$ ), azimuthale hoek ( $\phi$ ), klasse en productievertex coördinaten.
Quantisatie: In plaats van een enkele vector-quantisatie (die lijdt onder codebook collapse en capaciteitslimieten), gebruikt het model residual-quantisatie. Een latente vector $z$ wordt gecodeerd als een geordende sequentie van $M$ codes. Op elke diepte $m$ kwantiseert het model de residual vector $r_{m-1}$ tegen een codebook $C_m$ , trekt de geselecteerde code af, en geeft de nieuwe residual door aan de volgende diepte.
Architectuur: De tokenizer bestaat uit een self-attention transformer encoder, de residual-quantization module, en een transformer decoder. Het wordt end-to-end getraind om de reconstructiefout te minimaliseren.
Output: Een event met $N$ deeltjes wordt platgeslagen tot een sequentie van $N \times M$ integer tokens, waardoor het generatieprobleem wordt omgezet in een sequentie-modelleringstaak.

2. Autoregressief Generatief Model

Een decoder-only transformer met causale self-attention modelleert de distributie over deze token-sequenties.

Conditionering: Het model is geconditioneerd op het TR-niveau event. De input-sequentie concateneert het getokeniseerde TR-event (geprefixed met een speciale token) en het getokeniseerde PF-event. Het TR-blok fungeert als een prefix, waardoor het model de detector-respons kan leren als een fysieke kaart die onafhankelijk is van het specifieke productieproces.
Multipliciteit Voorspelling: Omdat events een variabele hoeveelheid deeltjes hebben, voorspelt een aparte feed-forward netwerk het doel aantal PF-deeltjes ( $N_{PF}$ ) vanuit de gepoolde TR-prefix. Dit aantal wordt via een "countdown" embedding in het model gevoed.
Trainingsdoel: Het model wordt getraind met een samengestelde Cross-Entropy Loss bestaande uit next-token prediction en cardinality prediction objectives.
Generatie: Tijdens inferentie wordt de TR-input getokeniseerd en vooraf ingevuld (prefilled). Het model samplet de doel-multipliciteit en samplet vervolgens autoregressief $N_{PF} \times M$ tokens. Deze tokens worden door de bevroren RQ-VAE decoder geleid om continue deeltjes-niveau grootheden te herstellen.

Belangrijkste Bijdragen

Discrete Full-Event Modellering: Dit werk breidt het discrete modelleringsparadigma uit naar full-event simulatie, en demonstreert dat residual-quantized representaties effectief point-cloud data (particle showers) voor collider-fysica kunnen comprimeren en reconstrueren.
Conditionele Generatie: Het framework maakt conditionele generatie mogelijk vanaf detector-stabiele deeltjes (TR), waardoor de surrogaat de stochastische detector-respons kan modelleren in plaats van alleen de uiteindelijke output-distributie. Dit vergemakkelijkt generalisatie naar fysieke processen (bijv. zeldzame of theoretische signalen) die niet tijdens de training zijn gezien.
Scaling Laws en Repetitie Analyse: De auteurs voeren een uitgebreide schalingstudie uit over modelgroottes (10M tot 1B parameters) en datasetgroottes (tot 100% van de beschikbare data), inclusclusief de effecten van herhaalde data-expositie. Ze passen verschillende schalingwetten (Chinchilla, Skaling, en repetitie-bewuste varianten) toe op de token cross-entropy loss.
Loss-Fidelity Correlatie: Een primaire bijdrage is de demonstratie dat token-niveau loss (next-token prediction cross-entropy) systematisch de downstream fysieke getrouwheid voorspelt. De auteurs tonen aan dat verbeteringen in cross-entropy voorspelbaar vertalen naar een hogere getrouwheid over particle, jet, en globale event observables.

Resultaten

Reconstructie Getrouwheid: De RQ-VAE tokenizer bereikt een hoge getrouwheid, met een codebook utilitatie nabij de 100% op diepere residual-niveaus en minimale class confusion. De gereconstrueerde features komen nauw overeen met de originele distributies.
Generatie Prestaties: Het autoregressieve model genereert succesvol PF-events die de statistische eigenschappen van volledige simulatie (Geant4) evenaren voor zowel in-distributie ( $t\bar{t}$ $t \overset{ˉ}{t}$ , QCD) als out-of-distribution ( $H \to 4\ell$ $H \to 4 ℓ$ , high- $p_T$ $p_{T}$ QCD) datasets.
- Deeltjes Niveau: Residuele distributies van $p_T$ , $\eta$ , $\phi$ , en vertex coördinaten voor gegenereerde events volgen de ware detector-respons nauwgezet.
- Event Niveau: Globale variabelen zoals ontbrekende transversale energie ( $E_T^{miss}$ ) en de scalaire som van $p_T$ ( $H_T$ ) worden goed gereproduceerd.
- Jet Niveau: Kinematische eigenschappen en substructure observables ( $C_2$ , $D_2$ ) van geclusterde jets vertonen een hoge overeenkomst met truth-matched jets.
Schalingsgedrag:
- De next-token prediction (NTP) loss volgt bekende schalingwetten. De studie identificeert dat de optimale modelgrootte voor een gegeven compute budget data-beperkt is in het huidige regime.
- Effecten van data-repetitie worden gevangen door een aangepaste "Prescriptive" schalingswet, die een strafterm bevat voor herhaalde expositie.
- Voorspellende Kracht: Een machtswet ( $SWD = a(L - L_0)^b + SWD_f$ ) wordt vastgesteld tussen de NTP loss en de Sliced Wasserstein Distance (SWD) van fysieke observables. Dit bevestigt dat token-niveau loss een sterke proxy is voor fysieke prestaties, met hoge $R^2$ -waarden (0.96–0.97) voor event, jet, en deeltjes residuen.

Betekenis en Claims

Het artikel claimt een empirisch framework te bieden voor schaalbare collider full-event generatie gebaseerd op residual-quantized representaties. De significantie ligt in:

Validatie van Discrete Architecturen: Het aantonen dat autoregressieve transformers getraind op getokeniseerde data als hoogwaardige surrogaten kunnen dienen voor complexe, continue fysieke simulaties.
Begeleiding van Resource Allocatie: Het vaststellen dat token-niveau schalingwetten betrouwbaar kunnen dienen als gids voor beslissingen over modelcapaciteit, datasetgrootte en compute allocatie voor ML-surrogaten in HEP.
Efficiëntie: Het aantonen dat een enkel surrogaatmodel, geconditioneerd op truth-niveau inputs, meerdere signalen en achtergronden kan bedienen zonder per-analyse her-tuning, wat potentieel de computationele bottlenecks die bij de HL-LHC worden verwacht, kan verlichten.

De auteurs hanteren een bescheiden standpunt door te merken dat hoewel de token-niveau loss een sterke voorspeller is, de ultieme validatie de getrouwheid van de gegenereerde fysieke observables blijft, die zij empirisch hebben geverifieerd over meerdere schalen en datasets.