⚛️ phenomenology

Know What You Don't Flow

Dit artikel demonstreert hoe heteroscedastische en Bayesiaanse normaliserende flows gekalibreerde systematische en statistische onzekerheden kunnen leren en voortplanten voor generatieve neurale netwerken in de LHC-fysica, gebruikmakend van zowel speeltuigmodellen met expliciete likelihoods als classifier-hergewogen benaderingen voor top-paar gebeurtenissen.

Oorspronkelijke auteurs: Anja Butter, Sascha Diefenbacher, Tilman Plehn, Lorenz Vogel

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anja Butter, Sascha Diefenbacher, Tilman Plehn, Lorenz Vogel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het hart van Europa laten de Large Hadron Collider protonen tegen elkaar botsen op snelheden die dicht bij het licht liggen, waardoor een regen van nieuwe deeltjes ontstaat die in alle richtingen wegvliegen. Natuurkundigen besteden al decennia aan het in kaart brengen van deze botsingen, waarbij ze de chaotische regen van puin omzetten in nauwkeurige metingen van hoe het universum werkt. Om deze data te begrijpen, vertrouwen ze op twee zaken: de werkelijke metingen van de detectoren en de theoretische voorspellingen van complexe computersimulaties. Jarenlang kwamen deze twee prachtig overeen, maar naarmate de collider krachtiger wordt en meer data verzamelt, wordt de foutmarge kleiner. De metingen worden zo precies dat de theoretische voorspellingen even scherp moeten zijn. Als de computermodellen er net naast zitten, of als wetenschappers niet precies kunnen aangeven hoeveel ze er eventueel naast zitten, kan de hele zoektocht naar nieuwe fysica misleid worden. De uitdaging is niet langer alleen het vinden van het juiste antwoord, maar weten hoe zeker we kunnen zijn van dat antwoord.

Hier komt een nieuwe aanpak van een team aan de Universiteit van Heidelberg kijken. Zij werken aan een manier om kunstmatige intelligentie te leren niet alleen de uitkomst van deze deeltjesbotsingen te voorspellen, maar ook toe te geven wanneer het onzeker is. In de wereld van machine learning fungeert een veelgebruikte tool genaamd een generatief netwerk als een meestervervalser. Het leert de patronen van echte deeltjesbotsingen en creëert vervolgens nieuwe, neppe gebeurtenissen die niet te onderscheiden zijn van de echte. Dit is ongelooflijk nuttig omdat het simuleren van echte botsingen traag en kostbaar is, terwijl de AI in enkele seconden miljoenen neppe gebeurtenissen kan genereren. Tot nu toe waren deze vervalsers echter zwijgzaam over hun eigen fouten. Ze produceerden een resultaat zonder de natuurkundige te vertellen of het antwoord ijzersterk of een wilde gok was. Het team uit Heidelberg heeft een methode ontwikkeld om dit te herstellen, waardoor deze netwerken een stem krijgen om hun onzekerheid uit te drukken.

De onderzoekers richtten zich op twee verschillende soorten onzekerheid die simulaties kunnen teisteren. De eerste is statistische onzekerheid, die simpelweg optreedt omdat de trainingsdata beperkt is. Als een netwerk slechts enkele voorbeelden van een zeldzame gebeurtenis heeft gezien, zou het minder zelfverzekerd moeten zijn bij het voorspellen van die gebeurtenis opnieuw. Het tweede type is systematische onzekerheid, wat subtieler is. Dit ontstaat door gebreken in het netwerk zelf, de manier waarop het is getraind, of de ruis in de data die het heeft geleerd. Zelfs met oneindige hoeveelheden data kan een netwerk nog steeds een ingebouwde bias of een blinde vlek hebben. Het team wilde weten of ze een enkele AI konden leren om beide bronnen van fouten tegelijkertijd te volgen en deze accuraat te rapporteren.

Om hun idee te testen, begonnen ze met een eenvoudig, verzonnen model waarvan ze de exacte waarheid kenden. Ze injecteerden kunstmatige ruis in de data om imperfecties uit de echte wereld te simuleren en keken hoe de AI daarop reageerde. Ze ontdekten dat ze het netwerk konden trainen om de omvang van de ruis die het zag te leren. Wanneer ze meer ruis toevoegden, groeide de gerapporteerde onzekerheid van het netwerk mee, wat overeenkwam met de realiteit van de situatie. Ze testten ook hoe het netwerk omging met de snelheid waarmee het leerde. Als het leerproces te snel en chaotisch was, ontwikkelde het netwerk een specifiek soort fout, en het team slaagde erin om dit te identificeren als een systematische fout. Cruciaal was dat ze lieten zien dat het netwerk het onderscheid kon maken tussen fouten veroorzaakt door een gebrek aan data en fouten veroorzaakt door het trainingsproces zelf, door de juiste soort onzekerheid aan elk toe te wijzen.

De echte test kwam toen ze deze methode toepasten op een complex, realistisch scenario: de productie van topquark-paren, een van de zwaarste en meest bestudeerde deeltjes in de collider. In dit geval wisten ze de exacte wiskundige waarheid vooraf niet, wat de gebruikelijke situatie is voor natuurkundigen. Om dit op te lossen, gebruikten ze een slimme truc met een tweede AI, een classifier, die als gids fungeert. Deze classifier vergeleek de ruwe, initiële gissingen van het generatieve netwerk met de echte data en hielp het pad van het netwerk te corrigeren. Door dit gecorrigeerde pad als doel te gebruiken, kon het generatieve netwerk leren om accurate gebeurtenissen te produceren en tegelijkertijd zijn eigen systematische fouten te kwantificeren. De resultaten waren opmerkelijk. Het netwerk slaagde erin om in kaart te brengen waar het wel en waar het niet zelfverzekerd was, waarbij het deze onzekerheden doorvoerde in elke richting van de deeltjesbotsing.

Het team onderzocht ook hoe deze netwerken omgaan met "nuisance parameters" (storende parameters), wat variabelen in de simulatie zijn die niet perfect bekend zijn, zoals de exacte massa van de topquark. Ze trainden het netwerk om deze massa te variëren en observeerden hoe de onzekerheid in de uiteindelijke resultaten veranderde. Ze ontdekten een duidelijke, voorspelbare relatie: naarmate de onzekerheid in de invoermassa groeide, groeide de onzekerheid in de uitvoergebeurtenissen op een specifieke, meetbare manier. Dit betekent dat natuurkundigen in de toekomst deze netwerken kunnen gebruiken om direct te zien hoe een kleine verandering in een fundamentele constante door hun hele analyse zou uitwerken.

Het werk laat zien dat het mogelijk is om generatieve netwerken te bouwen die niet alleen snelle vervalsers zijn, maar ook eerlijke partners in wetenschappelijke ontdekkingen. Door deze systemen te leren hun eigen vertrouwen te kalibreren, hebben de onderzoekers een instrument geboden dat de extreme precisie kan aan kunnen die vereist is door de volgende generatie deeltjesfysica-experimenten. De netwerken doen nu meer dan alleen data genereren; ze vertellen de wetenschappers precies hoeveel ze die data kunnen vertrouwen, waardoor ze een zwarte doos van kunstmatige intelligentie transformeren in een transparant instrument voor het verkennen van de fundamentele wetten van de natuur.

Technische Samenvatting: "Know What You Don't Flow"

Probleemstelling
Generatieve machine learning-modellen, zoals normalizing flows (NFs), zijn transformatieve instrumenten geworden in de LHC-fysica voor het extraheren van fase-ruimte dichtheden en het genereren van events sneller dan klassieke simulatieketens. Echter, een kritiek zwak punt blijft bestaan: het gebrek aan robuuste, gekalibreerde onzekerheidskwantificering voor deze impliciet geleerde dichtheden. Hoewel er methoden bestaan om statistische onzekerheden (voortkomend uit beperkte trainingsdata) of systematische onzekerheden (voortkomend uit modelexpressiviteit of ruis in de data) te leren in gesuperviseerde regressie, zijn deze nog niet uitgebreid gecombineerd of gekalibreerd voor generatieve netwerken. Er is specifere een gat in het begrip van hoe generatieve netwerken systematische onzekerheden leren uit trainingsruis of optimalisatie-artefacten, en hoe deze onzekerheden te kalibreren wanneer de ware onderliggende dichtheid onbekend is.

Methodologie
De auteurs stellen een framework voor om twee verschillende bronnen van onzekerheid in generatieve netwerken te onderscheiden en te kalibreren:

Systematische Onzekerheden ( $\sigma_{\text{syst}}$ ): Gedefinieerd als onzekerheden die niet verdwijnen met oneindige hoeveelheden trainingsdata van dezelfde soort (bijv. ruis in de doel-dichtheid, netwerkexpressiviteit of fluctuaties in de leersnelheid).
Statistische Onzekerheden ( $\sigma_{\text{stat}}$ ): Gedefinieerd als onzekerheden die verdwijnen met meer trainingsdata (bijv. een gebrek aan statistiek in een specifieke fase-ruimte regio).

Om dit aan te pakken, introduceert en vergelijkt het artikel twee architecturen:

Heteroscedastic Normalizing Flow (HNF): Een flow-netwerk dat getraind is om de log-dichtheid $\log p_\theta(x)$ te voorspellen naast een MLP die een lokale onzekerheid $\sigma_{\text{syst}}(x)$ voorspelt. Dit wordt getraind met een heteroscedastische Gaussische verliesfunctie. Cruciaal is dat voor gevallen waar de ware dichtheid $p_{\text{truth}}(x)$ onbekend is, de auteurs een classifier-reweighted target gebruiken. Een benaderde dichtheid $p_{\text{expl}}(x)$ wordt hergewogen door een classifier $C(x)$ die deze onderscheidt van de ware data, wat een expliciete target creëert: $p_{\text{expl}}(x) \times \frac{C(x)}{1-C(x)}$ voor de HNF.
Bayesian Normalizing Flow (BNF): Een flow waarbij de netwerkparameters worden behandeld als waarschijnlijkheidsverdelingen (posterior-verdelingen) in plaats van vaste waarden. Door te samplen uit de posterior, levert het ensemble van gegenereerde dichtheden de statistische onzekerheid $\sigma_{\text{stat}}(x)$ op.

De methodologie wordt eerst gevalideerd op een 2D-toy model met een expliciete bekende dichtheid, en vervolgens op een realistische 16-dimensionale top-paar ( $t\bar{t}$ ) productie-proces met volledig leptonische vervallen.

Belangrijkste Bijdragen en Resultaten

Kalibratie van Systematische Onzekerheden: Met behulp van het toy model demonstreren de auteurs dat de HNF geïnjecteerde Gaussische ruis correct leert als een systematische onzekerheid. De geleerde onzekerheid schaalt lineair met het niveau van de geïnjecteerde ruis, en de resulterende "pulls" (het verschil tussen de waarheid en de voorspelling, genormaliseerd door de geleerde onzekerheid) volgen een standaard Gaussische verdeling, wat wijst op perfecte kalibratie.
Leersnelheid als Systematische Bron: De studie onthult dat de leersnelheid $\eta$ in stochastische optimalisatie een systematische onzekerheid induceert. De minimale geleerde onzekerheid schaalt als $\min \sigma_{\text{syst}} \propto \sqrt{\eta}$ , wat bevestigt dat optimalisatieruis door de HNF als een systematisch effect wordt gevangen.
Onderscheid tussen Onzekerheidstypen: Het artikel maakt een duidelijk onderscheid tussen de rollen van HNF en BNF. De HNF leert stochastische of deterministische systematieken van de data, het netwerk of de training, die constant blijven ongeacht de grootte van de trainingsdataset ( $N_{\text{train}}$ ). Daarentegen leert de BNF de statistische beperkingen die voortvloeien uit de omvang van de trainingsdataset, wat schaalt als $1/\sqrt{N_{\text{train}}}$ .
Classifier-Reweighted Training: Voor de realistische $t\bar{t}$ -toepassing, waarbij de expliciete likelihood niet beschikbaar is voor directe training, slaagt de classifier-reweighting strategie erin de doel-dichtheid te reconstrueren. De HNF, getraind op deze hergewogen target, leert lokale systematische onzekerheden die goed gekalibreerd zijn, met name wanneer een "statistiek-gemotiveerde" benaderde dichtheid (getraind op een subset van de data) wordt gebruikt in plaats van een "theorie-gemotiveerde" gefactoriseerde benadering.
Propagatie van Nuisance Parameters: De auteurs demonstreren dat een conditionele HNF systematische onzekerheden kan leren die gecodeerd zijn in nuisance parameters (specifiek de top-kwark massa $m_t$ ). Door het netwerk conditioneel te trainen op $m_t$ , kan het model de prior-onzekerheid van de top-massa naar alle fase-ruimte observabelen propageren, wat een schaalwet tussen de prior-breedte en de geleerde systematische onzekerheid vaststelt.

Betekenis en Claims
Het artikel claimt de eerste uitgebreide aanpak te bieden voor het leren en kalibreren van zowel statistische als systematische onzekerheden voor generatieve netwerken in de deeltjesfysica. De auteurs benadrukken dat hoewel eerdere studies hebben aangetoond dat generatieve netwerken statistische onzekerheden kunnen leren, geen enkele voorgaande studie in de deeltjesfysica de correcte kalibratie van geleerde statistische onzekerheden heeft gedemonstreerd of de afhandeling van systematische onzekerheden op de geleerde dichtheid heeft gedetailleerd.

De betekenis ligt in de mogelijkheid om over te gaan van louter generatieve modellen naar onzekerheid-bewuste generatieve modellen. Door HNF (voor systematieken) te combineren met BNF (voor statistiek), biedt het framework een compleet onzekerheidsbudget. De auteurs merken op dat dit bijzonder essentieel is voor LHC-toepassingen zoals parametertests (parameter inference), waarbij gekalibreerde onzekerheden een vereiste zijn. Het werk vestigt de basis dat generatieve netwerken getraind kunnen worden om "te weten wat ze niet flowen" (know what they don't flow), waardoor betrouwbare foutmarges op de fase-ruimte dichtheid worden geboden, zelfs bij afwezigheid van een expliciete analytische likelihood.

Meer zoals dit