Explicit or Implicit? Encoding Physics at the Precision Frontier

Dit artikel vergelijkt twee benaderingen voor het coderen van fysica in machine learning voor deeltjesfysica en concludeert dat het expliciet inbouwen van symmetrieën of het impliciet leren ervan via grote schaaltraining vergelijkbare prestaties oplevert op uitdagende taken, wat suggereert dat de efficiëntiewinsten grotendeels onafhankelijk zijn van de specifieke methode.

De kern

De Strijd tussen de "Regelboekje" en de "Grootmeester": Hoe AI deeltjesfysica begrijpt

Stel je voor dat je een enorme berg met Lego-blokken hebt. Deze blokjes vertegenwoordigen deeltjes uit het heelal die botsen in een gigantische machine (deeltjesversneller). De fysici willen weten: Wat is er precies gebeurd tijdens deze botsing? Maar de machine ziet het niet perfect; het is alsof je door een wazige bril kijkt.

Om dit op te lossen, gebruiken wetenschappers kunstmatige intelligentie (AI). Maar hoe leer je een computer om deze complexe Lego-botsingen te begrijpen? In dit artikel vergelijken ze twee totaal verschillende manieren om dit te doen.

De Twee Kampioenen

1. De "Regelboekje"-methode (Explicit: L-GATr)
Stel je voor dat je een jonge leerling hebt die je een strenge handleiding geeft. In deze handleiding staan alle wetten van de natuurkunde (zoals hoe energie en beweging werken) letterlijk opgeschreven.

• Hoe het werkt: De AI mag geen fouten maken in deze wetten. Als de AI probeert iets te leren dat tegen de regels in gaat, zegt de handleiding: "Nee, dat mag niet!"
• Het voordeel: De AI hoeft niet te raden hoe de natuur werkt; ze weet het al. Ze is dus heel efficiënt en heeft minder voorbeelden nodig om goed te worden.
• Het nadeel: De handleiding is soms zo complex dat de AI erdoor verstrikt raakt. Het is alsof je een leerling dwingt om elke stap van een dans te berekenen in plaats van gewoon te dansen.

2. De "Grootmeester"-methode (Implicit: OmniLearn)
Stel je voor dat je een andere leerling hebt die geen handleiding krijgt, maar wel duizenden uren lang naar duizenden andere Lego-botsingen kijkt.

• Hoe het werkt: Deze AI is een "foundation model". Ze heeft eerst enorm veel data "gelezen" (gepretraind) en heeft daaruit vanzelf patronen geleerd. Ze heeft een soort "gevoel" voor hoe deeltjes zich gedragen, zonder dat iemand haar de formules heeft verteld.
• Het voordeel: Ze is heel flexibel. Als je haar een nieuw soort Lego-set geeft, past ze zich snel aan omdat ze al zo veel heeft gezien.
• Het nadeel: Het kost enorm veel tijd en rekenkracht om haar eerst die duizenden uren "training" te geven. Het is alsof je een leerling eerst 10 jaar laat studeren voordat je haar een specifieke opdracht geeft.

De Grote Test: Drie Uitdagingen

De auteurs van dit artikel hebben deze twee methoden tegen elkaar opgevoerd in drie moeilijke spellen:

1. Het "Wazige Foto"-spel (Unfolding):

   • De taak: Je hebt een foto van een botsing die door de detector is "vervormd". Je moet de AI leren de originele, scherpe foto terug te halen.
   • Het resultaat: Beide methoden waren bijna even goed! De "Regelboekje"-leerling en de "Grootmeester" haalden beide de scherpe foto terug. Het maakt hier weinig uit welke methode je kiest, zolang je maar genoeg data hebt.

2. Het "Subtiel Verschil"-spel (Likelihood Ratio):

   • De taak: Je moet twee soorten botsingen van elkaar onderscheiden die bijna identiek zijn. Het verschil is zo klein dat het net is als het verschil tussen twee bijna identieke kopieën van een document.
   • Het resultaat: Hier won de "Grootmeester" (OmniLearn) het net ietsje. De "Regelboekje"-methode (L-GATr) bleef een beetje steken. Het bleek dat voor deze specifieke, subtiele taak het "gevoel" van de Grootmeester (die veel lokale details heeft geleerd) beter werkte dan het strikte volgen van de regels.

3. Het "Naald in de Hooiberg"-spel (Anomaly Detection):

   • De taak: Je zoekt naar een heel zeldzaam, nieuw deeltje dat zich verbergt tussen miljarden gewone deeltjes.
   • Het resultaat: Beide methoden waren weer even goed. Of je nu de regels volgt of op je gevoel vertrouwt, beide konden de naald vinden.

De Conclusie: Wat moeten we onthouden?

Het artikel zegt eigenlijk: "Het maakt niet uit hoe je het doet, zolang je maar het juiste doel bereikt."

• Als je snelheid en weinig data nodig hebt, is de "Regelboekje"-methode (L-GATr) vaak slimmer. Je hoeft niet eerst jaren te trainen.
• Als je extreem precieze resultaten nodig hebt voor heel moeilijke taken, kan de "Grootmeester"-methode (OmniLearn) net iets beter presteren, maar dan moet je bereid zijn om eerst die enorme investering in training te doen.

De Grootste Les:
In de wereld van deeltjesfysica is het niet meer nodig om te kiezen tussen "strikt de regels volgen" of "alles zelf leren". De beste resultaten komen vaak uit een combinatie van beide, of door simpelweg de juiste tool te kiezen voor de juiste klus. Het is alsof je voor een snelle rit een fiets neemt (Regelboekje), maar voor een lange, moeilijke tocht een ervaren gids (Grootmeester) huurt. Beide brengen je op de bestemming, maar op een verschillende manier.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Explicit or Implicit? Encoding Physics at the Precision Frontier" in het Nederlands.

Probleemstelling

In de deeltjesfysica wordt machine learning (ML) steeds belangrijker voor taken zoals reconstructie, simulatie en anomaliedetectie. Een centrale uitdaging is hoe men bekende fysische structuren (zoals symmetrieën uit de kwantumveldtheorie) het beste in ML-modellen kan integreren. Er zijn twee dominante strategieën:

1. Expliciete encoding: Symmetrieën (bijvoorbeeld Lorentz-invariantie) worden hard gecodeerd in de netwerkarchitectuur. Dit vermindert de data-efficiëntie maar maakt de modellen complexer.
2. Impliciete encoding: Modellen leren fysische patronen door middel van grote-scale pre-training op diverse datasets, zonder de architectuur specifiek aan te passen voor symmetrieën.

Het paper onderzoekt welke aanpak superieur is in het kader van precisie-colliderfysica, waar het gaat om het onderscheiden van uiterst subtiele verschillen tussen twee bijna identieke klassen (bijvoorbeeld simulatie versus data, of signaal versus achtergrond).

Methodologie

De auteurs vergelijken twee state-of-the-art modellen die de twee strategieën vertegenwoordigen:

1. L-GATr (Lorentz Geometric Algebra Transformer):

   • Aanpak: Expliciet.
   • Architectuur: Een transformer die equivariant is onder Lorentz-transformaties. Het gebruikt geometrische algebra (multivektoren) om in- en uitvoer te representeren, zodat de Lorentz-symmetrie inherent wordt behouden.
   • Varianten: Ze testen de volledige versie en een vereenvoudigde versie ("L-GATr-slim") die alleen scalairen en vectoren gebruikt om de rekenkosten te verlagen.

2. OmniLearn:

   • Aanpak: Impliciet.
   • Architectuur: Een foundation model gebaseerd op een Point-Edge Transformer (PET).
   • Training: Het model is vooraf getraind (pre-trained) op ongeveer $10^8$ jets van het JetClass-dataset. Het leert fysische priors impliciet via deze grote dataset en wordt vervolgens gefinetuned op specifieke taken.

Experimentele Opzet:
De modellen worden getest op drie uitdagende taken waarbij klassen zeer op elkaar lijken:

• 3.1 Reweighting-based Unfolding (pp botsingen): Het corrigeren van detector-effecten door simulaties (Pythia) te herschalen naar data (Herwig) voor $pp \to Z + jets$.
• 3.2 Likelihood Ratio Estimation (ep botsingen): Het onderscheiden van Deep Inelastic Scattering (DIS) gebeurtenissen van twee verschillende generators (Djangoh vs. Rapgap) bij het H1-experiment.
• 3.3 Weakly Supervised Anomaly Detection: Het vinden van zeldzame nieuwe fysica (signaal) in een overvloed aan QCD-achtergrond, waarbij het signaal slechts een klein percentage van de data uitmaakt (LHC Olympics benchmark).

Belangrijkste Resultaten

1. Unfolding (pp botsingen):

   • Zowel L-GATr (expliciet) als OmniLearn (impliciet) presteren vergelijkbaar goed en beide overtreffen een standaard PET-model dat van scratch is getraind.
   • De resultaten suggereren dat de efficiëntie-winst van het expliciet coderen van symmetrieën (L-GATr) vergelijkbaar is met de voordelen van grote-scale pre-training (OmniLearn), mits de datasets voldoende statistische precisie hebben.
   • L-GATr-slim (kleiner, sneller) bereikt op sommige observabelen zelfs vergelijkbare prestaties als de volledige modellen, wat het een aantrekkelijke optie maakt voor beperkte rekenresources.

2. Likelihood Ratio Estimation (ep botsingen):

   • Hier presteerde L-GATr consistent slechter dan OmniLearn en zelfs dan een simpel PET-model dat van scratch is getraind.
   • Het vergroten van de L-GATr-architectuur leverde geen significante verbetering op.
   • Conclusie: Voor deze specifieke taak (H1-data) weegt het voordeel van lokale feature-verwerking en de pre-training van OmniLearn zwaarder dan het voordeel van Lorentz-equivariantie. De beperkte datasetgrootte lijkt de schaalbaarheid van L-GATr te beperken.

3. Anomaliedetectie:

   • L-GATr en OmniLearn presteren vergelijkbaar op het niveau van de Significance Improvement Characteristic (SIC).
   • Er zijn subtiele verschillen: OmniLearn (impliciet) heeft een klein voordeel bij zeer kleine signaalinjecties, terwijl L-GATr (expliciet) iets beter presteert bij grotere signaalinjecties.
   • Beide modellen overtreffen aanzienlijk een willekeurig geïnitieerd PET-model, wat aantoont dat zowel expliciete priors als pre-training essentieel zijn voor complexe event-classificatie.

Berekeningskosten en Efficiëntie

• OmniLearn heeft hoge initiële kosten voor pre-training (ongeveer 25x meer rekenkracht dan L-GATr voor een volledige training inclusief pre-training), maar finetunen is zeer efficiënt.
• L-GATr is van nature zwaarder per forward pass (meer geheugen en FLOPs) vanwege de geometrische algebra, maar is in de tests 3x sneller per forward pass dan OmniLearn door geoptimaliseerde backend-implementaties.
• L-GATr-slim is de meest efficiënte optie, met een 10x lagere rekenkosten en 3x minder geheugenverbruik dan de volledige L-GATr, terwijl het nog steeds concurrerende prestaties levert.

Conclusie en Significantie

Het paper concludeert dat er geen universeel "beste" aanpak is; de keuze hangt af van de specifieke taak en de beschikbaarheid van data:

• Voor taken met grote datasets en complexe correlaties (zoals pre-training op JetClass) kan de impliciete aanpak (OmniLearn) superieur zijn of vergelijkbaar presteren met expliciete methoden.
• Voor taken met beperkte data of specifieke symmetrie-eisen kan de expliciete aanpak (L-GATr) voordelen bieden, hoewel dit niet altijd het geval is (zoals gezien bij de H1-data).
• De efficiëntie-winst van het coderen van bekende fysische structuren (expliciet of impliciet) is significant en method-onafhankelijk; beide benaderingen overtreffen modellen die geen gebruik maken van fysische priors.

De studie onderstreept dat er geen praktische belemmering is om beide strategieën te combineren, en dat toekomstig onderzoek moet focussen op het optimaliseren van deze hybride benaderingen voor de volgende generatie collider-experimenten.