Cross-Domain Transfer with Particle Physics Foundation Models: From Jets to Neutrino Interactions

Dit artikel toont aan dat het OmniLearned-foundationmodel, vooraf getraind op hoge-energiebotsingen, effectief kan worden overgedragen naar een neutrino-experiment met lagere energie, waar het betere prestaties levert dan modellen die vanaf nul worden getraind, wat wijst op de mogelijkheid van detector-onafhankelijke inferentie in de deeltjesfysica.

De kern

Deel 1: De Grote Verhuizing van een Superlekker Brein

Stel je voor dat je een genie hebt opgeleid om de chaos in een drukke luchthaven te begrijpen. Dit genie, een kunstmatige intelligentie genaamd OmniLearned, heeft duizenden uren besteed aan het analyseren van miljoenen vliegtuigjes die over de landingsbanen van een groot vliegveld (deeltjesversnellers zoals de LHC) vliegen. Het heeft geleerd hoe vliegtuigen (deeltjes) zich gedragen, hoe ze botsen en hoe ze uit elkaar vallen.

Nu willen de wetenschappers dit genie een nieuwe opdracht geven: het moet niet meer kijken naar vliegtuigen, maar naar neutrino's.

Neutrino's zijn als spookachtige, onzichtbare muggen die door muren (en de hele aarde) vliegen. Ze komen uit een heel andere wereld: een klein, vast laboratorium (MINERvA) in plaats van een gigantisch vliegveld. De "vliegtuigen" hier zijn veel kleiner, de regels zijn anders, en de omgeving ziet er totaal anders uit.

De vraag is: Kan dit genie, dat is opgeleid op vliegtuigen, ook iets betekenen voor deze spookmuggen?

Deel 2: De "Verrassende" Antwoord

Het antwoord in dit artikel is een volmondig JA.

De onderzoekers hebben getest of ze het genie (OmniLearned) konden "herprogrammeren" voor de neutrino-taak, zonder het helemaal opnieuw te hoeven leren. Ze noemen dit transfer learning (overdrachtsleren).

Stel je voor dat je een chef-kok bent die perfect Italiaans pasta maakt. Je krijgt nu de opdracht om een Japanse sushi te maken. Normaal gesproken zou je alles opnieuw moeten leren. Maar omdat je al weet hoe je met messen werkt, hoe je ingrediënten snijdt en hoe je smaken combineert, leer je sushi veel sneller dan iemand die nog nooit een mes heeft vastgehouden.

Zo werkt het hier ook:

• De oude taak: Het model leerde hoe deeltjes zich gedragen in enorme, chaotische stralen (jets) bij hoge energieën.
• De nieuwe taak: Het model moet nu kijken naar kleine, rustige botsingen van neutrino's met atoomkernen.
• Het resultaat: Het model dat al "pasta" had geleerd, bleek veel beter en sneller in het maken van "sushi" dan een model dat vanaf nul begon.

Deel 3: Waarom is dit zo belangrijk?

In de wereld van deeltjesfysica is het heel duur en tijdrovend om computersimulaties te draaien. Vaak moet je duizenden uren rekenen om een nieuw experiment te testen of om een nieuwe hypothese te controleren.

Dit onderzoek toont aan dat we een "algemeen deeltjes-brein" kunnen bouwen.

• Vroeger: Voor elk nieuw experiment (een nieuw vliegveld) bouwden we een nieuw, specifiek brein van nul af.
• Nu: We trainen één groot brein op veel verschillende soorten data. Als we een nieuw experiment starten, nemen we dat brein mee, passen we het een beetje aan (zoals het aanleren van een nieuwe taal), en klaar is Kees.

Deel 4: De Concrete Resultaten

De onderzoekers hebben dit getest met echte data van het MINERvA-experiment:

1. Het tellen van energie: Het model kon precies voorspellen hoeveel energie er vrijkwam bij een botsing, zelfs als het model niet speciaal daarvoor was getraind.
2. Het herkennen van deeltjes: Het kon heel goed onderscheid maken tussen verschillende soorten deeltjes (zoals pionen) die uit de botsing kwamen.

Het verrassende was dat het model, dat was getraind op deeltjes met een energie van biljoenen keer zo groot als de deeltjes in dit experiment, toch de beste resultaten leverde. Het heeft geleerd dat de vorm en de beweging van deeltjes (de geometrie) universeel zijn, ongeacht hoe groot of klein de energie is.

Samenvattend in één zin:
Dit artikel bewijst dat we een "universeel deeltjes-brein" kunnen bouwen dat, net als een ervaren chef-kok, snel kan schakelen tussen totaal verschillende culinaire stijlen (experimenten), waardoor we in de toekomst veel sneller en slimmer nieuwe ontdekkingen in de natuurkunde kunnen doen.

Technische samenvatting

Probleemstelling

Deeltjesfysica staat op het punt om te worden getransformeerd door foundation modellen (grootmodellen die vooraf zijn getraind op brede datasets). Hoewel deze modellen succesvol zijn getoond in de context van deeltjesversnellers (zoals de LHC) voor het analyseren van jets, blijft er een significant gat bestaan in de toepasbaarheid op andere gebieden van de fysica.

Specifiek richt dit onderzoek zich op de overdracht van kennis van hoge-energieversneller-experimenten (TeV-schaal, $O(10^2)$ deeltjes per gebeurtenis, hermetische 4$\pi$-detectoren) naar vastestop-neutrino-experimenten (enkele GeV-schaal, $O(1-10)$ gereconstrueerde objecten per gebeurtenis, asymmetrische detectorgeometrie).
De uitdagingen zijn tweeledig:

1. Fysica: Versneller-jets worden gedomineerd door QCD-fragmentatie, terwijl neutrino-interacties in de enkele GeV-regio een complexe overgang vertonen tussen interacties met een heel kern, een nucleon en diep-inelastische verstrooiing, verstoord door talloze nucleaire effecten.
2. Data & Detectie: Er is een groot verschil in energie, deeltjesmultipliciteit en detectortechnologie.
   De vraag is of een foundation model dat is getraind op versnellerdata (jets) in staat is om effectief te worden overgedragen (transfer learning) naar deze fundamenteel verschillende neutrino-omgeving, zonder dat er enorme hoeveelheden nieuwe gelabelde simulatiedata nodig zijn.

Methodologie

De auteurs onderzoeken dit door het OmniLearned foundation model (specifiek de Particle Encoder Transformer v2 of PET2) te gebruiken, dat vooraf is getraind op diverse gesimuleerde en echte $pp$ en $ep$ botsingsgebeurtenissen.

• Dataset: Gegevens van het MINERvA-experiment bij Fermilab, specifiek gesimuleerde medium-energie voorwaartse hoornstroom (FHC) gebeurtenissen. De dataset bevat 6 miljoen trainingsgebeurtenissen en 700.000 validatie- en testgebeurtenissen.
• Representatie: Elke neutrino-gebeurtenis wordt weergegeven als een variabele lengte set van tokens (gereconstrueerde objecten zoals fotonen, muonen, 'prongs' en 'blobs'). Deze tokens bevatten kinematische variabelen ($\eta, \phi, \log p_T, \log E$) en deeltjestype-labels, aangevuld met globale gebeurteniseigenschappen.
• Taken: Twee soorten taken werden geëvalueerd:
  1. Regressie: Het voorspellen van de beschikbare hadronische energie ($E_{available}$), gedefinieerd als de som van kinetische energieën van protonen en de totale energie van fotonen, pionen, elektronen en geladen kaonen.
  2. Binaire Classificatie: Het onderscheiden van specifieke ladingstroom (CC) eindtoestanden:
     • CC1$\pi^\pm$ (exact één geladen pion).
     • CCN$\pi^\pm$ ($N \ge 1$ geladen pionen).
     • CC1$\pi^0$ (exact één neutrale pion, geen geladen pionen).
• Modelvergelijking: De prestaties van de vooraf getrainde OmniLearned-modellen werden vergeleken met:
  • Modellen die vanaf nul zijn getraind (random initialisatie) met dezelfde architectuur (OmniLearned-small-rw).
  • Vergelijkbare Transformer-architecturen (ViT-stijl) die vanaf nul zijn getraind.
  • Een eenvoudige MLP-baseline die alleen werkt op globale eigenschappen.
• Training: Modellen werden getraind met de Adam-optimizer. Voor de regressie werd Smooth L1 Loss gebruikt, en voor classificatie cross-entropy loss met class-weights om onbalans aan te pakken.

Belangrijkste Bijdragen

1. Demonstratie van "Medium" Transfer: Het artikel vult een gat in het onderzoek naar transfer learning door een "medium" transfer te bewijzen: van versneller-jets naar neutrino-interacties. Dit is een kwalitatief andere omgeving dan eerdere "near" transfers (binnen dezelfde experimenten) of "far" transfers (naar kosmologie of moleculaire dynamica).
2. Onafhankelijkheid van Detector: De resultaten suggereren dat foundation modellen inductieve biases leren die detector-agnostisch zijn. Ze generaliseren over enorme verschillen in energieschaal, detectortechnologie en onderliggende fysica.
3. Efficiëntie: Het werk toont aan dat pre-training aanzienlijke voordelen biedt in termen van rekenkracht en trainingsstappen, wat cruciaal is voor experimenten waar gesimuleerde data schaars of duur is.

Resultaten

De prestaties werden gemeten op validatieverlies, classificatiemetrics (AUPRC, AUROC, TPR bij vaste FPR) en regressieresolutie (interkwartielafstand van residuen).

• Computational Efficiency: Vooraf getrainde OmniLearned-modellen bereiken een lager validatieverlies dan modellen die vanaf nul zijn getraind, bij een gelijkblijvende rekenbudget (FLOPs). Ze convergeren ook sneller (minder trainingsstappen nodig) naar een lager verlies.
• Classificatie:
  • De vooraf getrainde modellen presteren consistent beter dan de baselines en de modellen die vanaf nul zijn getraind.
  • De winst is het grootst bij lage pion-energieën en bij het CC1$\pi^0$-taak (waar het reconstrueren van fotonparen lastig is). Dit suggereert dat de vooraf getrainde representaties zeer effectief zijn in het extraheren van informatie uit lage-multipliciteit, lage-energie eindtoestanden.
  • Bij het multi-pion-taak (CCN$\pi^\pm$) wordt er winst geboekt bij lage invariantie massa ($W$), hoewel alle modellen bij hoge $W$ onder de klassieke cut-based baseline zakken.
• Regressie:
  • Voor de schatting van de hadronische energie tonen de vooraf getrainde modellen een smallere interkwartielafstand (IQR) over alle waarden van de drie-momentumoverdracht ($q_3$). Dit betekent een hogere resolutie in energieherconstructie.
  • De residu-verdelingen zijn nauwer en symmetrischer, vooral bij lage $q_3$ waar nucleaire effecten het grootst zijn en reconstructie het moeilijkst is.

Significatie en Toekomstperspectief

Dit onderzoek is een belangrijke stap naar detector-agnostische inferentie in de deeltjesfysica. De bevindingen impliceren dat:

• Minder simulatie nodig is: Nieuwe experimenten (zoals DUNE of Hyper-Kamiokande) kunnen profiteren van bestaande foundation modellen, wat de behoefte aan enorme hoeveelheden gesimuleerde data voor training vermindert. Dit is vooral waardevol tijdens de inbedrijfstelling van detectoren.
• Snellere hypothese-toetsing: Het kost minder tijd en rekenkracht om gespecialiseerde classifiers te trainen voor nieuwe fysica-hypothese.
• Paradigmaverschuiving: Het bewijst dat deeltjes-niveau foundation modellen fundamentele geometrische en kinematische biases leren die universeel toepasbaar zijn, ongeacht de specifieke energie of het experiment.

De auteurs stellen voor dat toekomstig werk zich kan richten op het direct opnemen van neutrino-gebeurtenissen in de pre-training van het model, wat de prestaties waarschijnlijk nog verder zou verbeteren voor experimenten zoals MINERvA, MicroBooNE en DUNE.