The Pareto Frontier of Resilient Jet Tagging

Dit artikel onderzoekt de afwegingen tussen prestatie en modelonafhankelijkheid bij het classificeren van hadronische jets, en toont aan dat het enkel maximaliseren van prestatie-metrics kan leiden tot kwetsbare netwerken met onzekerheden en bias.

De kern

De "Perfecte" Jet-jager: Waarom de slimste niet altijd de beste is

Stel je voor dat je een enorme berg met twee soorten stenen hebt: rode stenen (die komen van quarks) en blauwe stenen (die komen van gluonen). Je werk is om deze stenen zo snel en nauwkeurig mogelijk van elkaar te scheiden. In de deeltjesfysica noemen we deze stenen "jets".

Wetenschappers gebruiken kunstmatige intelligentie (AI) om deze stenen te sorteren. Maar dit nieuwe onderzoek van Rikab Gambhir en zijn team vertelt ons een belangrijk verhaal: soms is de slimste computer niet de beste keuze.

1. Het probleem: De "Cijfer-jager"

Tot nu toe hebben wetenschappers vooral gekeken naar één ding: hoe goed scoort de computer? Ze keken naar een cijfer (de AUC). Hoe hoger het cijfer, hoe "beter" de AI.

Dit is als een school die alleen kijkt naar het cijfer op het eindrapport. Als een leerling 10 haalt, is hij de beste, toch?
Niet altijd. Stel je voor dat die leerling 10 haalt omdat hij de antwoorden heeft geleerd van de specifieke docent die de toets maakt. Maar als je hem een toets geeft van een andere docent (met een andere stijl), faalt hij compleet.

In de fysica is dat precies wat er gebeurt:

• De AI wordt getraind op simulaties (virtuele stenen gemaakt door computerprogramma's zoals PYTHIA).
• De echte wereld (of een andere simulatie zoals HERWIG) ziet er net iets anders uit.
• De "slimme" AI's (zoals complexe neurale netwerken) leren de specifieke eigenaardigheden van de simulatie, in plaats van de echte natuurkunde. Ze zijn niet veerkrachtig (resilient).

2. De Pareto-grens: De balans tussen Slim en Veerkrachtig

De auteurs hebben een grafiek getekend die ze de Pareto-grens noemen. Je kunt dit zien als een bergtop.

• Aan de ene kant heb je de Super-Slimme AI's: Ze scoren perfect op de simulatie, maar zijn erg kwetsbaar. Als de simulatie iets verandert, vallen ze in elkaar.
• Aan de andere kant heb je de Eenvoudige AI's: Ze zijn iets minder slim op de simulatie, maar ze zijn veerkrachtig. Ze begrijpen de echte natuurkunde en werken goed, zelfs als de simulatie verandert.

De les: Je kunt niet allebei hebben. Als je de slimste AI kiest, moet je accepteren dat hij fragiel is. Als je een veerkrachtige AI wilt, moet je accepteren dat hij iets minder "perfect" scoort op de test.

3. De poging tot een "Trucje": Kennis-overdracht

De wetenschappers dachten: "Misschien kunnen we een slimme leraar (de complexe AI) een eenvoudige leerling (de simpele AI) leren, zodat de leerling slim wordt maar toch veerkrachtig blijft?" Dit heet Kennis-distillatie.

Het resultaat? Het werkte niet helemaal zoals gehoopt. De eenvoudige leerling werd iets beter, maar hij kon de grens niet doorbreken. Hij werd niet zowel super-slim als super-veerkrachtig. De "veerkracht" van de simpele AI kon niet zomaar worden "overgeërfd" door de slimme AI om hem te verbeteren.

4. Het Gevaar: Waarom dit belangrijk is (De Case Study)

Waarom maakt dit uit? Stel je voor dat je een schatting moet maken van hoeveel rode en blauwe stenen er in een zak zitten.

• Als je de kwetsbare, super-slimme AI gebruikt, denkt hij dat er heel weinig blauwe stenen zijn (omdat hij geleerd heeft dat blauwe stenen er in zijn simulatie anders uitzien).
• Als je de veerkrachtige, iets minder slimme AI gebruikt, geeft hij een veel nauwkeurigere schatting, zelfs als de stenen er anders uitzien dan in de training.

In het paper laten ze zien dat de "slimme" AI, wanneer hij wordt ingezet op data die net iets anders is dan de training, systematische fouten maakt. Hij geeft een verkeerd antwoord, terwijl hij er zelf heel zeker van is. De "veerkrachtige" AI geeft het juiste antwoord, ook al is hij niet de snelste of slimste.

Conclusie in het kort

De boodschap van dit paper is als volgt:

"Kies niet alleen voor de AI met het hoogste cijfer."

In de wereld van deeltjesfysica (en misschien wel in veel andere gebieden) is het belangrijker dat een model veerkrachtig is. Een model dat robuust is tegen veranderingen in de data, is waardevoller dan een model dat perfect presteert op één specifieke test, maar faalt in de echte wereld.

Ze pleiten voor een holistische aanpak: Kijk niet alleen naar de snelheid of de nauwkeurigheid, maar ook naar hoe goed het model zich aanpast als de omstandigheden veranderen. Soms is een "dommere", maar veerkrachtigere machine de betere keuze voor de waarheid.

Technische samenvatting

Probleemstelling

In de moderne hoge-energie deeltjesfysica, zoals bij de Large Hadron Collider (LHC), is het classificeren van hadronische jets (bundels deeltjes ontstaan uit quarks en gluonen) een kritische taak. Traditioneel worden machine learning (ML) modellen voor "jet tagging" geoptimaliseerd op basis van prestatiemetingen zoals nauwkeurigheid (accuracy) of het oppervlak onder de ROC-curve (AUC).

Het artikel stelt echter dat een te sterke focus op deze enkele prestatie-indicator tot suboptimale resultaten kan leiden. Complexere modellen hebben de neiging om specifieke eigenschappen van de gesimuleerde trainingsdata te "leren" in plaats van fundamentele, generaliseerbare fysica. Dit leidt tot een gebrek aan resilience (weerstand): de prestaties van het model dalen aanzienlijk wanneer het wordt toegepast op data gegenereerd met een andere simulatie (bijvoorbeeld een ander Monte Carlo-generateur dan die van de training). Dit introduceert onzekerheid en bias in de fysieke analyse.

Methodologie

De auteurs onderzoeken de afweging tussen prestatie (AUC) en resilience door een breed scala aan architecturen te evalueren op twee specifieke taken:

1. q/g tagging: Het onderscheiden van jets die ontstaan uit quarks versus die uit gluonen.
2. Top tagging: Het identificeren van jets afkomstig van de hadronische verval van een Lorentz-gebooste top-quark.

Data en Simulatie:

• Trainingsdata werd gegenereerd met PYTHIA 8 (standaard Monash parameters).
• Resilience werd gemeten door de modellen te testen op data gegenereerd met HERWIG 7.
• Resilience wordt gedefinieerd als het percentage verschil in AUC tussen de PYTHIA-test en de HERWIG-test.
• Er werd geen detector-simulatie toegepast; alleen deeltjesniveau-kinematische informatie ($p_T$, $\eta$, $\phi$) werd gebruikt als input.

Onderzochte Architecturen:
Een reeks modellen met variërende complexiteit werd getraind, variërend van eenvoudige expert-features tot geavanceerde deep learning-modellen:

• Expert Features: Angularities en multipliciteiten.
• Deep Neural Networks (DNNs): Met variabele diepte en breedte.
• Particle-Flow Networks (PFN's) & Energy-Flow Networks (EFN's): Modellen die invariante eigenschappen respecteren.
• Particle Transformer (ParT): Een transformer-architectuur die momenteel als state-of-the-art wordt beschouwd.

Techniek:
De auteurs construeerden een Pareto-grens (Pareto frontier) die de optimale trade-off tussen AUC en resilience visualiseert. Daarnaast werd kennisdistillatie (knowledge distillation) getest: een complexe "teacher"-model (PFN) werd gebruikt om een eenvoudiger "student"-model (DNN/EFN) te trainen, met de hoop de grens te doorbreken.

Belangrijkste Resultaten

1. De Pareto-grens en de Trade-off
De resultaten tonen een duidelijke Pareto-grens:

• Complexe modellen (zoals ParT) bereiken de hoogste ruwe prestaties (AUC), maar hebben een lage resilience. Ze zijn zeer gevoelig voor verschillen in simulatie.
• Eenvoudige modellen (zoals EFN's of zelfs handmatige features zoals multipliciteiten) bieden iets lagere AUC-waarden, maar zijn aanzienlijk robuuster (hoger resilience).
• Opmerkelijk is dat multipliciteiten, ondanks het ontbreken van IRC-veiligheid (Infrared and Collinear safety), een sterke discriminatiekracht tonen en de Pareto-grens vooruit lijken te duwen ten opzichte van EFN's alleen.

2. Mislukking van Kennisdistillatie
De auteurs probeerden de Pareto-grens te doorbreken door kennisdistillatie toe te passen. Hoewel de "student"-modellen beter presteerden dan hun niet-gedistilleerde tegenhangers (ze verbeterden in AUC zonder evenredig verlies in resilience), slaagden ze er niet in om de bestaande Pareto-grens te doorbreken. Geen enkel gedistilleerd model bereikte een combinatie van AUC en resilience die beter was dan de beste niet-gedistilleerde modellen.

3. Casestudie: Bias in Parameter-schatting
Om de praktische gevolgen te demonstreren, werd een schatting van de quark/gluon-mengverhouding ($\kappa$) uitgevoerd:

• Een groot, complex PFN-model (hoog AUC, lage resilience) en een klein PFN-model (lager AUC, hoge resilience) werden getraind op PYTHIA-data.
• Bij toepassing op HERWIG-data (als pseudodata) leverde het complexe model een gebiasde schatting op, zelfs na kalibratie.
• Het kleinere, resilientere model leverde een onbevooroordeelde schatting op binnen de statistische onzekerheid, ondanks zijn lagere initiële AUC.
• Dit bewijst dat het gebruik van een niet-resilient model kan leiden tot systematische fouten in downstream fysieke parameters, zelfs als het model "nauwkeuriger" lijkt op de trainingsdata.

Bijdragen en Betekenis

Technische Bijdragen:

• Visualisatie van de Trade-off: Het artikel introduceert de Pareto-grens als een essentieel hulpmiddel voor het kiezen van jet-taggers, waarbij resilience expliciet wordt gewogen tegen prestatie.
• Empirisch Bewijs voor Resilience: Het toont aan dat complexiteit niet altijd leidt tot betere fysieke resultaten en dat "simpele" modellen vaak superieur zijn voor generalisatie over verschillende simulaties.
• Evaluatie van Distillatie: Het biedt een kritische evaluatie van kennisdistillatie in deze context, waaruit blijkt dat het de fundamentele beperkingen van de modelarchitectuur niet volledig kan overwinnen.

Significantie voor de Fysica:
Het artikel pleit voor een holistische benadering bij het ontwerpen van classifiers voor deeltjesfysica. De conclusie is dat het maximaliseren van AUC niet het enige doel mag zijn. Voor analyses die gevoelig zijn voor modelleringstijdsfouten (zoals substructuur-analyses), is het kiezen van een model met hoge resilience cruciaal om bias in de uiteindelijke fysieke resultaten te voorkomen. De keuze voor een model moet gebaseerd zijn op meerdere benchmarks, waarbij de toepasbaarheid in de specifieke analysecontext (bijv. online dataverzameling of parameter-schatting) leidend is.