Technische Samenvatting: MiniFool - Fysica-beperkte Minimizer-gebaseerde Adversariële Aanvallen

Probleemstelling

In de deeltjes- en astropartikel fysica spelen diepe neurale netwerken (DNN's) een steeds centralere rol in de data-analyse, met name voor het classificeren van gebeurtenissen in signaal- en achtergrondcategorieën. Deze netwerken worden echter getraind op gelabelde Monte Carlo-simulaties, die subtiele foutieve modellering van experimentele instrumenten kunnen bevatten. Dergelijke mismodellering kan ervoor zorgen dat netwerken niet-fysische kenmerken aanleren, wat de prestaties bij toepassing op echte experimentele data verslechtert.

Standaard adversariële aanvalsalgoritmen (bijv. FGSM, PGD, DeepFool) zijn ontworpen om minimale perturbaties te vinden die een classificatie omdraaien. Deze methoden zoeken echter typisch naar minimale afstanden volgens metrieken (zoals $L_\infty$ of $L_2$) zonder rekening te houden met experimentele onzekerheden of fysische randvoorwaarden (bijv. behoudswetten, niet-negatieve signalen). Bijgevolg zijn de perturbaties die nodig zijn om een netwerk te misleiden met deze standaardbenaderingen vaak fysisch onmogelijke data-gebeurtenissen. Dit maakt de statistische en fysische interpretatie van de succesratio's van aanvallen moeilijk of zelfs onmogelijk in de context van experimentele fysica. Er is behoefte aan een aanvallingsmethodologie die experimentele onzekerheden respecteert om de beslissingen van netwerken robuust te beoordelen en misgeclassificeerde gebeurtenissen te identificeren.

Methodologie: Het MiniFool Algoritme

De auteurs presenteren MiniFool, een nieuw algoritme dat fysisch geïnspireerde adversariële aanvallen implementeert. In tegenstelling tot traditionele methoden die streven naar de absolute minimale verandering in pixel- of featurewaarden, minimaliseert MiniFool een kostenfunctie die de verandering in de doelclassificatiescore balanceert met de fysische plausibiliteit van de perturbatie, gekwantificeerd door experimentele onzekerheden.

Kernformulering

Het algoritme werkt op een classificatietaak met $m$ klassen. Gegeven een input $\vec{x}_0$ en een doelscore $g$ (typisch $g=0$ om een zelfverzekerde classificatie om te draaien), zoekt MiniFool naar een adversariële input $\vec{x}_a$ die de totale metriek $\lambda$ minimaliseert:

$$\lambda(\vec{x}_0; \vec{x}_a; \vec{\theta}) = \eta(\vec{x}_0; \vec{x}_a) + \beta \cdot (f_{i^*}(\vec{x}_a; \vec{\theta}) - g)^2$$

Waarbij:

• $\eta$ (Input Metriek): Een gekwadrateerde $L_2$-norm van de gemiddelde kwadratische afwijkingen van de geperturbeerde features ten opzichte van de oorspronkelijke features, genormaliseerd door de experimentele onzekerheid $\sigma_i$ van elke feature:
  $$\eta = \frac{1}{N} \sum_{i=1}^{N} \left( \frac{x_{0,i} - x_{a,i}}{\sigma_i} \right)^2$$
  Deze metriek is analoog aan een $\chi^2$-statistiek. Het kan worden uitgebreid naar gecorreleerde features met behulp van een covariantie-matrix.
• Doelscore Term: Het gekwadrateerde verschil tussen de output van het netwerk voor de doelklasse $f_{i^*}$ en de gewenste score $g$.
• $\beta$: Een instelbare meta-parameter (standaard 1) om de termen te herwegen, nuttig als outputs geen genormaliseerde waarschijnlijkheden zijn.
• Aanvalsparameter ($s$): Om robuustheid te beoordelen, worden de nominale onzekerheden $\vec{\sigma}_0$ geschaald met een scalaire $s$ ($\vec{\sigma} = s \cdot \vec{\sigma}_0$). Door $s$ te scannen, kan men bepalen welke grootte van onzekerheid nodig is om een classificatie om te draaien.

Optimalisatie

De minimalisatie wordt uitgevoerd met de Adam-optimizer. Het proces is computationeel veeleisender dan gradiënt-teken methoden en duurt enkele seconden per gebeurtenis op een workstation, maar het levert oplossingen op die statistisch consistent zijn met de veronderstelde experimentele onzekerheden. Het algoritme is geïmplementeerd in zowel TensorFlow als PyTorch.

Belangrijkste Bijdragen en Resultaten

Het artikel valideert MiniFool over drie verschillende domeinen:

1. MNIST Digit Classificatie (Warm-up)

• Setup: Een standaard feedforward netwerk getraind op 28x28 grijswaardenbeelden (98%+ nauwkeurigheid).
• Resultaten:
  • MiniFool slaagde erin classificaties om te draaien (bijv. "9" naar "4") en misclassificaties te corrigeren (bijv. een "9" die als "8" werd misgeclassificeerd, gecorrigeerd naar "9") met minimale perturbaties.
  • Robuustheidsanalyse: Wanneer de aanvalsparameter $s$ werd gescand, vertoonden misgeclassificeerde afbeeldingen een snelle afname in betrouwbaarheidsscores, terwijl correct geclassificeerde afbeeldingen robuust bleven tot veel grotere $s$-waarden. Dit bevestigt dat onjuiste voorspellingen minder robuust zijn tegen perturbaties die consistent zijn met data-onzekerheden.

2. IceCube Tau Neutrino Identificatie

• Context: Het identificeren van astrofysische tau-neutrino's ($\nu_\tau$) tegen de achtergrond van elektron-neutrino's ($\nu_e$) met behulp van 2D-beelden van Cherenkov-lichtpatronen in de IceCube-detector.
• Setup: Aanvallen werden toegepast op gesimuleerde gebeurtenissen en zeven echte kandidaat-gebeurtenissen geïdentificeerd in een 2024-analyse. Onzekerheden werden gemodelleerd als 10% van de geregistreerde amplitude.
• Resultaten:
  • Voor de zeven echte kandidaat-gebeurtenissen vereisten zes een aanvalsparameter $s \approx 10$ (wat impliceert dat er 100% onzekerheid is) om de classificatie om te draaien, wat wijst op een hoge robuustheid.
  • Eén gebeurtenis draaide om bij $s < 1$, wat suggereert dat dit waarschijnlijk een misgeclassificeerde achtergrondgebeurtenis was.
  • Dit onderscheid komt overeen met de achtergrondschatting van 0,5 gebeurtenissen in de oorspronkelijke analyse, wat aantoont dat MiniFool onafhankelijk de zuiverheid van geselecteerde gebeurtenis-samples kan verifiëren.

3. CMS B-Jet Tagging

• Context: Het identificeren van jets die afkomstig zijn van b-quarks met behulp van het DeepJet-netwerk op CMS Open Data.
• Setup: Het netwerk verwerkt meer dan 600 invoerhoeveelheden. Vanwege de moeilijkheid om specifieke onzekerheden voor alle inputs te kwantificeren, werd een vereenvoudigd model gebruikt waarbij alle onzekerheden op één gesteld en geschaald door $s$.
• Resultaten:
  • Stress Test: De Area Under the Curve (AUC) degradeerde van 0,932 (nominaal) naar 0,752 naarmate $s$ toenam. Significante degradatie begon bij $s = 3 \times 10^{-4}$.
  • Robuustheidsscan: Voor een subset van 200 jets met een hoge initiële betrouwbaarheid ($P \ge 87\%$) vereisten correct geclassificeerde jets aanzienlijk grotere $s$-waarden om om te draaien vergeleken met initieel misgeclassificeerde jets.
  • Dit bevestigt de generaliseerbaarheid van het algoritme naar hoog-dimensionale, heterogene deeltjesfysica-data.

Betekenis en Claims

Het artikel beweert dat MiniFool een fysisch betekenisvolle manier biedt om de robuustheid van de beslissingen van neurale netwerken in de deeltjesfysica te testen. De primaire betekenis ligt in:

1. Fysische Plausibiliteit: Door experimentele onzekerheden in de kostenfunctie op te nemen, vertegenwoordigen de resulterende perturbaties fysisch mogelijke variaties in de data, in tegen tegenover gestandaarderde aanvallen die mogelijk niet-fysische artefacten genereren.
2. Beoordeling van Robuustheid: Het vermogen om de aanvalsparameter $s$ te scannen, stelt onderzoekers in staat om te kwantificeren hoeveel experimentele onzekerheid een classificatie kan weerstaan voordat deze faalt. Dit dient als een metriek voor de betrouwbaarheid van individuele gebeurtenis-classificaties.
3. Detectie van Misclassificatie: De methode onderscheidt consistent tussen correct en incorrect geclassificeerde gebeurtenissen; misgeclassificeerde gebeurtenissen zijn "omdraaibaar" met kleinere onzekerheidsschalen dan robuuste, correct geclassificeerde gebeurtenissen.
4. Algemene Toepasbaarheid: Het algoritme is niet beperkt tot een specifieke detector of datatype, zoals aangetoond door het succes op beelddata (MNIST), tijdreeks/2D detectordata (IceCube) en hoog-dimensionale kinematische data (CMS).

De auteurs merken op dat hoewel de huidige implementatie trager is dan gradiënt-gebaseerde aanvallen, het een uniek instrument biedt voor de validatie van fysische analyses. Ze suggereren dat toekomstig werk zich moet richten op het toepassen van complexere, meer realistische onzekerheidsmodellen en het verkennen van de integratie van deze methode in het trainingsproces (adversariële training), hoewel de huidige computationele kosten dit beperken tot kleinere datasets.