Adversarial Robustness of Time-Series Classification for Crystal Collimator Alignment

Probleemstelling

Het artikel adresseert een kritiek veiligheidsprobleem bij het CERN Large Hadron Collider (LHC), specifiek gericht op de uitlijning van kristalcollimatoren voor de High-Luminosity LHC (HL-LHC). Deze collimatoren zijn essentieel om stralingshalo's van de deeltjesbundel af te buigen naar absorbers om schade aan supergeleidende magneten te voorkomen.

• Huidige situatie: Een Convolutional Neural Network (CNN) helpt operators door tijdreeksen van Beam Loss Monitors (BLM) te classificeren tijdens het roteren van kristallen. De CNN onderscheidt drie klassen: geen kanalisatie, gedeeltelijke put, en kanalisatie (optimale uitlijning).
• Het risico: Het model moet robuust zijn tegen realistische verstoringen zoals elektronische ruis, procesinduced noise en sensorfluctuaties. Bestaande methoden voor adversarial robustness (het testen van kwetsbaarheid voor geoptimaliseerde ruis) zijn echter onvoldoende voor dit specifieke geval omdat ze:
  1. De specifieke preprocessing-stappen (per-window z-normalisatie en zero-padding) negeren.
  2. Geen rekening houden met de structuur van de ruis (geloofwaardige ruis in dit domein heeft zowel een gemeenschappelijke component voor alle kanalen als kanaalspecifieke componenten).
  3. De temporele continuïteit van de classificatie over een volledige scan (schuifvenster) niet in ogenschouw nemen.

Het gevolg is dat naïeve aanvallen leiden tot ongeldige robustheidsinschattingen of dat kwetsbaarheden worden gemist die in de praktijk wel bestaan.

Methodologie

De auteurs ontwikkelen een raamwerk dat de adversarial analyse koppelt aan de daadwerkelijke deployed pipeline.

1. Bedreigingsmodel (Threat Model):

   • Er wordt een gestructureerd ruismodel gedefinieerd dat bestaat uit een gemeenschappelijke component (shared across channels, veroorzaakt door bundelfluctuaties) en onafhankelijke componenten (per kanaal, veroorzaakt door elektronische ruis).
   • Het model respecteert de fysieke beperkingen: ruis moet klein zijn ten opzichte van de signaalschaal en mag geen invloed hebben op de gepadded (opgevulde) delen van het tijdsvenster.

2. Preprocessing-bewuste Reparameterisatie:

   • Een groot probleem is dat directe aanval op de genormaliseerde invoer ($Z_i$) kan leiden tot onhaalbare voorbeelden (bijvoorbeeld omdat z-normalisatie de gemiddelde waarde op 0 en standaardafwijking op 1 dwingt, wat niet altijd mogelijk is na een willekeurige perturbatie).
   • De auteurs lossen dit op door een lightweight differentieerbare wrapper te implementeren voor de CNN. Deze wrapper codeert de preprocessing (normalisatie en padding) en het gestructureerde ruismodel als een extra laag in het computationele graf.
   • Hierdoor kunnen bestaande gradient-based frameworks (zoals Foolbox en ART) direct op de "ruwe" signaalruimte werken, terwijl de perturbaties automatisch voldoen aan de constraints van de deployed pipeline.

3. Adversarial Sequences:

   • In plaats van alleen te kijken naar individuele vensters, definiëren de auteurs adversarial sequences. Dit zijn ketens van consistente adversarial voorbeelden over opeenvolgende vensters in een volledige scan.
   • Dit dient als tegenvoorbeeld voor de vereiste stabiliteit van de classificatie tijdens een operatie. Een aanval is succesvol als deze leidt tot een reeks misclassificaties die de operator kan misleiden.

4. Verdediging:

   • Er wordt adversarial fine-tuning toegepast op het CNN. Het model wordt getraind met gegenereerde adversarial voorbeelden om de beslissingsgrenzen te gladstrijken.

Belangrijkste Bijdragen

• Definitie van een operationeel plausibel bedreigingsmodel: Een model dat rekening houdt met kanaal-correlatie en preprocessing-beperkingen specifiek voor BLM-data.
• Een wrapper-architectuur: Een methode om data-afhankelijke preprocessing (zoals per-window normalisatie) te integreren in de aanvalspipeline, waardoor bestaande tools bruikbaar worden voor complexe, deployed systemen.
• Uitbreiding naar sequentie-robustheid: Het introduceren van het concept van "adversarial sequences" om tijdsgebonden stabiliteit te testen, wat cruciaal is voor veiligheidskritieke systemen.
• Empirische validatie: Een uitgebreide evaluatie op de daadwerkelijke CERN-dataset.

Resultaten

De experimenten zijn uitgevoerd met frameworks zoals ART en Foolbox op een dataset van 296 testvoorbeelden (clean accuracy: 93,9%).

1. Impact van Preprocessing:

   • Als de preprocessing (normalisatie en padding) niet correct wordt gemodelleerd, zijn de geschatte robustheidswaarden sterk vertekend.
   • Bij "naïeve" aanvallen (zonder wrapper) was de tool-rapportage (RA_tool) vaak veel lager dan de werkelijke robustheid na pipeline-check (RA_pipe), met verschillen van 9 tot 23 procentpunten. Dit betekent dat veel gevonden "aanvallen" in werkelijkheid ongeldig waren.
   • De voorgestelde wrapper zorgde ervoor dat RA_tool ≈ RA_pipe, wat aantoont dat de analyse nu overeenkomt met de realiteit.

2. Impact van het Bedreigingsmodel:

   • Het gebruik van een gestructureerd model (gemeenschappelijk + onafhankelijk) versus een simpele globale $L_\infty$-bal leidt tot aanzienlijk verschillende resultaten. Een naïef model onderschat de robustheid van de classifier aanzienlijk.

3. Effectiviteit van Adversarial Fine-tuning:

   • Door adversarial fine-tuning te toepassen, steeg de robust accuracy met maximaal 18,6% (afhankelijk van de perturbatie-radius) zonder dat de clean accuracy daalde (deze steeg zelfs licht met 0,4% naar 94,3%).
   • Dit bewijst dat adversarial training effectief is, zelfs bij beperkte trainingsdata.

4. Adversarial Sequences:

   • Een proof-of-concept aanval toonde aan dat het mogelijk is om een perturbatie te genereren die de classificatie van "kanalisatie" naar "gedeeltelijke put" laat omslaan over een reeks van vensters.
   • Deze misclassificaties bleven bestaan in aangrenzende vensters, wat een reëel risico vormt voor de automatische uitlijning.

Betekenis en Conclusie

Dit onderzoek benadrukt dat voor veiligheidskritieke ML-systemen in de fysica (en andere domeinen zoals industriële controle of medische technologie) standaard adversarial testing onvoldoende is.

• Preprocessing is cruciaal: Het negeren van preprocessing-stappen zoals normalisatie leidt tot onbetrouwbare veiligheidsclaims.
• Structuur telt: Ruismodellen moeten de fysieke realiteit van de sensoren weerspiegelen (bijv. correlatie tussen kanalen).
• Tijdscontinuïteit: Robustheid moet worden beoordeeld over tijdreeksen, niet alleen per instantie, om stabiliteit te garanderen.

Hoewel adversarial fine-tuning de robuustheid aanzienlijk verbetert, blijven succesvolle aanvallen mogelijk, wat aangeeft dat volledig autonome uitlijning zonder menselijke tussenkomst nog niet veilig is. De voorgestelde methode biedt echter een weg om deze systemen veiliger te maken en te valideren voor toekomstige inzet in grote infrastructuurprojecten zoals de HL-LHC.