Adversarial Robustness of Time-Series Classification for Crystal Collimator Alignment

Panoramica del Problema

Il documento affronta la sfida della robustezza avversariale di un classificatore basato su reti neurali convoluzionali (CNN) utilizzato al CERN per l'allineamento dei collimatori a cristallo nel Large Hadron Collider (LHC).

• Contesto: I collimatori a cristallo sono tecnologie critiche per deviare le particelle "halo" (di scarto) dal fascio principale verso assorbitori, proteggendo i magneti superconduttori da danni da radiazione. L'allineamento richiede una precisione estrema (angolo critico).
• Sistema Attuale: Un algoritmo di Machine Learning classifica le finestre temporali dei segnali provenienti dai monitor di perdita del fascio (BLM - Beam Loss Monitor) durante la rotazione del cristallo. Il modello distingue tre stati: "nessun incanalamento" (no channeling), "pozzo parziale" (partial well) e "incanalamento" (channeling).
• Il Problema: Le perturbazioni avversariali (rumore indotto da processi, fluttuazioni dei sensori, radiazione di fondo) potrebbero ingannare il classificatore, portando a:
  1. Falsi positivi: Rilevare un allineamento ottimale quando non esiste (fermando prematuramente la scansione).
  2. Falsi negativi: Mancare un allineamento reale (richiedendo scansioni inutili e perdita di tempo prezioso).
• Sfida Tecnica: Le tecniche standard di attacco avversariale falliscono in questo contesto perché ignorano le specifiche del preprocessing (normalizzazione z per finestra e padding zero) e la struttura correlata dei dati (rumore comune tra canali e rumore specifico per canale). Applicare attacchi nello spazio normalizzato senza considerare il preprocessing può generare esempi avversariali non fisicamente plausibili (inammissibili).

Metodologia

Gli autori propongono un framework che integra il preprocessing e il modello di minaccia direttamente nel processo di analisi della robustezza.

1. Modello di Minaccia Operativamente Plausibile:

   • Viene definito un set di perturbazioni $\Delta(x)$ che rispecchia la realtà fisica:
     • Componente comune: Fluttuazioni correlate tra i due canali BLM (fascio).
     • Componente indipendente: Rumore elettronico specifico per canale.
     • Vincoli: Le perturbazioni devono rispettare il padding zero (le regioni riempite di zero non possono essere modificate) e la normalizzazione z.

2. Wrapper Differenziabile (Reparametrization):

   • Per permettere l'uso di framework di attacco basati su gradienti (come Foolbox e ART) su pipeline già distribuite, gli autori creano un wrapper leggero e differenziabile posto davanti alla CNN.
   • Questo wrapper codifica:
     • Il modello di rumore strutturato (comune + indipendente).
     • Le operazioni di preprocessing (normalizzazione z e padding).
   • Invece di attaccare direttamente l'input normalizzato $Z$, l'attacco ottimizza una variabile latente $u$ che, passando attraverso il wrapper, genera perturbazioni valide nello spazio del segnale originale $X$. Questo garantisce che gli esempi avversariali trovati siano ammissibili nella pipeline reale.

3. Robustezza a Livello di Sequenza (Adversarial Sequences):

   • Poiché il sistema opera con finestre scorrevoli (sliding window), la robustezza non è solo locale (singola finestra) ma temporale.
   • Gli autori definiscono le sequenze avversariali: catene di esempi avversariali consecutivi che causano un errore persistente nella classificazione durante una scansione completa. Questo serve come controesempio ai requisiti di stabilità temporale.

4. Valutazione e Difesa:

   • Vengono utilizzati i framework Foolbox e ART per generare attacchi (PGD - Projected Gradient Descent) e misurare la "Robust Accuracy" (RA).
   • Viene valutata l'efficacia del fine-tuning avversariale (addestramento con esempi avversariali generati on-the-fly) per migliorare la robustezza senza degradare l'accuratezza sui dati puliti.

Contributi Chiave

1. Definizione di un Modello di Minaccia Realistico: Integrazione esplicita del preprocessing (normalizzazione dipendente dai dati e padding) e della struttura del rumore (comune + indipendente) nella definizione della robustezza per classificatori di serie temporali.
2. Wrapper Pipeline-Aware: Sviluppo di un metodo per "avvolgere" le pipeline di preprocessing esistenti in un layer differenziabile, permettendo agli strumenti di attacco standard di operare correttamente su dati reali pre-processati.
3. Analisi di Sequenze Avversariali: Estensione del concetto di robustezza da singole finestre a sequenze temporali complete, introducendo il concetto di "sequenze avversariali" come controesempi alla stabilità operativa.
4. Validazione Empirica: Dimostrazione che ignorare il preprocessing porta a stime di robustezza errate (sia ottimistiche che pessimistiche) e che il fine-tuning avversariale può migliorare significativamente la resilienza del sistema.

Risultati Sperimentali

• Impatto del Preprocessing: Gli esperimenti mostrano che attaccare direttamente lo spazio normalizzato (senza considerare il padding o la normalizzazione dinamica) porta a stime di robustezza fuorvianti. Ad esempio, un attacco "naive" può mostrare un'accuratezza robusta (RA) molto più bassa rispetto alla realtà, o viceversa, a seconda di come vengono gestiti i vincoli.
  • Con il metodo corretto (Baseline), l'accuratezza robusta misurata dallo strumento ($RA_{tool}$) coincide con quella verificata sulla pipeline ($RA_{pipe}$).
  • Senza preprocessing-awareness, si osservano discrepanze fino al 23% tra le metriche.
• Miglioramento con Adversarial Training: Il fine-tuning avversariale ha aumentato l'accuratezza robusta fino al 18,6% (a seconda del raggio di perturbazione) senza degradare l'accuratezza sui dati puliti (che è passata dal 93,9% al 94,3%).
• Attacchi a Sequenza: È stato dimostrato che è possibile generare perturbazioni che causano errori di classificazione persistenti (es. da "channeling" a "partial well") su una sequenza temporale intera, simulando scenari reali di fallimento operativo.

Significato e Implicazioni

• Sicurezza per Sistemi Critici: Il lavoro sottolinea che per l'automazione sicura in infrastrutture critiche (come i collider di particelle o sistemi industriali), la robustezza non può essere valutata solo sul modello "nudo", ma deve includere l'intera catena di elaborazione dei dati.
• Generalizzabilità: Il metodo dell'wrapper è applicabile a qualsiasi pipeline di serie temporali che utilizzi normalizzazione dipendente dai dati o padding, rendendolo utile anche in ambiti medici o di controllo industriale.
• Limiti e Futuro: Sebbene il fine-tuning migliori la robustezza, gli attacchi di successo rimangono possibili, indicando che l'allineamento completamente autonomo è ancora una sfida aperta. Il paper suggerisce la necessità di sviluppare astrazioni specifiche per i verificatori formali che possano gestire operatori non lineari (come la varianza nella normalizzazione z) per garantire certificazioni matematiche di sicurezza.

In sintesi, il paper fornisce un approccio metodologico rigoroso per valutare e migliorare la sicurezza dei sistemi di ML in ambienti fisici reali, dimostrando che la modellazione corretta del preprocessing e del rumore è fondamentale per evitare stime di sicurezza errate.