💻 computer science

Between Zeros and Ones: Behavioral Characterization Beyond Binary Labeling Across Public ICS Datasets

Questo articolo propone un framework di caratterizzazione comportamentale che mappa le tracce dei processi ICS in cinque primitivi fisici per rivelare una significativa diversità comportamentale e bias cross-dataset mascherati dalla tradizionale etichettatura binaria, sostenendo una valutazione stratificata per comportamento al fine di esporre punti ciechi nelle prestazioni e supportare meglio la risposta agli incidenti.

Autori originali: Konstantinos E. Kampourakis, Vyron Kampourakis, Georgios Spathoulas, Constantinos Kolias

Pubblicato 2026-06-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Konstantinos E. Kampourakis, Vyron Kampourakis, Georgios Spathoulas, Constantinos Kolias

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere una guardia giurata che sorveglia la sala di controllo di una fabbrica enorme e complessa. Il tuo compito è osservare gli schermi e gridare "Emergenza!" se qualcosa va storto.

Per molto tempo, i ricercatori di sicurezza ti hanno fornito un libro di regole molto semplice: "Se lo schermo sembra strano, è un Attacco. Se sembra normale, è Normale." Lo chiamano un'etichetta "binaria" (a due scelte).

Gli autori di questo articolo sostengono che questo libro di regole sia troppo semplice. È come un medico che chiede solo: "Ha la febbre?", senza mai chiedere che tipo di malattia abbia. La febbre può derivare dall'influenza, da un termometro rotto o da una giornata calda. In una fabbrica, uno "schermo strano" potrebbe essere una valvola che si chiude bruscamente, un sensore che scivola lentamente via o una pompa che si incastra in un ciclo.

Ecco la storia del documento, suddivisa in concetti semplici:

1. Il Problema: L'Etichetta "Taglia Unica"

I ricercatori hanno esaminato tre famosi "laboratori di addestramento" (dataset chiamati SWaT, WADI e HAI) usati per insegnare ai computer come individuare gli attacchi. Hanno notato che tutti trattano ogni attacco come se fosse esattamente la stessa cosa: BRUTTO.

Ma nella realtà, gli attacchi industriali sono come diversi tipi di meteo:

Drift (Deriva): Un cambiamento lento e graduale (come una perdita lenta).
Spike (Picco): Uno scatto improvviso e violento (come un fulmine).
Oscillation (Oscillazione): Un movimento di scuotimento o traballamento (come il motore di un'auto che gira male).
Repetition (Ripetizione): Un disco graffiato che riproduce la stessa nota all'infinito.
Switching (Commutazione): Un interruttore della luce che viene acceso e spento troppo velocemente.

Se dici semplicemente al computer "È un attacco", il computer non sa se deve spegnere l'intera fabbrica immediatamente (per un picco) o se deve solo programmare una riparazione per dopo (per una deriva).

2. La Soluzione: Una Nuova "Lente Comportamentale"

Gli autori hanno costruito un nuovo strumento, un Framework di Caratterizzazione Comportamentale. Immagina questo strumento come un paio di occhiali speciali che non vede solo "Attacco vs Normale", ma vede invece come l'attacco si sta comportando.

Hanno scomposto ogni momento dei dati in cinque "primitivi" semplici (elementi costruttivi di base):

Drift: Sta scivolando via lentamente?
Spike: È saltato improvvisamente?
Oscillation: Sta traballando avanti e indietro?
Repetition: Sta ripetendo un pattern?
Switching: Sta cambiando stato rapidamente?

Hanno applicato questi occhiali ai tre famosi dataset per vedere come apparivano realmente.

3. La Scoperta: Le Fabbriche Sono Diverse

Quando hanno guardato attraverso i loro nuovi occhiali, hanno scoperto che i tre dataset erano in realtà quartieri molto diversi:

Il Dataset HAI: Questo era pieno di attacchi di tipo Spike e Drift. Era come un quartiere dove le persone continuavano a sbattere le porte e a spostare lentamente i mobili.
Il Dataset SWaT: Questo era dominato da Oscillation (traballamento) e dalla mancanza di ripetizione. Era come un quartiere dove le cose scuotevano e si bloccavano, ma non ripetevano pattern.
Il Dataset WADI: Questo era composto principalmente da Repetition. Era come un quartiere dove tutto era bloccato in un loop.

La Grande Rivelazione: Se addestri la tua guardia giurata (modello AI) solo sul dataset HAI, diventerà bravissima a individuare gli attacchi di tipo "Spike", ma potrebbe perdere gli attacchi di tipo "Oscillation" che si verificano nel dataset SWaT. Il modo attuale di testare (dire solo "Attacco" o "Non Attacco") nasconde queste differenze.

4. Il Test: L'Etichetta "Semplice" Dice la Verità?

Per dimostrare il loro punto, i ricercatori hanno eseguito un semplice test. Hanno preso una standard AI di sicurezza e le hanno posto due domande:

Domanda A (Il Vecchio Metodo): "Questo è un attacco?" (Sì/No)
Domanda B (Il Nuovo Metodo): "Si tratta di una Drift, uno Spike, un'Oscillazione, una Ripetizione o uno Switching?"

I Risultati:

Domanda A: L'AI ha ottenuto un punteggio molto alto (circa l'85% di accuratezza). Sembrava un genio.
Domanda B: Il punteggio dell'AI è crollato (scendendo a circa il 37-42%).

Cosa significa questo: L'AI era brava a individuare che qualcosa non andava, ma era terribile nel capire che tipo di errore fosse. Il punteggio "semplice" nascondeva il fatto che l'AI non riusciva a distinguere tra una lenta perdita e un'esplosione improvvisa.

5. La Conclusione: Abbiamo Bisogno di Più di un "Sì/No"

Il documento conclude che non dovremmo smettere del tutto di usare le etichette semplici "Attacco/Normale". Sono ancora utili come primo allarme.

Tuttavia, fare affidamento solo su quel semplice punteggio è pericoloso. È come un rapporto meteorologico che dice solo "Tempesta" senza dirti se si tratti di un uragano, un tornado o una grandinata.

Gli autori suggeriscono che dobbiamo aggiungere un secondo livello di valutazione: la Valutazione Stratificata per Comportamento (Behavior-Stratified Evaluation). Ciò significa che dobbiamo controllare se i nostri sistemi di sicurezza sono effettivamente in grado di distinguere tra i diversi tipi di comportamento errato, non solo rilevare che il comportamento errato esiste. Questo aiuta gli operatori a sapere esattamente come reagire quando scatta un allarme.

In breve: Il documento sostiene che attualmente stiamo giudicando i sistemi di sicurezza industriale in base a quanto bene sappiano urlare "Fuoco!", ma non stiamo controllando se sappiano distinguere tra un incendio causato da grasso e un'esplosione di gas. Dobbiamo insegnare loro a vedere la differenza.

Sintesi Tecnica: Tra Zeri e Uno: Caratterizzazione Comportamentale Oltre la Etichettatura Binaria attraverso Dataset ICS Pubblici

Problematica
Gli attuali sistemi di rilevamento delle intrusioni (IDS) per i sistemi di controllo industriale (ICS) si affidano pesantemente a benchmark pubblici come SWaT, WADI e HAI. Questi dataset vengono tipicamente valutati utilizzando etichette binarie ("normale" vs "attacco") e metriche aggregate come precisione, richiamo (recall) e F1-score. Questa pratica assume implicitamente che la classe "attacco" sia omogenea. Tuttavia, gli attacchi cyber-fisici si manifestano attraverso diversi comportamenti temporali — come derive graduali dei sensori, picchi improvvisi, telemetria congelata, cicli di controllo oscillatori e commutazioni forzate degli attuatori. L'etichettatura binaria collassa queste qualitativamente diverse urgenze in un unico segnale, potenzialmente mascherando la diversità comportamentale e non fornendo la specificità necessaria per risposte operative differenziate (ad esempio, scatti di sicurezza immediati rispetto a ricalibrazioni a lungo termine). Inoltre, le valutazioni esistenti spesso trascurano il bias dei dataset, dove specifici benchmark possono sovrarappresentare determinate morfologie di attacco sottorappresentando altre.

Metodologia
Gli autori propongono un framework puramente osservativo ed esplorativo per caratterizzare le tracce di attacco ICS utilizzando cinque primitive fisiche interpretabili, senza inferire l'intento dell'attaccante o tipi di attacco semantici. La metodologia procede attraverso quattro fasi:

Pre-elaborazione e Windowing: Le tracce multivariate ICS (sensori continui e attuatori discreti) sono normalizzate tramite normalizzazione z-score basata sui dati di funzionamento normale per garantire un contributo equo tra le variabili. I dati sono segmentati in finestre temporali sovrapposte (60 campioni, 50% di sovrapposizione). Le finestre sono etichettate come "attacco" se almeno il 50% dei loro campioni costituenti è etichettato come attacco nella verità di base (ground truth).
Estrazione delle Primitive Comportamentali: Per ogni finestra, vengono calcolate cinque primitive leggere e computazionalmente economiche basate su statistiche elementari di serie temporali:
- Drift (Deriva): Deviazione monotonica sostenuta (magnitudo della pendenza lineare $\times$ qualità del fit di regressione).
- Spike (Picco): Cambiamento transitorio improvviso (massimo valore assoluto della differenza temporale del primo ordine).
- Oscillation (Oscillazione): Reversione direzionale ripetuta (frequenza normalizzata dei cambi di segno nella prima derivata).
- Repetition (Ripetizione): Pattern temporali ricorrenti (massima autocorrelazione su un intervallo di lag limitato).
- Switching (Commutazione): Transizioni di stato discrete eccessive (conteggio dei cambi di stato per i segnali degli attuatori).
Costruzione del Vettore di Caratteristiche: Per catturare gli effetti localizzati degli attacchi senza essere influenzati dal rumore isolato, i punteggi delle primitive attraverso tutte le variabili di processo vengono aggregati utilizzando l'operatore del 95° percentile, risultando in un vettore di caratteristiche a cinque dimensioni per ogni finestra.
Assegnazione della Proprietà Dominante: Per la visualizzazione e l'analisi grossolana, a ogni finestra viene assegnata una singola proprietà comportamentale "dominante" basata sulla più alta attivazione della primitiva normalizzata, a condizione che superi una soglia ( $\tau = 0.30$ ).

Contributi Chiave

Framework di Caratterizzazione Comportamentale: Un metodo portabile e indipendente dal dominio per mappare le tracce di processo multivariate grezze in cinque primitive temporali interpretabili, esponendo la diversità comportamentale spesso nascosta dalle etichette binarie.
Analisi del Bias dei Dataset: Una dimostrazione empirica che SWaT, WADI e HAI occupano regioni distinte dello spazio comportamentale, indicando che il benchmarking su un singolo dataset enfatizza profili comportamentali specifici pur potendo sottorappresentarne altri.
Implicazioni per la Valutazione: Un'analisi comparativa che mostra come le metriche binarie aggregate possano oscurare le variazioni di performance tra diversi proxy comportamentali. Gli autori introducono un approccio di valutazione stratificato per comportamento per completare il benchmarking binario standard.

Risultati
Il framework è stato applicato a SWaT, WADI e HAI, affrontando quattro domande di ricerca:

RQ1 (Spostamenti Comportamentali): Le finestre di attacco mostrano spostamenti comportamentali misurabili rispetto al funzionamento normale, ma la natura dello spostamento dipende dal dataset. Ad esempio, gli attacchi in HAI mostrano aumenti significativi in drift e spike, mentre gli attacchi in SWaT sono caratterizzati da un aumento dell'oscillazione e una diminuzione della ripetizione.
RQ2 (Differenze tra Dataset): I dataset popolano lo spazio comportamentale in modo differente. HAI è dominato da spike e drift; WADI è caratterizzato dalla ripetizione; e SWaT è definito dall'oscillazione e dal comportamento di "telemetria congelata" (ridotta ripetizione).
RQ3 (Diversità Intra-Dataset): Anche all'interno di un singolo dataset, gli eventi di attacco non sono omogenei. Le finestre di attacco spesso presentano comportamenti co-occorrenti (ad esempio, simultaneo spike e drift in HAI), che l'etichettatura binaria collassa in una singola classe.
RQ4 (Impatto sulla Valutazione): Utilizzando un baseline Random Forest, gli autori hanno scoperto che, sebbene la classificazione binaria produca alti punteggi macro F1 (ad esempio, 85.44% su SWaT), le performance calano significativamente quando il compito viene riformulato come classificazione multiclasse basata su proxy comportamentali (scendendo al 37.84% su SWaT). Ciò suggerisce che, mentre i modelli possono rilevare "anomalie", faticano a distinguere uniformemente tra diversi tipi di manifestazioni comportamentali.

Significatività e Claim
Il paper sostiene che il rilevamento binario è una prima fase necessaria ma insufficiente per una robusta valutazione della sicurezza ICS. Gli autori non affermano che la valutazione binaria nasconda i fallimenti di rilevamento in sé, quanto piuttosto che essa oscuri come la performance vari attraverso diverse manifestazioni comportamentali. Completando il tradizionale benchmarking binario con una valutazione stratificata per comportamento, il framework mira a:

Esporre i "punti ciechi" che i punteggi aggregati lasciano nascosti.
Rivelare il bias cross-dataset e la diversità intra-dataset.
Supportare meglio il risposta agli incidenti mirata fornendo specificità comportamentale.

Gli autori pongono questo lavoro come un "primo passo portabile" verso la comprensione della diversità comportamentale, sottolineando che il framework descrive la morfologia temporale osservabile piuttosto che inferire tassonomie di attacco semantiche o l'intento dell'attaccante. Essi riconoscono i limiti, inclusa l'incapacità di catturare attacchi puramente cyber che non influenzano le variabili fisiche e la potenziale capacità dell'assegnazione a etichetta singola di oscurare comportamenti misti. Il lavoro futuro suggerito include l'espansione del vocabolario comportamentale, il passaggio verso rappresentazioni multi-etichetta e l'integrazione di queste caratterizzazioni nei flussi di lavoro di triage operativo e risposta agli incidenti.