On the Challenges of Holistic Intrusion Detection in ICS

1. Il Problema

I sistemi di controllo industriale (ICS) sono sempre più esposti ad attacchi sofisticati che mirano simultaneamente alla rete di comunicazione e al processo fisico, con il potenziale di causare impatti catastrofici.

• Limiti delle soluzioni attuali: I sistemi di rilevamento delle intrusioni industriali (IIDS) tradizionali si concentrano solitamente su caratteristiche isolate (es. solo i tempi dei pacchetti di rete o solo gli stati del processo fisico).
• La necessità di un approccio olistico: Poiché gli attacchi si manifestano in entrambe le dimensioni, è necessario un sistema di rilevamento che copra simultaneamente tutti gli aspetti dell'ICS.
• Sfida pratica: L'approccio comune di utilizzare ensemble di rilevatori monodimensionali in parallelo è difficile da implementare: richiede grandi quantità di dati di addestramento per ogni singolo rilevatore, ottimizzazione dei parametri complessa e non gestisce bene le interazioni tra le diverse dimensioni, rendendo ambigua la fusione degli allarmi.

2. Metodologia e Approccio di Ricerca

Gli autori hanno intrapreso la ricerca per sviluppare un modello olistico unico che descriva il comportamento benigno completo di un ICS, invece di combinare diversi rilevatori specializzati. Durante questo percorso, hanno esplorato diverse tecniche e identificato tre sfide fondamentali:

1. Discretizzazione degli stati del processo: Hanno indagato l'uso del process mining per modellare sia lo stato fisico che il traffico di rete in un unico modello. Poiché il process mining richiede etichette discrete (bin) per dati continui (es. temperature, livelli di riempimento), hanno confrontato diversi metodi di discretizzazione (statistici, clustering non supervisionato, ecc.).
2. Parametrizzazione e Modelli "Closed-Box": Per evitare la necessità di esperti umani per impostare manualmente parametri complessi (come la lunghezza del ciclo ICS), hanno esplorato approcci basati su Large Language Models (LLM) che promettono di non richiedere parametrizzazione.
3. Qualità dei Dati di Addestramento: Hanno analizzato l'impatto di ambienti dinamici, in particolare l'uso di comunicazioni wireless, sulla capacità di un IIDS di distinguere tra disturbi di rete e attacchi reali. Hanno utilizzato un simulatore ICS per testare scenari con canali cablati, wireless perfetti e wireless disturbati.

3. Risultati Chiave e Sfide Identificate

Sfida 1: Discretizzazione

• Risultato: Sebbene il process mining possa rilevare attacchi su più dimensioni con prestazioni comparabili ai sistemi monodimensionali, la scelta del metodo di discretizzazione è critica.
• Trovata: Non esiste un metodo di discretizzazione "migliore" universale. Le prestazioni (accuratezza, precisione, recall, F-score) variano drasticamente in base al metodo scelto e alla distribuzione dei dati sottostanti.
• Conclusione: Identificare il metodo ottimale dipende dalla metrica di rilevamento specifica che si intende ottimizzare, rendendo il processo non banale anche con dataset di benchmark.

Sfida 2: Parametrizzazione (LLM e Modelli Chiusi)

• Risultato: L'uso di LLM per un rilevamento olistico su interi processi si è rivelato problematico.
• Problemi:
  • Risorse: I requisiti computazionali sono eccessivi (hanno superato le capacità di un cluster ad alte prestazioni con 96GB di VRAM).
  • Rumore: Limitando l'analisi a sottoprocessi per ridurre il carico, il rilevatore ha generato allarmi quasi costanti, rendendo gli attacchi reali indistinguibili (tranne in casi a bassa varianza).
  • Interpretabilità: Essendo modelli "closed-box", è impossibile comprendere il ragionamento alla base degli allarmi, rendendo difficile distinguere falsi positivi da veri attacchi.
• Conclusione: Gli approcci senza parametri basati su LLM non sono attualmente praticabili per IIDS olistici a causa di costi, complessità e mancanza di trasparenza.

Sfida 3: Dati di Addestramento e Dinamicità

• Risultato: L'adozione di tecnologie wireless introduce variabilità che i sistemi basati su tempi deterministici non possono gestire.
• Osservazione: Un canale wireless in condizioni perfette può avere prestazioni simili al cablato, ma un canale disturbato mostra una deviazione standard ($\sigma$) significativamente più alta nei tempi di inter-arrivo dei pacchetti, pur mantenendo una media simile.
• Conseguenza: Un IIDS basato sui tempi non riesce a distinguere un canale di comunicazione disturbato da un attacco, generando falsi allarmi o mancando attacchi reali.
• Conclusione: La raccolta di dati di addestramento è resa ancora più complessa dalla natura dinamica degli ICS moderni (es. wireless), che non seguono comportamenti puramente deterministici come spesso ipotizzato.

4. Contributi Principali

Il paper non presenta un nuovo sistema di rilevamento pronto all'uso, ma offre un contributo critico sotto forma di analisi delle sfide per la ricerca futura:

1. Dimostrazione della complessità della discretizzazione: Mostra che la scelta dell'algoritmo di discretizzazione è un compromesso dipendente dalla metrica di valutazione.
2. Valutazione critica degli LLM: Smentisce l'idea che i modelli LLM "closed-box" siano una soluzione immediata per l'IIDS olistico, evidenziando limiti di risorse e interpretabilità.
3. Analisi dell'impatto del wireless: Evidenzia come la variabilità dei canali di comunicazione moderni minacci l'efficacia dei rilevatori basati su timing, richiedendo nuovi meccanismi adattivi.

5. Significato e Implicazioni

Questo lavoro è fondamentale perché sposta il focus dalla semplice creazione di algoritmi di rilevamento alla comprensione delle barriere pratiche per l'implementazione di sistemi olistici.

• Per la ricerca futura: Indica la necessità di sviluppare meccanismi di rilevamento più "dinamici" capaci di adattarsi a ambienti variabili (come le reti wireless) senza richiedere una ricalibrazione costante o dati di addestramento statici.
• Per la sicurezza industriale: Sottolinea che la sicurezza olistica non può essere ottenuta semplicemente sommando rilevatori esistenti o affidandosi a modelli di IA "scatola nera", ma richiede un'attenta progettazione che consideri la discretizzazione dei dati, l'interpretabilità e la robustezza contro le variazioni ambientali.

In sintesi, il paper funge da invito alla comunità di ricerca a concentrarsi su soluzioni che bilancino copertura olistica, adattabilità dinamica e fattibilità pratica, piuttosto che su approcci puramente teorici o eccessivamente complessi.