A Multi-Seed Evaluation of Explanation Faithfulness and Stability under Adversarial Evasion in IoT/IIoT Intrusion Detection

Negli strati nascosti del mondo moderno, miliardi di dispositivi intelligenti — dai sensori di fabbrica ai termostati domestici — comunicano costantemente tra loro. Questa vasta rete, nota come Internet delle Cose, è il sistema nervoso della nostra infrastruttura digitale. Ma come ogni sistema nervoso, è vulnerabile alle interferenze. Gli hacker possono inviare segnali sottili e calcolati, progettati per ingannare il software di sicurezza che sorveglia questi dispositivi, facendo apparire un attacco pericoloso come innocuo rumore di fondo. Per anni, gli esperti di sicurezza si sono affidati all'intelligenza artificiale per individuare questi intrusi. Tuttavia, è emerso un nuovo problema: quando questi sistemi di IA segnalano una minaccia, spesso forniscono una spiegazione del perché abbiano preso quella decisione. La domanda critica è se tale spiegazione rimanga onesta quando l'IA viene attivamente ingannata. Se un hacker riesce a indurre il sistema a ignorare un attacco, la spiegazione del sistema diventa anche una menzogna, o punta ancora alla verità?

Un team di ricercatori della Daffodil International University si è posto l'obiettivo di testare l'onestà e l'affidabilità di queste spiegazioni dell'IA sotto attacco. Si sono concentrati su due popolari metodi utilizzati per spiegare le decisioni dell'IA, noti come SHAP e LIME. Questi strumenti agiscono come un riflettore, evidenziando quali parti di un segnale di rete — come la dimensione di un pacchetto di dati o la durata di una connessione — hanno fatto scattare l'allarme dell'IA. I ricercatori volevano sapere se questi riflettori sarebbero rimasti stabili e accurati quando i dati di input venivano sottilmente alterati da un hacker, o se le spiegazioni avrebbero vacillato e puntato nella direzione sbagliata. Per ottenere una risposta veramente affidabile, hanno evitato l'errore comune di testare una sola versione di un modello di IA. Invece, hanno addestrato venti versioni diverse dello stesso sistema di sicurezza, ciascuna con una configurazione casuale leggermente diversa, per garantire che i loro risultati non fossero solo un colpo di fortuna di una specifica sessione di addestramento.

I ricercatori hanno sottoposto questi sistemi a una serie rigorosa di test utilizzando dati reali provenienti da due grandi collezioni di traffico di rete. Hanno simulato tre tipi di attacchi: un attacco ampio e non limitato che modifica i dati in modi che una rete reale non potrebbe mai produrre; un attacco più realistico che modifica solo i numeri che l'attaccante può controllare; e un attacco altamente vincolato che rispetta tutte le regole fisiche di costruzione dei pacchetti di dati. Hanno scoperto che gli attacchi non limitati, che spesso producono valori di dati impossibili come un pacchetto con un numero frazionario di byte, erano per lo più un falso allarme. Quando i ricercatori hanno costretto questi record impossibili ad apparire come dati reali e validi, il tasso di successo degli attacchi contro i modelli di reti neurali è diminuito drasticamente. Tuttavia, i modelli basati su alberi (tree-based), che funzionano diversamente, erano più vulnerabili a questi trucchi dall'aspetto valido.

La scoperta più sorprendente riguardava le spiegazioni stesse. Quando i modelli di IA venivano attaccati, il metodo SHAP continuava a fornire spiegazioni fedeli e stabili, riflettendo costantemente il comportamento del modello anche quando la decisione cambiava. Al contrario, il metodo LIME si è rivelato molto meno affidabile. Sotto attacco, le spiegazioni di LIME cambiavano tanto quanto quando il sistema operava normalmente, suggerendo che i suoi cambiamenti fossero in gran parte rumore casuale piuttosto che un vero riflesso dell'attacco. Infatti, in ogni singola comparazione attraverso venti sessioni di addestramento, SHAP ha superato LIME in accuratezza e stabilità. I ricercatori hanno anche scoperto che la scelta della "soglia di allarme" di un sistema di sicurezza — il punto in cui decide di far scattare l'allerta — conta più del modello stesso. Un sistema tarato per essere molto sensibile potrebbe intercettare quasi ogni attacco ma generare così tanti falsi allarmi da sopraffare i team di sicurezza, mentre un'impostazione più severa potrebbe mancare alcuni attacchi ma ridurre il rumore.

Forse la scoperta più deprimente è che nessun sistema di sicurezza è invincibile. In uno dei dataset, persino le reti neurali più avanzate potevano essere quasi interamente ingannate da un hacker che semplicemente aggiungeva un padding di dati extra a un pacchetto, una tecnica che costa pochissimo ma elude completamente la difesa, con i modelli che rilevano al massimo il 3% di tali attacchi. I modelli basati su alberi erano più robusti, ma un attacco mirato e astuto, progettato specificamente per la loro struttura, poteva comunque eluderli in una parte significativa dei casi. Lo studio conclude che, sebbene possiamo costruire sistemi di IA che spiegano il proprio ragionamento, tali spiegazioni sono affidabili solo quanto la capacità del sistema di resistere alla manipolazione. La ricerca fornisce una tabella di marcia chiara su come testare questi sistemi in futuro, sottolineando che dobbiamo guardare oltre i semplici punteggi di accuratezza ed esaminare come le spiegazioni resistono quando il sistema è sotto pressione reale. Gli strumenti che usiamo per comprendere le nostre difese digitali devono essere resilienti quanto le difese stesse.