Bridging Explanation and Operations: A Systematic Review and Taxonomy of XAI-Enabled Cybersecurity Detection

Nel mondo moderno della difesa digitale, i team di sicurezza non si affidano più esclusivamente a un elenco statico di comportamenti dannosi noti per intercettare gli attaccanti. Al posto di ciò, si sono rivolti all'intelligenza artificiale, sistemi che apprendono da enormi quantità di traffico di rete per individuare schemi che segnalano una violazione. Questi sistemi sono incredibilmente bravi nel trovare minacce, identificando spesso attacchi complessi che gli esperti umani potrebbero perdere. Tuttavia, questa potenza ha un costo: i sistemi di apprendimento più avanzati operano come scatole nere. Possono dire a un analista di sicurezza che un evento è pericoloso, ma non possono spiegare facilmente il perché. In un campo in cui un falso allarme spreca tempo prezioso e una minaccia mancata può causare un disastro, conoscere la ragione dietro una decisione è importante tanto quanto la decisione stessa. Questa necessità di chiarezza ha dato origine a un campo chiamato intelligenza artificiale spiegabile, che mira ad aprire la scatola nera e mostrare la logica dietro le scelte della macchina.

Un team di ricercatori provenienti da università di Cipro, Norvegia e Grecia si è recentemente proposto di mappare lo stato attuale di questo campo specificamente per la cybersecurity. Hanno condotto una revisione sistematica massiccia di centinaia di studi pubblicati tra il 2020 e il 2026, esaminando come questi strumenti di spiegazione vengano utilizzati per proteggere reti, dispositivi e sistemi industriali. Il loro lavoro, intitolato "Bridging Explanation and Operations", non si limita a elencare nuove tecniche; seziona come questi strumenti vengono effettivamente costruiti, testati e utilizzati nel mondo reale. I ricercatori hanno scoperto che, sebbene la tecnologia sia progredita significativamente, rimane un divario critico tra la capacità di generare una spiegazione e la capacità di fidarsi abbastanza di essa da agire in un centro di sicurezza operativo.

I ricercatori hanno esaminato studi che coprono una vasta gamma di campi di battaglia digitali, dai sistemi di rilevamento delle intrusioni che sorvegliano le reti aziendali ai sensori che proteggono le fabbriche intelligenti e i dispositivi dell'Internet delle Cose. Hanno organizzato le loro scoperte in un quadro chiaro, osservando quattro aree principali: il tipo specifico di problema di sicurezza affrontato, l'architettura di apprendimento utilizzata per risolverlo, il metodo scelto per spiegare la decisione e come i risultati siano stati valutati. Ciò che è emerso è un panorama dominato da un approccio specifico. La maggior parte dei ricercatori utilizza un modello di machine learning altamente accurato e complesso e, dopo che ha terminato il suo lavoro, vi applica uno strumento separato per spiegarne le decisioni. Questo è noto come metodo post-hoc, dove la spiegazione viene aggiunta come uno strato di vernice dopo che la casa è stata costruita. Gli strumenti più comuni per questo compito sono due tecniche specifiche che calcolano quali punti dati siano stati più rilevanti per la decisione finale. Sebbene questo approccio consenta un'elevata precisione, i ricercatori hanno osservato che spesso tratta la spiegazione come un elemento secondario piuttosto che come una parte integrante del design del sistema.

La revisione ha inoltre evidenziato uno squilibrio significativo nel modo in cui questi sistemi vengono testati. Nella stragrande maggioranza degli studi analizzati, i ricercatori si sono concentrati quasi esclusivamente su quanto bene il sistema rilevasse gli attacchi, utilizzando punteggi standard come l'accuratezza e i tassi di errore. Moltissimi pochi studi sono andati oltre per testare la qualità delle spiegazioni stesse. I ricercatori hanno sottolineato che una spiegazione può apparire convincente ma essere fondamentalmente errata, instabile o facilmente manipolabile da un attaccante esperto. Hanno scoperto che proprietà quali la stabilità di una spiegazione — ovvero se fornisce la stessa ragione per attacchi simili — e la sua resistenza alla manipolazione sono state raramente misurate. Nell'ambiente ad alta posta in gioco della cybersecurity, dove gli avversari cercano attivamente di ingannare i sistemi di rilevamento, una spiegazione che può essere manipolata è un pericolo concreto. Il documento suggerisce che il campo è attualmente troppo concentrato nel dimostrare che il rilevatore funzioni e non abbastanza nel dimostrare che la spiegazione sia affidabile.

Un'altra scoperta importante riguardava l'uso pratico di questi strumenti da parte degli analisti di sicurezza umani. La revisione ha mostrato che, mentre molti articoli producono grafici e diagrammi colorati per mostrare perché è stato generato un avviso, pochissimi hanno effettivamente testato se questi elementi visivi aiutassero un analista umano a prendere una decisione migliore o più veloce. I ricercatori hanno osservato che nei centri operativi di sicurezza reali, gli analisti sono sopraffatti dagli avvisi e devono prendere decisioni rapide. Una spiegazione che è tecnicamente corretta ma troppo complessa o lenta da elaborare aggiunge carico invece di alleviarlo. Lo studio ha rilevato che la ricerca attuale spesso non tiene conto del carico cognitivo sull'utente umano o del tempo necessario per generare la spiegazione, che può essere critico quando una minaccia si sta sviluppando in tempo reale.

Gli autori hanno anche notato che il campo si affida pesantemente a un piccolo set di dataset standard per testare questi sistemi. Sebbene questi dataset condivisi permettano ai ricercatori di confrontare i propri risultati, la revisione suggerisce che questa pratica possa creare un falso senso di sicurezza. I sistemi che performano perfettamente su questi specifici e ben noti dataset spesso faticano quando si trovano di fronte alla realtà disordinata e imprevedibile di una rete live. I ricercatori hanno sostenuto che, affinché questi strumenti siano davvero utili, devono essere testati in condizioni realistiche, inclusi scenari in cui i dati sono imperfetti o l'ambiente è in costante mutamento. Hanno inoltre invocato una maggiore ricerca su sistemi in cui la capacità di spiegare sia integrata nel modello fin dall'inizio, piuttosto che aggiunta successivamente, poiché ciò potrebbe portare a strumenti di sicurezza più affidabili e robusti.

In definitiva, questa revisione completa funge da tabella di marcia per il futuro della difesa digitale. Conferma che, sebbene abbiamo compiuto grandi passi avanti nell'insegnare alle macchine come trovare le minacce, non abbiamo ancora risolto completamente il problema di insegnare loro a spiegarsi in un modo che gli esseri umani possano fidarsi e utilizzare efficacemente. I ricercatori concludono che il passo successivo non è solo costruire rilevatori più intelligenti, ma costruire sistemi in cui la spiegazione sia sicura, stabile e affidabile quanto il rilevamento stesso. Spostando l'attenzione dal semplice generare spiegazioni al validarle rigorosamente rispetto alle minacce del mondo reale e alle necessità umane, il campo può muoversi verso un futuro in cui l'intelligenza artificiale diventi un partner veramente trasparente e affidabile nella protezione del nostro mondo digitale.