Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making
Questo articolo dimostra che, sebbene i Large Language Models possano approssimare il ragionamento strutturato in ambito cybersecurity quando forniti con strutture esplicite di grafi di attacco, le loro capacità decisionali sono fragili, altamente sensibili alla formulazione del prompt e non riescono a scalare in modo robusto con la complessità rispetto ai baseline di ottimizzazione formale.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo ad alta tensione della cybersicurezza, le organizzazioni affrontano una guerra costante e invisibile. Gli attaccanti sondano le debolezze delle reti, cercando un modo per aggirare le difese e rubare dati o interrompere i servizi. I difensori devono decidere come impiegare le loro risorse limitate per fermarli. Non possono proteggere tutto con lo scudo più resistente possibile; devono scegliere quali serrature installare, quali allarmi impostare e quali porte rinforzare. Questo è un problema di strategia, non solo di tecnologia. Richiede di mappare ogni possibile percorso che un attaccante potrebbe intraprendere e capire quali barriere specifiche bloccheranno le rotte più pericolose. Per decenni, gli esperti hanno utilizzato complessi modelli matematici per risolvere questo enigma, trattando la rete come una mappa e la difesa come un gioco in cui il difensore si muove per primo, cercando di anticipare la migliore risposta dell'attaccante.
Recentemente, un nuovo tipo di strumento è entrato in questo campo di battaglia: i grandi modelli linguistici (large language models). Si tratta di potenti sistemi di intelligenza artificiale capaci di scrivere codice, rispondere a domande e riassumere enormi quantità di testo. Sono stati addestrati su quasi tutte le informazioni pubbliche disponibili su internet, inclusi innumerevoli rapporti sulla sicurezza e manuali tecnici. Poiché conoscono molto del settore, molti sperano che possano agire come consulenti esperti, aiutando i difensori a fare scelte migliori e più velocemente. Ma una domanda critica rimane: questi sistemi comprendono davvero la logica dell'attacco, o stanno semplicemente riconoscendo parole familiari e indovinando in base a ciò che hanno letto in precedenza? Se un difensore si affida a un'IA che imita l'esperienza senza comprendere la struttura sottostante della minaccia, le conseguenze potrebbero essere gravi.
Un team di ricercatori ha deciso di testare questa domanda con un esperimento controllato. Non hanno chiesto all'IA di scrivere una poesia su un attacco informatico o di riassumere un articolo di cronaca. Al contrario, hanno inserito i modelli in uno scenario decisionale rigoroso. Hanno presentato all'IA sette diversi scenari di attacco realistici, derivati da incidenti reali, come campagne ransomware, compromissioni della catena di approvvigionamento e attacchi ai sistemi di controllo industriale. Per ogni scenario, i ricercatori hanno fornito una mappa dettagliata della rete, mostrando come un attaccante potesse muoversi da un punto di ingresso iniziale verso un obiettivo critico. All'IA è stata data una lista di controlli di sicurezza disponibili, come firewall o autenticazione a più fattori, ciascuno con un costo specifico e un indice di efficacia. Il compito era semplice ma difficile: scegliere una combinazione di questi controlli che rientrasse in un budget specifico, minimizzando la probabilità che un attaccante abbia successo.
Per sapere se l'IA stesse facendo un buon lavoro, i ricercatori hanno confrontato le sue scelte con uno standard di riferimento (gold standard). Questo standard era un programma informatico specializzato, costruito da matematici per trovare la difesa assolutamente migliore per qualsiasi mappa data. Questo programma non va a tentativi; calcola ogni possibilità per trovare l'unica strategia che offre la massima protezione. I ricercatori hanno poi chiesto ai modelli di IA di agire come giudici, valutando la qualità di diverse strategie di difesa, incluse la propria, quella del programma matematico e alcune strategie deliberatamente scarse. Hanno anche testato se l'IA fosse in grado di scrivere il proprio codice informatico per risolvere il problema da zero.
I risultati hanno rivelato un quadro di competenza condizionata. Quando i ricercatori fornivano all'IA una mappa dell'attacco chiara e strutturata, i modelli producevano spesso strategie molto vicine alla soluzione matematicamente perfetta. Sembrava che comprendessero che bloccare un nodo critico nel mezzo di un percorso di attacco fosse più prezioso che riparare una falla minore all'inizio. In questi contesti controllati, l'IA sembrava ragionare sul problema, non limitandosi a richiamare fatti. Tuttavia, questa capacità era fragile. Nel momento in cui i ricercatori cambiavano il modo in cui il problema veniva presentato, le prestazioni dell'IA diventavano erratiche.
Lo studio ha scoperto che il giudizio dell'IA era altamente sensibile a come le opzioni venivano etichettate. In un test sorprendente, i ricercatori hanno preso una strategia di difesa deliberatamente debole — una che avrebbe lasciato la rete completamente esposta — e l'hanno semplicemente rinominata "strategia ottimale". Quando gli valutatori IA hanno visto questa etichetta, hanno spesso valutato questa difesa terribile come una delle migliori opzioni, assegnandole spesso un punteggio superiore rispetto alla genuina soluzione matematicamente perfetta. Al contrario, quando una strategia forte riceveva un'etichetta negativa, il suo punteggio scendeva. Ciò suggerisce che l'IA non stava analizzando profondamente la logica di sicurezza della difesa, ma stava invece reagendo alle parole suggestive usate per descriverla. I modelli erano facilmente influenzabili dal framing, dando priorità all'etichetta rispetto al contenuto effettivo.
I ricercatori hanno anche scoperto che l'IA faticava quando la complessità della rete aumentava. Man mano che le mappe diventavano più grandi e il numero di possibili percorsi di attacco si moltiplicava, la capacità dell'IA di trovare la soluzione migliore svaniva. In alcuni casi, i modelli iniziavano a ignorare completamente la struttura specifica della mappa. Invece di guardare i percorsi unici che un attaccante poteva intraprendere, tornavano a conoscenze generali, scegliendo controlli che sono famosi nel settore, come la crittografia o l'autenticazione a più fattori, indipendentemente dal fatto che tali controlli bloccassero effettivamente i percorsi specifici nello scenario. Quando i ricercatori rimuovevano l'intera mappa e chiedevano all'IA di scegliere le difese basandosi solo su una descrizione testuale, i modelli abbandonavano completamente il ragionamento strutturale. Sceglievano semplicemente i controlli con i più alti livelli di efficacia generale, ignorando la topologia unica dell'attacco.
Anche quando veniva chiesto di scrivere il proprio codice informatico per risolvere il problema, l'IA mostrava un divario tra comprensione ed esecuzione. I modelli potevano generare codice che sembrava corretto e utilizzava l'approccio di alto livello appropriato, ma quando testati su reti più grandi, il codice era troppo lento per essere utile. I programmi generati dall'IA impiegavano significativamente più tempo per trovare una soluzione rispetto al risolutore matematico specializzato e, sulle mappe più grandi, il codice dell'IA spesso non riusciva nemmeno a completare il compito. L'IA poteva mimare la logica della soluzione, ma non era in grado di costruire un motore robusto per eseguirla su larga scala.
Questi risultati suggeriscono che, sebbene i grandi modelli linguistici possano approssimare il comportamento di un esperto analista di sicurezza, essi non possiedono il ragionamento strutturato e affidabile richiesto per il processo decisionale ad alto rischio. Possono produrre buone risposte quando il problema è chiaramente definito e il contesto è semplice, ma le loro prestazioni crollano sotto pressione, ambiguità o etichette fuorvianti. Non sono ancora in grado di sostituire gli esperti umani o gli strumenti matematici formali. Invece, funzionano meglio come assistenti che possono offrire suggerimenti, a condizione che tali suggerimenti siano verificati attraverso un'analisi rigorosa e strutturata. Lo studio conclude che nel mondo della cybersicurezza, dove un singolo errore può portare a una massiccia violazione, non possiamo fare affidamento solo sull'intuizione dell'IA. Dobbiamo assicurarci che gli strumenti che utilizziamo siano radicati nella dura logica del percorso di attacco, non solo nel potere persuasivo di un'etichetta convincente.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.