A structured event logging framework for language model assisted security event analysis

Nel mondo digitale, ogni azione compiuta da un computer lascia una traccia. Quando un utente effettua l'accesso, quando un file viene salvato o quando una impostazione di sicurezza viene modificata, il sistema scrive un record di quell'evento. Questi record, noti come log degli eventi, sono il modo principale con cui i team di sicurezza comprendono cosa stia accadendo all'interno di una rete. Per decenni, il metodo standard per analizzare questi log è stato quello di alimentarli in software specializzati o in analisti umani che cercano modelli che suggeriscano una minaccia. Tuttavia, una nuova generazione di strumenti di intelligenza artificiale, specificamente i modelli linguistici di grandi dimensioni, ha mostrato una promettente capacità di automatizzare questo compito. Questi modelli sono addestrati su enormi quantità di testo e possono comprendere il linguaggio naturale, il che li rende teoricamente perfetti per leggere e interpretare le storie nascoste nei log di sicurezza. Eppure, è emerso un problema significativo: quando a questi potenti strumenti di IA viene chiesto di leggere i normali log dei computer, spesso falliscono. Producono risposte incoerenti, trascurano dettagli critici o inventano fatti mai accaduti. Questa inaffidabilità li rende pericolosi per la sicurezza del mondo reale, dove un errore di valutazione potrebbe significare che una violazione passi inosservata o che un'azione innocua venga scambiata per un attacco.

I ricercatori dell'Università di Huddersfield e della Manchester Metropolitan University hanno deciso di risolvere questo problema ponendosi una domanda diversa. Inveve di cercare di rendere l'intelligenza artificiale più intelligente, si sono chiesti se il problema fossero i log stessi. Ipotizzarono che il modo in cui i computer attualmente scrivono questi record fosse semplicemente troppo disordinato e tecnico perché l'IA potesse comprenderlo. Per testare questa ipotesi, il team ha sviluppato un nuovo modo per far registrare le attività ai computer, progettato specificamente per essere leggibile dai modelli linguistici. Hanno costruito uno strumento che cattura gli eventi da varie parti di un sistema informatico, filtra il rumore e riscrive i dati in un formato chiaro e strutturato prima ancora che vengano analizzati. Il risultato è un sistema in cui il computer svolge il lavoro pesante di organizzazione delle informazioni, presentando all'IA una storia pulita e coerente invece di un flusso caotico di codice.

Il team ha testato il loro nuovo approccio simulando venti diversi scenari di sicurezza, che spaziavano da semplici cambi di password a complesse intrusioni di rete. Hanno registrato gli eventi utilizzando il loro nuovo strumento e hanno confrontato i risultati con i metodi di logging standard utilizzati oggi nel settore. Quando hanno inserito questi log in diversi modelli linguistici, la differenza è stata netta. I modelli che utilizzavano il nuovo formato identificavano costantemente i problemi corretti e fornivano soluzioni pertinenti. Al contrario, quando agli stessi modelli venivano forniti i log tradizionali e non strutturati, le loro prestazioni calavano significativamente. Faticavano a distinguere tra l'attività normale e le potenziali minacce, spesso non riuscendo a riconoscere che un'impostazione di sicurezza critica era stata alterata. Il nuovo formato eliminava la necessità per l'IA di indovinare o interpretare codici confusi, portando a un drammatico miglioramento dell'accuratezza.

Uno dei risultati più degni di nota è stato che il nuovo sistema funzionava così bene che i modelli raramente inventavano fatti, un fenomeno noto come allucinazione. In questo esperimento specifico, il tasso di errore è stato effettivamente pari a zero in tutti i test, inclusi quelli che utilizzavano i formati tradizionali. I ricercatori hanno tuttavia osservato che questo risultato potrebbe essere influenzato dal numero relativamente piccolo di log utilizzati rispetto ad altri studi, e non potevano concludere definitivamente che le allucinazioni fossero state eliminate permanentemente senza ulteriori test su dataset più ampi. Ciò suggerisce che la causa primaria della confusione dell'IA non fosse la mancanza di intelligenza, ma piuttosto la scarsa qualità dei dati in ingresso. Garantendo che i log fossero strutturati, coerenti e scritti in linguaggio semplice fin dal momento della loro creazione, i ricercatori hanno rimosso le barriere che causavano l'inciampo dell'IA. Il sistema gestiva anche il compito di collegare tra loro gli eventi correlati. Invece di aspettare che un programma separato capisse che due diversi log avvenivano contemporaneamente e facevano parte dello stesso attacco, il nuovo strumento collegava questi punti automaticamente man mano che gli eventi si verificavano.

I ricercatori hanno anche esplorato se l'addestramento dei modelli di IA su più dati li avrebbe aiutati a performare meglio con i vecchi log disordinati. Hanno scoperto che, anche con un addestramento supplementare, i modelli continuavano a faticare con i formati tradizionali. Tuttavia, utilizzando il nuovo formato, i modelli si comportavano eccezionalmente bene anche senza alcun addestramento aggiuntivo. Ciò indica che la struttura dei dati è più importante della dimensione del set di addestramento del modello. Il team ha misurato quanto tempo occorresse per analizzare i log e ha scoperto che il loro nuovo metodo era significativamente più veloce della maggior parte dei metodi tradizionali. Mentre alcuni strumenti standard come Sysmon completavano l'analisi in pochi minuti, altri impiegavano diverse ore per elaborare la stessa quantità di informazioni. Questa velocità, unita all'alta accuratezza, suggerisce che il nuovo approccio potrebbe rendere l'analisi della sicurezza guidata dall'IA praticabile per l'uso quotidiano.

Lo studio non sostiene di aver risolto ogni problema nella cybersecurity, e i ricercatori riconoscono che i loro test sono stati condotti su un singolo tipo di sistema informatico. Prevedono di espandere il loro lavoro ad altri sistemi operativi in futuro. Tuttavia, la scoperta fondamentale è chiara: il modo in cui registriamo gli eventi digitali deve cambiare se vogliamo che l'intelligenza artificiale li comprenda. Trattando il formato del log come uno strumento di comunicazione piuttosto che come un semplice record tecnico, i ricercatori hanno creato un ponte tra le macchine umane e l'intelligenza artificiale. Questo semplice cambio di prospettiva permette all'IA di fare ciò che sa fare meglio — comprendere il linguaggio e trovare schemi — senza perdersi nel rumore dei dati grezzi. Il risultato è un modo più affidabile, veloce e sicuro per proteggere i sistemi informatici, dimostrando che a volte il modo migliore per migliorare uno strumento non è renderlo più complesso, ma rendere più chiara l'informazione che riceve.