ThreatQwen: Domain-Adaptive Fine-Tuning of a 1.7B LLM for Security Event Classification and SOC Triage

Ogni giorno, i team di sicurezza in banche, ospedali e agenzie governative devono affrontare un'ondata di allarmi digitali. Questi avvisi vengono attivati da sistemi automatizzati che scansionano modelli sospetti nei log dei computer, come movimenti insoliti di file o connessioni di rete strane. Sebbene questi sistemi siano eccellenti nel rilevare potenziali minacce, non possono decidere se un avviso sia un pericolo reale o un errore innocuo. Quel giudizio finale, noto come triage, ha tradizionalmente richiesto un analista umano capace di leggere i dati grezzi e ragionare sulla situazione. Questo processo manuale è lento e spesso sopraffatto dal volume enorme di avvisi. Negli ultimi anni, potenti modelli di intelligenza artificiale hanno dimostrato di poter eseguire questo tipo di ragionamento, ma le organizzazioni che ne hanno più bisogno spesso non possono utilizzarli. Rigide regole di sicurezza e leggi sulla privacy impediscono a questi team di inviare i propri log sensibili a server esterni dove risiedono questi grandi modelli. Hanno bisogno di una soluzione che possa pensare come un esperto ma rimanere interamente all'interno delle proprie mura sicure.

Uno studio introduce una soluzione chiamata ThreatQwen, un modello di intelligenza artificiale piccolo e specializzato, progettato per essere eseguito localmente su hardware informatico standard senza necessità di una connessione internet. Il ricercatore ha preso un modello linguistico compatto, un tipo di software addestrato a comprendere e generare il linguaggio umano, e lo ha istruito specificamente su come analizzare gli avvisi di sicurezza. Ha fornito al modello una vasta collezione di regole di rilevamento reali ed esempi sintetici di attività informatica normale, insegnandogli a distinguere tra minacce genuine ed eventi innocui. Il risultato è uno strumento in grado di risiedere su un singolo computer in un ufficio sicuro, leggere un avviso e comunicare immediatamente a un operatore umano se si tratti di un evento malevolo o benigno. Questo approccio consente alle organizzazioni altamente regolamentate di utilizzare il ragionamento avanzato dell'intelligenza artificiale senza mai esporre i propri dati privati al mondo esterno.

La sfida centrale affrontata dal ricercatore era che la maggior parte dei modelli di intelligenza artificiale esistenti è troppo grande per essere eseguita su macchine locali e non è addestrata sul linguaggio specifico dei log di sicurezza. Per risolvere il problema, il team ha costruito un dataset di addestramento combinando migliaia di regole di rilevamento reali provenienti da progetti open-source con miglia di nuovi esempi di comportamento informatico normale. Hanno utilizzato un'intelligenza artificiale esterna potente per generare questi esempi normali, assicurandosi che il modello vedesse un mix bilanciato di eventi pericolosi e sicuri. Ciò è stato fondamentale perché i dati originali erano fortemente sbilanciati verso le minacce; senza l'aggiunta degli esempi di attività normale, il modello avrebbe imparato semplicemente a etichettare tutto come pericoloso. Bilanciando attentamente i dati di addestramento e rimuovendo determinati campi che fungevano da scorciatoie facili, il ricercatore ha costretto il modello a imparare effettivamente i pattern degli eventi piuttosto che indovinare basandosi su indizi superficiali.

Il modello è stato poi perfezionato utilizzando una tecnica che permette di apprendere nuovi compiti senza la necessità di essere completamente ricostruito, un processo che ha richiesto solo poche ore su una scheda grafica standard. Quando testato su un set di 882 esempi, divisi equamente tra minacce reali ed eventi normali, il nuovo modello ha raggiunto un'accuratezza del 95,1 percento. Ha identificato correttamente il 96,1 percento delle minacce reali e il 94,2 percento degli eventi normali. In un confronto diretto, questo piccolo modello in esecuzione locale ha superato significativamente due dei più avanzati sistemi di intelligenza artificiale basati su cloud al mondo, che hanno ottenuto un'accuratezza inferiore al 52 percento sugli stessi compiti; i modelli in cloud tendevano a ipotizzare che quasi tutto fosse una minaccia, fallendo nel riconoscere l'attività normale, mentre il nuovo modello ha appreso le sottili differenze che contano per gli esperti di sicurezza.

Ciò che rende questo sviluppo particolarmente significativo è la sua praticità per le operazioni di sicurezza nel mondo reale. L'intero modello, inclusi il suo addestramento specializzato, rientra in soli 3,1 gigabyte di memoria informatica, una dimensione sufficientemente piccola da poter essere eseguita su una singola scheda grafica di consumo comune in molti uffici. Non richiede alcuna connessione di rete, il che significa che può essere implementato in ambienti "air-gapped", dove i computer sono fisicamente isolati da internet per motivi di sicurezza. Ciò consente a banche, appaltatori della difesa e agenzie di intelligence di automatizzare la revisione iniziale di milioni di avvisi senza violare le normative sulla privacy dei dati. Il ricercatore ha inoltre osservato che l'esecuzione locale di questo modello è molto più economica rispetto al pagamento di servizi basati su cloud, costando meno di due dollari al giorno per l'elaborazione ad alto volume rispetto ai quasi venti dollari necessari per lo stesso lavoro su una piattaforma cloud.

Lo studio presenta anche dei limiti che l'autore riconosce apertamente. I dati di addestramento e gli esempi di test per il comportamento normale sono stati generati da computer anziché essere prelevati direttamente da reti reali e attive. Sebbene le regole di rilevamento si basassero su tecniche di attacco reali osservate sul campo, il modello non è ancora stato testato sui flussi di dati complessi e disordinati di un centro di sicurezza attivo. Il ricercatore afferma che il prossimo passo critico è validare il modello contro la telemetria del mondo reale per garantire che si generalizzi bene oltre gli esempi sintetici utilizzati nello studio. Inoltre, il modello comprende attualmente solo l'inglese, escludendo le fonti di intelligence sulle minacce in lingua non inglese. Nonostante queste avvertenze, il lavoro dimostra che un modello piccolo e open-source, se addestrato con cura sui dati corretti, può eseguire compiti di sicurezza specializzati meglio dei sistemi massicci e generalisti, offrendo una via percorribile per un'intelligenza artificiale locale e sicura nelle infrastrutture critiche.