Proactively Detecting Threats: A Novel Approach Using LLMs

Sintesi Tecnica: Rilevamento Proattivo delle Minacce Utilizzando i Large Language Models

Definizione del Problema
La sicurezza aziendale è sempre più messa alla prova da malware sofisticati e da una superficie di attacco digitale in espansieione, esacerbata dal lavoro da remoto e dall'adozione del cloud. Gli attuali paradigmi di cybersecurity sono prevalentemente reattivi, basandosi su firme note o sul rilevamento post-compromissione, il che lascia le organizzazioni vulnerabili ad attacchi zero-day e a famiglie di malware polimorfici. Inoltre, sebbene esistano standard strutturati per l'intelligence sulle minacce (come STIX 2.0), l'adozione nel settore rimane frammentata. Di conseguenza, il 69% dei team di sicurezza si affida a report sulle minacce non strutturati e in forma libera provenienti da diverse fonti web. Questi report contengono Indicatori di Compromissione (IOC) in formati inconsistenti (ad esempio, immagini, hash, testo), rendendo difficile l'estrazione e la classificazione automatizzata. Esiste una lacuna critica nei sistemi proattivi capaci di analizzare l'intelligence web non strutturata per identificare gli IOC prima che vengano catalogati nei database tradizionali.

Metodologia
Gli autori hanno sviluppato un sistema automatizzato per valutare l'efficacia dei Large Language Models (LLM) nell'identificare proattivamente gli IOC da fonti web non strutturate. La metodologia ha previsto tre fasi principali:

1. Raccolta e Parsing dei Dati: Un crawler web automatizzato ha raccolto dati grezzi da 15 fonti autorevoli di threat intelligence (tra cui Sophos, SentinelOne e Abuse.ch) tramite feed RSS/Atom. Un parser utilizzando espressioni regolari ha estratto pattern specifici corrispondenti agli IOC: indirizzi IPv4/IPv6, domini, URL e hash di file (SHA1, MD5, SHA256). Il sistema ha inoltre mappato i termini estratti al framework MITRE ATT&CK per arricchirne il contesto.
2. Costruzione del Dataset: Lo studio ha analizzato 479 pagine web contenenti 2.658 IOC (711 IPv4, 502 IPv6, 1.445 domini). È stato curato un sottoinsieme di test specifico di 303 pagine web, contenente 251 indicatori malevoli confermati (verificati tramite contesto e VirusTotal) e indicatori benigni.
3. Valutazione degli LLM: Sei varianti di LLM pre-addestrati (Gemini 2.0 Flash-Lite, Gemini 1.5 Pro, Qwen3 30B, Qwen3 32B, Llama 8B e Llama 70B) sono stati valutati senza fine-tuning. I modelli sono stati istruiti per agire come esperti di cybersecurity, analizzando il testo completo di una pagina web (contesto) per determinare se una specifica entità estratta fosse un Indicatore di Compromissione. La valutazione si è concentrata sulle metriche di classificazione: Precisione, Recall, Specificità e F1-score.

Contributi Chiave

• Valutazione Sistematica degli LLM per il Rilevamento Proattivo: Questo articolo presenta la prima valutazione sistematica degli LLM per l'estrazione di IOC da threat intelligence basata su web non strutturato, distinguendo l'approccio dal rilevamento del malware reattivo.
• Pipeline Automatizzata per Dati Non Strutturati: Gli autori hanno progettato una pipeline che converte report sulle minacce diversi e non standardizzati in dati strutturati, affrontando la mancanza di approcci unificati per l'intelligence sulle minacce da molteplici fonti.
• Benchmarking Comprensivo: Lo studio fornisce un'analisi comparativa di sei distinte architetture di LLM su un dataset reale di quasi 2.700 IOC, offrendo dati empirici sui compromessi tra recall e precisione in contesti di sicurezza.

Risultati
La valutazione ha rivelato variazioni significative nelle prestazioni tra i modelli:

• Gemini 1.5 Pro: Ha raggiunto il miglior equilibrio di prestazioni, con una precisione di 0,958 e una specificità di 0,788 per l'identificazione di IOC malevoli. Notevolmente, ha dimostrato una recall perfetta (1,0) per le minacce reali, il che significa che ha identificato con successo tutti gli indicatori malevoli nel set di test.
• Qwen3 32B: Ha mostrato le prestazioni più basse, caratterizzate da un alto numero di falsi negativi (51) nella classificazione di dati non malevoli, risultando in un basso F1-score.
• Llama 70B: Ha identificato con successo tutti gli indicatori malevoli (TP=251) ma ha sofferto di un numero maggiore di falsi negativi rispetto ai modelli Gemini, portando a una recall inferiore per la classe malevola.
• Tendenze Generali: I modelli eccellono generalmente in un'alta recall (catturare le minacce), ma faticano con la specificità (identificare correttamente i dati benigni). Lo studio ha notato che i modelli spesso identificano erroneamente il contesto benigno, come registrar dei domini o repository di ricerca, come malevolo a causa della presenza di parole chiave come "abuse" o "killer" all'interno del testo.

Significatività e Rivendicazioni
L'articolo sostiene che gli LLM offrano un meccanismo vitale per spostare la cybersecurity da misure reattive a misure proattive, automatizzando l'estrazione di IOC dal vasto volume di report web non strutturati. Gli autori sottolineano che, sebbene un'alta recall sia fondamentale per il rilevamento delle minacce, il compromesso osservato con la precisione (falsi positivi) evidenzia la necessità di un migliore raffinamento del modello e di una classificazione consapevole del contesto.

Gli autori concludono con modestia che, sebbene gli LLM dimostrino prestazioni all'avanguardia nell'identificazione di indicatori malevoli attraverso la comprensione contestuale, essi affrontano attualmente sfide nel distinguere accuratamente tra indicatori malevoli ed entità benigne che condividono caratteristiche linguistiche simili (ad esempio, nomi di dominio contenenti "abuse" o "dark"). Il lavoro stabilisce una base per la futura automazione nei sistemi di sicurezza aziendale, ma riconosce che sono necessarie ulteriori ricerche per gestire tipi di indicatori complessi e ridurre le allucinazioni nella parsing di dati non strutturati.