CAM-LDS: Cyber Attack Manifestations for Automatic Interpretation of System Logs and Security Alerts

Il paper introduce il CAM-LDS, un nuovo dataset open-source e riproducibile contenente log di 81 tecniche di attacco cyber, progettato per colmare la carenza di dati etichettati e dimostrare il potenziale dei Large Language Models nell'interpretazione automatica e semantica dei log di sicurezza.

L'essenziale

Ecco una spiegazione semplice e creativa del paper CAM-LDS, pensata per chiunque, anche senza un background tecnico.

Immagina che la sicurezza informatica sia come la gestione di un grande ospedale o di una città complessa. Ogni giorno, migliaia di persone (i computer e i programmi) si muovono, aprono porte, accendono luci e parlano tra loro. Tutto questo movimento lascia delle tracce: un biglietto da visita lasciato sul bancone, un'ombra sul muro, o un rumore di passi. Queste tracce sono i Log di Sistema.

Il problema è che in una città grande, ci sono milioni di questi "rumori" ogni secondo. Per un detective umano (un esperto di sicurezza), leggere tutti questi foglietti per trovare il colpevole è come cercare un ago in un mucchio di aghi, tutti uguali. È stancante, noioso e facile sbagliare.

Il Problema: I Detective sono stanchi

Fino a poco tempo fa, per trovare i criminali informatici, si usavano due metodi:

1. Regole fisse: "Se qualcuno apre la porta alle 3 di notte, è un ladro". Ma i ladri intelligenti cambiano abitudini e ingannano queste regole.
2. Analisi manuale: Un detective umano legge i foglietti uno per uno. Ma se i foglietti sono milioni, il detective si addormenta prima di trovare il colpevole.

Ora, però, abbiamo un nuovo assistente: l'Intelligenza Artificiale (LLM), come ChatGPT. Questa IA è bravissima a leggere e capire il linguaggio umano. Ma c'è un grosso ostacolo: non ha mai visto un vero crimine informatico. È come dare a un detective molto intelligente un libro di grammatica, ma non avergli mai mostrato una scena del crimine reale. Non sa cosa cercare perché non ha mai visto un "ladro" in azione.

La Soluzione: Il "Set di Attacco" (CAM-LDS)

Gli autori di questo studio hanno detto: "Basta, creiamo noi il set di prove!".
Hanno costruito un laboratorio virtuale (una città fintissima ma perfetta) e hanno assunto dei "ladri digitali" (attacchi simulati) per commettere crimini specifici.

Hanno creato 7 scenari di crimine (come rubare un video, infettare un server, o entrare con una chiave falsa) che coprono 81 tecniche diverse di furto.

• Cosa hanno fatto? Hanno fatto commettere questi crimini in un ambiente pulito, senza gente che fa cose normali (niente traffico di fondo).
• Cosa hanno raccolto? Hanno registrato tutto: ogni comando digitato, ogni file aperto, ogni allarme suonato.
• Il risultato: Hanno creato un libro di testo perfetto (il dataset CAM-LDS) che mostra esattamente come un crimine digitale appare nei registri, etichettato passo dopo passo. È come avere un manuale di "Come rubare una banca" che mostra esattamente quali impronte digitali lascia ogni tipo di ladro.

L'Esperimento: L'IA al lavoro

Una volta creato questo libro di testo, gli autori hanno fatto un esperimento: hanno preso un'Intelligenza Artificiale (un modello linguistico) e le hanno detto: "Ecco un pezzetto di questi registri. Dimmi cosa sta succedendo e chi è il colpevole, senza spiegarti nulla in anticipo".

I risultati sono stati sorprendenti:

• Per circa un terzo dei casi, l'IA ha indovinato perfettamente il tipo di crimine, spiegando anche perché lo pensava (es: "Ho visto che hanno usato questo comando specifico per rubare le password").
• Per un altro terzo, l'IA è stata abbastanza vicina da capire che c'era un problema, anche se non ha nominato la tecnica esatta.
• Questo dimostra che l'IA può davvero "capire" il linguaggio dei computer e non solo contare i numeri.

Perché è importante? (La Metafora del Detective)

Prima di questo studio, l'IA era come un detective che aveva studiato solo la teoria. Ora, grazie a CAM-LDS, abbiamo dato al detective un corso pratico su come i ladri agiscono davvero.

1. Non tutti i crimini lasciano impronte visibili: Alcuni ladri sono molto silenziosi (non lasciano comandi chiari nei log), altri fanno molto rumore (migliaia di file aperti in un secondo). L'IA impara a notare anche i "rumori" strani, non solo le impronte digitali.
2. I vecchi allarmi non bastano: I sistemi di sicurezza tradizionali (come le telecamere che scattano solo se qualcuno salta la recinzione) hanno fallito nel rilevare molti di questi crimini simulati. L'IA, invece, ha visto cose che le telecamere hanno ignorato.
3. Il futuro: Questo dataset è pubblico. Significa che altri ricercatori possono usare questo "manuale di crimini" per addestrare le loro IA, rendendo i sistemi di sicurezza più intelligenti, veloci e capaci di capire il significato di ciò che accade, non solo di contare gli eventi.

In sintesi

Gli autori hanno creato il primo "campo di addestramento" pubblico e gratuito per insegnare alle Intelligenze Artificiali a leggere i registri di sicurezza e capire quando un computer viene attaccato.
Hanno dimostrato che, se diamo all'IA il materiale giusto (questo dataset), può diventare un assistente eccezionale per i detective umani, aiutandoli a trovare i ladri digitali molto più velocemente e con meno fatica.

È come passare dall'avere un detective che deve leggere a mano milioni di pagine, all'avere un detective assistito da un super-robot che legge tutto in un secondo e ti dice: "Ehi, guarda qui, questo comportamento non è normale, è un ladro che usa la tecnica X!".

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "CAM-LDS: Cyber Attack Manifestations for Automatic Interpretation of System Logs and Security Alerts" in lingua italiana.

1. Il Problema

L'analisi dei log di sistema è fondamentale per il rilevamento delle intrusioni e le indagini forensi, ma presenta sfide significative:

• Volume e Eterogeneità: I log sono generati in grandi quantità, in formati diversi e spesso contengono messaggi non strutturati.
• Limitazioni dell'Automazione Tradizionale: I metodi automatizzati esistenti dipendono spesso da regole di rilevamento definite manualmente, parser creati a mano o ingegneria delle caratteristiche (feature engineering) specifica per dominio. Questi approcci faticano a comprendere semanticamente i log, a spiegare le cause sottostanti e ad adattarsi a nuove minacce.
• Carenza di Dati per l'IA: Sebbene i Modelli Linguistici su Grande Scala (LLM) offrano la promessa di interpretare i log in modo agnostico rispetto al dominio e al formato, la ricerca è ostacolata dalla scarsità di dataset pubblici, etichettati e realistici che coprano un'ampia gamma di tecniche di attacco. I dataset esistenti si concentrano spesso sul traffico di rete, sono limitati a Windows, o derivano da ambienti "rumorosi" dove isolare le tracce di attacco è difficile.

2. Metodologia

Gli autori hanno sviluppato un approccio sistematico per creare e analizzare il dataset CAM-LDS (Cyber Attack Manifestation Log Data Set).

• Ambiente di Test: È stato utilizzato un ambiente di test completamente open-source e riproducibile chiamato AttackBed, basato su infrastrutture virtualizzate Linux. La topologia di rete simula una piccola azienda con segmentazione (DMZ, LAN, rete utenti, rete admin).
• Esecuzione degli Attacchi:
  • Sono stati selezionati 81 tecniche distinte dal framework MITRE ATT&CK (coprendo 13 tattiche).
  • Le tecniche sono state organizzate in 7 scenari di attacco coerenti (kill chain) che simulano comportamenti realistici di un avversario.
  • L'esecuzione è stata automatizzata utilizzando AttackMate, un framework che permette di eseguire script in modo deterministico e ripetibile, simulando sessioni interattive per garantire realismo senza intervento umano diretto.
• Raccolta Dati:
  • I dati sono stati raccolti da 18 fonti diverse, inclusi log di sistema (syslog, audit, autenticazione), log applicativi (Docker, Nextcloud, Zoneminder, ecc.), metriche di performance e alert da sistemi IDS (Wazuh per host-based e Suricata per network-based).
  • È stata applicata una procedura di filtraggio per isolare gli eventi direttamente correlati all'attacco, rimuovendo il rumore di fondo generato dal sistema idle.
• Valutazione con LLM: È stata condotta una valutazione "zero-shot" (senza addestramento specifico) utilizzando ChatGPT. Il modello è stato incaricato di:
  1. Classificare i log secondo le tecniche MITRE ATT&CK.
  2. Stimare la probabilità che il comportamento sia malevolo (scala Likert).
  3. Fornire una spiegazione semantica delle ragioni della classificazione.

3. Contributi Chiave

Il paper introduce tre contributi principali:

1. Dataset CAM-LDS: Il primo dataset pubblico specificamente progettato per la ricerca sull'interpretazione dei log basata su LLM. Include log di sistema, catture di pacchetti di rete, alert di sicurezza e configurazioni di sistema, coprendo 81 tecniche in un ambiente Linux riproducibile.
2. Analisi delle Manifestazioni degli Attacchi: Uno studio sistematico su come le tecniche di attacco si manifestano nei log. Gli autori identificano quattro tipi di manifestazioni:
   • Assenza di tracce osservabili.
   • Tracce dirette (comandi eseguiti visibili nei log).
   • Conseguenze indirette (es. frequenza anomala di eventi, modifiche alle configurazioni).
   • Cambiamenti nelle metriche di performance (es. carico CPU, I/O disco).
3. Valutazione Empirica: Un caso studio che dimostra l'efficacia degli LLM nell'interpretare i log di sicurezza, analizzando la correlazione tra le caratteristiche delle manifestazioni (visibilità dei comandi, frequenza, alert IDS) e l'accuratezza della classificazione.

4. Risultati

• Visibilità dei Comandi: Circa il 47,3% dei passaggi di attacco genera log contenenti indicatori espliciti dei comandi eseguiti (principalmente nei log di audit). Tuttavia, il metodo di esecuzione (es. shell reverse, VNC, plugin) influenza notevolmente la granularità e la visibilità di queste tracce.
• Limiti degli IDS Tradizionali: Su 198 passaggi di attacco che producono log, solo 43 hanno generato alert con severità da bassa ad alta negli IDS (Wazuh/Suricata) utilizzando le regole di default. La maggior parte delle attività è rimasta non rilevata, evidenziando i limiti delle firme statiche.
• Performance degli LLM:
  • In una configurazione zero-shot, l'LLM ha classificato correttamente la tecnica di attacco per circa un terzo dei passaggi di attacco (posizionando la risposta corretta al 1° o 2° posto).
  • Un altro terzo è stato classificato in modo adeguato (la tecnica corretta era presente nella top-10 delle previsioni).
  • L'accuratezza è risultata più alta quando i comandi erano visibili nei log, quando il volume degli eventi era elevato (es. scansioni) e quando erano presenti alert IDS.
  • L'LLM è stato capace di fornire spiegazioni semantiche coerenti, collegando eventi da fonti diverse (es. log di accesso web e log di audit) per dedurre l'intento dell'attaccante.

5. Significato e Implicazioni

• Nuovo Standard per la Ricerca: CAM-LDS colma un vuoto critico fornendo un benchmark riproducibile per valutare metodi di interpretazione dei log basati su IA, superando le limitazioni dei dataset precedenti (spesso focalizzati su Windows o solo su traffico di rete).
• Potenziale degli LLM nella SOC: I risultati suggeriscono che gli LLM possono essere strumenti efficaci per assistere gli analisti di sicurezza (SOC), offrendo interpretazioni semantiche e riducendo il carico di lavoro manuale, specialmente per log complessi o formati sconosciuti.
• Complementarità delle Difese: Lo studio dimostra che l'approccio basato su LLM è complementare agli IDS tradizionali. Mentre gli IDS falliscono nel rilevare molte attività sofisticate o mimetizzate, gli LLM possono analizzare il contesto semantico per identificare comportamenti malevoli anche in assenza di alert specifici.
• Sfide Future: Il paper evidenzia la necessità di integrare ulteriori contesti (configurazioni di sistema, intelligence sulle minacce) e di valutare modelli più piccoli e locali per questioni di privacy e costi, oltre a migliorare la capacità di correlare i passaggi di attacco nel tempo per comprendere l'intera kill chain.

In sintesi, il paper valida l'uso degli LLM per l'analisi forense dei log e fornisce gli strumenti (dataset e infrastruttura) necessari per avanzare la ricerca in questo settore, ponendo le basi per sistemi di rilevamento delle intrusioni più intelligenti e adattivi.