Sintesi Tecnica: Costruzione di Modelli di Classificazione Gerarchica Multi-Label per il Tagging di Testi MITRE ATT&CK

Definizione del Problema

Il framework MITRE ATT&CK funge da base di conoscenza critica per la cybersecurity, organizzando i comportamenti degli attori delle minacce in una gerarchia di tattiche (il "perché" o gli obiettivi di un attacco) e tecniche (il "come" o i metodi utilizzati). Un'applicazione primaria di questo framework è l'annotazione manuale di report di intelligence sulle minacce cyber, descrizioni di vulnerabilità e scenari di minaccia per facilitare l'analisi a valle. Attualmente, questo processo di tagging rimane ampiamente manuale, creando un collo di bottiglia per gli analisti di sicurezza. Sebbene siano emersi vari metodi computazionali per automatizzare o semi-automatizzare questo compito, manca un framework unificato per categorizzare tali sforzi e vi è la necessità di modelli robusti e accessibili che non dipendano da Large Language Models (LLM) complessi o architetture ad alta intensità di risorse.

Metodologia

Gli autori propongono una costruzione per stadi "bottom-up" di un sistema di classificazione gerarchica multi-label, divergendo dalle selezioni architettoniche canoniche "top-down" dell'IA/ML. Questo approccio è guidato da una formulazione dello "spazio dei task" stratificato (Tabella 1) che categorizza i compiti di tagging per complessità, spaziando dalla classificazione multiclasse a etichetta singola alla complessa mappatura gerarchica multi-label.

La metodologia procede attraverso tre stadi sperimentali utilizzando il machine learning classico (specificamente classificatori Stochastic Gradient Descent (SGD) con vettorizzazione TF-IDF):

1. Stadio Sperimentale 1 (Classificazione delle Tattiche Multiclass):

   • Task: Mappare una frase ($D$) su una singola tattica ($T$).
   • Approccio: Un modello baseline multiclasse SGD è stato addestrato su 14.405 frasi di intelligence cyber generale.
   • Confronto: Il modello è stato sottoposto a benchmark rispetto a GPT-4o utilizzando un approccio di prompt engineering Text-to-Text.
   • Risultato: Il modello SGD classico ha superato significativamente GPT-4o (81,95% vs 59% di accuratezza).

2. Stadio Sperimentale 2 (Costruzione Gerarchica Multi-Label):

   • Task: Estendere il sistema per prevedere più tattiche e le relative tecniche corrispondenti (ID Task 7 nello spazio dei task).
   • Approccio:
     • Predizione Top-N: Il modello multiclasse è stato modificato per restituire le prime $n=3$ tattiche predette invece di un singolo label.
     • Condizionamento Gerarchico: Per ogni tattica predetta, un modello multiclasse SGD separato e specifico per quella tattica è stato addestrato per prevedere le prime $m=3$ tecniche associate.
     • Sicurezza: Un meccanismo di hashing (MurmurHash3) è stato integrato nel processo di vettorizzazione per criptare i dati sensibili di addestramento senza compromettere le prestazioni del modello, facilitando il rilascio pubblico.
   • Risultato: Il sistema ha raggiunto circa il 94% di accuratezza a livello di tattica e l'82% di accuratezza a livello di tecnica (quando interpretato come trasformazioni multiclasse).

3. Stadio Sperimentale 3 (Generalizzazione a Nuovi Domini):

   • Task: Valutare il modello baseline su un dataset sparso di 552 scenari di minacce finanziarie prodotti da esperti del settore di JPMorgan Chase.
   • Approccio: Il modello addestrato su dati di intelligence cyber generale è stato testato su questo nuovo dominio e, successivamente, un nuovo modello è stato addestrato da zero su un piccolo sottoinsieme dei dati degli scenari di minaccia.
   • Risultato: Il modello baseline ha mostrato una generalizzazione limitata (41% di accuratezza), ma l'architettura si è dimostrata adattabile, migliorando al 66% di accuratezza con un minimo riaddestramento sui nuovi dati del dominio.

Contributi Chiave

1. Formulazione dello Spazio dei Task Stratificato: Il documento fornisce una tassonomia strutturata (Tabella 1) per il compito di tagging del testo MITRE ATT&CK, organizzando gli approcci AIML esistenti e chiarendo i percorsi per lo sviluppo futuro.
2. Costruzione del Modello Bottom-Up: Gli autori dimostrano una metodologia per costruire modelli gerarchici che incapsulano organicamente le "Best Practices per la mappatura di MITRE ATT&CK" di CISA attraverso la sperimentazione piuttosto che tramite architetture complesse predefinite.
3. Performance vs Complessità: Lo studio stabilisce che i metodi di machine learning classico (SGD + TF-IDF) possono eguagliare o superare le prestazioni allo stato dell'arte (inclusi GPT-4o) per questo compito specifico, eliminando la dipendenza da LLM, RAG, agenti o complessi metodi basati su DAG.
4. Rilascio Pubblico e Sicurezza: Gli autori hanno rilasciato una versione sicura e condivisibile del loro sistema di tagging (tramite GitHub) che include l'hashing dei dati per proteggere i dati di addestramento sensibili pur mantenendo alte prestazioni.
5. Esempio di Adattamento del Dominio: Il documento illustra come il modello baseline possa essere avviato per nuovi dataset sparsi (scenari di minacce finanziarie), evidenziando il potenziale per la costruzione di modelli a basse risorse.

Risultati

• Accuratezza a Livello di Tattica: L'approccio gerarchico multi-label ha raggiunto circa il 94% di accuratezza a livello di tattica.
• Accuratezza a Livello di Tecnica: L'approccio ha raggiunto circa l'82% di accuratezza a livello di tecnica.
• Confronto con GPT-4o: GPT-4o ha raggiunto solo circa il 60% di accuratezza a livello di tattica, significativamente inferiore rispetto all'approccio SGD classico.
• Merito Gerarchico: I risultati hanno confermato che l'approccio gerarchico è efficace; le tecniche non sono mai state predette correttamente quando accoppiate a una tattica errata, validando la strategia di modellazione condizionale.
• Sicurezza dei Dati: L'integrazione dell'hashing per la criptazione dei dati non ha influenzato significativamente le prestazioni del sistema, consentendo la distribuzione pubblica sicura.

Significato e Rivendicazioni

Il documento sostiene che la comunità della cybersecurity affronta un divario tra le attività di sicurezza specializzate e la ricca letteratura matematica/tecnica dell'AIML. Fornendo una formulazione del task rigorosa e un modello baseline ad alte prestazioni e accessibile, gli autori mirano a colmare questo divario.

Gli autori sottolineano che, sebbene esistano molti approcci, l'adozione diffusa da parte degli specialisti della sicurezza è rara, spesso a causa di problemi di usabilità in contesti a basse risorse o dati sparsi. Di conseguenza, la significatività di questo lavoro risiede non solo nelle metriche di performance, ma nella usabilità, condivisibilità ed estensibilità del sistema proposto. Il documento pone che un approccio di machine learning classico e diretto, che rispetti la privacy dei dati e richieda risorse minime, sia un prerequisito per l'effettiva adozione di strumenti di tagging automatizzati da parte dei professionisti della sicurezza. Gli autori dichiarano esplicitamente che il loro obiettivo è facilitare ulteriori sviluppi e fornire una base per il lavoro futuro, piuttosto che rivendicare una soluzione finale e perfetta.