TIJERE: A Novel Threat Intelligence Joint Extraction Model Based on Analyst Expert Knowledge

Sintesi Tecnica: TIJERE – Un Nuovo Modello di Estrazione Congiunta di Intelligence sulle Minacce Basato sulla Conoscenza Esperta degli Analisti

Enunciato del Problema
L'estrazione di intelligence sulle minacce strutturata da report non strutturati è fondamentale per la costruzione di Grafi della Conoscenza sulla Sicurezza Informatica (CKG) al fine di automatizzare l'analisi delle minacce. Questo processo si basa sul Riconoscimento di Entità Nominate (NER) e sull'Estrazione di Relazioni (RE). Sebbene i modelli di Estrazione Congiunta (JE) offrano vantaggi teorici rispetto all'Estrazione a Pipeline (PE) riducendo la propagazione degli errori, i metodi JE esistenti nel dominio della cybersecurity affrontano ostacoli significativi:

1. Relazioni Sovrapposte: Le frasi contengono spesso coppie di entità multiple che coinvolgono le stesse entità in ruoli diversi, che gli schemi di tagging standard faticano a disambiguare.
2. Confusione delle Caratteristiche: Quando le caratteristiche delle entità e delle relazioni non sono chiaramente separate, i modelli faticano ad apprendere entrambi i compiti simultaneamente, in particolare quando viene utilizzata la duplicazione delle frasi per gestire le sovrapposizioni, introducendo rumore.
3. Tipi di Relazione Ambigui: Gli analisti utilizzano spesso espressioni non lessicali (ad esempio, "hasAttackTime") che mancano di chiarezza semantica per i modelli generici.
4. Ambiguità del Linguaggio di Dominio: I modelli linguistici generici non riescono a catturare il gergo specifico della cybersecurity (ad esempio, "Mimikatz"), portando a una scarsa rilevazione delle entità e alla propagazione del rumore.
5. Scarsità di Dati: Manca una disponibilità di dataset etichettati congiuntamente, pubblicamente accessibili, specificamente progettati per NER e RE nel campo della cybersecurity.

Metodologia: Il Framework TIJERE
Gli autori propongono TIJERE, un framework JE basato sui dati che riformula il compito di estrazione come un problema di Rappresentazione di Etichettatura Multisequenza (MSLR). L'architettura è composta dai seguenti componenti chiave:

• Rappresentazione di Etichettatura Multisequenza (MSLR): Invece di una singola sequenza per frase, TIJERE genera una sequenza separata per ogni coppia di entità valida all'interno di una frase. Questo approccio gestisce intrinsecamente le relazioni sovrapposte isolando il contesto per ogni previsione di relazione specifica.
• Caratteristiche di Dominio Esperto (EDF): Per risolvere la confusione delle caratteristiche e l'ambiguità semantica, il modello integra due caratteristiche guidate dall'esperto nell'MSLR:
  • Tipo di Entità: Codifica la categoria semantica del soggetto e dell'oggetto (ad esempio, "HackOrg" e "Tool"). Questo fornisce al modello un contesto specifico del dominio, imitando il ragionamento dell'analista (ad esempio, un gruppo di hacker che utilizza uno strumento implica una relazione "uses").
  • Maschera di Entità: Una rappresentazione basata su vettori che evidenzia i token specifici appartenenti alla coppia di entità in considerazione, guidando il modello a concentrarsi sulle informazioni posizionali rilevanti.
• Embedding SecureBERT+: Il framework utilizza SecureBERT+, una variante di SecureBERT adattata finemente su testi di cybersecurity, per generare embedding dinamici che catturano il gergo specifico del dominio e riducono l'ambiguità linguistica.
• Architettura del Modello:
  • Encoder: SecureBERT+ seguito da un layer BiGRU per catturare le dipendenze sequenziali.
  • Testa NER: Un layer Densità e un layer Conditional Random Field (CRF) per il tagging delle entità a livello di token.
  • Testa RE: Un meccanismo di pooling delle entità aggrega gli embedding dei token in base alla maschera di entità, li concatena con embedding statici del tipo di entità e li passa attraverso un layer Densità con Softmax per la classificazione delle relazioni.
  • Funzione di Perdita: Una somma ponderata della perdita NER (CRF) e della perdita RE (Cross-Entropy) è utilizzata per l'ottimizzazione congiunta.

Contributi Chiave

1. Modello TIJERE: Un'architettura innovativa che combina MSLR con caratteristiche guidate dall'esperto (tipo di entità e maschera) per affrontare le relazioni sovrapposte e la confusione delle caratteristiche senza fare affidamento su moduli esterni basati su regole che imitano gli approcci a pipeline.
2. Dataset DNRTI-JE: L'introduzione del primo dataset pubblicamente disponibile, etichettato congiuntamente, per NER e RE nella cybersecurity. Estende il dataset DNRTI originale con 15 tipi di relazioni predefiniti e un'ontologia di dominio, coprendo 6.592 frasi che descrivono gruppi di Minacce Persistenti Avanzate (APT).
3. Validazione Empirica: Una valutazione completa che dimostra come TIJERE superi i metodi JE e PE esistenti all'avanguardia nel dominio della cybersecurity.

Risultati Sperimentali
Valutato sul dataset DNRTI-JE, il modello TIJERE (in particolare la variante SecureBERT+-BiGRU-CRF con EDF abilitati) ha raggiunto prestazioni all'avanguardia:

• Prestazioni NER: F1-score di 0,93 (Precisione: 0,93, Recall: 0,94).
• Prestazioni RE: F1-score di 0,98 (Precisione: 0,98, Recall: 0,99).
• Studi di Ablazione:
  • L'abilitazione delle EDF ha migliorato significativamente le prestazioni RE (ad esempio, l'F1 RE di BERT-CRF è passato da 0,44 a 0,97), mentre le prestazioni NER sono rimaste stabili.
  • La sola caratteristica "Tipo di Entità" ha fornito guadagni sostanziali, ma la combinazione di Tipo di Entità e Maschera di Entità ha prodotto la massima accuratezza, confermando la natura complementare degli indizi semantici e posizionali.
  • Le varianti SecureBERT+ hanno costantemente superato i modelli BERT e RoBERTa standard, evidenziando l'importanza del pre-addestramento specifico del dominio.

Significato e Affermazioni
Il documento afferma che TIJERE rappresenta il primo approccio basato sui dati specificamente progettato per affrontare le sfide uniche dell'estrazione congiunta nella cybersecurity. Integrando direttamente la conoscenza esperta degli analisti nella rappresentazione delle caratteristiche del modello (tramite EDF) e utilizzando una strategia di etichettatura multisequenza, TIJERE mitiga efficacemente la confusione delle caratteristiche e i problemi di relazioni sovrapposte che affliggono i metodi esistenti.

Gli autori affermano che la combinazione di TIJERE e il benchmark standardizzato DNRTI-JE consente un'estrazione di intelligence ad alte prestazioni con potenziale trasferibile ad altri domini che richiedono l'estrazione di informazioni strutturate, come sanità, finanza e bioinformatica. Il lavoro sottolinea che, sebbene l'approccio richieda conoscenza esperta per l'ingegneria delle caratteristiche e la modellazione dei dati, offre un'alternativa robusta ed efficiente alle soluzioni esistenti complesse, ricche di regole o computazionalmente costose, facilitando la costruzione di CKG di alta qualità per la difesa proattiva.