Riepilogo Tecnico: SynAT

Problematica

Gli attacchi informatici rappresentano una minaccia significativa per i sistemi software, rendendo necessarie basi di conoscenza sulla sicurezza robuste (ad es. CVE, CAPEC e database aziendali come quelli di Huawei) per identificare vulnerabilità e modellare le minacce. Tuttavia, questi repository ufficiali soffrono di ritardi temporali nel rilascio delle informazioni, lasciando i sistemi vulnerabili a rischi emergenti come gli attacchi zero-day. Al contrario, le piattaforme di condivisione della conoscenza online come Stack Overflow contengono ricche discussioni di sicurezza della community in tempo reale che spesso precedono le divulgazioni ufficiali. La sfida risiede nella difficoltà di sintetizzare direttamente alberi di attacco strutturati da discussioni testuali non strutturate. Gli alberi di attacco sono diagrammi concettuali altamente astratti che richiedono l'inferenza di relazioni complesse tra molteplici eventi di attacco, un compito non banale da automatizzare a causa del rumore e della diversità dei testi generati dalla community.

Metodologia: SynAT

Il documento propone SynAT, un approccio automatico per sintetizzare alberi di attacco da post di sicurezza della community. La metodologia segue una pipeline a tre fasi:

1. Restrizione dell'ambito delle frasi

Per mitigare il rumore inerente ai post di sicurezza completi, SynAT restringe prima l'input alle frasi che probabilmente contengono informazioni sugli attacchi.

• Tecnica: Utilizza un Large Language Model (LLM) combinato con il Prompt Learning.
• Implementazione: Viene progettato un template di prompt di tipo "Cloze-Testing" in cui l'LLM predice frasi specifiche ($K$) dalla domanda del post e dalla risposta accettata che possono contenere alberi di attacco.
• Selezione del modello: Gli esperimenti hanno confrontato Albert, T5, GPT-3 e ChatGPT. GPT-3 (specificamente text-davinci-003) con Fix-prompt Tuning ha ottenuto le prestazioni più elevate (Precisione del 97,24%, Recall del 99,36%) nell'identificare le frasi rilevanti.

2. Estrazione congiunta di Eventi e Relazioni

Una volta ristretto l'ambito, SynAT estrae simultaneamente eventi di attacco e le loro relazioni logiche utilizzando un framework basato su transizioni.

• Definizioni:
  • Evento di attacco: Composto da un Trigger (verbo principale), un Target (oggetto) e un Instrument (strumento).
  • Relazioni: Definite come And (entrambi richiesti), Or (uno dei due è sufficiente) e AchievedBy (dipendenza genitore-figlio).
• Architettura: Il modello utilizza una macchina a stati con 12 azioni di transizione (ad es. GEN-TRG, RIGHT-SHIFT, O-DELETE) per attraversare una singola volta la frase ristretta.
  • Stato ($S$): Include stack per i trigger ($\xi$), gli argomenti ($\tau$) e un buffer ($\beta$), insieme a set per gli eventi ($E$) e le relazioni ($R$).
  • Meccanismo: Uno StackLSTM incorpora lo stato corrente e un classificatore multi-label predice l'azione successiva. Ciò consente una complessità temporale $O(n)$.
• Raffinamento: Dopo l'estrazione, il sistema applica regole Transitive e Asymmetric per identificare relazioni implicite e prevenire dipendenze circolari nell'albero.
• Addestramento: Il modello viene perfezionato utilizzando una funzione di perdita combinata che bilancia la perdita di estrazione di eventi/relazioni (SSVM) e la perdita di predizione dell'azione (Cross-Entropy).

3. Sintesi degli Alberi di Attacco

Gli eventi e le relazioni estratti vengono convertiti in una struttura formale di albero di attacco utilizzando tre regole euristiche progettate con esperti di sicurezza:

1. Identificazione dell'Obiettivo dell'Attacco: L'evento che rappresenta l'obiettivo finale (ad es. "Rubare la sessione") diventa il nodo radice.
2. Identificazione dei Metodi di Attacco: Gli eventi intermedi diventano nodi di metodo, formattati come "l'attaccante usa [strumento] per attaccare [target]".
3. Costruzione di Gate e Livelli: Le relazioni AchievedBy definiscono i livelli dell'albero, mentre le relazioni And e Or definiscono le porte logiche tra i nodi allo stesso livello.

Contributi Chiave

• Tecnica: SynAT è presentato come il primo lavoro in grado di sintetizzare automaticamente alberi di attacco da post di sicurezza della community utilizzando una combinazione di restrizione dell'ambito basata su LLM ed estrazione congiunta basata su transizioni.
• Valutazione: Una valutazione completa su 5.070 post di sicurezza di Stack Overflow e 2.350 report di issue di GitHub.
• Applicazione: Implementazione pratica per potenziare la base di conoscenza sulla sicurezza interna di Huawei e i database pubblici (CVE, CAPEC).
• Dati: Rilascio pubblico di un dataset contenente 1.354 alberi di attacco etichettati e codice sorgente.

Risultati Sperimentali

Lo studio ha valutato SynAT rispetto a baseline allo stato dell'arte (Structured-Joint+, Albert, T5, GPT-3, ED3C, MLBiNet, ecc.) attraverso quattro domande di ricerca:

1. Sintesi dell'Albero di Attacco: SynAT ha raggiunto la massima somiglianza con la verità di base (ground truth), con una Distanza di Hamming Media (AHD) del 10,24% e una Somiglianza della Distanza di Editing dell'Albero (TEDS) del 7,93%, superando la migliore baseline rispettivamente dell'8,20% e del 7,13%.
2. Estrazione degli Eventi: SynAT ha raggiunto un F1 score medio dell'80,93%, superando la migliore baseline dell'8,50%.
3. Estrazione delle Relazioni: SynAT ha raggiunto un F1 score medio dell'87,81%, superando la migliore baseline del 13,59%.
4. Potenziamento della Base di Conoscenza:
   • Database Pubblici: Di 121 alberi sintetizzati, il 40,50% è stato proposto su Stack Overflow prima della relativa divulgazione CVE, e il 16,53% è stato identificato come potenziali nuovi attacchi non ancora presenti in CVE.
   • Database Privato: Nel database di Huawei, l'84,30% degli alberi sintetizzati è stato accettato dai professionisti, con un incremento del 42,32% rispetto al loro repository esistente di alberi di attacco.
   • Valutazione Umana: I professionisti hanno valutato gli alberi di SynAT significativamente più alti (punteggio medio 3,8/5) rispetto alle baseline (2,4–3,5) in termini di accuratezza e adeguatezza ($p < 0,01$).
   • Design della Patch: L'integrazione degli alberi di SynAT ha migliorato il tasso di correzione delle vulnerabilità ($Fix@10$) del 35,14% per il patching manuale e del 25,14% per il patching automatico (CodeT5).

Significato e Rivendicazioni

Il documento afferma che SynAT colma efficacemente il divario tra le discussioni non strutturate della community e la conoscenza della sicurezza strutturata. Automatizzando l'estrazione degli alberi di attacco, SynAT affronta il critico ritardo temporale dei database di sicurezza ufficiali, consentendo alle organizzazioni di identificare e mitigare le minacce emergenti (come gli zero-day) più rapidamente. Il successo dell'applicazione sia in contesti pubblici (CVE/CAPEC) che privati (Huawei) dimostra la praticità dell'approccio nel potenziare la postura di sicurezza del software. Gli autori sottolineano che, sebbene il metodo si basi su regole euristiche e LLM, l'estrazione basata su transizioni garantisce efficienza e alta precisione, rendendolo uno strumento valido per la manutenzione continua delle basi di conoscenza sulla sicurezza.