Riepilogo Tecnico: Mitigare l'Effetto dello Sbilanciamento delle Classi in Dati con Struttura Gerarchica e Dipendente

Definizione del Problema

La classificazione delle vulnerabilità informatiche utilizzando la tassonomia Common Weakness Enumeration (CWE) presenta due sfide primarie: un estremo sbilanciamento delle classi e forti dipendenze gerarchiche tra le categorie di debolezza. La tassonomia CWE organizza le debolezze in livelli di astrazione (Base, Class, Pillar, Variant, Compound), dove i nodi di livello superiore rappresentano concetti ampi e i nodi di livello inferiore rappresentano dettagli specifici. In pratica, un piccolo numero di tipi di debolezza domina il corpus, mentre categorie rare ma ad alto impatto rimangono significativamente sottorappresentate.

Sebbene gli encoder basati su Transformer come BERT e RoBERTa si siano affermati come solidi baseline per la classificazione testuale CWE, essi faticano con le categorie rare a causa dello sbilanciamento delle classi. Inoltre, le etichette CWE possiedono esplicite dipendenze genitore-figlio (ad esempio, una "Variant" è sempre una figlia di una "Base"), il che significa che le classificazioni errate ai livelli di astrazione superiore si propagano verso il basso in cascata. Gli approcci tradizionali allo sbilanciamento, come l'oversampling casuale, l'undersampling e le tecniche di generazione sintetica come il Synthetic Minority Oversampling Technique (SMOTE) e l'Adaptive Synthetic Sampling (ADASYN), sono ampiamente adottati, ma la loro efficacia su embedding testuali gerarchici e strutturati rimane in gran parte inesplorata. Nello specifico, non è chiaro se l'interpolazione lineare negli spazi di embedding ad alta dimensionalità rispetti i vincoli strutturali della gerarchia CWE.

Metodologia

Lo studio valuta una gamma di modelli sotto diverse condizioni di aumento dei dati e propone un'architettura innovativa che integra direttamente la struttura gerarchica nel processo di apprendimento.

1. Baseline Sperimentali e Oversampling

Gli autori hanno valutato empiricamente modelli di Machine Learning (Random Forest, SVM), Deep Learning (CNN, BiGRU) e Transformer (BERT) su un dataset CWE gerarchico sbilanciato.

• Oversampling: SMOTE e ADASYN sono stati applicati esclusivamente al set di addestramento. SMOTE ha equiparato tutte le classi a 393 campioni utilizzando $k$-neighbors=2, mentre ADASYN ha concentrato la sintesi sulle regioni di confine più difficili per raggiungere conteggi quasi paritari.
• Modelli:
  • ML Classico: Random Forest (100 alberi) e SVM (kernel lineare).
  • Deep Learning: CNN (128 filtri, dimensioni del kernel [4,6,6]) e BiGRU (dimensione nascosta 128).
  • Transformer: BERT-base (uncased) e il proposto Hierarchy-Aware RoBERTa.
  • Addestramento: Tutti i modelli di deep learning sono stati addestrati con una dimensione del batch di 8 per 15 epoche.

2. Approccio Proposto: Hierarchy-Aware RoBERTa

Il documento introduce un framework Hierarchy-Aware RoBERTa che incorpora esplicitamente le informazioni strutturali CWE attraverso embedding di classe genitore apprendibili.

• Architettura: Il modello utilizza un encoder preaddestrato SecureBERT per generare una rappresentazione [CLS] a 768 dimensioni dal testo in input.
• Iniezione Gerarchica: Viene introdotto un embedding di categoria genitore apprendibile (24 dimensioni) per catturare le relazioni strutturali grossolane. Questo embedding viene addestrato congiuntamente alla rete.
• Fusione: La rappresentazione semantica ($h_{cls}$) e il contesto gerarchico ($h_p$) sono fusi tramite concatenazione: $h_f = [h_{cls}, h_p]$.
• Classificazione: La rappresentazione fusa è regolarizzata con dropout (0.3) e passata attraverso una testa di classificazione lineare per produrre i logit.
• Formulazione: Il compito non è formulato come una predizione indipendente $P(Y_{child}|X_{text})$, ma come un problema di probabilità condizionata $P(Y_{child}|X_{text}, Y_{parent})$, utilizzando l' "ID del Genitore" come prior strutturale.

Contributi Chiave

1. Valutazione Empirica: Lo studio fornisce una valutazione completa dei modelli ML, DL e Transformer sotto il campionamento SMOTE e ADASYN su un dataset CWE gerarchico sbilanciato.
2. Analisi dell'Interpolazione Sintetica: Gli autori dimostrano che l'interpolazione sintetica negli spazi di embedding ad alta dimensionalità viola i vincoli intrinseci genitore-figlio. Sebbene offra benefici marginali per i modelli di ML classico, questi metodi degradano costantemente le prestazioni delle architetture di deep learning.
3. Modello Hierarchy-Aware: L'introduzione di un modello Hierarchy-Aware RoBERTa che inietta i prior strutturali CWE tramite embedding di classe genitore apprendibili, consentendo la modellazione congiunta end-to-end del contenuto semantico e della struttura gerarchica.
4. Guadagni di Prestazione: Il modello proposto raggiunge un F1-score pesato di 0.76 senza aumento dei dati, superando tutti i baseline. Notevolmente, migliora l'F1-score per la categoria "Class" da 0.49 (baseline BERT) a 0.60.

Risultati

• Impatto dell'Oversampling:
  • ML Classico: SMOTE e ADASYN hanno fornito miglioramenti deboli ma positivi per Random Forest (l'accuratezza è aumentata da 0.65 a 0.69) e SVM (l'accuratezza è rimasta stabile intorno a 0.71–0.72).
  • Deep Learning: L'oversampling ha degradato costantemente le prestazioni. L'accuratezza della CNN vanilla è scesa da 0.71 a 0.55 (SMOTE) e 0.51 (ADASYN). La BiGRU è scesa da 0.70 a 0.53 e 0.44, rispettivamente.
  • Transformer: BERT ha raggiunto un'accuratezza di 0.74 senza aumento dei dati. Il proposto Hierarchy-Aware RoBERTa ha raggiunto l'accuratezza più alta di 0.76.
• Prestazioni per Classe:
  • Il modello proposto ha raggiunto l'F1-score pesato più alto (0.76) rispetto a BERT (0.73), CNN (baseline 0.68) e BiGRU (baseline 0.69).
  • Sono stati osservati guadagni significativi nelle classi minoritarie; ad esempio, l'F1-score della categoria "Class" è migliorato da 0.49 (BERT) a 0.60 (Hierarchy-Aware RoBERTa).
  • Le categorie estremamente scarse (Compound e Pillar) sono rimaste a 0.00 F1 in tutti i modelli, evidenziando i limiti dell'apprendimento supervisionato con grave scarsità di dati.

Significato e Rivendicazioni

Il documento sostiene che l'apprendimento di rappresentazioni consapevole della gerarchia (hierarchy-aware) è un'alternativa più fondata all'oversampling per la classificazione strutturata delle vulnerabilità. Gli autori affermano che le tecniche di interpolazione sintetica (SMOTE/ADASYN) falliscono in questo dominio perché:

1. Producono campioni che mancano di coerenza linguistica negli spazi contestuali ad alta dimensionalità.
2. Violano le dipendenze strutturali della tassonomia CWE (ad esempio, una "Variant" non può esistere senza una "Base"), creando embedding strutturalmente invalidi che confondono il modello.
3. Trattano i campioni come entità indipendenti in uno spazio di caratteristiche piatto, ignorando la natura a grafo ad albero delle CWE dove gli errori si propagano in cascata dal genitore al figlio.

Modellando esplicitamente la relazione genitore-figlio attraverso embedding apprendibili, il framework proposto impone la coerenza strutturale e migliora la discriminazione tra le classi minoritarie e semanticamente dipendenti senza il rumore introdotto dalla generazione di dati sintetici.

Limitazioni

Gli autori riconoscono modestamente diverse limitazioni:

• Dipendenza dall'Inferenza: Il modello assume che i metadati del livello genitore siano disponibili durante l'inferenza, il che si allinea con le pipeline da grossolano a fine dettaglio, ma potrebbe non essere adatto a tutti gli scenari.
• Gerarchia Statica: La gerarchia è trattata come fissa; il modello potrebbe non generalizzare a nuovi nodi o nodi riorganizzati senza riaddestramento, data l'aggiornamento continuo della tassonomia CWE.
• Ambito della Gerarchia: Viene catturata solo l'informazione diretta del genitore, trascurando gli antenati multi-hop, le relazioni tra fratelli e la profondità dell'albero, il che limita le prestazioni sulle classi profondamente annidate come Compound e Pillar.
• Overhead dei Parametri: Gli embedding della classe genitore apprendibili aggiungono un modesto overhead di parametri, che potrebbe ostacare la scalabilità verso tassonomie molto grandi.
• Specificità del Dominio: L'approccio è stato valutato solo all'interno del dominio CWE, lasciando la sua generalizzabilità ad altre attività gerarchiche empiricamente non validata.