Improving Generalization on Cybersecurity Tasks with Multi-Modal Contrastive Learning

1. Il Problema: La Crisi di Credibilità nel ML per la Cybersecurity

Il paper affronta il problema fondamentale della scarsa generalizzazione dei modelli di Machine Learning (ML) applicati alla cybersecurity.

• Il Fenomeno: I modelli che ottengono prestazioni elevate in scenari di sviluppo controllati falliscono spesso una volta deployati in produzione.
• La Causa Radice: Gli algoritmi tendono a imparare pattern superficiali (noti come "shortcut" o scorciatoie) invece di comprendere i concetti sottostanti di sicurezza. Ad esempio, un modello potrebbe associare una specifica stringa di testo o un formato di pacchetto a un attacco, invece di capire la logica dell'exploit.
• Il Contesto: In cybersecurity, i dataset proprietari sono spesso limitati e sbilanciati. Quando i dati di test sono temporalmente spostati (es. nuovi attacchi zero-day o varianti future), le prestazioni crollano drasticamente, come dimostrato da una caduta di accuratezza fino al 30% in scenari realistici rispetto a split casuali.

2. Metodologia: SALM (Semantically Aligned Language Models)

Gli autori propongono SALM, un framework di apprendimento contrastivo multi-modale in due fasi. L'obiettivo è trasferire la conoscenza da una modalità ricca di dati (il testo, come le descrizioni delle vulnerabilità) a una modalità scarsa di dati (i payload HTTP), sfruttando la semantica profonda dei Large Language Models (LLM).

Il processo si articola in due stadi:

Fase 1: Costruzione di uno Spazio di Embedding Consapevole delle Vulnerabilità

• Obiettivo: Riorganizzare lo spazio di embedding di un LLM pre-addestrato per allinearlo specificamente alle categorie di vulnerabilità informatiche.
• Input: Descrizioni testuali delle vulnerabilità (es. report CVE, descrizioni tecniche).
• Tecnica: Viene utilizzata l'apprendimento contrastivo con Triplet Loss. Vengono costruiti triplette $(d_a, d_p, d_n)$ dove:
  • $d_a$ (Anchor) e $d_p$ (Positivo) appartengono allo stesso tipo di vulnerabilità.
  • $d_n$ (Negativo) appartiene a un tipo diverso.
• Risultato: Un encoder di testo ($f_t$) che genera embedding dove le descrizioni della stessa classe sono vicine e quelle di classi diverse sono ben separate. Questo crea una struttura semantica robusta basata sulla definizione dell'attacco, non sui dettagli superficiali.

Fase 2: Trasferimento della Struttura ai Payload

• Obiettivo: Allineare le rappresentazioni dei payload HTTP (dati grezzi e rumorosi) allo spazio semantico strutturato creato nella Fase 1.
• Input: Coppie (Descrizione, Payload) associate.
• Tecnica: Modal Alignment.
  • L'encoder di testo ($f_t$) viene congelato (frozen) per preservare la struttura appresa e prevenire il "catastrophic forgetting".
  • Viene addestrato un encoder per i payload ($f_p$) per minimizzare la distanza quadratica media (MSE) tra l'embedding del payload e quello della sua descrizione corrispondente generata dall'encoder congelato.
• Inferenza: La classificazione avviene tramite recupero semantico. Per ogni tipo di vulnerabilità, viene creato un prototipo (embedding) partendo da un'etichetta testuale generica (es. "SQL injection attack"). Un payload di test viene classificato trovando il prototipo testuale più vicino nel spazio di embedding comune. Questo approccio evita l'overfitting sulle etichette specifiche del training set.

3. Contributi Chiave

1. Framework Multi-Modale: Introduzione di un approccio che sfrutta la ricchezza semantica delle descrizioni testuali (spesso presenti nei database di intelligence) per guidare la classificazione dei payload, un dominio tipicamente difficile da generalizzare.
2. Riduzione dell'Apprendimento di Scorciatoie: Dimostrazione che l'allineamento contrastivo costringe il modello a imparare le caratteristiche semantiche dell'attacco (il "cosa" e il "come") piuttosto che correlazioni superficiali nei dati grezzi.
3. Benchmark Sintetico Open Source: Creazione e rilascio di un benchmark sintetico generato da LLM (basato su CVE pubblici) per testare la generalizzazione su distribuzioni fuori distribuzione (OOD), insieme al codice sorgente.
4. Validazione su Dati Reali: Test su un dataset privato su larga scala (600k+ payload) con split temporale rigoroso, simulando condizioni reali di produzione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset: un corpus privato reale (con split temporale) e un benchmark sintetico.

• Dataset Reale (Split Temporale):

  • SALM ha raggiunto un'accuratezza del 68.1% e un Macro F1 del 30.1%.
  • Ha superato significativamente i baseline:
    • TF-IDF + Random Forest: 65.7% Acc.
    • CodeBERT Fine-tuned: 62.3% Acc. (il fine-tuning supervisionato ha mostrato segni di overfitting).
    • Embedding Similarity (RAG-style): 48.9% Acc.
  • Analisi per Classe: SALM ha mostrato miglioramenti sostanziali su classi con pattern strutturali chiari (es. Directory Traversal: F1 78.6% vs 63.0% del baseline) e classi a frequenza media, dove le scorciatoie lessicali falliscono.

• Dataset Sintetico:

  • SALM ha mantenuto un vantaggio (24.4% Acc.) rispetto al miglior baseline (20.6%), dimostrando una migliore capacità di generalizzazione su pattern di attacco mai visti durante l'addestramento.

• Visualizzazione (t-SNE):

  • Le proiezioni mostrano che prima dell'addestramento i payload sono un ammasso non strutturato. Dopo la Fase 2, i payload si raggruppano coerentemente attorno ai prototipi delle vulnerabilità, ereditando la struttura semantica dello spazio testuale.

5. Significato e Conclusioni

Il lavoro di Huang et al. offre una risposta promettente alla crisi di generalizzazione nella cybersecurity ML.

• Impatto Principale: Dimostra che trasferire la conoscenza da modalità ricche (testo) a modalità povere (payload) tramite allineamento contrastivo può mitigare l'apprendimento di scorciatoie, migliorando la robustezza temporale.
• Limitazioni: L'accuratezza del 68% non è ancora sufficiente per la produzione critica. Le limitazioni includono la qualità e la coerenza delle descrizioni testuali fornite dal vendor, lo sbilanciamento estremo delle classi e la natura ibrida delle categorie di vulnerabilità (che mescolano tecniche, outcome e vettori).
• Prospettive Future: Il metodo apre la strada al zero-shot inference (classificare nuovi tipi di vulnerabilità definendo solo una descrizione testuale) e suggerisce che futuri miglioramenti richiederanno dati di migliore qualità e l'estensione ad altri task di sicurezza (es. rilevamento intrusioni, classificazione malware).

In sintesi, SALM rappresenta un passo significativo verso modelli di cybersecurity che ragionano semanticamente sugli attacchi piuttosto che limitarsi a riconoscere pattern statistici nei dati grezzi.