🤖 AI

Taming Data Challenges in ML-based Security Tasks Using Generative AI

Questo articolo dimostra che l'arricchimento dei dataset di addestramento con dati sintetici generati dall'IA generativa, inclusa una nuova metodologia denominata Nimai, può migliorare significativamente le prestazioni e l'adattabilità dei classificatori di sicurezza basati sull'apprendimento automatico, specialmente in contesti con risorse dati limitate, identificando al contempo specifiche caratteristiche dei dati che potrebbero ostacolare tali miglioramenti.

Autori originali: Shravya Kanchi, Neal Mangaokar, Aravind Cheruvu, Sifat Muhammad Abdullah, Shirin Nilizadeh, Atul Prakash, Bimal Viswanath

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shravya Kanchi, Neal Mangaokar, Aravind Cheruvu, Sifat Muhammad Abdullah, Shirin Nilizadeh, Atul Prakash, Bimal Viswanath

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a una guardia di sicurezza (un programma informatico) come individuare un ladro in una città affollata. Di solito, il modo migliore per istruire questa guardia è mostrarle migliaia di foto di ladri reali e di cittadini reali. Ma nel mondo della cybersecurity, c'è un grosso problema: non abbiamo abbastanza foto dei ladri.

I ladri sono rari, si nascondono bene e talvolta le foto che abbiamo sono sfocate o etichettate in modo errato. Questo rende la guardia di sicurezza poco efficace nel suo lavoro.

Questo articolo si pone una domanda semplice: Possiamo usare l'Intelligenza Artificiale Generativa (GenAI) per creare foto false di ladri e aiutare ad addestrare la guardia?

Ecco una sintesi delle loro scoperte, utilizzando semplici analogie:

1. Il Problema: L'"Album Fotografico Vuoto"

I ricercatori hanno esaminato 35 diversi studi sulla cybersecurity e hanno scoperto che quasi tutti lottavano con gli stessi problemi di dati:

Non abbastanza esempi: Ci sono pochissimi esempi di attacchi rispetto alle attività normali.
Visioni distorte: I pochi esempi di attacchi che abbiamo potrebbero mostrare solo un tipo specifico di ladro, tralasciando gli altri.
Foto rumorose: A volte le etichette sono sbagliate (una foto di un cittadino è etichettata come ladro).
Facce che cambiano: I ladri cambiano il loro aspetto nel tempo (questo è chiamato "deriva concettuale"), quindi la vecchia formazione della guardia diventa inutile.

2. La Soluzione: L'"Artista AI"

Il team ha provato a utilizzare strumenti AI avanzati (GenAI) per agire come un artista. Invece di mostrare alla guardia solo foto reali, hanno chiesto all'AI di dipingere nuove foto realistiche di ladri basandosi sui pochi esempi reali che aveva visto. Hanno poi aggiunto queste foto false all'album di addestramento per vedere se la guardia diventava più intelligente.

Hanno testato questo approccio su 7 diversi compiti di sicurezza, che vanno dall'individuazione di malware (virus informatici) al rilevamento di rotte internet dirottate.

3. I Risultati: Quando l'Artista Brilla

I risultati sono stati un misto di "Wow!" e "Non così in fretta".

Le Storie di Successo (I momenti "Wow!"):

L'Effetto "Super-Addestramento": Nei compiti in cui i dati erano scarsi (come il compito di dirottamento BGP, che aveva solo circa 180 campioni di addestramento), i dati generati dall'AI sono stati un gioco di svolta. Un metodo specifico che hanno inventato, chiamato Nimai, ha migliorato l'accuratezza della guardia di sicurezza del 32,6%. È come passare da una guardia che cattura 6 ladri su 10 a una che ne cattura 9.
Riparare le Foto "Sfocate": Hanno scoperto che l'AI non si limitava a copiare e incollare; in realtà aiutava a smussare il "rumore" nei dati. Ha reso i modelli dei ladri più chiari, aiutando la guardia a generalizzare meglio.
Il Problema del "Mutaforma": Quando i ladri cambiavano tattica (deriva concettuale), l'AI poteva generare rapidamente nuovi esempi "falsi" delle nuove tattiche. Questo ha permesso al sistema di sicurezza di adattarsi quasi istantaneamente con pochissima nuova etichettatura umana.

I Fallimenti (I momenti "Non così in fretta"):

La "Stanza Sovraffollata": In alcuni compiti, i "ladri" e i "cittadini" sembravano così simili (dati sovrapposti) che l'AI non riusciva a distinguerli. Ha semplicemente prodotto foto più confuse e la guardia non è migliorata.
Il Problema "Troppo Grande per Entrare": Alcuni degli strumenti AI esistenti erano come camion giganti che cercavano di guidare in un vicolo minuscolo. Erano troppo complessi per i dati di sicurezza specifici e si bloccavano o fallivano nell'addestramento.
La Trappola dell'"Etichetta Rumorosa": Se i dati originali avevano troppi errori (ad esempio, etichettare un file buono come cattivo), l'AI imparava semplicemente a commettere più errori. Non poteva riparare una fondazione rotta.

4. Il Nuovo Strumento: "Nimai"

I ricercatori hanno capito che gli strumenti AI esistenti erano un po' come un pittore bendato: potevano dipingere solo basandosi su una categoria ampia (ad esempio, "dipingi un ladro"). Non potevano dire: "Dipingi un ladro che assomiglia esattamente a questa persona specifica che sto tenendo".

Quindi, hanno costruito un nuovo strumento chiamato Nimai.

L'Analogia: Immagina uno scultore che non si limita a creare una statua generica di una persona. Invece, prende una persona reale, la osserva e crea una nuova statua che è molto simile ma presenta lievi variazioni controllate. Questo permette alla guardia di sicurezza di vedere ogni minuscola sfumatura della minaccia.
Il Risultato: Nimai è stato lo strumento di maggior successo, specialmente nelle situazioni più difficili e con meno dati.

5. La Grande Conclusione

L'articolo conclude che l'Intelligenza Artificiale Generativa è uno strumento potente per la cybersecurity, ma non è magia.

Funziona miracolosamente quando hai pochi dati o quando i dati sono sbilanciati. Può colmare le lacune e aiutare il sistema a imparare più velocemente.
Fatica quando i dati sono troppo disordinati, le categorie si sovrappongono troppo o gli strumenti AI sono troppo pesanti per il lavoro.

Gli autori suggeriscono che i futuri strumenti di sicurezza devono essere più intelligenti su come generano i dati, utilizzando metodi controllati come Nimai, invece di produrre semplicemente dati falsi casuali. Notano anche che questo approccio potrebbe aiutare i sistemi di sicurezza ad adattarsi rapidamente quando gli hacker cambiano tattica, senza bisogno di assumere eserciti di umani per etichettare nuovi dati.

In breve: Hanno insegnato alla guardia di sicurezza facendo dipingere all'AI nuove immagini dei cattivi. Ha funzionato splendidamente quando le immagini erano scarse, ma si è confusa quando i cattivi e i buoni sembravano troppo simili.

Riepilogo Tecnico: Gestione delle Sfide dei Dati nelle Attività di Sicurezza Basate su ML Utilizzando l'IA Generativa

1. Enunciato del Problema

I classificatori di machine learning (ML) sono ampiamente utilizzati per attività di cybersecurity, come il rilevamento di malware, il rilevamento di intrusioni di rete e la classificazione della privacy. Sebbene i progressi algoritmici siano stati il focus principale della ricerca, le sfide dei dati intrinseche ai domini di sicurezza hanno ricevuto scarsa attenzione, spesso risultando in limiti di prestazioni. Gli autori identificano cinque sfide critiche relative ai dati:

Dati di addestramento limitati o distorti: Compresa una grave squilibrio delle classi, pattern di attacco sottorappresentati e dimensioni del campione insufficienti a causa dell'alto costo dell'etichettatura e della competenza di dominio.
Alta dimensionalità: Le caratteristiche spesso superano migliaia di dimensioni, esacerbando la "maledizione della dimensionalità".
Deriva concettuale: Gli attaccanti si adattano nel tempo, causando una divergenza della distribuzione di test rispetto alla distribuzione di addestramento dopo il dispiegamento.
Etichette rumorose e distribuzioni di classi sovrapposte: Comuni nei dati di sicurezza dove la verità fondamentale è difficile da stabilire o le classi sono intrinsecamente simili.
Esempi avversari: Sebbene notati, questo articolo si concentra principalmente sulle prime quattro sfide.

La domanda di ricerca fondamentale è se l'IA Generativa (GenAI) possa affrontare queste sfide dei dati per migliorare le prestazioni dei classificatori, specificamente arricchendo i dataset di addestramento con dati sintetici.

2. Metodologia

2.1 Configurazione Sperimentale

Lo studio valuta la GenAI su 7 diversi compiti di sicurezza (3 binari, 4 multiclasse) utilizzando dati reali sulle minacce. Questi compiti includono il rilevamento di dirottamenti BGP, il rilevamento del traffico malware basato su Tor, il rilevamento di cryptojacking IoT, la classificazione della privacy dei cookie web, la classificazione del malware Windows (MS-Malware), la classificazione del malware PE (BODMAS) e l'impronta digitale del sistema operativo (nPrintML).

Gli autori confrontano 6 modelli GenAI all'avanguardia (SoTA) progettati per dati tabulari con i metodi di aumento tradizionali:

Modelli GenAI: TVAE (VAE), CTAB-GAN+ (cGAN), TabDDPM (Diffusione), TabSyn (VAE+Diffusione), GReaT (LLM) e REaLTabFormer (LLM).
Baseline Tradizionali: SMOTE (interpolazione lineare) e MC-CCR (pulizia e riposizionamento).

2.2 Il Framework Nimai

Riconoscendo che gli strumenti GenAI esistenti offrono principalmente una generazione condizionata alla classe (creazione di campioni basata su un'etichetta) ma mancano di controllo su regioni specifiche della varietà dei dati, gli autori propongono Nimai.

Architettura: Nimai è un modello basato su VAE che utilizza uno spazio latente discreto (Vector Quantized VAE) combinato con un Modello a Token Mascherati (MTM) ispirato a BERT.
Meccanismo: A differenza dei VAE standard che utilizzano spazi latenti continui (soggetti al collasso del posteriore), Nimai discretizza i token latenti. Adotta una strategia di mascheramento in cui un sottoinsieme di caratteristiche latenti viene "annullato" e previsto in base al contesto.
Modalità di Controllo:
- Nimai-S (Condizionato al Campione): Genera campioni nelle vicinanze di campioni reali esistenti mascherando e ricostruendo le caratteristiche di un input specifico. Questo mira alle regioni sottorappresentate all'interno di una classe.
- Nimai-C (Condizionato alla Classe): Genera campioni basandosi esclusivamente su un'etichetta di classe, simile agli strumenti esistenti.
- Nimai-Ibrido: Combina entrambi gli approcci per il recupero post-dispiegamento dalla deriva.

2.3 Strategia di Valutazione

La valutazione si concentra sull'aumento dei dati prima del dispiegamento (pre-addestramento) e sul recupero rapido dopo il dispiegamento (post-addestramento).

Metrica: Guadagno relativo ( $\Delta G$ ) nel punteggio F macro (o punteggio F della classe malevola per compiti specifici) rispetto all'addestramento su dati reali solamente.
Robustezza: Gli esperimenti vengono eseguiti su 10 prove con diversi semi casuali. Le misurazioni inaffidabili (Coefficiente di Variazione $\ge$ 1) vengono segnalate.

3. Risultati Chiave

3.1 Prestazioni Pre-Dispiegamento

Successo in Ambienti Vincolati dai Dati: La GenAI ha migliorato significativamente le prestazioni in 5 compiti su 7.
- Dirottamento BGP: In un ambiente estremamente vincolato dai dati (solo ~180 campioni di addestramento, 17 malevoli), Nimai-S ha raggiunto un guadagno di prestazioni del 32,6%, superando tutte le baseline.
- IoT e MS-Malware: Nimai-S e CTAB-GAN+ hanno mostrato guadagni significativi (fino al 17,37% e 13,53% rispettivamente) in scenari altamente sbilanciati o ad alta dimensionalità.
- BODMAS (Deriva Concettuale): Per compiti che coinvolgono la deriva, gli approcci condizionati alla classe (Nimai-C, TVAE, TabDDPM) hanno generalmente superato quelli condizionati al campione, raggiungendo guadagni fino al 59,42% in specifici mesi di deriva.
Casi di Fallimento:
- Tor, Cookie, nPrintML: Gli schemi GenAI generalmente non sono riusciti a migliorare le prestazioni. Gli autori attribuiscono questo a distribuzioni di classi sovrapposte, etichette rumorose e estrema sparsità delle caratteristiche (fino al 98,66% di valori zero). In questi casi, i dati sintetici hanno spesso rafforzato i pregiudizi esistenti o non sono riusciti a risolvere l'inscindibilità delle classi.
- Fallimenti di Istanza del Modello: 5 su 6 schemi GenAI esistenti non sono riusciti ad addestrarsi o generare dati utilizzabili su almeno un compito.
  - Modelli basati su LLM (GReaT, REaLTabFormer): Non sono riusciti su 6/7 e 5/7 compiti rispettivamente a causa di problemi di scalabilità con vettori di caratteristiche ad alta dimensionalità (superamento dei limiti dei token o della memoria GPU).
  - TabDDPM: Ha sofferto di collasso delle modalità nel compito IoT, non riuscendo a generare campioni della classe di minoranza.
  - TVAE/TabSyn: Hanno faticato con dataset ad alta dimensionalità o su larga scala (ad esempio nPrintML, Cookie).

3.2 Post-Dispiegamento (Deriva Concettuale)

Recupero Rapido: Gli autori hanno dimostrato che un approccio Nimai-Ibrido può recuperare dalla deriva concettuale con un minimo sforzo di etichettatura.
Efficienza: Utilizzando il campionamento basato sull'incertezza per selezionare un piccolo sottoinsieme di dati derivati (anche solo 64 campioni etichettati) e applicando la generazione condizionata al campione, il sistema ha raggiunto un aumento delle prestazioni del 60,4% nei mesi più colpiti del compito BODMAS, superando il riaddestramento sul piccolo sottoinsieme da solo (baseline INSOMNIA).

3.3 Meccanismo di Miglioramento

L'analisi approfondita utilizzando LIME e metriche di distribuzione (entropia e asimmetria) ha rivelato che l'aumento di successo (ad esempio nei compiti IoT e BGP) ha ridotto l'asimmetria delle caratteristiche e aumentato l'entropia, mitigando efficacemente i pregiudizi nel dataset reale e promuovendo distribuzioni di caratteristiche più simmetriche, il che aiuta la generalizzazione del classificatore.

4. Contributi Chiave

Valutazione Sistematica: Il primo studio a valutare sistematicamente 6 modelli GenAI all'avanguardia per dati tabulari su 7 diversi compiti di sicurezza, identificando sia opportunità che significativi modi di fallimento.
Framework Nimai: Introduzione di uno schema innovativo basato su VAE con spazio latente discreto e modellazione a token mascherati, che abilita la sintesi di dati condizionata al campione altamente controllata per affrontare i pregiudizi intra-classe.
Recupero dalla Deriva: Dimostrazione di una strategia GenAI ibrida per l'adattamento rapido post-dispiegamento alla deriva concettuale con un minimo etichettatura umana.
Analisi dei Fallimenti: Identificazione di caratteristiche specifiche del compito (etichette rumorose, distribuzioni sovrapposte, caratteristiche sparse) che ostacolano le prestazioni della GenAI, e la scoperta che i generatori tabulari basati su LLM attuali non sono ancora scalabili per dati di sicurezza ad alta dimensionalità.

5. Significato e Affermazioni

Gli autori affermano che il loro studio fornisce una perspective equilibrata sull'utilità della GenAI nella sicurezza. Sostengono che, sebbene la GenAI non sia una soluzione "adatta a tutto" e abbia difficoltà con specifiche patologie dei dati (come rumore e sovrapposizione), possiede un potenziale significativo e inesplorato per affrontare la scarsità e i pregiudizi dei dati nelle attività di sicurezza.

L'articolo ipotizza che i progressi futuri nei classificatori di sicurezza potrebbero essere bloccati da limitazioni dei dati piuttosto che algoritmiche. Sviluppando strumenti GenAI in grado di sintetizzare efficacemente dati sintetici controllati e di alta qualità, la comunità può "riaccendere il progresso" per problemi di sicurezza in cui l'innovazione algoritmica ha raggiunto un plateau. Gli autori sottolineano che il loro lavoro è un passo verso lo sviluppo di strumenti GenAI specificamente adattati alla natura avversaria e vincolata dai dati della cybersecurity, piuttosto che semplicemente applicare modelli pronti all'uso.