LLM-Generated Samples for Android Malware Detection

Sintesi Tecnica: Campioni Generati da LLM per il Rilevamento di Malware Android

Definizione del Problema
Il malware per Android continua a evolversi rapidamente attraverso l'offuscamento e il polimorfismo, sfidando sia le difese basate su firme che i modelli di machine learning (ML). Un collo di bottiglia critico nello sviluppo di sistemi di rilevamento robusti è la scarsità di dati, in particolare per specifiche famiglie di malware e comportamenti, il che porta a dataset sbilanciati e ostacola la generalizzazione dei classificatori. Sebbene la generazione di dati sintetici sia stata proposta come rimedio, l'efficacia specifica dei Large Language Models (LLM) nel generare record di malware strutturati ed efficaci per l'addestramento di modelli di rilevamento rimane poco esplorata. La letteratura esistente manca di una valutazione empirica su come il malware Android sintetico generato da LLM influenzi le prestazioni di rilevamento quando utilizzato per l'augmentation o come fonte di addestramento autonoma.

Metodologia
Questo studio utilizza il dataset KronoDroid, selezionato per il suo spazio di caratteristiche ibrido statico-dinamico, la suddivisione bilanciata tra malware e benigno e le caratteristiche interpretabili dall'uomo. La ricerca si concentra su tre distinte famiglie di malware: BankBot (trojan bancario), Locker/SLocker (ransomware) e Airpush/StopSMS (adware/SMS trojan).

La metodologia principale prevede un processo in tre fasi:

1. Preparazione dei Dati: Gli autori hanno selezionato sottoinsiemi di dispositivi reali dal dataset KronoDroid, mantenendo un rapporto 1:1 tra campioni malevoli e benigni. Le caratteristiche sono state preelaborate per rimuovere identificatori e metadati, imputando i valori 'None' a zero e filtrando le colonne sparse, risultando in un set finale di 387 caratteristiche numeriche.
2. Fine-Tuning e Generazione tramite LLM: Gli autori hanno effettuato il fine-tuning di GPT-4.1-mini per generare record di malware strutturati. Per aggirare i filtri di sicurezza relativi a termini come "malware", i nomi delle caratteristiche sono stati sanificati (ad esempio, "malware" $\to$ "app"). Il team ha inizialmente tentato la generazione in formato CSV, ma ha riscontrato inconsistenze strutturali; di conseguenza, si è spostato sui formati JSON/JSONL, che si sono rivelati più stabili per gli LLM.
   • Strategia di Fine-Tuning: Sono state testate due configurazioni. Per BankBot e Locker/SLocker, sono stati utilizzati 50 campioni rappresentativi per famiglia per un singolo epoch. Per Airpush/StopSMS, il set è stato aumentato a 150 campioni su 3 epoch per testare la sensibilità al volume dei dati e alla profondità dell'addestramento.
   • Prompt Engineering: I prompt sono stati ottimizzati per imporre realismo strutturale, unicità e corretta etichettatura. La post-elaborazione ha comportato la rimozione dei duplicati e la gestione delle allucinazioni (ad esempio, pattern di chiamate di sistema non realistici).
3. Valutazione Sperimentale: Lo studio ha valutato cinque classificatori (k-Nearest Neighbors, Decision Trees, Logistic Regression, Multilayer Perceptron e Random Forest) attraverso tre scenari:
   • Solo Real (Real-only): Addestramento su malware reali e dati benigni.
   • Real + Synthetic (Real + Synthetic): Augmentation del malware reale con campioni generati da LLM.
   • Solo Synthetic (Synthetic-only): Addestramento esclusivamente su malware sintetico e dati benigni reali, seguito da test su malware reali.

Risultati Chiave
I risultati sperimentali, validati attraverso 45 combinazioni (3 famiglie $\times$ 5 classificatori $\times$ 3 scenari), rivelano livelli di prestazione distinti:

• Addestramento Solo Real (Real-Only Training): Ha raggiunto un rilevamento quasi perfetto in tutte le famiglie. Per BankBot, modelli come Logistic Regression e Random Forest hanno raggiunto un'accuratezza e un ROC AUC di 1.000. Anche le famiglie Locker e Airpush hanno mostrato alte prestazioni (Accuratezza $\approx$ 0,97–0,99), confermando che una quantità sufficiente di dati reali produce una discriminazione eccellente.
• Augmentation Real + Synthetic: L'aggiunta di campioni generati da LLM ha preservato le alte prestazioni, ma ha prodotto lievi e costanti degradazioni rispetto all'addestramento solo su dati reali. Ad esempio, l'accuratezza di BankBot è scesa leggermente da 1.000 a circa 0,99. Fondamentalmente, il tasso di falsi positivi è rimasto molto basso (<0,04), indicando che l'augmentation sintetica non compromette la specificità.
• Addestramento Solo Synthetic (Synthetic-Only Training): Le prestazioni sono state miste e altamente dipendenti dalla famiglia di malware e dalla strategia di fine-tuning:
  • BankBot & Locker/SLocker: I modelli addestrati esclusivamente su dati sintetici hanno ottenuto scarse prestazioni quando testati su dati reali. L'accuratezza variava da 0,50 a 0,74, con un recall estremamente basso (ad esempio, 0,05 per Locker), suggerendo che i dati sintetici non sono riusciti a catturare le necessarie caratteristiche distributive per queste famiglie.
  • Airpush/StopSMS: Questa famiglia ha mostrato una generalizzazione significativamente migliore (Accuratezza $\approx$ 0,80–0,89, Recall $\approx$ 0,61–0,79). Questo miglioramento è correlato al set di fine-tuning più ampio (150 campioni) e a un addestramento più profondo (3 epoch), suggerendo che la fedeltà sintetica migliora con l'aumento del volume dei dati e della profondità dell'addestramento.

Contributi Principali
Il documento apporta due contributi primari:

1. Utilità dell'Augmentation: Dimostra che l'augmentation di dataset reali scarsi con malware generati da LLM può aumentare la dimensione del dataset senza compromettere significativamente l'accuratezza del rilevamento o la specificità.
2. Limiti di Fattibilità del Solo Synthetic: Fornisce prove empiriche del fatto che, sebbene gli LLM possano generare record strutturalmente coerenti, sono attualmente insufficienti come fonte di addestramento autonoma per il rilevamento del malware. L'efficacia dell'addestramento solo-sintetico è altamente sensibile alle caratteristiche della famiglia di malware e alla profondità del processo di fine-tuning.

Significato e Rivendicazioni
Gli autori posizionano questo lavoro come un'esplorazione pratica dell'utilità degli LLM nell'analisi della cybersecurity piuttosto che come una svolta nelle metriche di rilevamento grezze. Lo studio afferma che:

• Il dato sintetico è un supplemento, non un sostituto: Il malware generato da LLM può affrontare efficacemente la scarsità di dati per le famiglie rare, ma non può ancora sostituire i dati reali per l'addestramento di classificatori robusti.
• È richiesta un'impostazione metodologica rigorosa: Il successo della generazione sintetica dipende fortemente dal prompt engineering, dalla post-elaborazione e dal regime specifico di fine-tuning (dimensione del campione ed epoch).
• Potenziale futuro: I risultati suggeriscono che l'aumento dei corpora di fine-tuning e degli epoch per le famiglie più grandi potrebbe colmare il divario di generalizzazione. Gli autori propongono che i dati sintetici siano applicati meglio come complemento per compiti quali l'addestramento avversario, il red-teaming e il benchmarking in ambienti in cui l'accesso a dataset reali sensibili è limitato.

In conclusione, il documento asserisce che, sebbene gli LLM offrano una via promettente per arricchire i dataset di malware, gli output attuali mancano del realismo e della diversità necessari per i modelli di rilevamento autonomi, rendendo necessario un approccio ibrido che dia priorità alla validazione dei dati reali.