LLM-Generated Samples for Android Malware Detection

Technische Samenvatting: Door LLM gegenereerde monsters voor Android-malware detectie

Probleemstelling
Android-malware blijft snel evolueren door middel van obfuscatie en polymorfisme, wat zowel op signature-gebaseerde verdedigingen als machine learning (ML) modellen een uitdaging vormt. Een kritieke flessenhals bij het ontwikkelen van robuuste detectiesystemen is de schaarste aan data, met name voor specifieke malwarefamilies en gedragingen, wat leidt tot ongebalanceerde datasets en de generalisatie van classificators belemmert. Hoewel synthetische data is voorgesteld als een remedie, blijft de specifieke effectiviteit van Large Language Models (LLMs) bij het genereren van gestructureerde, effectieve malware-records voor het trainen van detectiemodellen onderbelicht. De bestaande literatuur mist empirische evaluatie over hoe door LLM gegenereerde synthetische Android-malware de detectieprestaties beïnvloedt wanneer deze wordt gebruikt voor augmentatie of als een zelfstandige trainingsbron.

Methodologie
Deze studie maakt gebruik van de KronoDroid-dataset, gekozen vanwege haar hybride statische–dynamische feature-ruimte, gebalanceerde kwaadaardige/goedaardige splitsingen en menselijk interpreteerbare kenmerken. Het onderzoek richt zich op drie afzonderlijke malwarefamilies: BankBot (banking trojan), Locker/SLocker (ransomware) en Airpush/StopSMS (adware/SMS trojan).

De kernmethodologie bestaat uit een proces van drie fasen:

1. Data-voorbereiding: De auteurs selecteerden subsets van echte apparaten uit KronoDroid, waarbij een 1:1 ratio tussen malware en goedaardige samples werd gehandhaafd. Kenmerken werden voorbewerkt om identificatoren en metadata te verwijderen, waarbij 'None'-waarden werden geïmputeerd als nul en ijle kolommen werden gefilterd, wat resulteerde in een definitieve set van 387 numerieke kenmerken.
2. LLM Fine-tuning en Generatie: De auteurs hebben GPT-4.1-mini fijn afgesteld om gestructureerde malware-records te genereren. Om veiligheidsfilters met betrekking tot termen als "malware" te omzeilen, werden feature-namen gesanitiseerd (bijv. "malware" $\to$ "app"). Het team probeerde aanvankelijk CSV-generatie, maar stuitte op structurele inconsistenties; dienovereenkomstig stapten ze over op JSON/JSONL-formaten, wat bewezen stabieler was voor LLMs.
   • Fine-tuning Strategie: Twee configuraties werden getest. Voor BankBot en Locker/SLocker werden 50 representatieve samples per familie gebruikt voor één epoch. Voor Airpush/StopSMS werd deze set verhoogd naar 150 samples over 3 epochs om de gevoeligheid voor datavolume en trainingsdiepte te testen.
   • Prompt Engineering: Prompts werden geoptimaliseerd om structurele realisme, uniciteit en correcte labeling af te dwingen. Post-processing omvatte het verwijderen van duplicaten en het adresseren van hallucinaties (bijv. onrealistische systeemoproep-patronen).
3. Experimentele Evaluatie: De studie evalueerde vijf classificators (k-Nearest Neighbors, Decision Trees, Logistic Regression, Multilayer Perceptron en Random Forest) over drie scenario's:
   • Real-only: Trainen op echte malware en goedaardige data.
   • Real + Synthetic: De echte malware augmenteren met door LLM gegenereerde samples.
   • Synthetic-only: Uitsluitend trainen op synthetische malware en echte goedaardige data, en vervolgens testen op echte malware.

Belangrijkste Resultaten
De experimentele resultaten, gevalideerd over 45 combinaties (3 families $\times$ 5 classificators $\times$ 3 scenario's), onthullen duidelijke prestatieniveaus:

• Real-Only Training: Bereikte bijna perfecte detectie over alle families. Voor BankBot bereikten modellen zoals Logistic Regression en Random Forest een nauwkeurigheid van 1.000 en een ROC AUC van 1.000. De Locker- en Airpush-families vertoonden ook een hoge prestatie (Nauwkeurigheid $\approx$ 0.97–0.99), wat bevestigt dat voldoende echte data uitstekende discriminatie oplevert.
• Real + Synthetic Augmentation: Het toevoegen van door LLM gegenereerde samples behield de hoge prestaties, maar resulteerde in kleine, consistente degradaties vergeleken met real-only training. Bijvoorbeeld, de BankBot-nauwkeurigheid daalde licht van 1.000 naar ~0.99. Cruciaal is dat het False Positive Rate zeer laag bleef (<0.04), wat aangeeft dat synthetische augmentatie de specificiteit niet in gevaar brengt.
• Synthetic-Only Training: De prestaties waren gemengd en sterk afhankelijk van de malwarefamilie en de fine-tuning strategie:
  • BankBot & Locker/SLocker: Modellen die uitsluitend op synthetische data zijn getraind, presteerden slecht wanneer ze werden getest op echte data. De nauwkeurigheid varieerde van 0.50 tot 0.74, met extreem lage recall (bijv. 0.05 voor Locker), wat suggereert dat de synthetische data er niet in slaagde de noodzakelijke distributionele kenmerken voor deze families te vangen.
  • Airpush/StopSMS: Deze familie vertoonde aanzienlijk betere generalisatie (Nauwkeurigheid $\approx$ 0.80–0.89, Recall $\approx$ 0.61–0.79). Deze verbetering correleerde met de grotere fine-tuning set (150 samples) en diepere training (3 epochs), wat suggereert dat de synthetische getrouwheid verbetert bij een toename van datavolume en trainingsdiepte.

Belangrijkste Bijdragen
Het artikel levert twee primaire bijdragen:

1. Augmentatie Nut: Het demonstreert dat het augmenteren van schaarse echte datasets met door LLM gegenereerde malware de datasetomvang kan vergroten zonder de detectienauwkeurigheid of specificiteit significant te compromitteren.
2. Synthetische-Alleen Haalbaarheidslimieten: Het biedt empirisch bewijs dat hoewel LLMs structureel consistente records kunnen genereren, ze momenteel onvoldoende zijn als een zelfstandige trainingsbron voor malware-detectie. De effectiviteit van synthetische-alleen training is zeer gevoelig voor de kenmerken van de malwarefamilie en de diepte van het fine-tuning proces.

Betekenis en Claims
De auteurs positioneren dit werk als een praktische verkenning van de nut van LLM in cybersecurity-analyse in plaats van een doorbraak in ruwe detectiemetrieken. De studie claimt dat:

• Synthetische data is een supplement, geen substituut: Door LLM gegenereerde malware kan effectief de schaarste aan data voor zeldzame families aanpakken, maar kan nog niet de echte wereld data vervangen voor het trainen van robuuste classificators.
• Methodologische strengheid is vereist: Het succes van synthetische generatie hangt zwaar af van prompt engineering, post-processing en het specifieke fine-tuning regime (sample grootte en epochs).
• Toekomstig potentieel: De bevindingen suggereren dat het vergroten van de fine-tuning corpora en epochs voor grotere families de generalisatiekloof zou kunnen verkleinen. De auteurs stellen voor dat synthetische data het best kan worden toegepast als een aanvulling op taken zoals adversarial training, red-teaming en benchmarking in omgevingen waar toegang tot gevoelige real-world datasets beperkt is.

Concluderend stellen de auteurs dat hoewel LLMs een veelbelovende weg bieden voor het verrijken van malware-datasets, de huidige outputs een gebrek hebben aan het realisme en de diversiteit die nodig zijn voor zelfstandige detectiemodellen, wat een hybride aanpak noodzakelijk maakt die prioriteit geeft aan validatie met echte data.