Automated Malware Family Classification using Weighted Hierarchical Ensembles of Large Language Models

Probleemstelling

De classificatie van malware-families blijft een uitdaging in de automatische malware-analyse, vooral in real-world scenario's gekenmerkt door obsfuscatie, packing en snel evoluerende bedreigingen. Bestaande machine learning- en deep learning-benaderingen hebben vaak de volgende beperkingen:

• Ze zijn afhankelijk van gelabelde datasets en handgemaakte features.
• Ze vereisen kostbare dynamische analyse (sandboxing).
• Ze presteren slecht bij concept drift en bij onbekende malware-families in een "open-world" setting.
• Bestaande Large Language Model (LLM)-pipelines vertrouwen vaak op single-model inferentie of vlakke (flat) ensemble-methoden, wat leidt tot inconsistente voorspellingen en instabiliteit.

Methodologie

Het paper stelt een zero-label framework voor voor malware-familie-classificatie dat geen gebruik maakt van supervised training, fine-tuning of dynamische uitvoering. De kern van de methode is een gewogen hiërarchisch ensemble van vooraf getrainde LLM's.

1. Data en Prompting:

• Dataset: De SBAN-dataset (Source-Binary-Assembly-Natural Language) wordt gebruikt, specifiek het subset met Windows PE-malware.
• Zero-Shot Prompting: Alle modellen krijgen dezelfde vaste prompt om een malware-stuk code in precies één van de tien gedefinieerde families te classificeren. Er worden geen voorbeelden (few-shot) gebruikt.
• Modellen: Een ensemble van vier LLM's wordt gebruikt: Qwen3-4B, CodeLLaMA-7B, GPT-4.1 en GPT-5.1. (DeepSeekCoder werd uitgesloten vanwege slechte prestaties).

2. Normalisatie en Validatie:

• Ruwe outputs van LLM's worden genormaliseerd (synoniemen zoals "Backdoor" en "RAT" worden gekoppeld) en gevalideerd om ongeldige antwoorden te verwijderen.

3. Gewogen Hiërarchisch Ensemble (De Kern):
In plaats van een simpele meerderheidsstemming, wordt een drie-staps proces toegepast:

• Stap 1: Gewogen Familie Stemming. Elke LLM krijgt een betrouwbaarheidsgewicht ($w_i$) gebaseerd op hun macro-F1-score op een klein, menselijk gelabeld "gouden" dataset (200 samples). Als een familie een gewogen meerderheid (>50%) bereikt, wordt deze direct gekozen.
• Stap 2: Gedragsgroepering (Behavior-Group Consolidation). Als er geen duidelijke meerderheid is, worden de voorspellingen gegroepeerd in bredere gedragscategorieën (bijv. "Trojan-achtig", "Self-replicating", "Installer"). De gewichten worden op groepsniveau samengevoegd. Als een groep de drempel haalt, wordt de best scorende familie binnen die groep gekozen.
• Stap 3: Specificiteits-gebaseerde Beslissing. Bij gelijkspel wordt een vooraf gedefinieerde rangschikking gebruikt die specifiekere, gedragsinformatieve labels prefereert (bijv. "Backdoor" boven "Trojan").

Belangrijkste Bijdragen

1. Decision-Level Classificatie: Het probleem wordt geformuleerd als een aggregatie van beslissingen van LLM's, waardoor afhankelijkheid van feature-engineering en retraining wordt verwijderd.
2. Performance-Aware Weighting: Een schema dat modellen gewicht geeft op basis van hun prestaties (macro-F1), wat de robuustheid verhoogt en de impact van instabiele modellen vermindert.
3. Hiërarchisch Beslissingsframework: Een structuur die eerst grove gedragspatronen onderscheidt en vervolgens fijne familie-labels toewijst, wat semantische ambiguïteit tussen overlappende families vermindert.
4. Comprehensieve Evaluatie: Uitgebreide experimenten tonen aan dat de methode superieur is aan individuele modellen en niet-gewogen ensemble-methoden, zelfs zonder gelabelde trainingsdata.

Resultaten

De evaluatie werd uitgevoerd op een gouden dataset van 200 malware-samples:

• Individuele Modellen: Toonden hoge variabiliteit. GPT-4.1 had de hoogste nauwkeurigheid (71%), maar GPT-5.1 had de beste balans (Macro-F1 0,427). CodeLLaMA presteerde slecht.
• Ensemble Vergelijking:
  • Uniforme Stemming: Verbeterde de nauwkeurigheid naar 74% (boven de beste individuele modellen).
  • Gewogen Stemming (zonder hiërarchie): Presteerde iets minder dan uniforme stemming (73,5%), wat aangeeft dat gewicht alleen niet genoeg is.
  • Gewogen Hiërarchisch Ensemble (Final): Bereikte de hoogste nauwkeurigheid van 75% en een Macro-F1 van 0,481.
• Conclusie: De combinatie van gewogen aggregatie en hiërarchische besluitvorming leidt tot de meest stabiele en nauwkeurige resultaten, vooral door het oplossen van verwarring tussen semantisch overlappende families (zoals Trojan, Backdoor en Spyware).

Betekenis en Toekomst

Dit werk demonstreert dat decision-level ensembling van LLM's een praktische en interpreteerbare aanpak is voor schaalbare malware-classificatie in open-world scenario's waar gelabelde data schaars is.

• Robuustheid: Het framework is minder gevoelig voor obsfuscatie en prompt-variaties dan single-model benaderingen.
• Interpreteerbaarheid: De hiërarchische structuur volgt de redenering van een menselijke analist (eerst gedrag, dan familie).
• Beperkingen: De huidige evaluatie is beperkt tot statische code en een relatief kleine gouden dataset.
• Toekomstig Werk: Uitbreiding naar grotere corpora, data-gedreven hiërarchie-inductie en het integreren van lichte dynamische signalen.

Samenvattend biedt dit paper een nieuwe, effectieve route voor malware-analyse die de beperkingen van traditionele ML-methoden omzeilt door gebruik te maken van het semantische begrip van LLM's, versterkt door een slimme ensemble-strategie.