Technische Samenvatting: Een Multi-Task Mixture of Experts Framework voor Malware Classificatie, Packing Detectie en Familie Attributie

Probleemstelling

Malware-analyse staat voor aanzienlijke uitdagingen door de inherente heterogeniteit van malware-data, de prevalentie van gepakte (packed) en geobfusceerde binaries, en de diverse distributie van malwarefamilies. Traditionele single-model detectiemechanismen hebben vaak moeite om te generaliseren over deze uiteenlopende datadistributies, wat leidt tot gedegradeerde prestaties, met name bij zeldzame of zwaar geobfusceerde monsters. Bovendien vertrouwen bestaande frameworks vaak op monolithische architecturen die proberen meerdere heterogene doelstellingen (bijv. familieclassificatie, packing detectie en benign/malware discriminatie) simultaan te optimaliseren. Deze aanpak resulteert vaak in "negative task transfer", waarbij de conflicterende structurele en semantische vereisten van verschillende taken elkaar verstoren, waardoor het model wordt verhinderd effectieve representaties voor alle doelstellingen te leren.

Methodologie

De auteurs stellen een verenigd multi-task learning framework voor op basis van Mixture of Experts (MoE) architecturen om deze beperkingen aan te pakken. De kernhypothese is dat het opdelen van het probleem in gespecialiseerde expert-netwerken, gecoördineerd door adaptieve gating-mechanismen, effectief taakspecifiek leren mogelijk maakt terwijl de schaalbaarheid behouden blijft.

1. Input Representaties

Het framework evalueert de prestaties over twee verschillende input modaliteiten:

• Gestructureerde EMBER Features: Hoogdimensionale (2.381-dimensionale) numerieke beschrijvers geëxtraheerd uit Portable Executable (PE) bestanden met behulp van het EMBER-framework. Deze omvatten geparseerde PE-metadata, header-informatie, sectiekenmerken, import/export tabellen, en vorm-agnostische byte-histogrammen en entropie-maten.
• Ruwe 1D Image Representaties: Directe conversie van ruwe executable bytes naar een één-dimensionale grayscale intensiteitsreeks (getest bij lengtes van 1.024, 4.096 en 16.384 bytes), waardoor het model kan leren van low-level binaire data zonder expliciete feature engineering.

2. Architecturale Varianten

De studie onderzoekt systematisch drie MoE-paradigma's:

• Homogene MoE (Homo-MoE): Maakt gebruik van drie identieke expert-netwerken en een enkele gedeelde gating-netwerk. Alle experts delen dezelfde architectuur (Dense lagen) maar leren verschillende feature-patronen. Het maakt gebruik van een Expected Squared Error loss en een reconstructie-regularisator om de betekenisvolheid van de latente ruimte te waarborgen.
• Heterogene MoE (Hetero-MoE): Combineert structureel diverse experts (bijv. één met skip-verbindingen, één met inkrimpende dimensies, één met bottleneck-lagen) om complementaire informatie te vangen. Het maakt gebruik van Negative Log-Likelihood (NLL) loss om competitief leren tussen de diverse structuren te bevorderen.
• Multi-Gate Mixture of Experts (MMoE): Specifiek ontworpen voor multi-task scenario's, deze architectuur maakt gebruik van onafhankelijke taakspecifieke gating-netwerken. In plaats van een enkele gate die inputs routeert voor alle taken, stelt MMoE elke taak (Familie Classificatie, Packing Detectie, Benign/Malware Identificatie) in staat om onafhankelijk de output van experts te selecteren en te wegen. Dit ontkoppelt het routingproces om negatieve transfer tussen taken te mitigeren.

3. Training en Evaluatie Strategie

• Multi-Task Doelstellingen: Het framework voert simultaan drie taken uit:
  1. Malware familie classificatie (multi-class).
  2. Packed vs. unpacked detectie (binair).
  3. Malware vs. benign identificatie (binair).
• Adversariële Robuustheid: Om de veerkracht te evalueren, gebruiken de auteurs PyMetaEngine om gemuteerde malware-monsters te genereren, waardoor adversariële datasets worden gecreëerd die distributieverschuivingen introduceren terwijl de programmasemantiek behouden blijft.
• Metrieken: Prestaties worden gemeten met behulp van Accuracy, F1-score en een Combined Detection Rate (CDR), waarbij alle drie de taken correct moeten zijn voor een monster om als succes te worden geteld. De Attack Success Rate (ASR) wordt gedefinieerd als $1 - CDR$.

Belangrijkste Bijdragen

1. Verenigde Multi-Task Formulering: Het paper formuleert malware-analyse als een enkel framework dat familieclassificatie, packing detectie en malware/benign separatie integreert, waarmee wordt afgestapt van geïsoleerde single-task modellen.
2. Architecturale Onderzoek: Het ontwerpt en evalueert Homogene, Heterogene en Multi-Gate MoE architecturen, waarbij de impact van expert-diversiteit en gating-strategieën op malware-analyse wordt belicht.
3. Feature Representatie Vergelijking: Er wordt een uitgebreide comparatieve analyse uitgevoerd tussen gestructureerde EMBER features en ruwe 1D image representaties binnen de MoE-context.
4. Robuustheidsevaluatie: De modellen worden getest onder distributieverschuivingen geïnduceerd door mutatie-gebaseerde metamorfische adversariële aanvallen om de real-world veerkracht te beoordelen.
5. Empirische Bevindingen: De studie demonstreert dat de Multi-Gate MoE (MMoE) superieure prestaties en stabiliteit bereikt, met name bij het gebruik van gestructureerde EMBER features en mutatie-geaugmenteerde trainingsdata.

Experimentele Resultaten

De experimenten werden uitgevoerd op een dataset van 66.400 PE-bestanden (26.400 malware, 40.000 benign) over meerdere willekeurige seeds.

• Standaard Prestaties (EMBER Features): Het MMoE-model behaalde de hoogste baseline Combined Detection Rate (CDR) van 0.9670, waarmee het Homogene MoE (0.9466) en Heterogene MoE (0.9425) overtrof. MMoE vertoonde ook de laagste Attack Success Rate (ASR) van 3.35%.
• Adversariële Robuustheid (Gemuteerde Monsters): Bij het testen tegen gemuteerde monsters (Dataset D2), behield MMoE een CDR van 0.9342, terwijl Homogene en Heterogene MoE modellen significante dalingen leden naar respectievelijk 0.8635 en 0.8577. Dit duidt op de superieure capaciteit van MMoE om met distributieverschuivingen om te gaan.
• Impact van Data Augmentatie: Het trainen van MMoE op een dataset die is geaugmenteerd met gemuteerde monsters (Dataset D3) verbeterde de prestaties verder, waarbij een CDR van 0.9744 werd bereikt met een ASR van slechts 2.56%.
• Raw 1D Image Resultaten: Bij het gebruik van ruwe 1D byte-representaties presteerde de Heterogene MoE beter dan MMoE (CDR 0.9585 vs. 0.9478). Dit suggereert dat voor ruwe data architecturale diversiteit in experts mogelijk nuttiger is dan taakspecifieke gating, terwijl voor gestructureerde features taakspecifieke gating cruciaal is.
• Efficiëntie: Het MMoE-model demonstreerde een hoge computationele efficiëntie, met een testtijd van ongeveer 2.05 µs per monster.

Betekenis en Claims

Het paper claimt dat het voorgestelde framework een veelbelovende richting biedt voor schaalbare en veerkrachtige malware-detectiesystemen. De primaire betekenis ligt in de demonstratie dat taakspecifieke expert-routing (via MMoE) de nauwkeurigheid en generalisatie aanzienlijk verbetert vergeleken met verenigde gating-strategieën, met name in complexe, heterogene malware-distributies.

De auteurs merken bescheiden op dat het voordeel van taakspecifieke gating niet onafhankelijk is van de input-representatie; het is het meest effectief wanneer het gekoppeld wordt aan de semantische rijkdom van gestructureerde EMBER features. Terwijl ruwe 1D representaties meer profiteren van heterogene expert-structuren, vormt het MMoE-framework met EMBER features de meest robuuste configuratie voor het aanpakken van de diverse uitdagingen van moderne malware, inclus_of packing en metamorfische mutaties. Het werk benadrukt dat expert-specialisatie en conditional computation effectieve mechanismen zijn om interferentie tussen gelijktijdige beveiligingsdoelstellingen te verminderen.