FOCA: Multimodal Malware Classification via Hyperbolic Cross-Attention

Technische Samenvatting: FOCA – Multimodale Malware Classificatie via Hyperbolische Cross-Attention

Probleemstelling
Malware-classificatie staat voor een voortdurende "kat-en-muis"-uitdaging waarbij aanvallers gebruikmaken van obfuscatie en polymorfisme om traditionele op handtekeningen gebaseerde verdedigingen te omzeilen. Hoewel machine learning- en deep learning-benaderingen de detectie hebben verbeterd, worstelen ze vaak met evoluerende dreigingen. Recent onderzoek heeft verkend om ruwe binaire bestanden om te zetten in alternatieve modaliteiten, zoals afbeeldingen (visueel) en audio (golfvormen), om gebruik te maken van pre-trained modellen. Echter, bestaande multimodale fusiemethoden vertrouwen doorgaans op de Euclidische ruimte, die faalt in het vastleggen van de intrinsieke hiërarchische relaties tussen verschillende datamodaliteiten. Specifiek, terwijl audio-representaties fijnmazige byte-gebaseerde kenmerken kunnen coderen en visuele representaties hogere-orde structurele patronen kunnen vastleggen, modelleren huidige fusiestrategieën (bijv. eenvoudige concatenatie of standaard cross-attention) deze hiërarchie niet expliciet, wat hun potentieel voor robuuste classificatie beperkt.

Methodologie
De auteurs stellen FOCA (FusiOn with Hyperbolic Cross-Attention) voor, een framework ontworpen om audio- en visuele modaliteiten te fuseren binnen een hyperbolische ruimte om hun hiërarchische afhankelijkheden beter te modelleren. De methodologie verloopt via de volgende fasen:

1. Binary-to-X Transformatie:

   • Audio Modaliteit: Ruwe byte-sequenties uit APK-dex-bestanden worden in kaart gebracht naar continue tijdreeks-golfvorm monsters (.wav bestanden).
   • Visuele Modaliteit: Ruwe bytes worden behandeld als ongesigneerde integers (0–255), geconcateneerd in een 1D-array en hervormd tot 2D-matrices waarbij header-, data- en resterende secties worden toegewezen aan RGB-kanalen, wat de creatie van afbeelding-representaties mogelijk maakt.

2. Representatie Extractie:

   • Audio: State-of-the-art (SOTA) pre-trained modellen (PTM's)—Wav2vec2, WavLM en HuBERT—worden gebruikt om 768-dimensionale embeddings te extraheren via mean pooling uit hun laatste verborgen lagen.
   • Visueel: SOTA vision PTM's—ResNet50, VGG19 en ViT—worden gebruikt om embeddings (2048, 4096 of 768 dimensies) te extraheren via average pooling.
   • Unimodale Verwerking: Geëxtraheerde kenmerken gaan door een CNN-gebaseerde architectuur (twee 1D-CNN lagen met max pooling) voordat ze de fusiemodule ingaan.

3. Hyperbolische Fusie (FOCA Kern):

   • Hyperbolische Projectie: Euclidische kenmerken worden geprojecteerd in de Poincaré-bal ($B^d$) met behulp van de exponentiële kaart bij de oorsprong.
   • Hyperbolische Cross-Attention (HCA): Een nieuw mechanisme dat audio- en visuele modaliteiten uitlijnt. In tegenstelling tot standaard aandacht, berekent HCA aandachtgewichten met behulp van de hyperbolische afstand ($d_H$) in de Poincaré-bal, wat zorgt voor een krommingsbewuste uitlijning van queries, keys en values.
   • Möbius Fusie: De geattendeerde waarden worden geaggregeerd met behulp van Möbius-optelling ($\oplus_H$) en scalaire vermenigvuldiging ($\otimes_H$), operaties die specifiek zijn voor de hyperbolische geometrie. De uiteindelijke gefuseerde representatie wordt via de logaritmische kaart teruggekaatst naar de Euclidische ruimte voor classificatie.

Belangrijkste Bijdragen
Het artikel claimt drie primaire bijdragen:

1. Eerste Verkenning van Hiërarchie: Het is de eerste studie die de hiërarchische relatie tussen audio (fijnmazig) en visuele (structurele) modaliteiten expliciet onderzoekt en modelleert voor malware-classificatie.
2. Nieuw Framework (FOCA): De voorstel van een multimodale framework die gebruikmaakt van de hyperbolische ruimte om deze modaliteiten te fuseren, waarbij een Hyperbolic Cross-Attention mechanisme en een Möbius-optelling-gebaseerde fusielaag worden geïntroduceerd.
3. Empirische Superieuriteit: Uit uitgebreide experimenten blijkt dat FOCA consistent presteert boven unimodale modellen en de Euclidische-gebaseerde multimodale baselines (inclusief eenvoudige concatenatie en standaard cross-attention), waarmee het nieuwe state-of-the-art (SOTA) prestaties vestigt.

Experimentele Resultaten
Het framework werd geëvalueerd op twee benchmark-datasets: Mal-Net (gefilterd naar 8.000 samples over 10 klassen) en CICMalDroid2020 (17.341 samples over 5 klassen).

• Prestaties: FOCA behaalde de hoogste nauwkeurigheid en macro-F1 scores over alle geteste configuraties.
  • Op CICMalDroid2020 bereikte de beste configuratie (HuBERT $\oplus_H$ ViT) 99,10% nauwkeurigheid en 98,85% macro-F1, waarmee het de vorige SOTA (Yang et al.) die 98,52% nauwkeurigheid rapporteerde, overtrof.
  • Op Mal-Net bereikte de beste configuratie 82,84% nauwkeurigheid, waarmee het de vorige SOTA (Samaneh et al. op 41,73% en Scott et al. op 70,12%) overtrof.
• Vergelijkende Analyse:
  • FOCA presteerde consequent beter dan eenvoudige concatenatie en Euclidische cross-attention baselines.
  • t-SNE visualisaties gaven aan dat FOCA meer onderscheidende en compacte clusters produceert vergeleken met Euclidische cross-attention, wat wijst op een betere scheiding van malware-families.
  • Onder de unimodale baselines presteerden audio-representaties over het algemeen beter dan visuele representaties, hoewel geen enkel audio-model de overhand had over beide datasets.

Betekenis en Claims
De auteurs positioneren dit werk als een pioniersstap in malware-classificatie door hiërarchische relatiemodellering te verbinden met geometrie-bewuste benaderingen. Zij claimen dat FOCA de eerste studie is die gebruikmaakt van de hyperbolische ruimte voor de fusie van multimodale representaties in malware-classificatie. Door voorbij de Euclidische beperkingen te gaan, biedt het framework een fundamenteel voordeel bij het uitlijnen van modaliteiten met verschillende abstractieniveaus. Het werk vestigt de hyperbolische multimodale fusie als een veelbelovende nieuwe richting voor het vakgebied, en biedt een robuuste oplossing die zich aanpast aan de evoluerende aard van malware-dreigingen. De code en getrainde modellen worden publiekelijk beschikbaar gesteld om reproduceerbaarheid te ondersteunen.