Technische Samenvatting: MambaNetBurst

Probleemstelling

Netwerkverkeersclassificatie en intrusiedetectie zijn cruciaal voor cyberveiligheid, toch vertrouwen state-of-the-art benaderingen vaak op complexe, hulpbronnenintensieve pipelines. De huidige dominante methoden omvatten doorgaans:

1. Zware vooropleiding: Het gebruik van zelftoezicht-objectieven (bijv. Masked Language Modeling, Next-Token Prediction) op enorme datasets voordat fine-tuning plaatsvindt, wat kostbaar en tijdrovend is.
2. Vroege aggregatie: Om lange inputsequenties efficiënt te verwerken, passen bestaande modellen vaak tokenisatie, patching of striding toe. Deze downsampling kan fijnmazige byte-level structurele informatie (bijv. protocolheaders, payload-handtekeningen) die essentieel zijn voor nauwkeurige dreigingsdetectie, verdunnen.
3. Architectonische inefficiëntie: Transformer-gebaseerde architecturen, hoewel krachtig, lijden onder kwadratische attention-complexiteit of vereisen zware feed-forward lagen, zelfs met lineaire attention-varianten, waardoor ze computationeel duur zijn voor ruwe byte-sequenties.

Het artikel stelt dat deze complexiteiten mogelijk onnodig zijn. Het stelt de vraag of directe modellering van ruwe pakketbytes de behoefte aan vooropleiding, ontworpen representaties of vroege downsampling kan elimineren, vooral bij het benutten van efficiënte State Space Models (SSM's).

Methodologie: MambaNetBurst

De auteurs stellen MambaNetBurst voor, een compacte, tokenizer-vrije, byte-level sequentie-classificator gebouwd op een Mamba-2-ruggengraat. De architectuur werkt als volgt:

• Inputconstructie: Het model verwerkt netwerkstromen door de eerste $n$ pakketten te selecteren (standaard $n=5$). Van elk pakket worden de eerste $m$ bytes (standaard $m=320$) behouden, waardoor een vaste burst van 1600 bytes ontstaat. Dit behoudt pakketgrenzen en richt zich op informatieve headers en initiële payloads.
• Tokenizer-vrije Embedding: In tegenstelling tot methoden die bytes afbeelden op subwoord-tokens, beeldt MambaNetBurst ruwe byte-waarden (0–255) direct af op leerbare embedding-vectoren ($d_{model}=256$). Een lichtgewicht MLP met twee lagen projecteert deze embeddings om lokale kenmerken te verrijken voordat sequentiemodellering plaatsvindt.
• Sequentiemodellering: De byte-sequentie, aangevuld met een leerbare [CLS]-token en positionele embeddings, wordt verwerkt door een stapel van residu-voorgemoduleerde Mamba-2-blokken.
  • Mamba-2-specifieken: Het model maakt gebruik van Structured State Space Duality (SSD), waarbij de kernberekening wordt hervormd tot GEMM-vriendelijke operaties. Cruciaal maakt Mamba-2 gebruik van een beperkte transitiematrix ($A = \alpha I$, scalair maal identiteit) in plaats van de flexibele diagonale matrix die in Mamba-1 wordt gebruikt.
• Classificatie: De laatste verborgen staat van de [CLS]-token wordt doorgegeven aan een lineaire laag en softmax voor end-to-end supervisie-classificatie.
• Geen vooropleiding: Het model wordt uitsluitend getraind via supervisie cross-entropy-verlies, waarbij elke zelftoezicht-vooropleidingsfase wordt omzeild.

Belangrijkste Bijdragen

1. Eerste Directe Byte-naar-Classificatie Mamba-2: MambaNetBurst is het eerste werk dat Mamba-2 direct toepast op ruwe netwerk-pakketbytes voor verkeersclassificatie zonder tokenisatie, patching of vooropleiding.
2. Validatie van Beperkte Dynamiek: Het artikel toont aan dat de beperkte transitiestructuur van Mamba-2 (scalair $\times$ identiteit) niet alleen voldoende is voor pakket-byte-modellering, maar ook fungeert als een gunstige regularisator, waardoor de consistentie over datasets verbetert in vergelijking met de flexibelere Mamba-1.
3. Eliminatie van Vooropleiding: De studie bewijst dat discriminatieve verkeersrepresentaties direct kunnen worden geleerd uit ruwe bytes in een volledig supervisie-omgeving, waardoor de behoefte aan de kostbare twee-traps (vooropleiden + fine-tunen) pipelines die in de literatuur dominant zijn, wordt verwijderd.
4. Uitgebreide Ablatie: De auteurs bieden uitgebreide analyse van embedding-strategieën, positionele codering, striding, modeldiepte en staatgroottes, waarbij blijkt dat het behoud van byte-level temporele resolutie cruciaal is en dat gematigde staatgroottes ($d_{state}=16-64$) voldoende zijn.

Experimentele Resultaten

Het model werd geëvalueerd op zes publieke benchmarks die versleutelde mobiele app-identificatie, VPN/Tor-verkeer, malware-classificatie en IoT-aanvallen bestrijken.

• Prestaties: MambaNetBurst behaalde consequent sterke resultaten, waarbij het vaak aanzienlijk zwaardere, vooropgeleide baselines (bijv. ET-BERT, YaTC, NetMamba) overtrof of gelijkde.
  • Op ISCXTor2016 behaalde het een macro-F1 van 0,9990, waarmee het NetMamba (0,9986) en ET-BERT (0,9967) versloeg.
  • Op USTC-TFC2016 (Malware) bereikte het 0,9954 macro-F1, beter dan NetMamba (0,9957) en ET-BERT (0,9910).
  • Op CrossPlatform (Android/iOS) behaalde het macro-F1-scores van respectievelijk 0,9824 en 0,9851, concurrerend met of superieur aan vooropgeleide Transformers.
• Efficiëntie:
  • Trainingssnelheid: Mamba-2 toonde een 30–60% versnelling in achterwaartse passes in vergelijking met Mamba-1 en aanzienlijk snellere inferentie dan Lineaire Transformers met FlashAttention-2.
  • Geheugen: Het gebruikte 2–4$\times$ minder GPU-geheugen dan Transformer-varianten, waardoor grotere batchgroottes mogelijk zijn op handelsapparatuur (bijv. RTX 3090).
• Ablatie-inzichten:
  • Striding is Schadelijk: Vroege downsampling (striding) veroorzaakte de meest significante prestatiedegradatie, wat bevestigt dat fijnmazige byte-volgorde cruciaal is.
  • Mamba-2 versus Mamba-1: Mamba-2 toonde betere gemiddelde prestaties en lagere variantie over datasets, wat suggereert dat zijn beperkingen fungeren als een impliciete regularisator.
  • Diepte en Grootte: Gematigde diepte (4 lagen) en staatgroottes (16–64) waren voldoende; het verhogen van de staatgrootte naar 128 verslechterde de prestaties, wat aangeeft dat massief latent geheugen onnodig is voor deze modaliteit.

Betekenis en Claims

Het artikel beweert dat MambaNetBurst een nieuw, praktisch paradigma voor netwerkverkeersanalyse vestigt:

• Haalbaarheid van Direct Leren: Het daagt de aanname uit dat dure vooropleidingspipelines noodzakelijk zijn voor state-of-the-art verkeersclassificatie. Direct, onverdunnd byte-naar-classificatie leren met compacte SSM's blijkt zeer effectief.
• Efficiëntie en Implementeerbaarheid: Door vooropleiding te vermijden en te profiteren van de hardware-efficiëntie van Mamba-2, biedt de aanpak een eenvoudigere, snellere en beter implementeerbare oplossing, met name voor hulpbronnenbeperkte omgevingen of scenario's die frequente hertraining vereisen (bijv. NIDS).
• Robuustheid van Byte-level Modellering: De resultaten suggereren dat het behoud van de native resolutie van pakketbytes belangrijker is dan het maximaliseren van de flexibiliteit van het latente dynamische systeem of het vroeg aggregeren van data.

De auteurs concluderen dat dit werk veelbelovende richtingen opent voor byte-level SSM's in cyberveiligheid, en een eenvoudiger alternatief biedt voor de complexe, vooropleidingszware pipelines die momenteel het veld domineren.