Riepilogo Tecnico: MambaNetBurst

Enunciato del Problema

La classificazione del traffico di rete e il rilevamento delle intrusioni sono fondamentali per la cybersecurity, tuttavia gli approcci all'avanguardia spesso si basano su pipeline complesse e dispendiose in termini di risorse. I metodi dominanti attuali tipicamente coinvolgono:

1. Pre-addestramento Pesante: Utilizzo di obiettivi auto-supervisionati (ad es., Modellazione Linguistica Mascherata, Previsione del Token Successivo) su dataset massicci prima del fine-tuning, un processo costoso e dispendioso in termini di tempo.
2. Aggregazione Precoce: Per gestire in modo efficiente lunghe sequenze di input, i modelli esistenti applicano spesso tokenizzazione, patching o striding. Questo sottocampionamento può diluire informazioni strutturali dettagliate a livello di byte (ad es., intestazioni di protocollo, firme del payload) essenziali per un rilevamento accurato delle minacce.
3. Inefficienza Architetturale: Le architetture basate su Transformer, sebbene potenti, soffrono di complessità dell'attenzione quadratica o richiedono strati feed-forward pesanti anche con varianti di attenzione lineare, rendendole computazionalmente costose per sequenze di byte grezzi.

Il documento ipotizza che queste complessità possano essere inutili. Mette in discussione se la modellazione diretta dei byte dei pacchetti grezzi possa eliminare la necessità di pre-addestramento, rappresentazioni ingegnerizzate o sottocampionamento precoce, specialmente quando si sfruttano efficienti Modelli di Spazio di Stato (SSM).

Metodologia: MambaNetBurst

Gli autori propongono MambaNetBurst, un classificatore di sequenze a livello di byte, compatto e privo di tokenizzatore, basato su un'architettura Mamba-2. L'architettura opera come segue:

• Costruzione dell'Input: Il modello elabora i flussi di rete selezionando i primi $n$ pacchetti (predefinito $n=5$). Da ciascun pacchetto, vengono mantenuti i primi $m$ byte (predefinito $m=320$), formando un burst di lunghezza fissa di 1600 byte. Questo preserva i confini dei pacchetti e si concentra su intestazioni informative e payload iniziali.
• Embedding Senza Tokenizzatore: A differenza dei metodi che mappano i byte in token di sottoparole, MambaNetBurst mappa i valori byte grezzi (0–255) direttamente in vettori di embedding apprendibili ($d_{model}=256$). Un leggero MLP a due strati proietta questi embedding per arricchire le caratteristiche locali prima della modellazione della sequenza.
• Modellazione della Sequenza: La sequenza di byte, a cui viene aggiunto un token [CLS] apprendibile ed embedding posizionali, è elaborata da uno stack di blocchi Mamba-2 pre-normalizzati residui.
  • Specifiche di Mamba-2: Il modello utilizza la Dualità dello Spazio di Stato Strutturato (SSD), riformulando il calcolo centrale in operazioni compatibili con GEMM. Crucialmente, Mamba-2 impiega una matrice di transizione vincolata ($A = \alpha I$, scalare moltiplicato per l'identità) anziché la matrice diagonale flessibile utilizzata in Mamba-1.
• Classificazione: L'ultimo stato nascosto del token [CLS] viene passato attraverso un layer lineare e softmax per una classificazione supervisionata end-to-end.
• Nessun Pre-addestramento: Il modello è addestrato esclusivamente tramite perdita di entropia incrociata supervisionata, bypassando qualsiasi fase di pre-addestramento auto-supervisionato.

Contributi Chiave

1. Primo Mamba-2 Diretto da Byte a Classificazione: MambaNetBurst è il primo lavoro ad applicare Mamba-2 direttamente ai byte grezzi dei pacchetti di rete per la classificazione del traffico senza tokenizzazione, patching o pre-addestramento.
2. Validazione delle Dinamiche Vincolate: Il documento dimostra che la struttura di transizione ristretta di Mamba-2 (scalare $\times$ identità) non è solo sufficiente per la modellazione dei byte dei pacchetti, ma agisce come un regolarizzatore benefico, migliorando la coerenza tra i dataset rispetto al più flessibile Mamba-1.
3. Eliminazione del Pre-addestramento: Lo studio dimostra che rappresentazioni discriminative del traffico possono essere apprese direttamente dai byte grezzi in un contesto completamente supervisionato, rimuovendo la necessità delle costose pipeline a due stadi (pre-addestramento + fine-tuning) dominanti nella letteratura.
4. Ablazione Completa: Gli autori forniscono un'analisi estesa su strategie di embedding, codifica posizionale, striding, profondità del modello e dimensioni dello stato, rivelando che preservare la risoluzione temporale a livello di byte è critico e che dimensioni dello stato moderate ($d_{state}=16-64$) sono sufficienti.

Risultati Sperimentali

Il modello è stato valutato su sei benchmark pubblici che coprono l'identificazione di app mobili crittografate, traffico VPN/Tor, classificazione di malware e attacchi IoT.

• Prestazioni: MambaNetBurst ha ottenuto risultati costantemente forti, spesso superando o eguagliando baseline significativamente più pesanti e pre-addestrate (ad es., ET-BERT, YaTC, NetMamba).
  • Su ISCXTor2016, ha raggiunto un macro-F1 di 0.9990, superando NetMamba (0.9986) ed ET-BERT (0.9967).
  • Su USTC-TFC2016 (Malware), ha raggiunto 0.9954 macro-F1, superando NetMamba (0.9957) ed ET-BERT (0.9910).
  • Su CrossPlatform (Android/iOS), ha ottenuto punteggi macro-F1 di 0.9824 e 0.9851 rispettivamente, competitivi o superiori ai Transformer pre-addestrati.
• Efficienza:
  • Velocità di Addestramento: Mamba-2 ha dimostrato un accelerazione del 30–60% nei passaggi di retropropagazione rispetto a Mamba-1 e un'inferenza significativamente più veloce rispetto ai Transformer Lineari con FlashAttention-2.
  • Memoria: Ha utilizzato 2–4$\times$ meno memoria GPU rispetto alle varianti Transformer, consentendo dimensioni di batch più grandi su hardware commerciale (ad es., RTX 3090).
• Insights dall'Ablazione:
  • Lo Striding è Dannoso: Il sottocampionamento precoce (striding) ha causato il degrado delle prestazioni più significativo, confermando che l'ordine dettagliato dei byte è critico.
  • Mamba-2 vs. Mamba-1: Mamba-2 ha mostrato una migliore prestazione media e una varianza inferiore tra i dataset, suggerendo che i suoi vincoli agiscono come un regolarizzatore implicito.
  • Profondità e Dimensione: Una profondità moderata (4 strati) e dimensioni dello stato (16–64) sono state sufficienti; aumentare la dimensione dello stato a 128 ha degradato le prestazioni, indicando che una memoria latente massiccia è inutile per questa modalità.

Significato e Affermazioni

Il documento afferma che MambaNetBurst stabilisce un nuovo paradigma pratico per l'analisi del traffico di rete:

• Fattibilità dell'Apprendimento Diretto: Mette in discussione l'assunzione secondo cui pipeline di pre-addestramento costose siano necessarie per la classificazione del traffico all'avanguardia. Si dimostra che l'apprendimento diretto e non diluito da byte a classificazione con SSM compatti è altamente efficace.
• Efficienza e Distribuzione: Evitando il pre-addestramento e sfruttando l'efficienza hardware di Mamba-2, l'approccio offre una soluzione più semplice, veloce e più facilmente distribuibile, specialmente per ambienti con risorse limitate o scenari che richiedono riaddestramenti frequenti (ad es., NIDS).
• Robustezza della Modellazione a Livello di Byte: I risultati suggeriscono che preservare la risoluzione nativa dei byte dei pacchetti è più importante che massimizzare la flessibilità del sistema dinamico latente o aggregare i dati precocemente.

Gli autori concludono che questo lavoro apre direzioni promettenti per gli SSM a livello di byte nella cybersecurity, offrendo un'alternativa più semplice alle pipeline complesse e pesanti in termini di pre-addestramento che attualmente dominano il settore.