Résumé Technique : MambaNetBurst

Énoncé du Problème

La classification du trafic réseau et la détection d'intrusion sont essentielles pour la cybersécurité, pourtant les approches les plus avancées reposent souvent sur des pipelines complexes et gourmands en ressources. Les méthodes dominantes actuelles impliquent généralement :

1. Pré-entraînement Lourds : Utilisation d'objectifs auto-supervisés (par exemple, Modélisation de Langage Masqué, Prédiction du Token Suivant) sur des ensembles de données massifs avant le fine-tuning, ce qui est coûteux et long.
2. Agrégation Précoce : Pour gérer efficacement de longues séquences d'entrée, les modèles existants appliquent souvent une tokenisation, un découpage par patches ou un pas de défilement (striding). Ce sous-échantillonnage peut diluer les informations structurelles fines au niveau des octets (par exemple, en-têtes de protocole, signatures de charge utile) essentielles à une détection précise des menaces.
3. Inefficacité Architecturale : Les architectures basées sur les Transformers, bien que puissantes, souffrent d'une complexité d'attention quadratique ou nécessitent des couches feed-forward lourdes même avec des variantes d'attention linéaire, ce qui les rend coûteuses en calcul pour les séquences brutes d'octets.

L'article postule que ces complexités peuvent être inutiles. Il remet en question la nécessité d'une modélisation directe des octets bruts des paquets pour éliminer le besoin de pré-entraînement, de représentations conçues ou de sous-échantillonnage précoce, en particulier lors de l'exploitation de Modèles d'Espace d'État (SSM) efficaces.

Méthodologie : MambaNetBurst

Les auteurs proposent MambaNetBurst, un classificateur de séquences au niveau des octets, compact et sans tokeniseur, construit sur une base Mamba-2. L'architecture fonctionne comme suit :

• Construction de l'Entrée : Le modèle traite les flux réseau en sélectionnant les premiers $n$ paquets (par défaut $n=5$). De chaque paquet, les premiers $m$ octets (par défaut $m=320$) sont conservés, formant une rafale fixe de 1600 octets. Cela préserve les limites des paquets et se concentre sur les en-têtes informatifs et les charges utiles initiales.
• Encodage Sans Tokeniseur : Contrairement aux méthodes qui mappent les octets vers des tokens de sous-mots, MambaNetBurst mappe directement les valeurs d'octets bruts (0–255) vers des vecteurs d'encodage apprenables ($d_{model}=256$). Un MLP léger à deux couches projette ces encodages pour enrichir les caractéristiques locales avant la modélisation de séquence.
• Modélisation de Séquence : La séquence d'octets, complétée par un token [CLS] apprenable et des encodages de position, est traitée par une pile de blocs Mamba-2 résiduels pré-normalisés.
  • Spécificités de Mamba-2 : Le modèle utilise la Dualité d'Espace d'État Structuré (SSD), reformulant le calcul central en opérations compatibles GEMM. Crucialement, Mamba-2 emploie une matrice de transition contrainte ($A = \alpha I$, scalaire fois identité) plutôt que la matrice diagonale flexible utilisée dans Mamba-1.
• Classification : Le dernier état caché du token [CLS] est transmis à travers une couche linéaire et un softmax pour une classification supervisée de bout en bout.
• Absence de Pré-entraînement : Le modèle est entraîné uniquement via une perte d'entropie croisée supervisée, contournant toute étape de pré-entraînement auto-supervisé.

Contributions Clés

1. Premier Mamba-2 Direct Octet-vers-Classification : MambaNetBurst est le premier travail à appliquer Mamba-2 directement aux octets bruts des paquets réseau pour la classification de trafic, sans tokenisation, découpage par patches ou pré-entraînement.
2. Validation des Dynamiques Contraintes : L'article démontre que la structure de transition restreinte de Mamba-2 (scalaire $\times$ identité) n'est pas seulement suffisante pour la modélisation des octets de paquets, mais agit comme un régularisateur bénéfique, améliorant la cohérence entre les ensembles de données par rapport au Mamba-1 plus flexible.
3. Élimination du Pré-entraînement : L'étude prouve que des représentations discriminatives du trafic peuvent être apprises directement à partir des octets bruts dans un cadre entièrement supervisé, éliminant le besoin des pipelines coûteux en deux étapes (pré-entraînement + fine-tuning) dominants dans la littérature.
4. Ablation Complète : Les auteurs fournissent une analyse extensive sur les stratégies d'encodage, le codage de position, le pas de défilement (striding), la profondeur du modèle et les tailles d'état, révélant que la préservation de la résolution temporelle au niveau des octets est critique et que des tailles d'état modérées ($d_{state}=16-64$) sont suffisantes.

Résultats Expérimentaux

Le modèle a été évalué sur six benchmarks publics couvrant l'identification d'applications mobiles chiffrées, le trafic VPN/Tor, la classification de malwares et les attaques IoT.

• Performance : MambaNetBurst a obtenu des résultats constamment solides, surpassant ou égalant souvent des bases de référence beaucoup plus lourdes et pré-entraînées (par exemple, ET-BERT, YaTC, NetMamba).
  • Sur ISCXTor2016, il a atteint un macro-F1 de 0,9990, surpassant NetMamba (0,9986) et ET-BERT (0,9967).
  • Sur USTC-TFC2016 (Malwares), il a atteint 0,9954 macro-F1, surpassant NetMamba (0,9957) et ET-BERT (0,9910).
  • Sur CrossPlatform (Android/iOS), il a obtenu des scores macro-F1 de 0,9824 et 0,9851 respectivement, compétitifs ou supérieurs aux Transformers pré-entraînés.
• Efficacité :
  • Vitesse d'Entraînement : Mamba-2 a démontré une accélération de 30 à 60 % dans les passes de rétropropagation par rapport à Mamba-1 et une inférence significativement plus rapide que les Transformers linéaires avec FlashAttention-2.
  • Mémoire : Il a utilisé 2 à 4 fois moins de mémoire GPU que les variantes Transformer, permettant des tailles de lot plus importantes sur du matériel grand public (par exemple, RTX 3090).
• Insights d'Ablation :
  • Le Pas de Défilement est Nocif : Le sous-échantillonnage précoce (pas de défilement) a causé la dégradation de performance la plus significative, confirmant que l'ordre fin des octets est critique.
  • Mamba-2 vs Mamba-1 : Mamba-2 a montré une meilleure performance moyenne et une variance plus faible entre les ensembles de données, suggérant que ses contraintes agissent comme un régularisateur implicite.
  • Profondeur et Taille : Une profondeur modérée (4 couches) et des tailles d'état (16–64) étaient suffisantes ; l'augmentation de la taille d'état à 128 a dégradé les performances, indiquant qu'une mémoire latente massive est inutile pour cette modalité.

Signification et Revendications

L'article revendique que MambaNetBurst établit un nouveau paradigme pratique pour l'analyse du trafic réseau :

• Faisabilité de l'Apprentissage Direct : Il remet en question l'hypothèse selon laquelle des pipelines de pré-entraînement coûteux sont nécessaires pour une classification de trafic de pointe. L'apprentissage direct et non dilué de l'octet vers la classification avec des SSM compacts s'avère hautement efficace.
• Efficacité et Déployabilité : En évitant le pré-entraînement et en exploitant l'efficacité matérielle de Mamba-2, l'approche offre une solution plus simple, plus rapide et plus déployable, en particulier pour des environnements aux ressources limitées ou des scénarios nécessitant un réentraînement fréquent (par exemple, NIDS).
• Robustesse de la Modélisation au Niveau des Octets : Les résultats suggèrent que la préservation de la résolution native des octets de paquets est plus importante que la maximisation de la flexibilité du système dynamique latent ou l'agrégation précoce des données.

Les auteurs concluent que ce travail ouvre des directions prometteuses pour les SSM au niveau des octets en cybersécurité, offrant une alternative plus simple aux pipelines complexes et lourds en pré-entraînement qui dominent actuellement le domaine.