技術的概要：MambaNetBurst

問題定義

ネットワークトラフィック分類と侵入検知はサイバーセキュリティにおいて極めて重要であるが、最先端のアプローチは往々にして複雑でリソース集約的なパイプラインに依存している。現在の支配的な手法は通常、以下の要素を含む：

1. 大規模な事前学習: 大規模データセット上で自己教師あり目的（例：マスク言語モデル、次のトークン予測）を用いた事前学習を行い、その後微調整を行う。これはコストが高く、時間がかかる。
2. 早期集約: 長い入力シーケンスを効率的に処理するため、既存のモデルは多くの場合、トークン化、パッチ化、またはストライディングを適用する。このダウンサンプリングは、正確な脅威検出に不可欠な微細なバイトレベルの構造的情報（例：プロトコルヘッダ、ペイロード署名）を希薄化させる可能性がある。
3. アーキテクチャの非効率性: 強力な Transformer ベースのアーキテクチャは、線形アテンション変種を用いた場合でも、二次的なアテンション計算量の課題に直面するか、重たいフィードフォワード層を必要とし、生バイトシーケンスに対して計算コストが高くなる。

本論文は、これらの複雑さが不要である可能性を指摘している。特に効率的な状態空間モデル（SSM）を活用する場合、生パケットバイトの直接モデル化によって、事前学習、設計された表現、または早期ダウンサンプリングの必要性を排除できるかどうかを問うている。

手法：MambaNetBurst

著者は、Mamba-2をバックボーンとした、コンパクトでトークナイザ不要、バイトレベルのシーケンス分類器であるMambaNetBurstを提案する。アーキテクチャは以下のように動作する：

• 入力構築: モデルはネットワークフローを処理する際、最初の $n$ パケット（デフォルト $n=5$）を選択する。各パケットから最初の $m$ バイト（デフォルト $m=320$）を保持し、1600 バイトの固定長バーストを形成する。これによりパケット境界が保持され、情報量の多いヘッダと初期ペイロードに焦点が当てられる。
• トークナイザ不要な埋め込み: バイトをサブワードトークンにマッピングする手法とは異なり、MambaNetBurst は生バイト値（0–255）を直接学習可能な埋め込みベクトル（$d_{model}=256$）にマッピングする。軽量な 2 層 MLP がこれらの埋め込みを投影し、シーケンスモデリング前に局所特徴を豊かにする。
• シーケンスモデリング: 学習可能な [CLS] トークンと位置エンコーディングを付加したバイトシーケンスは、残差事前正規化されたMamba-2 ブロックのスタックによって処理される。
  • Mamba-2 の specifics: モデルは構造化状態空間双対性（SSD）を利用し、コア計算を GEMM 友好型の操作に再定式化する。重要なのは、Mamba-2 が Mamba-1 で使用された柔軟な対角行列ではなく、制約された遷移行列（$A = \alpha I$、スカラー×単位行列）を採用している点である。
• 分類: [CLS] トークンの最終隠れ状態は、線形層と softmax を経由して、エンドツーエンドの教師あり分類に供される。
• 事前学習なし: モデルは、自己教師あり事前学習ステージを一切バイパスし、純粋に教師あり交差エントロピー損失によって訓練される。

主要な貢献

1. 初の直接バイトから分類への Mamba-2 適用: MambaNetBurst は、トークン化、パッチ化、事前学習なしで、生ネットワークパケットバイトに直接 Mamba-2 を適用し、トラフィック分類を行う最初の研究である。
2. 制約されたダイナミクスの実証: 本論文は、Mamba-2 の制限された遷移構造（スカラー×単位行列）がパケットバイトモデル化にとって十分であるだけでなく、有益な正則化剤として機能し、より柔軟な Mamba-1 と比較してデータセット間の一貫性を向上させることを実証している。
3. 事前学習の排除: 本研究は、判別性のあるトラフィック表現が、完全な教師あり設定において生バイトから直接学習可能であることを証明し、文献で支配的な高コストな 2 段階（事前学習＋微調整）パイプラインの必要性を排除した。
4. 包括的なアブレーション: 著者は、埋め込み戦略、位置エンコーディング、ストライディング、モデルの深さ、状態サイズに関する広範な分析を提供し、バイトレベルの時間分解能を保持することが重要であり、中程度の状態サイズ（$d_{state}=16-64$）で十分であることを明らかにした。

実験結果

モデルは、暗号化されたモバイルアプリの識別、VPN/Tor トラフィック、マルウェア分類、IoT 攻撃を網羅する 6 つの公開ベンチマークで評価された。

• 性能: MambaNetBurst は一貫して強力な結果を達成し、しばしばはるかに重く事前学習されたベースライン（例：ET-BERT、YaTC、NetMamba）を上回るか同等の性能を示した。
  • ISCXTor2016において、マクロ F1 値0.9990を達成し、NetMamba（0.9986）および ET-BERT（0.9967）を上回った。
  • USTC-TFC2016（マルウェア）において、0.9954のマクロ F1 値に達し、NetMamba（0.9957）および ET-BERT（0.9910）を上回った。
  • CrossPlatform（Android/iOS）において、それぞれマクロ F1 スコア0.9824および0.9851を達成し、事前学習済み Transformer と同等かそれ以上の性能を示した。
• 効率性:
  • 訓練速度: Mamba-2 は、Mamba-1 に比べて逆伝播で30–60% の高速化を示し、FlashAttention-2 を用いた線形 Transformer よりも著しく高速な推論を実現した。
  • メモリ: Transformer 変種に比べて 2–4$\times$少ない GPU メモリを使用し、RTX 3090 などの汎用ハードウェア上でより大きなバッチサイズを可能にした。
• アブレーションの知見:
  • ストライディングは有害: 早期ダウンサンプリング（ストライディング）が最も顕著な性能低下を引き起こし、微細なバイト順序の重要性を確認した。
  • Mamba-2 vs. Mamba-1: Mamba-2 はデータセット全体でより良い平均性能と低い分散を示し、その制約が暗黙的な正則化剤として機能することを示唆した。
  • 深さとサイズ: 中程度の深さ（4 層）と状態サイズ（16–64）で十分であり、状態サイズを 128 に増やすと性能が低下した。これは、このモダリティに対して巨大な潜在メモリが不要であることを示している。

意義と主張

本論文は、MambaNetBurstがネットワークトラフィック分析における新しい実用的なパラダイムを確立すると主張している：

• 直接学習の実現可能性: 高コストな事前学習パイプラインが最先端のトラフィック分類に必要であるという仮定に挑戦する。コンパクトな SSM による直接的で希薄化されていないバイトから分類への学習が極めて有効であることを示した。
• 効率性と展開性: 事前学習を回避し、Mamba-2 のハードウェア効率性を活用することで、このアプローチはよりシンプルで高速、かつ展開可能なソリューションを提供する。特にリソース制約のある環境や、頻繁な再訓練を必要とするシナリオ（例：NIDS）において有効である。
• バイトレベルモデル化の堅牢性: 結果は、潜在ダイナミカルシステムの柔軟性を最大化したり、データを早期に集約したりすることよりも、パケットバイトのネイティブ分解能を保持する方が重要であることを示唆している。

著者は、この研究がサイバーセキュリティにおけるバイトレベル SSM の有望な方向性を開き、現在この分野を支配している複雑で事前学習に依存したパイプラインに対するよりシンプルな代替案を提供すると結論づけている。