Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

技術要約：ネットワーク・テレスコープのシーケンスに対する対照学習と相関クラスタリング

問題提起
本論文は、ネットワーク・テレスコープによって生成される膨大かつ不均一で、大部分がラベル付けされていないデータの中から、インターネット・スキャナーの活動を分析するという課題に取り組んでいる。ネットワークスキャン検出における従来のアプローチは、手動で設計された統計モデル、ヒューリスティック、または教師あり学習に依存することが多く、これらには重大な限界がある。教師あり学習の手法は、高品質なアノテーションの不足や、同一の組織的コンテキスト内であっても変化する動的なスキャニング行動によって困難に直面している。また、既存の非教師あり表現学習手法（IP2VecやDarkVecのようなWord2Vecベースのアプローチ）は、多くの場合、埋め込みを特定の訓練データに紐付けてしまうため、未知のソースへの汎用性や、合成データによる拡張なしに意味的な関係を捉える能力に制限がある。本研究で調査される核心的な問いは、事前学習やアノテーションを用いることなく、対照学習を用いることで、ネットワークフロー記録のシーケンス間の意味のあるペアの関係を推定できるかどうかである。

手法
著者らは、トランスフォーマーベースのアーキテクチャと、対照学習および相関クラスタリングを組み合わせたフレームワークを提案している。

1. データ前処理: UCSDネットワーク・テレスコープから収集されたネットワークフロー記録（送信元IP、宛先IP、ポート、プロトコル、タイムスタンプ）を、送信元IPごとにグループ化する。これらを時系列順にソートし、固定長（128レコード）のサブシーケンスに分割する。
2. Transformerエンコーダーモデル:
   • レコード埋め込み: 個々のレコードは、その構成要素を個別に処理することで埋め込まれる。IPアドレスのオクテットは、IP空間の構造を捉えるために$\mathbb{R}^8$へと埋め込まれる。宛先ポート、プロトコル、およびログスケール化された時間差は、それぞれ$\mathbb{R}^{16}$、$\mathbb{R}^4$、$\mathbb{R}^{16}$へと埋め込まれる。これらは結合され、線形層を介して128次元のベクトルへと写像される。
   • シーケンスエンコーディング: 標準的なトランスフォーマー・エンコーダー（4レイヤー、4アテンションヘッド）が、レコード埋め込みのシーケンスを処理して依存関係を捉える。平均プーリング（Mean pooling）を適用して固定サイズのシーケンス表現を生成し、これをさらにプロジェクションヘッドに通すことで、最終的なシーケンス埋め込みを出力する。
3. 対照学習の目的関数:
   • モデルはNT-Xent損失（正規化温度スケール付きクロスエントロピー損失）を用いて訓練される。
   • ポジティブ・ペア: 同一の送信元IPアドレスに由来する異なるサブシーケンスとして定義される。これは、合成データによる拡張ではなく、自然に発生する一貫性を活用している。
   • ネガティブ・ペア: 異なる送信元IPアドレスに由来するサブシーケンスとして定義される。
   • サンプリング戦略: 送信元IP活動のロングテール分布に対処するため、ソースを選択する確率がレコード数のべき乗（$\alpha=0.5$）に比例する重み付きサンプリング戦略を採用し、頻度の高いソースと低いソースの影響のバランスをとっている。
4. 相関クラスタリング:
   • 学習された類似性に基づいてシーケンスをグループ化するために、著者らは相関クラスタリング問題を定式化している。距離ベースのクラスタリング（k-meansなど）とは異なり、これはクラスターの数やサイズに関する事前の仮定を必要としない。
   • コスト関数は、類似と非類似のペアを区別するためのオフセットパラメータ$\delta$によってシフトされた、埋め込みのコサイン類似度に基づいて定義される。
   • この問題は、貪欲な加法的エッジ収縮アルゴリズムを用いて局所的に解かれる。

主な結果
実験は、UCSDテレスコープから派生したデータセット（訓練データ、既知のソースからの未知のシーケンス、未知のソースからの未知のシーケンスを含む）を用いて行われた。

• ソース識別: モデルはソース固有の情報を正常に学習している。同一の送信元IPからのシーケンスは、異なるソースからのシーケンスと比較して、有意に高いコサイン類似性を示す（既知のソースでは平均 $\approx$ 0.93、未知のソースでは $\approx$ 0.89）。これは、訓練時に見られなかったソースからのシーケンスにおいても成立する。
• アノテーションとの意味的一貫性: 疎なスキャナーネットワークのアノテーション（Censys、Shodanなど）に対して評価を行ったところ、同一のスキャナーネットワーク内のシーケンスは、クラス間よりもクラス内において高い類似性を示した。ただし、その分離はソース識別ほど明確ではなく、クラス内の分布は二峰性であった。著者らは、スキャナーネットワークが完全に均質なグループではないことや、異なるインフラストラクチャが同様のスキャニング戦略を採用している可能性があることを理由に挙げている。
• クラスタリング性能: 学習された埋め込みに適用された相関クラスタリングは、高い性能を達成した。50%のラベルなしバックグラウンドトラフィックを含むテストセットにおいて、スキャナーネットワークのグループを復元するための重み付きF1スコアは、0 own 0.913（既知のソースからの未知のシーケンス）および 0.917（未知のソースからの未知のシーケンス）であった。
• 汎用性: 学習された表現は、未知のソースおよび未知のシーケンスに対して効果的に汎用されており、モデルが単に特定のIPアドレスを記憶しているのではなく、スキャナーの振る舞いの構造的特性を捉えていることを示している。

意義と主張
本論文は、対照学習を用いることで、最小限の前処理しか施されていないネットワークフローのシーケンスから、教師なしで意味のある構造を抽出できると主張している。主な意義は以下の点にある：

1. 生のデータのみから、ソース固有の情報およびスキャナーに関連する構造を復元できること。
2. 大量のラベルなしバックグラウンドトラフィックが存在する場合でも、スキャナー活動の探索的分析およびクラスタリングを実行できること。
3. 未知のソースや振る舞いに対して汎用性を持ち、教師あり学習の主要な限界に対処していること。

著者らは、使用されたスキャナーアノテーションが疎であり、粗粒度であることを指摘し、控えめなトーンを維持している。クラス内類似度とクラス間類似度の分布の重なりは、埋め込み空間にアノテーションでは完全には捉えきれていない構造が存在することを示唆している。したがって、本研究は探索的なものとして提示されており、ネットワークトラフィック分析における非教師あり表現学習の実現可能性を確立すると同時に、埋め込み空間内の意味的構造を完全に理解するためのさらなる研究の必要性を強調している。