技術要約：階層的かつ依存的な構造を持つデータにおけるクラス不均衡の影響の緩和

問題提起

Common Weakness Enumeration (CWE) タキソノミーを用いたサイバーセキュリティ脆弱性の分類には、主に2つの課題が存在する。それは、極端なクラス不均衡と、脆弱性カテゴリ間の強力な階層的依存関係である。CWEタキソノミは、抽象化レベル（Base, Class, Pillar, Variant, Compound）によって脆弱性を整理しており、上位レベルのノードは広範な概念を表し、下位レベルのノードは詳細な内容を表す。実際には、少数の脆弱性タイプがコーパスを支配する一方で、稀ではあるが影響力の大きいカテゴリは著しく過小評価されている。

BERTやRoBERTaのようなTransformerベースのエンコーダは、CWEテキスト分類において強力なベースラインとして確立されているが、クラス不均衡のために稀なカテゴリの扱いに苦慮している。さらに、CWEラベルは明示的な親子関係（例：「Variant」は常に「Base」の子である）を持っており、上位の抽象化レベルでの誤分類は下位へと連鎖する。ランダム・オーバーサンプリング、アンダーサンプリング、および合成生成技術であるSMOTE（Synthetic Minority Oversampling Technique）やADASYN（Adaptive Synthetic Sampling）といった従来の不均衡対策は広く採用されているが、階層的で構造化されたテキスト埋め込みに対するそれらの有効性は、これまでほとんど調査されていない。具体的には、高次元の埋め込み空間における線形補間が、CWEの階層構造という制約を尊重しているか否かは不明である。

手法

本研究では、異なるデータ拡張条件下における一連のモデルを評価し、学習プロセスに階層構造を直接組み込む新しいアーキテクチャを提案する。

1. 実験的ベースラインとオーバーサンプリング

著者らは、不均衡な階層的CWEデータセットに対して、機械学習（Random Forest, SVM）、ディープラーニング（CNN, BiGRU）、およびTransformerベース（BERT）のモデルを経験的に評価した。

• オーバーサンプリング: SMOTEおよびADASYNを訓練セットにのみ適用した。SMOTEは、$k$-neighbors=2を用いてすべてのクラスを393サンプルに均一化した。一方、ADASYNは境界領域の合成を集中させることで、ほぼ同等のカウントを実現した。
• モデル:
  • 古典的ML: Random Forest（100決定木）およびSVM（線形カーネル）。
  • ディープラーニング: CNN（128フィルタ、カーネルサイズ [4,6,6]）およびBiGRU（隠れ層次元128）。
  • Transformer: BERT-base (uncased) および提案手法である Hierarchy-Aware RoBERTa。
  • 学習: すべてのディープラーニングモデルは、バッチサイズ8、15エポックで学習された。

2. 提案手法: Hierarchy-Aware RoBERTa

本論文では、学習可能な親クラスの埋め込みを通じて、CWEの構造情報を明示的に組み込む Hierarchy-Aware RoBERTa フレームワークを導入している。

• アーキテクチャ: 本モデルは、入力テキストから768次元の [CLS] 表象を生成するために、事前学習済みのSecureBERTエンコーダを利用する。
• 階層的注入: 粗粒度な構造的関係を捉えるために、学習可能な親カテゴリの埋め込み（24次元）を導入する。この埋め込みはネットワークと共に共同で学習される。
• 融合: 意味的表象（$h_{cls}$）と階層的コンテキスト（$h_p$）は、結合（concatenation）によって融合される：$h_f = [h_{cls}, h_p]$。
• 分類: 融合された表象はドロップアウト（0.3）で正規化され、線形分類ヘッドに渡されてロジットを出力する。
• 定式化: タスクは、独立した予測 $P(Y_{child}|X_{text})$ ではなく、構造的事前分布として「Parent ID」を利用した条件付き確率問題 $P(Y_{child}|X_{text}, Y_{parent})$ としてフレーム化される。

主な貢献

1. 経験的評価: 本研究は、不均衡な階層的CWEデータセットにおける、SMOTEおよびADASYNリサンプリングを用いたML、DL、およびTransformerモデルの包括的な評価を提供している。
2. 合成補間の分析: 著者らは、高次元の埋め込み空間における合成補間が、固有の親子制約を逸脱することを実証した。古典的MLモデルにはわずかな利益をもたらすものの、これらの手法はディープラーニングアーキテクチャの性能を一貫して低下させる。
3. Hierarchy-Awareモデル: 学習可能な親クラスの埋め込みを通じてCWEの構造的事前分布を注入し、意味的内容と階層構造のエンドツーエンドの共同モデリングを可能にする、Hierarchy-Aware RoBERTaモデルを導入した。
4. 性能向上: 提案モデルは、データ拡張なしで加重F1スコア0.76を達成し、すべてのベースラインを上回った。特筆すべきは、「Class」カテゴリのF1スコアがBERTの0.49から0.60へと向上した点である。

結果

• オーバーサンプリングの影響:
  • 古典的ML: SMOTEおよびADASYNは、Random Forest（精度が0.65から0.69へ上昇）およびSVM（精度は0.71–0.72付近で安定）に対して、弱いがポジティブな改善をもたらした。
  • ディープラーニング: オーバーサンプリングは一貫して性能を低下させた。バニラなCNNの精度は、SMOTEにより0.71から0.55へ、ADASYNにより0.51へと低下した。BiGRUは、それぞれ0.70から0.53（SMOTE）、および0.44（ADASYN）へと低下した。
  • Transformer: BERTはデータ拡張なしで0.74の精度を達成した。提案されたHierarchy-Aware RoBERTaは、最高の精度である0.76を達成した。
• クラス別性能:
  • 提案モデルは、BERT（0.73）、CNN（ベースライン0.68）、BiGRU（ベースライン0.69）と比較して、最も高い加重F1スコア（0.76）を達成した。
  • 少数クラスにおいて顕著な利得が見られた。例えば、「Class」カテゴリのF1スコアは、BERTの0.49からHierarchy-Aware RoBERTaの0.60へと向上した。
  • 極めて疎なカテゴリ（CompoundおよびPillar）は、すべてのモデルにおいてF1スコア0.00のままであり、深刻なデータ希薄性における教師あり学習の限界を浮き彫りにした。

意義と主張

本論文は、構造化された脆弱性分類において、階層認識型の表現学習がオーバーサンプリングよりも原理的な代替案であると主張している。著者らは、合成補間技術（SMOTE/ADASYN）がこの領域で失敗する理由として、以下の点を挙げている：

1. それらは、高次元のコンテキスト空間において言語的な一貫性を欠くサンプルを生成する。
2. それらはCWEタキソノミーの構造的依存関係（例：「Variant」は「Base」なしには存在できない）を逸脱し、モデルを混乱させる構造的に無効な埋め込みを作成する。
3. それらはサンプルをフラットな特徴空間における独立した実体として扱い、エラーが親から子へと連鎖するCWEのツリー構造グラフとしての性質を無視している。

学習可能な埋め込みを通じて親子関係を明示的にモデル化することで、提案されたフレームワークは、合成データ生成によって導入されるノイズなしに、構造的一貫性を強制し、少数クラスおよび意味的に依存するクラスの識別能を向上させている。

限界

著者らは、いくつかの限界についても謙虚に認めている：

• 推論への依存: モデルは、推論時にも親レベルのメタデータが利用可能であることを前提としている。これは粗から密へのパイプラインとは一致するが、すべてのシナリオに適しているとは限らない。
• 静的な階層: 階層は固定されているものとして扱われる。CWEタキソノミーの継続的な更新を考慮すると、再学習なしでは新しいノードや再配置されたノードに汎化できない可能性がある。
• 階層の範囲: 直接の親情報のみが捉えられており、マルチホップの先祖、兄弟関係、およびツリーの深さが考慮されていない。これは、CompoundやPillarのような深くネストされたクラスに対する性能を制限している。
• パラメータのオーバーヘッド: 学習可能な親クラスの埋め込みは、わずかなパラメータのオーバーヘッドを追加し、これが非常に大規模なタキソノミーへのスケーリングを妨げる可能性がある。
• ドメイン特異性: 本アプローチはCWEドメイン内でのみ評価されており、他の階層的タスクに対する汎用性は経験的に検証されていない。