Exploring Semantic Labeling Strategies for Third-Party Cybersecurity Risk Assessment Questionnaires

この論文は、大規模言語モデル（LLM）を直接使用する手法と比較し、少量のラベル付きデータから k-NN によりラベルを伝播させる半教師ありセマンティックラベリング（SSSL）パイプラインが、コストを大幅に削減しつつサードパーティサイバーセキュリティリスク評価質問票の検索精度を向上させることを示しています。

要約

この論文は、**「企業間のセキュリティチェック（第三者リスク評価）」**という、少し堅いテーマについて書かれています。でも、実はとても身近な話に例えることができます。

想像してみてください。あなたが新しい**「料理のレシピ集」を作ろうとしているとします。でも、そのレシピ集には1 万枚ものメモ**が散らばっていて、それぞれに「塩を少し」「火を強め」など、手書きのメモが書かれているだけだとしましょう。

ここで、ある料理人（企業）が「魚の煮付け」を作りたいとします。
この 1 万枚のメモから、「魚の煮付け」に必要なレシピだけを素早く見つけるのは、人間が全部読んでいたら何日もかかってしまいますよね？

この論文は、その**「メモの山から、必要なレシピを瞬時に見つけるための新しい整理術」**を提案しています。

---

1. 今までの方法の「困ったちゃん」

これまでのやり方は、**「キーワード検索」や「言葉の雰囲気」**で探すものでした。
例えば、「魚」という言葉が含まれているメモを探したり、「煮る」という言葉に似たメモを探したりします。

• 問題点： 「魚の煮付け」のメモを探しているのに、「魚の刺身」や「魚の干物」のメモが大量に出てきてしまったり、逆に「魚」の文字がないけど「煮付け」の要領が書いてある重要なメモが見逃されたりします。
• 結果： 必要なものが見つからず、無駄な時間がかかってしまいます。

2. 新しい方法（SSSL）の「天才的な整理術」

この論文が提案しているのは、**「AI（巨大な言語モデル）」と「賢い仲間」**を組ませたハイブリッドな方法です。

ステップ 1：グループ分け（クラスタリング）

まず、1 万枚のメモを AI が**「似ているもの同士」**でグループ分けします。

• 「煮付け系」のグループ
• 「焼く系」のグループ
• 「揚げ物系」のグループ

ステップ 2：天才 AI による「ラベル付け」

ここで、**「天才 AI（LLM）」が登場します。
でも、1 万枚すべてに「これは何？」と聞くと、お金と時間が莫大にかかります。
そこで、「グループ代表」**だけを天才 AI に見せます。

• 「このグループは『魚の煮付け』に関するメモの集まりだね！」
• 「このグループは『野菜の炒め物』だね！」

と、グループ全体に「ラベル（名前）」を 1 つだけ付けます。
これなら、1 万枚全部に聞かなくても、グループ数分（例えば 100 個）に聞けばいいので、コストが激減します。

ステップ 3：ラベルの「伝言ゲーム」（kNN）

次に、天才 AI が付けたラベルを、**「k-NN（k 近傍法）」という仕組みを使って、残りのメモに「伝言ゲーム」**のように広げます。

• 「このメモは『煮付けグループ』の隣にあるから、ラベルは『魚の煮付け』で OK！」
• 「このメモは『炒め物グループ』に近いから、ラベルは『野菜の炒め物』！」

これにより、天才 AI を呼ぶことなく、残りの 9,900 枚のメモにも自動的にラベルが付けられます。

3. なぜこれがすごいのか？（メリット）

この新しい整理術を使うと、以下のような魔法が起きます。

• コストと時間の劇的削減：
  天才 AI に全部聞く必要がなくなるので、コストは約 40% 減、時間は約 33% 短縮されました。まるで、1 万個の荷物を全部手荷物で運ぶ代わりに、コンテナ（グループ）にまとめて運ぶようなものです。
• より正確な検索：
  「魚の煮付け」を探したいとき、単に「魚」という言葉を探すのではなく、「魚の煮付け」というラベルで探せるようになります。
  • 例：「塩分控えめな煮付け」を探しても、単に「塩」が含まれる「塩焼き」が出てくるのを防げます。
• 柔軟性：
  ラベルは人間が読める言葉（「アクセス制御」「インシデント対応」など）なので、コンピュータだけでなく、人間も「あ、これはあの分野の質問だ」とすぐに理解できます。

4. 注意点（完璧ではない部分）

もちろん、完璧ではありません。
「伝言ゲーム」でラベルを広げる際、**「グループの境界線」**にあるメモだと、少しラベルがズレることがあります。

• 例えば、「煮付け」のグループと「蒸し物」のグループの中間にあるメモが、誤って「煮付け」のラベルをもらってしまうようなケースです。
• しかし、論文によると、このズレは**「ラベルを付け直すための修正作業」**で簡単に直せるレベルであり、全体としてのメリットの方が圧倒的に大きいことがわかりました。

まとめ

この論文は、**「膨大なセキュリティ質問リストを、AI と人間の知恵を組み合わせ、賢く整理して、必要なものだけを瞬時に見つけられるようにした」**というお話です。

• 昔： 1 万枚のメモを全部読んで探す（時間がかかる、間違えやすい）。
• 今： 似ているものをグループ化し、代表者にだけ AI に名前を付けてもらい、後は伝言ゲームで広げる（速い、安い、正確）。

これにより、企業がサプライヤー（取引先）のセキュリティをチェックする際、「必要な質問だけ」を素早く選んで、効率的にリスク管理ができるようになるのです。まるで、散らかった部屋を整理整頓して、必要な本がすぐに手に取れるようになったようなものですね。

技術概要

この論文「Exploring Semantic Labeling Strategies for Third-Party Cybersecurity Risk Assessment Questionnaires（第三者サイバーセキュリティリスク評価アンケートのためのセマンティックラベリング戦略の探求）」は、サプライヤー評価における第三者リスク評価（TPRA）の効率化と精度向上を目的とした、新しいハイブリッドなセマンティックラベリングフレームワーク「SSSL」を提案しています。

以下に、論文の技術的な要約を問題定義、手法、主要な貢献、結果、そして意義の観点から詳細に記述します。

1. 問題定義 (Problem)

組織は ISO/IEC 27001 や NIST などの基準に基づき、サプライヤーに対してセキュリティ評価アンケート（TPRA）を実施しています。しかし、以下の課題が存在します。

• 非構造化と手作業の限界: 既存の質問リポジトリは非構造化であり、組織のニーズやリスクプロファイルに合わせて適切な質問を選択・カスタマイズするプロセスは、依然として手作業に依存しており、時間がかかりスケーラビリティに欠けます。
• 既存の検索手法の限界: 従来の自動選択手法は、キーワードマッチングや文書埋め込み（Embedding）に基づくセマンティック類似性に依存しています。これらは表面的な意味の類似性は捉えられますが、**「制御ドメイン（例：アクセス制御、インシデント対応）」や「評価範囲（例：存在確認、重要システムへの強制）」**といった、評価の意図や文脈を明示的に捉えられていません。その結果、評価目的に合致しない汎用的な質問が選定されてしまうことがあります。
• LLM 利用のコスト: 大規模言語モデル（LLM）を用いて質問に直接ラベリングすることは可能ですが、リポジトリ全体に対して実行するとコストが高く、プロンプトのばらつきによる一貫性の問題も生じます。

2. 提案手法：ハイブリッド半教師ありセマンティックラベリング (SSSL)

著者は、LLM の高品質な生成能力と、半教師あり学習の効率性を組み合わせた**SSSL（Semi-Supervised Semantic Labeling）**フレームワークを提案しています。このプロセスは以下の 3 つのフェーズで構成されます。

フェーズ 1: 注釈フェーズ（Annotation Phase）

1. 質問の埋め込み: 未ラベルの TPRA 質問を、事前学習されたセマンティック埋め込みモデル（OpenAI の text-embedding-3-large）を用いてベクトル化します。
2. Possibilistic Clustering（可能性クラスタリング）: 質問を排他的ではなく、重なりを持つグループに分類するために「Possibilistic C-Means (PCM)」アルゴリズムを適用します。これにより、1 つの質問が複数のドメインにまたがる場合でも柔軟に扱えます。
   • 各クラスタのメンバーシップ閾値は、肘法（Elbow method）を用いて自動決定されます。
3. クラスタレベルでの LLM によるラベリング: 個々の質問ではなく、生成された「クラスタ」全体に対して LLM を 1 回呼び出します。LLM は、そのクラスタ内の質問に共通するセマンティックなラベル（例：「アクセス制御」、「インシデント対応」）を生成します。
   • 各質問は、所属するすべてのクラスタのラベルの和集合としてラベル付けされます。
   • 利点: クラスタ単位で LLM を使うことで、文脈が豊かになり、ラベルの一貫性が向上すると同時に、LLM 呼び出し回数を大幅に削減します。

フェーズ 2: 予測フェーズ（Prediction Phase）

• k-NN によるラベル伝播: 新規の質問が入力された場合、LLM を呼び出すのではなく、ラベル付きリポジトリ内の k 近傍（k-Nearest Neighbors）を埋め込み空間で検索します。
• 投票方式: 近傍質問のラベルを投票し、最も得票の多いラベルを予測ラベルとして採用します。
• OOD 処理: 近傍からの投票数が閾値（2 票以上）に満たない場合、その質問は分布外（Out-of-Distribution）とみなし、フォールバックとして LLM に委ねます。
• 利点: 推論時に LLM を使用しないため、極めて高速でコストゼロ（トークン消費なし）でのラベリングが可能です。

フェーズ 3: ラベルベース検索フェーズ（Label-based Retrieval Phase）

• 質問そのものの類似度ではなく、**「ラベル空間」**での類似度に基づいて質問を検索します。
• ユーザーの要求（例：「バックアップ頻度とインシデント対応」）を埋め込み、質問に付与されたラベルの埋め込みと照合することで、意図する制御ドメインや評価範囲に合致する質問を抽出します。

3. 主要な貢献 (Key Contributions)

1. SSSL フレームワークの提案: 非教師ありクラスタリングと LLM、k-NN を組み合わせた、大規模なコンプライアンス質問リポジトリ向けの半教師ありラベリングパイプラインを確立しました。
2. コストと精度のトレードオフの最適化: クラスタレベルでの LLM 利用と k-NN 伝播により、LLM 呼び出しを最小化しつつ、人間が解釈可能なラベル空間を構築しました。
3. 評価指標の多角的な検証: ラベルの品質（正しさ、一般化能力、一貫性）だけでなく、計算コスト（トークン数、実行時間、エネルギー消費）と、下流タスクである「質問検索の精度」を包括的に評価しました。
4. オープンソース化: 実装コード、データセット、評価スクリプトを GitHub で公開し、研究の再現性を担保しました。

4. 結果 (Results)

実験は CAIQ（クラウドセキュリティアライアンス）などの実データと合成データセットを用いて行われました。

• 計算効率とスケーラビリティ:
  • トークン削減: 従来の LLM 単独アプローチと比較して、SSSL はトークン消費を約**39.6%**削減（57,146 トークン → 34,527 トークン）。
  • 実行時間の短縮: LLM 実行フェーズで約**33.5%**の短縮（322 秒 → 214 秒）。
  • k-NN 推論の高速化: ラベル伝播フェーズでは LLM 呼び出しが不要となり、推論時間は0.22 秒、エネルギー消費は0.000002 kWh（LLM 単独の 1/1500 以下）まで低下しました。
• ラベル品質:
  • LLM 単独は正解率（4.8/5）が最も高かったものの、SSSL のクラスタレベル LLM フェーズも一貫性（4.8）と一般化能力（4.3）において同等の性能を示しました。
  • k-NN 伝播フェーズでは、正解率（1.8）と一般化能力（3.4）が低下しましたが、これは異なる規格間での転移（クロスドメイン）によるセマンティックなズレが原因であり、実用的な近似ラベリングとしては有効でした。
• 検索性能:
  • ラベルベースの検索は、従来の BM25 や単純なセマンティック類似度検索よりも、意図する制御ドメインや評価範囲に合致する質問の選定精度が高まりました（総合スコア 75 vs 70）。特に、複数のドメインをまたぐ複合クエリにおいて、ラベルを活用することで精度が向上しました。

5. 意義と結論 (Significance & Conclusion)

この研究は、TPRA プロセスにおける「質問の選択」というボトルネックを解決するための実用的なアプローチを示しています。

• 実用性: 大規模なリポジトリを管理する組織にとって、LLM の高コストを回避しつつ、構造化されたラベル空間を構築できる点は極めて重要です。これにより、評価の自動化と標準化が促進されます。
• 精度向上: 単なるテキスト類似度ではなく、「制御ドメイン」や「評価範囲」といったメタデータを明示的にラベル化することで、評価の文脈に即した質問選定が可能になり、評価の質が向上します。
• 将来展望: 本フレームワークは、将来的には組織の知識を活用した「自動回答生成」や、複数の評価間での一貫性ある回答の再利用へと拡張可能です。

総じて、SSSL は、LLM の能力を最大限に活用しつつ、そのコストと限界を半教師あり学習で補完する、サイバーセキュリティコンプライアンス分野におけるスケーラブルなソリューションとして有望です。