Automatic Simplification of Common Vulnerabilities and Exposures Descriptions

以下は、Varpu Vehomäki と Kimmo Kaski による論文「AUTOMATIC SIMPLIFICATION OF COMMON VULNERABILITIES AND EXPOSURES DESCRIPTIONS（共通脆弱性・公開情報記述の自動簡略化）」の技術的な要約です。

1. 背景と課題 (Problem)

サイバーセキュリティ分野では、インシデント報告や脆弱性情報（CVE: Common Vulnerabilities and Exposures）の記述が高度に専門的・技術的であり、非専門家（経営層や一般ユーザー）には理解が困難です。

• 課題: 既存の自動テキスト簡略化（ATS）研究は医療や科学分野では進んでいるものの、急速に変化し複雑なサイバーセキュリティ分野では未だ研究が不足しています。
• リスク: 大規模言語モデル（LLM）を用いた簡略化において、意味の保存（Factuality）が不十分だと、重要な情報が欠落したり誤解を招いたりするリスクがあり、責任の所在や信頼性の低下を招く可能性があります。
• 目的: 非専門家向けに CVE 記述を「平易な言語（Plain Language）」で自動簡略化する手法の確立と、その評価基準の作成。

2. 手法と実験設計 (Methodology)

データセットの構築

• 対象: 2025 年に公開された CVE 記述 100 件から無作為に抽出。
• 前処理: ログ出力など非自然言語部分を除去し、自然言語のみを抽出。
• 分割:
  • 評価用テストセット: 40 件（人間による評価用）。
  • 開発用セット: 60 件（ローカルモデルの学習・評価用）。
• 半合成データ: 専門家によるフィードバックを反映して作成された「人間評価済み」の簡略化データ（リファレンスとして使用）。

提案手法とモデル

1. ベースライン（商用 LLM）:
   • GPT-4o: Azure OpenAI API を使用。
   • 処理フロー: 文レベルで簡略化し、その後ドキュメントレベルで調整。人間評価のフィードバックに基づき 2 回目に再簡略化を実施。
2. オープンソースモデル（独自システム）:
   • GemmaAgent: 40 億パラメータの Gemma 3 モデルを基盤としたエージェントシステム。
   • アーキテクチャ:
     1. 用語抽出エージェント: AITSecNER モデルを用いて、CVE 記述から「CON（条件）」「MALWARE（マルウェア）」「TACTIC（戦術）」「TECHNIQUE（手法）」「TOOL（ツール）」などの重要用語を抽出。
     2. RAG（検索拡張生成）エージェント: 抽出された用語をサイバーセキュリティ辞書・語彙データベースから検索し、用語の解説を生成。
     3. 簡略化エージェント: 元の CVE 記述と用語解説を基に、簡略化テキストを生成。

評価指標

• 自動評価指標:
  • D-SARI: 文レベルではなくドキュメントレベルでの簡略化品質を評価（参照テキストとの比較）。
  • 意味保存度: BERTScore, MeaningBERT, Semantic Similarity (Sentence-BERT)。
  • 簡易性指標: Flesch-Kincaid 読解レベル (FKGL)、平均文長、平均単語数、平均音節数、固有表現の数。
• 人間評価:
  • サイバーセキュリティ専門家 2 回（計 22 名）によるアンケート。
  • リッカート尺度（3 段階）で「理解のしやすさ」と「意味の保存」を評価。

3. 主要な結果 (Results)

自動評価指標の結果

• D-SARI スコア: 全体的に低かったが、Gemma3:4b が 0.14 で最高。GPT-4o と GemmaAgent は 0.09。
• 意味保存 (Meaning Preservation):
  • GemmaAgent と 半合成データ が最も高いスコアを記録（BERTScore: 0.56/0.60, MeaningBERT: 76.94/76.62）。
  • Gemma3:4b は意味保存スコアが低く、RAG（用語解説の追加）が意味の保存に寄与していることが示唆された。
• 簡易性 (Simplicity):
  • FKGL スコア: 元の記述 (12.45) に対し、GPT-4o が最も低く (9.49)、最も読みやすくなった。
  • GemmaAgent は FKGL が 14.20 と逆に上昇し、文が長くなったり用語説明が増えたりして複雑化したが、意味の正確性は保たれていた。
  • Gemma3:4b は文数・単語数を減らしたが、FKGL は 14.50 と悪化した。

人間評価の結果

• 40 件中、人間評価で「修正なし」で合格したのはわずか 5 件（GPT-4o による初期簡略化）。
• 残りの 35 件は専門家のフィードバックに基づき修正され、2 回目の評価へ回された。
• GPT-4o の課題: 特定の構文（例：「ユーザーがマルウェアファイルを開く必要がある」など）でガードレールにより出力が拒否されるケースがあった。また、バージョン番号の丸め処理（4.3000000025 → 4.3）など、数値の正確性に誤りが生じた。

4. 主要な貢献 (Key Contributions)

1. サイバーセキュリティ分野初の ATS ベースライン: CVE 記述の自動簡略化における初の体系的な研究と評価枠組みの確立。
2. 半合成データセットの作成: 専門家による評価とフィードバックを経て作成された、40 件の簡略化 CVE データセット（テスト・比較用）。
3. RAG を活用したエージェントシステムの提案: 用語抽出と辞書検索（RAG）を組み合わせた GemmaAgent により、意味の保存性を向上させるアプローチの実証。
4. 評価指標の限界の指摘: 自動指標（D-SARI, FKGL）と人間の評価（意味の正確性、文脈理解）の間に乖離があることを示し、特に「意味の保存」が最大の課題であることを浮き彫りにした。

5. 意義と結論 (Significance & Conclusion)

• 意味保存の重要性: 自動簡略化において、読みやすさ（FKGL の低下）だけを追求すると、重要な技術的詳細（バージョン番号や攻撃条件など）が欠落するリスクがある。特に意思決定に利用される場合、事実性の確保が不可欠である。
• 人間と AI の協働: 完全な自動化ではなく、ドメイン専門家によるフィードバックや「Human-in-the-loop」システムが、信頼性の高い簡略化には必要である。
• 今後の展望: より大規模なサイバーセキュリティ知識ベースの構築による RAG モデルの性能向上、および非専門家（最終ユーザー）を対象とした評価の実施が今後の課題である。

この研究は、LLM を活用したサイバーセキュリティ情報の民主化に向けた第一歩として、技術的な可能性と現状の限界（特に事実性の維持）を明確に示した点で重要です。