Towards Small Language Models for Security Query Generation in SOC Workflows

この論文「Towards Small Language Models for Security Query Generation in SOC Workflows（SOC ワークフローにおけるセキュリティクエリ生成のための小規模言語モデルへの道）」の技術的な要約を以下に示します。

1. 背景と課題 (Problem)

セキュリティオペレーションセンター（SOC）の分析担当者は、Kusto Query Language (KQL) を使用して、Microsoft Sentinel や Defender などの大量のテレメトリデータを調査しています。しかし、自然言語（NL）の意図を正確な KQL クエリに変換するには専門知識が必要であり、これがスケーラビリティのボトルネックとなっています。

既存の解決策として大規模言語モデル（LLM）が提案されていますが、以下の課題があります。

• コスト: 推論コストが高く、大規模な SOC 環境での展開が経済的に困難。
• レイテンシ: 応答が遅く、時間的な緊急性を要する脅威調査には不向き。
• データガバナンス: 企業データが外部の LLM API に送信されることへの懸念。

一方、小規模言語モデル（SLM: 100 億パラメータ以下）は低コスト・低レイテンシですが、ゼロショット（事前学習のみ）の状態では、構文や意味的な正しさを保つことが難しく、特に大規模で複雑なスキーマを持つ KQL 生成においては性能が不十分でした。

2. 提案手法と方法論 (Methodology)

本研究は、SLM を実用的な NL-to-KQL 変換システムに昇華させるための「3 つの直交的な改善ノブ（Knobs）」を提案し、体系的に評価しました。

A. プロンプト設計の改善 (Prompting)

• 軽量な NL2KQL の適応: 既存の NL2KQL フレームワークを SLM 向けに再実装し、重いコンポーネントを軽量なものに置き換えました（例：埋め込みモデルの Google text-embedding-004 への変更）。
• エラー認識型プロンプト (Error-Aware Prompting): KQL パーサーで一般的に発生する構文エラー（括弧の不足、区切り文字の欠落など）を特定し、モデルに具体的な修正指示を与えるプロンプトを導入。トークン数を増やさずに構文の正確性を向上させました。

B. 微調整と推論の転移 (Fine-Tuning with Rationale Distillation)

• LoRA による微調整: 大規模なモデル全体を再学習させるのではなく、LoRA (Low-Rank Adaptation) を用いてパラメータ効率よく SLM を微調整しました。
• 理由付けの蒸留 (Rationale Distillation): 教師モデル（Gemini 2.0 Flash）から生成された「思考の連鎖（Chain-of-Thought）」説明を、各 NLQ-KQL ペアに付加して学習データとしました。これにより、SLM は単に出力を覚えるだけでなく、クエリ生成の論理的なプロセス（中間推論ステップ）を学習し、構造化されたコード生成能力を強化しました。

C. 2 段階アーキテクチャ (Two-Stage Architecture)

• SLM-Oracle 構成:
  1. ステージ 1 (生成): SLM（DeepSeek Coder 6.7B Instruct）が候補クエリを高速・低コストで生成します。
  2. ステージ 2 (選別・洗練): 低コストの LLM（Oracle: Gemini 2.0 Flash）が、スキーマ情報や構文解析フィードバックを用いて、最も正確なクエリを選別し、必要に応じて修正・洗練します。
• この構成により、SLM の「速度とコスト効率」と LLM の「正確性と推論能力」を両立させました。

3. 評価と結果 (Results)

Microsoft の「NL2KQL Defender Evaluation Dataset」（230 件の NLQ-KQL ペア）と、一般化性を検証するための「Sentinel-Queries」（83 件）を用いて、5 つの SLM と 4 つの LLM を比較評価しました。

• ベースライン: ゼロショットの SLM は意味的正解率がほぼ 0 であり、テーブルやフィルタの選択も失敗していました。
• 改善効果:
  • プロンプト改善: 構文エラーの認識型プロンプトにより、構文正解率が向上しました。
  • LoRA 微調整: 教師モデルからの推論を転移させることで、意味的正確性がわずかに向上しましたが、プロンプト改善単体には劣る結果となりました。
  • 2 段階アーキテクチャ: 最も優れた結果をもたらしました。
    • Microsoft Defender データセット: 構文正解率 0.987、意味正解率 0.906。
    • Microsoft Sentinel データセット（一般化）: 構文正解率 0.964、意味正解率 0.831。
• コストと性能: このアプローチは、GPT-5 と比較して最大 10 倍のトークンコスト削減を実現しつつ、LLM 並みの高い精度を達成しました。

4. 主要な貢献 (Key Contributions)

1. SLM の体系的評価: NL-to-KQL 変換における SLM の性能を、構文・意味・レイテンシ・コストの多角的な指標で初めて体系的に評価した。
2. 軽量 NL2KQL の適応とエラー認識型プロンプト: SLM 向けに最適化された NL2KQL の再実装と、トークン増加なしに正解率を向上させるエラー認識型プロンプトの提案。
3. 推論蒸留付き LoRA 微調整: 教師モデルの推論プロセスを SLM に転移させるための、理由付け（Rationale）を付加した微調整手法の適用。
4. SLM-Oracle 2 段階アーキテクチャ: SLM による高速生成と、低コスト LLM による高精度な選別・洗練を組み合わせた、スケーラブルで実用的なセキュリティ分析フレームワークの提案。

5. 意義と結論 (Significance)

この研究は、セキュリティオペレーションにおいて、高コストな LLM に依存することなく、SLM を活用して自然言語でのクエリ生成を大規模に実現可能であることを実証しました。

• 実用性: SOC 分析担当者の業務負荷を軽減し、脅威調査の迅速化を可能にします。
• 経済性: 既存の LLM ベースのソリューションに比べ、運用コストを劇的に削減できます。
• 拡張性: 提案されたフレームワークは、KQL だけでなく、EQL や SPL などの他のセキュリティクエリ言語にも適用可能です。

結論として、SLM を適切にプロンプト設計し、軽量な LLM で補完する「2 段階アーキテクチャ」は、エンタープライズセキュリティ分析における自然言語クエリ生成の現実的でスケーラブルな基盤となり得ます。