論文「The System Prompt Is the Attack Surface」の技術的サマリー

論文タイトル: The System Prompt Is the Attack Surface: How LLM Agent Configuration Shapes Security and Creates Exploitable Vulnerabilities
著者: Ron Litvak (Columbia University, Independent Researcher)
日付: 2026 年 3 月

1. 背景と問題提起

大規模言語モデル（LLM）は、自律的なメールエージェントとして企業や個人ワークフローに統合され、受信メールの要約、返信作成、さらにはリンクのクリックやブロックといったセキュリティ上の意思決定を自律的に行うようになっています。

従来のセキュリティ研究は、モデルのアーキテクチャやトレーニングデータに焦点を当てていましたが、本論文は**「システムプロンプト（エージェントの役割や判断基準を定義する指示）の設定」がセキュリティ姿勢を決定づける主要な変数である**と主張します。
具体的には、以下の問題が指摘されています。

• 設定の脆弱性: 同じモデルでも、システムプロンプトの文言（「セキュリティ重視」か「効率重視」か）によって、フィッシングメールの検出率が 1% 未満から 97% まで劇的に変動する。
• 最適化の逆説: 特定のシグナル（例：送信者ドメインと URL ドメインの一致）に特化したプロンプト設計は、ベンチマーク上では高い検出率を示すが、攻撃者がそのシグナルを模倣（信号の逆転）することで容易に回避可能になる。
• 誤検知のコスト: 検出率（Recall）だけでなく、正当なメールを誤ってブロックする誤検知率（FPR）のバランスが、実運用の可否を決定づける。

2. 研究方法：PhishNChips ベンチマーク

著者は、LLM エージェントのセキュリティ評価のための大規模ベンチマーク**「PhishNChips」**を構築しました。

• 規模: 11 種類のモデル × 10 種類のシステムプロンプト戦略 × 2,000 通のメール = 22 万件の評価を実施。
• モデル: GPT-4o-mini, GPT-5.2, Claude Haiku/Sonnet, Gemini 2.5/3 Flash, Llama 4, Mistral, Grok, DeepSeek, Qwen 3 など、実運用で想定される高速・低コストモデルを網羅。
• データセット:
  • フィッシングメール: 1,000 通。PhishTank や OpenPhish から取得した実際の悪意ある URL を使用し、Gemini 3 Flash によって生成された高品質なソーシャルエンジニアリング文脈を含む。
  • 正当なメール: 1,000 通。サービス通知、領収書、共有ファイルなど 8 種類のシナリオ。
  • インフラストラクチャ型フィッシング（Infrastructure Phishing）: 攻撃者が送信者ドメインと URL ドメインを一致させた 73 通の特殊なフィッシングメール。これは「送信者 -URL 一致」をシグナルとする防御策を意図的に破るためのテストセット。
• 評価指標:
  • Recall (検出率): フィッシングを正しくブロックした割合。
  • FPR (誤検知率): 正当なメールを誤ってブロックした割合。
  • Safetility: 実運用性を考慮した複合指標。FPR が閾値（10%）を超えると急激にペナルティが課されるよう設計されており、高い検出率でも誤検知が多ければ実用不可と判断される。

3. 主要な発見と結果

3.1 システムプロンプトがセキュリティを支配する

モデルの選択よりも、システムプロンプトの構成（ペルソナ）の方がセキュリティ結果に大きな影響を与えることが示されました。

• GPT-4o-mini の場合、プロンプト設定によりフィッシング回避率（Bypass Rate）が1% 未満から 97% まで変動しました。
• 「セキュリティ重視（security_first）」ペルソナは回避率を低く抑えますが、正当なメールの誤検知率（FPR）が 57% に達し実用不可能です。一方、「効率重視（efficiency_first）」は誤検知は減りますが、フィッシングの 55% 以上を許容してしまいます。

3.2 シグナルベースの最適化と「指令特異性の逆説」

特定のシグナル（送信者ドメインと URL ドメインの一致）に焦点を当てたプロンプト戦略（sender_url_match など）を開発しました。

• 成果: ベンチマーク上では、GPT-4o-mini が 93.7% の検出率、3.8% の FPR を達成し、従来の設定から劇的に改善されました。
• 逆説: すでに高い検出能力を持つモデル（Claude Haiku など）に対して、この狭いシグナルに特化した指示を与えると、検出率が 19 ポイント以上低下しました。モデルが既存の多角的な推論を捨て、プロンプトの指示された単一のシグナルに依存してしまうためです。

3.3 脆弱性の核心：インフラストラクチャ型フィッシング（信号の逆転）

最適化された防御策は、攻撃者が「送信者ドメインと URL ドメインを一致させる」ことで容易に回避可能です（信号の逆転）。

• 結果: sender_url_match 戦略を採用したモデルは、インフラストラクチャ型フィッシングに対して検出率が 40〜69 ポイントも急落しました。
• 原因分析: モデルは指示通りに「ドメイン一致」を正当性の証拠として正しく推論していますが、その前提（ドメイン一致＝安全）が攻撃者によって操作されているため、防御が崩壊します。モデルは「指示に従っている」のであり、能力不足ではありません。

3.4 モデルの「事前配置姿勢（Pre-deployment Disposition）」

同じプロンプト指示でも、モデルによって実行コスト（誤検知率など）が桁違いに異なります。著者は 3 つのモデル姿勢を分類しました。

1. Calibrated（較正済み）: GPT-4o-mini, Gemini 2.5 Flash など。指示を正確に実行し、例外処理も適切に行う。インフラ型フィッシング対策プロンプト（infra_aware）でも誤検知率を低く抑えつつ検出率を向上させられる。
2. Safety-amplifying（安全性増幅）: Claude 系、Mistral など。セキュリティ関連の指示を過剰に解釈し、例外許可を「全般的な疑念」に変換してしまう。誤検知率が 60% 以上になるなど実用不可能になる。
3. Self-sufficient（自己完結型）: Qwen 3 など。元々多角的な推論を行っており、狭い指示を与えられると逆に性能が低下する。

3.5 プロンプト単独の限界とツールの必要性

「インフラストラクチャ型フィッシング」に対する完全な防御は、プロンプトの微調整だけでは不可能であることが示されました。

• 攻撃者が登録したドメインの信頼性、URL の実際の挙動、文脈の妥当性などを判断するには、LLM 単体の推論では不十分です。
• 解決策: ドメインの登録年月日確認（WHOIS）、脅威インテリジェンスフィード、URL サンドボックスなど、**外部ツールによる補強（Tool Augmentation）**が不可欠です。

4. 主要な貢献

1. PhishNChips ベンチマークの構築: 22 万件の評価データと、システムプロンプトとモデルの相互作用を定量化した初の大規模データセット。
2. システムプロンプトの攻撃面としての特定: プロンプト設計がセキュリティの第一変数であることを実証し、プロンプトエンジニアリングがセキュリティ対策として重要であることを示した。
3. 信号の逆転（Signal Inversion）の解明: 特定のシグナルに最適化された防御が、そのシグナルを模倣する攻撃者によって容易に破られる構造を明らかにした。
4. Safetility メトリクスの提案: 検出率と誤検知率を統合し、実運用の閾値を考慮した新しい評価指標を提案。
5. モデルとプロンプトの共最適化の必要性: 単一のプロンプトですべてのモデルをカバーすることはできず、モデルの「事前配置姿勢」に合わせたプロンプト調整（Co-optimization）が必要であることを示した。

5. 意義と示唆

• 実務への影響: 企業は LLM エージェントを導入する際、モデルの選択だけでなく、システムプロンプトの設計と、そのモデルがそのプロンプトをどう解釈するか（誤検知率など）を同時に評価する必要がある。
• セキュリティのトレードオフ: 「検出率」「誤検知率」「攻撃耐性」の 3 つを同時に最大化することは不可能であり、脅威モデルに応じたトレードオフの管理が必要である。
• 将来の防御戦略: 高度な攻撃（インフラ型フィッシング）に対抗するには、プロンプトエンジニアリングだけでなく、外部データソースやツールを活用したハイブリッドな防御アーキテクチャが必須である。

この論文は、LLM エージェントのセキュリティが単なるモデルの能力ではなく、**「プロンプト設計 × モデルの性質 × 外部ツールの統合」**という複合的な課題であることを浮き彫りにし、今後の自律エージェントの安全な展開に向けた重要な指針を提供しています。