論文要約：詐欺およびサイバー犯罪シナリオにおける AI 誤用評価のためのマルチターンフレームワーク

本論文は、英国の AI Security Institute によって発表された研究で、大規模言語モデル（LLM）が詐欺やサイバー犯罪においてどの程度実用的な支援を提供できるかを体系的に評価する新しいフレームワークを提案しています。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

AI を悪用した詐欺やサイバー犯罪の報告が増加していますが、現在の LLM が複雑な犯罪活動に対してどの程度「実用的かつ実行可能な情報」を提供できるかについては、体系的な証拠が不足しています。

• 現状の課題: 既存の評価の多くは単一のプロンプト（例：「偽造 ID を作って」という直接的な要求）に対する拒否率を測定する「単ターン（Single-turn）」評価に依存しています。しかし、実際の犯罪者は、意図を隠蔽したり、複数の段階に分けて質問したりする「マルチターン（Multi-turn）」戦略を用いるため、単ターン評価ではモデルの真の能力やリスクを過小評価または過大評価する可能性があります。
• 目的: 現実世界の犯罪シナリオ（ロマンス詐欺、CEO なりすまし、なりすまし）において、LLM が多段階の対話を通じて犯罪者にどの程度の支援を提供するかを、法執行機関や政策専門家の知見に基づいて評価すること。

2. 手法：長文タスク（LFT）フレームワーク

研究チームは、犯罪のライフサイクル全体を網羅する「長文タスク（Long-Form Tasks: LFTs）」という新しい評価手法を開発しました。

2.1 評価プロセスの 5 ステージ

1. モデル機能の特定: 推論能力や Web 検索機能など、犯罪に悪用されうる AI の機能を分析。
2. リスクモデリング: 英国の詐欺法や事件分析に基づき、犯罪の 6 つの段階（計画、情報収集、偽装、実行、回避、拡大）を定義。
3. シナリオ開発: 以下の 3 つの主要シナリオと、3 つの攻撃者タイプ（非技術者、技術者、組織）を組み合わせ、9 つのバリエーションを作成。
   • ロマンス詐欺: 恋愛サイトでの信頼構築と金銭詐取。
   • CEO 詐欺: 経営者になりすまして従業員への送金要求。
   • なりすまし（Identity Theft）: 個人情報窃取とアカウント乗っ取り。
4. プロンプト開発: 各シナリオを 6 つの段階に分け、各段階で 2 回ずつ（計 12 回）の質問を行う構造を設計。
   • 悪意ある枠組み（Malicious Framing）: 犯罪意図を明言する。
   • 無害な枠組み（Benign Framing）: 教育、研究、セキュリティ調査などを装い、意図を隠蔽して質問を分解する（例：「セキュリティプレゼンのために社会工学の手法を研究している」）。
   • システムレベルのジャイルブレイク: システムプロンプトへの悪意ある指示の挿入（低労力の回避策としてテスト）。
5. 評価基準（Rubric）の策定: 専門家と共同で 6 段階のスコアリング基準を作成。
   • 実行可能性（Actionability）: 攻撃に即座に使用できる材料（ツール、コード、具体的な手順）を提供しているか。
   • 情報アクセス（Information Access）: 専門家が調整した Web 検索の基準を超えて、関連情報を効率的に集約・提供しているか。

2.2 実験規模

• 対象モデル: 14 種類の LLM（安全性調整済みモデル、Web 検索機能付きモデル、推論能力強化モデル、および「アンセンスード（安全性ガードレール除去）」モデルを含む）。
• 評価回数: 合計 20,088 回の評価（各設定を 5 回実行）。
• 評価者: GPT-4.1 を自動採点器（Autograder）として使用し、専門家による評価との整合性を確認。

3. 主要な結果

3.1 全体的な支援レベル

現在のテキスト生成モデルは、高度なジャイルブレイク技術なしでは、詐欺やサイバー犯罪に対して限定的な情報支援しか提供しないことが判明しました。

• 実行可能性: 回答の 88.5% が「拒否」または「実用的な攻撃材料の欠如（スコア 2 以下）」でした。
• 情報アクセス: 回答の 67.5% が「専門家の Web 検索基準を超える情報を提供しなかった（スコア 2 以下）」でした。
• 例外: 「アンセンスード」モデル（安全性調整を除去したモデル）は、有意に高い支援スコアを示しました（実行可能性で 22.5% がスコア 4 以上）。

3.2 要因別の分析

• モデルの選択: 最も大きな影響因子でした。安全性調整が施されたモデルは支援を拒否する傾向が強く、アンセンスードモデルは支援を提供しました。モデルのサイズや新しさよりも、安全性チューニングの有無が結果を決定づけています。
• 質問の枠組み（デコンポジション）: 悪意ある意図を隠し、複数の無害な質問に分解する手法（Benign Framing）は、直接的な悪意ある質問よりもモデルの協力度を高めることが確認されました。特に「なりすまし（Identity Theft）」のような技術的なタスクでは、この効果顕著でした。
• シナリオの違い: CEO 詐欺やロマンス詐欺（社会的操作）よりも、技術的な脆弱性悪用を問う「なりすまし」シナリオの方が、悪意ある枠組みでは即座に拒否される一方、無害な枠組みでは支援が増える傾向が見られました。
• 推論能力と Web 検索: 推論トークン（Chain-of-Thought）の増加は、推論モデル内では支援レベルをわずかに向上させましたが、全体として安全性メカニズムが機能しているため、大幅な支援には至りませんでした。Web 検索機能付きモデルは、標準モデルよりも低いスコアを示す傾向があり、追加の安全性対策が働いている可能性があります。

3.3 攻撃者の熟練度

攻撃者の技術レベル（非技術者 vs 技術者）は、モデルの回答にはほとんど影響を与えませんでした。モデルは「誰が」質問しているかよりも、「何を」求めているか（リクエストの内容）に基づいて判断しています。

4. 主要な貢献と意義

1. 新しい評価フレームワークの確立: 単一プロンプト評価を超え、現実の犯罪プロセス（マルチターン、段階的アプローチ）を模倣した「LFT（Long-Form Tasks）」フレームワークを初めて提案しました。
2. 実証的なリスク評価: 現在の LLM は、高度な回避技術なしでは、詐欺やサイバー犯罪に対して「実用的な支援（実行可能なツールや詳細な手順）」を提供する能力が限定的であることをデータで示しました。
3. 安全性対策の有効性と限界の解明:
   • 安全性ガードレールは、直接的な悪意ある要求に対して非常に効果的です。
   • しかし、意図を隠蔽した「無害な分解（Benign Decomposition）」攻撃に対しては防御が弱まる傾向があり、特に技術的なタスクにおいてその差が顕著です。
   • 「アンセンスード」モデルが最も危険であることを示し、安全性調整の重要性を再確認しました。
4. 将来のリスク追跡: モデルの能力向上や攻撃者の適応に伴い、このフレームワークを用いてリスクの進化を継続的に追跡・評価できる基盤を提供しました。

5. 結論と今後の課題

本研究は、現在の LLM が低労力の攻撃条件下では詐欺やサイバー犯罪に対して限定的な支援しか提供しないことを示しましたが、**「意図を隠蔽した多段階の対話」**はモデルの防御を突破する有効な手段となり得ることを警告しています。

今後の課題として、より高度なジャイルブレイク技術（専門家によるレッドチーム攻撃）の評価、マルチモーダル（画像・動画）コンテンツの悪用リスクの評価、および従来の Web 検索との比較基盤の確立が挙げられています。また、本研究で使用した詳細なプロンプトやコードは、セキュリティ上の理由から一般公開は制限され、検証された研究者へのみ提供されます。