MemoPhishAgent: 記憶拡張型マルチモーダル LLM エージェントによるフィッシング URL 検出の技術的概要

本論文は、急速に進化するフィッシング攻撃に対処するため、**MemoPhishAgent **(MPA) という新しいシステムを提案しています。これは、過去の推論経路を「エピソード記憶」として活用し、状況に応じて動的にツールを編成するマルチモーダル大規模言語モデル（LLM）エージェントです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

従来のフィッシング検出システムには以下の限界がありました：

• 静的なヒューリスティック/ブロックリスト: 既知のドメインやルールに依存するため、新しいドメインや巧妙に隠蔽された攻撃には対応できません。
• 参照ベースの手法: ブランドとドメインの対応表を維持する必要がありますが、新しいブランドやサブドメインへの対応が遅れ、メンテナンスコストが高いです。
• 既存の LLM ベース手法: 多くの場合、単一のプロンプトで決定を下す「決定論的パイプライン」であり、証拠収集が不十分だったり、過去の調査経験を活かせていなかったりします。また、汎用的なツールしか使用せず、フィッシング検出に特化していません。

課題: 現実世界のユーザーが直面する動的で非定常的な（変化する）フィッシング脅威に対して、高い検出率（リコール）を維持しつつ、適応的な証拠収集と推論を行うシステムの必要性。

2. 手法 (Methodology)

MemoPhishAgent は、ReAct（Reasoning + Acting）フレームワークに基づき、以下の 3 つの主要コンポーネントで構成されています。

2.1 特化型ツールの設計 (5 種類)

エージェントは、現在の証拠状態に基づいて以下の 5 つのマルチモーダルツールを動的に選択・実行します。

1. Crawl Content: ページの HTML を取得し、LLM が処理しやすい Markdown 形式に変換します。
2. Check Screenshot: ページ全体のスクリーンショットを取得し、視覚的な不審点（ロゴの偽造、レイアウトの異常など）を評価します。
3. Check Image: 全画面では結論が出ない場合、重要なグラフィック要素を抽出して詳細に分析します。
4. Intelligent Search: 外部知識（Google 検索など）を活用し、「このドメインは信頼できるか？」などの証拠駆動型のクエリを実行します。
5. Extract Targets: ページ内の埋め込みリンクやリダイレクト先を抽出し、子 URL として深層調査を行います（ネステッドな攻撃表面の発見）。

2.2 エピソード記憶システム (Episodic Memory)

MPA の中核となる革新です。過去の推論経路と結果を保存・再利用します。

• 記憶構築: 各 URL の調査結果（キーワード、ツール呼び出し順序、最終判断）をベクトルインデックスに保存します。
• 記憶検索: 新しい URL が来ると、そのキーワードに基づいて類似した過去の事例（エピソード）を検索します。
• 適応的推論:
  • 完全一致: 過去の類似事例が多数見つかった場合、多数決によって迅速に判断します。
  • 部分的一致: 類似事例をコンテキスト（例示）として提示し、必要な追加証拠のみを収集するようエージェントを誘導します。
  • 不一致: 新規の攻撃パターンとして、フルな ReAct ループでゼロから推論を行います。

2.3 動的ツール編成

固定されたワークフローに従うのではなく、現在の不確実性（Uncertainty）の状態に応じて、どのツールを次に使うかをエージェントが自律的に決定します。

3. 主要な貢献 (Key Contributions)

1. 実世界向け初のエージェント型フレームワーク: 固定ワークフローではなく、証拠状態に基づいてツールを動的に選択する、フィッシング検出に特化したマルチモーダル LLM エージェントを初めて提案・実装しました。
2. 新規なエピソード記憶の導入: 過去の推論経路を「再利用可能な経験」として蓄積し、類似パターンの高速判断や、困難なケースへのターゲット例示を可能にしました。これにより、精度と効率の両方を向上させています。
3. 実証と実運用: 公開ベンチマークおよび実社会から収集したデータセットで SOTA（State-of-the-Art）手法を上回る性能を示し、さらに Amazon 社内で実運用（週 6 万件の URL 処理）に導入され、91.44% のリコールを達成しました。

4. 実験結果 (Results)

4.1 ベンチマーク性能

• TR-OP データセット: リコールが 13.6% 向上（SOTA 手法と比較）。
• DynaPD データセット: リコール 93.6%、F1 スコアでも最上位を記録。
• SocPhish（実社会データ）: 5 つのソーシャルメディアプラットフォームから収集した 2,765 件の URL で評価。リコール 91.44%、F1 スコア 90.34% を達成。既存手法（PhishLLM など）に比べて大幅に優れています。

4.2 効率性

• 1 URL あたりの処理時間は 4.46 秒 であり、他の LLM ベースの手法（PhishLLM: 22.36 秒など）と比較して高速です。
• エピソード記憶の活用により、追加の計算オーバーヘッドなしにリコールを最大 27% 向上させました。

4.3 アブレーション研究

• ツールの重要性: 5 つのツールのいずれかを除去しても性能が低下し、特に「スクリーンショット確認」と「ターゲット抽出」が精度に、また「コンテンツ取得」と「インテリジェント検索」がリコールに重要であることが示されました。
• 記憶の必要性: 記憶機能なしのバージョンと比較して、記憶ありの方が精度と F1 スコアが大幅に向上しました。
• 堅牢性: プロンプト注入攻撃や、LLM からの誤った出力（ノイズ）に対しても、システムは高い堅牢性を示しました（記憶による多数決がノイズを緩和）。

5. 意義と結論

MemoPhishAgent は、静的なルールや単一の LLM プロンプトに依存しない、「適応的な証拠収集」と「経験学習」 を融合させた新しいフィッシング検出のパラダイムを示しました。

• 実用性: 実社会の複雑な攻撃（リダイレクト、プラットフォームホスト型 URL など）に対して高い検出率を維持し、すでに大規模な生産環境で稼働しています。
• 技術的革新: エージェントが過去の失敗や成功から学習し、ツール呼び出し戦略を最適化する「記憶拡張型」アプローチの有効性を証明しました。
• セキュリティへの貢献: 数百万人のユーザーを保護するプロアクティブな防御手段として、フィッシング対策の新たな基準を確立する可能性があります。

本論文は、LLM エージェントが単なるチャットボットを超え、複雑なセキュリティタスクにおいて自律的に判断し、学習し続けるシステムとして機能し得ることを示す重要なマイルストーンです。