Evaluating LLM-based Personal Information Extraction and Countermeasures

1. 問題定義 (Problem)

• 背景: 従来の個人情報抽出（PIE: Personal Information Extraction）手法（正規表現、キーワード検索、固有表現抽出など）は、個人プロフィールの文脈や意味を十分に理解できないため、抽出精度に限界がありました。
• 課題: 近年、GPT-4 や Gemini などの LLM は高度な自然言語理解能力を持っています。攻撃者がこれらを悪用することで、従来の手法では困難だった複雑な形式の個人プロフィール（名前、電話番号、メールアドレス、職歴、学歴など）から、高精度に個人情報を抽出できる可能性があります。
• リスク: 抽出された個人情報は、スピアフィッシングや通信詐欺、パスワードクラッキングなどの大規模なセキュリティ攻撃に悪用される恐れがあります。
• 既存防御の限界: 従来の防御策（記号置換、ハイパーリンク化、テキストを画像化など）は、特定の情報のみに対応できるか、LLM の高度な推論能力に対して無効化される可能性があります。

2. 研究方法 (Methodology)

本研究では、LLM ベースの PIE 攻撃と対策を評価するための包括的なフレームワークを構築し、実証実験を行いました。

A. 攻撃フレームワークの構築

攻撃者は以下の 2 つのコンポーネントを構成して LLM を利用します。

1. プロンプト設計 (Prompt Design):
   • プロンプトのスタイル（直接指示、ペルソナ設定、文脈的学習、疑似コードなど）。
   • 文脈内学習（In-context learning）の例の追加。
   • 防御回避のための指示（例：「DOT」を「.」と解釈するように指示）。
2. 個人プロフィールの処理 (Profile Processing):
   • 生データ（HTML ソースなど）をそのまま利用するか、冗長な情報（CSS、タグなど）をフィルタリングするか。

B. データセットの収集

評価のために 4 つのデータセットを構築・収集しました。

1. 合成データセット: GPT-4 を使用して生成された 100 件の個人プロフィール（HTML 形式）。
2. 実世界データセット 3 種:
   • 著名人（Top 100 Famous People）
   • 医師（19 世紀アメリカの医師）
   • 大学教授（MIT, CMU, Stanford, Berkeley の EECS 教授）
3. 既存データセット: 裁判所の判決文（Court dataset）。

• これらのデータセットには、8 種類の個人情報（メール、電話、住所、名前、職歴、学歴、所属、職業）の正解ラベルが手動で付与されています。

C. 評価対象

• モデル: 10 種類の LLM（GPT-4, GPT-3.5, PaLM 2, Gemini, Vicuna, Llama-2, InternLM など）。
• ベースライン: 従来の PIE 手法（正規表現、キーワード検索、spaCy, BERT ベースの NER, mlscraper）。
• 防御策の評価:
  • 既存防御：記号置換（SR）、キーワード置換（KR）、ハイパーリンク（HL）、テキスト - 画像変換（TI）。
  • 新規提案防御: プロンプトインジェクション（PI）。

3. 主要な貢献 (Key Contributions)

1. LLM ベースの PIE 攻撃フレームワークの提案: 攻撃者が LLM をどのように設定して個人情報を抽出するかを体系的に定義。
2. 大規模な評価データセットの構築: 8 種類の個人情報を含む 4 つのデータセット（合成＋実世界）の作成。
3. 新規防御策「プロンプトインジェクション」の提案:
   • 通常は LLM のセキュリティを脅かす攻撃手法である「プロンプトインジェクション」を防御に転用。
   • 個人プロフィール内に、一般ユーザーには見えない（背景色と同色など）が、LLM が読み取る「誤った情報を出力させる指示」を埋め込む。
   • この手法は、メールだけでなく、電話、住所、職歴などすべての種類の個人情報に適用可能。
4. 体系的なベンチマーク: 10 種類の LLM と 5 つのデータセットを用いた攻撃・防御の包括的な評価。

4. 実験結果 (Results)

A. 攻撃の性能

• LLM の有効性: LLM は個人情報を非常に高精度に抽出します。例えば、GPT-4 は合成データセットからメールアドレスと電話番号をそれぞれ 100%、98% の精度で抽出しました。
• モデル規模の影響: 大規模なモデル（GPT-4 など）ほど抽出精度が高く、小規模なオープンソースモデル（Vicuna-7B など）は精度が低下しますが、依然として実用的なレベルです。
• 従来手法との比較: LLM ベースの抽出は、ほぼすべてのシナリオで従来の手法（正規表現や NER）を凌駕しています。特に、構造化されていない情報（職歴、所属など）の抽出において差が顕著です。

B. 防御策の評価

• 既存防御の限界:
  • 記号置換（例：@ を AT に）やハイパーリンク化は、LLM に対してほとんど無効でした（GPT-4 は 97% 以上の精度で抽出）。
  • テキストを画像化（TI）しても、マルチモーダル LLM（GPT-4V など）には防御効果が限定的でした。
• プロンプトインジェクション（PI）の優位性:
  • 高い防御効果: プロンプトインジェクションを適用すると、LLM の抽出精度が劇的に低下しました（多くの場合 0% に近い）。
  • 汎用性: メールアドレスだけでなく、名前、電話、職歴など、あらゆるカテゴリの情報を保護できます。
  • ユーザーへの影響: 埋め込まれたプロンプトは視覚的に不可視かつ選択不可であるため、一般ユーザーの閲覧体験を損なうことなく防御できます。
• 適応型攻撃への耐性:
  • 攻撃者が「プロンプトの分離」や「言い換え」などの適応型攻撃を試みても、プロンプトインジェクションによる防御を完全に回避することは困難でした。防御の有効性は維持されました。

5. 意義と結論 (Significance and Conclusion)

• セキュリティリスクの明確化: LLM の普及により、従来の技術では防げなかった大規模な個人情報漏洩リスクが現実のものとなったことを示しました。
• パラダイムシフト: 「プロンプトインジェクション」は通常、攻撃手法として知られていますが、本研究ではこれを防御技術として転用できることを初めて実証しました。
• 実用性: 提案されたプロンプトインジェクション防御は、実装が容易で、既存の防御策よりも遥かに効果的であり、かつユーザー体験を損なわない点で実用的です。
• 今後の課題: 攻撃者がさらに高度な適応型攻撃（例：スクリーンショットの取得など、不可視テキストを含まない入力）を開発する可能性があり、それに対する対策（画像ベースのプロンプトインジェクションなど）が今後の研究課題となります。

総じて、この論文は LLM 時代における個人情報保護の新たな脅威と、革新的な防御アプローチを提示し、AI セキュリティ分野に重要な知見を提供しています。