CASE: An Agentic AI Framework for Enhancing Scam Intelligence in Digital Payments

「CASE: 電子決済における詐欺インテリジェンスを強化するためのエージェント型 AI フレームワーク」という論文の詳細な技術的サマリーを以下に示します。

1. 問題定義

電子決済プラットフォーム（特にインドの統一決済インターフェース、UPI）の急速な成長に伴い、高度な社会的エンジニアリング詐欺が急増しています。

• インテリジェンスのギャップ: 従来の詐欺とは異なり、これらの詐欺は決済プラットフォーム内部ではなく、外部の表面（メッセージングアプリ、ソーシャルメディアなど）で組織されることが多いです。その結果、決済プラットフォーム上の取引データは本物のように見え、不正防止システムには操作を検知するために必要な文脈が欠如しています。
• 既存の報告手法の限界: 従来のユーザー報告メカニズム（静的なアンケート、自由記述欄）は、ニュアンスのある詳細を捉えたり、動的な追跡質問を可能にしたりできず、曖昧で実行不可能な報告につながっています。
• スケーラビリティの問題: 人間の分析者による対面インタビューは効果的ですが、数百万人のユーザーに対してはコストが高く、スケーリングが困難です。

2. 手法：CASE フレームワーク

著者らは、Google のGemini 2.0 Flashモデルを基盤とした新しいエージェント型 AI フレームワーク**CASE（Scam Elucidation 用対話エージェント）**を提案します。このシステムは、潜在的な被害者を積極的にインタビューし、非構造化の物語を構造化された実行可能なインテリジェンスに変換するように設計されています。

A. システムアーキテクチャ

このフレームワークは 2 つの明確なフェーズで動作します。

1. リアルタイム・インテリジェンス収集（対話エージェント）:
   • 役割: 共感的で調査的なインタビューを行う専門家詐欺アナリストとして機能します。
   • メカニズム: 高度なプロンプトアーキテクチャ（役割定義、インタラクションガイドライン、成功基準、プライバシー・バイ・デザイン）によって導かれるジェネレーター LLMを使用します。詐欺の*手口（Modus Operandi: MO）*を明らかにするために、動的な追跡質問を行います。
   • 安全性: ジェネレーターと並行してセーフティフィルター LLMが動作し、ユーザー入力をポリシー違反（ヘイトスピーチ、危険なコンテンツなど）について評価し、エージェントが金融助言を提供したり返金を約束したりしないことを保証します。
2. 非同期データ処理（情報抽出エージェント）:
   • 役割: 生の会話トランスクリプトを構造化された機械可読データに変換します。
   • メカニズム: 事前定義された JSON スキーマを埋めるために、スキーマガイド付きプロンプトを用いた**イン・コンテキスト・ラーニング（ICL）**を使用します。
   • 出力: is_user_scammed（ブール値）、possible_scam_mo（分類）、scam_origin_surface、conversation_summary などの主要フィールドを抽出します。

B. 評価手法

このシステムは、責任ある AIの原則に準拠した厳格な多層評価フレームワークを採用しています。

• 安全性: 構造化評価（敵対的データセット）とレッドチームング（悪役を模倣する人間の専門家）を通じてテストされます。ポリシーには、重大な違反や文脈的に敏感なトピック（例：金融助言）が含まれます。
• 品質と有用性: 人間の専門家評価者がトピックの遵守（軌道から外れないこと）、ユーザーへの尊重（共感/終了処理）、情報引き出し（詐欺 MO の捕捉の成功）を評価します。
• 精度: 情報抽出エージェントは、手動でキュレーションされたトランスクリプトの「ゴールデンデータセット」をベンチマークとして使用し、分類精度を測定します。
• モニタリング: 生産後のハイブリッドアプローチでは、人間のレビューの統計的に有意なサンプルに対して較正された自動評価器（オートリテーター）を使用します。

3. 主要な貢献

• 新しいエージェントパターン: 標準的なトランザクションチャットボットを超え、高リスクで感情的に敏感な調査インタビューに特化したデュアルエージェントアーキテクチャ（インタビュアー＋抽出器）を導入しました。
• スケーラブルなナラティブ・インテリジェンス: プラットフォーム外の詐欺詳細の収集を自動化することでインテリジェンスのギャップを埋め、非構造化のユーザーストーリーを構造化されたデータシグナルに変換することに成功しました。
• 責任ある AI の実装: 多層的なガードレール、厳格なプライバシー・バイ・デザイン（PII を LLM に渡さない）、包括的なヒューマン・イン・ザ・ループ評価を含む、金融分野向けの堅牢な安全性フレームワークを実証しました。
• 一般化可能なブループリント: ハラスメント、誤情報など、他のトラスト＆セーフティ分野や決済プラットフォームに対して再利用可能なアーキテクチャを提供します。

4. 結果と影響

このフレームワークはGoogle Pay（GPay）インドで展開されました。主要な指標は以下の通りです。

• ユーザーエンゲージメント: セッションの45% 以上で、ユーザーが 3 つ以上の追跡質問に回答しており、エージェントが生産的で深みのある対話を維持できたことを示しています。
• 安全性のパフォーマンス:
  • 発売前：重大なポリシーでのコンプライアンス率 99.9%。
  • 本番環境：約 3,600 サンプルにおいて、重大な違反で100% のコンプライアンス、文脈的に敏感なトピックで**99.5%**を達成しました。
• 抽出精度:
  • 二値詐欺検出（is_user_scammed）で**83.8%**の精度。
  • 多クラス手口（Modus Operandi）分類で**75.1%**の精度。
• 執行への影響: この新しい構造化インテリジェンスを既存の不正防止システムに統合した結果、詐欺執行の量が21% 増加しました。

5. 意義

この論文は、構造化されたナラティブ・インテリジェンスを従来の取引ベースのシグナルに付加することが、社会的エンジニアリング詐欺に対する極めて効果的な戦略であることを実証しています。

• 戦略的価値: 反応的でシグナルベースの検出から、先見的でインテリジェンス駆動型の予防へとパラダイムを転換します。
• 運用効率: 人間によるインタビューのスケーラビリティのボトルネックを解決し、プラットフォームが高水準の安全性を維持しながら大量のユーザーフィードバックを自動的に処理できるようにします。
• 将来展望: このフレームワークは、匿名化された詐欺パターンを金融機関間で共有し、進化するオンライン脅威に対する協調的な防衛体制を構築するための、エコシステムレベルの協力の基盤を築いています。今後の課題には、マルチモーダル入力（スクリーンショット/音声）の導入と、多言語サポートの拡大が含まれます。