技術要約：詐欺検知における生成AIモデルの性能測定と評価

問題提起

オンライン詐欺は、人間の信頼や感情を悪用することで、多大な経済的および個人的な被害をもたらす増大する脅威となっています。従来の機械学習手法（ロジスティック回帰、SVM、ナイーブベイズなど）も詐欺検知に広く適用されてきましたが、これらは新規または未知の攻撃に対して汎化性能が低いことがよくあります。その結果、脆弱性やバグ検出の領域における生成AIの強力な能力を背景に、文脈、意図、推論能力の理解におけるLLMの優れた能力が詐欺検知にも広く適しているという共通の信念に基づき、セキュリティ製品への大規模言語モデル（LLM）の採用が急速に加速しています。しかし、本論文は、脆弱性やバグ検出などの領域で生成AIが普及しているにもかかわらず、詐欺検知に特化したLLMの厳密かつ包括的な評価が現在欠落していると主張します。

メソドロジー

著者らは、詐欺検知における一般的なLLMの有効性と限界を評価した、初の包括的な実証研究を実施しました。本メソドロジーは、以下の主要なコンポーネントで構成されています。

1. データセットのキュレーション (ScamBenchmark)

研究者らは、以下の3つの主要ソースからなる2,742件のユニークなサンプルを含む、独自のベンチマークデータセットをキュレートして公開しました。

• Reddit: OCR処理を施した「Is this a scam?」サブレディットからの1,270件の投稿。
• Google Images: 特定のクエリ（例：「hi mom scams」）を通じて収集され、OCR処理を施した615枚の画像。
• MTurk: 参加者が提出した857件の正当なメッセージのスクリーンショット。
• プロプライエタリ・データ: セキュリティ企業から提供された59,991件の実世界のサンプルによる検証セット。

各サンプルは、Scam（詐欺）、Clean（クリーン）、またはUncertain（不確実）（外部メタデータが必要な曖昧なケース）としてラベル付けされました。データはさらに25の微細な詐欺タイプに分類されました。

2. モデル選定

本研究では、様々なサイズとアーキテクチャを持つ9つのLLMと、ファインチューニングされたBERTベースの分類器を評価しました。

• オープンソース: Mistral (7B, 8x7B), Llama 3 (8B), Llama 3.1 (8B, 70B), Llama 3.2 (11B).
• プロプライエタリ: OpenAI ChatGPT (4 Turbo, 4o, 4o1).
• ベースライン: ファインチューニングされたBERT。

3. 実験設計

評価は以下の変数に焦点を当てました。

• プロンプティング戦略: ゼロショット、フューショット（1、5、10ショット）、思考の連鎖（CoT）、詐欺の「共通の兆候」を組み込んだプロンプト、および「URLインテリジェンス」（外部の安全性評価を使用）で拡張されたプロンプト。
• ハイパーパラメータ・チューニング: 出力の確率的性質の影響を評価するための、temperatureおよびtop-p値（0.1, 0.5, 0.9）の評価。
• ファインチューニング: バランスの取れたトレーニングセット（クラスあたり400サンプル）を用いた、Mistral 7B、Llama 3.1 8B、およびBERTの教師ありファインチューニング。
• アンサンブル分析: コーエンのカッパ係数を用いたモデル間の一致度の評価、およびアンサンブルの組み合わせのテスト。

主な結果

モデルの性能とサイズ

• 大型モデルの優位性: 一般的に、大型のモデルの方が優れた結果を得ました。ChatGPT 4o1とLlama 3.1 70Bは、ゼロショット・プロンプティングにおいて最も高いマイクロF1スコア（それぞれ64%と65%）を達成しました。
• プロンプトへの感受性: プロンプティング戦略は性能に大きな影響を与えましたが、その効果はモデルに依存していました。
  • 小型モデル: 効果的なプロンプティング（例：「共通の兆候」）は、小型モデルの性能を大幅に向上させました。例えば、Llama 3.1 8Bは、カスタマイズされたプロンプトを使用することで、マイクロF1スコアが50%から57%に上昇しました。
  • 大型モデル: 一部の大型モデル（例：ChatGPT 4o1）は、思考の連鎖（CoT）のような複雑なプロンプティング戦略を用いると、性能の低下や混合した結果を示しました。
• フューショット学習: ショット数の増加は一般的に性能を向上させましたが、普遍的ではありませんでした。一部のモデル（例：Llama 3.2 11B）では、1ショットまたは5ショットの設定が10ショットの設定を上回りました。

汎化性能 vs. ファインチューニング

• 汎化性能: LLMは、ファインチューニングされたモデルと比較して、未知のデータに対する優れた汎化性能を示しました。大規模なプロプライエタリ・データセットでテストした際、ファインチューニングされたBERTモデルの性能は大幅に低下（マイクロF1 0.393）しましたが、Llama 3.1 70Bは安定したスコア（0.596）を維持しました。
• ファインチューニングの限界: ファインチューニングは小型のLLMの性能を向上させましたが（例：Mistral 7BはマイクロF1が0.470から0.543に向上）、ゼロショットの大型モデルには及びませんでした。
• BERTの競争力: 管理された設定下では、ファインチューニングされたBERTは競争力のある性能（0.59 マイクロF1）を発揮し、小型のLLMを上回りましたが、分布の変化に対する堅牢性においてはLLMの劣っていました。

特定のカテゴリ

• Scam vs. Clean: ほとんどのモデルは「Clean」サンプルの分類に苦戦し、リコール（再現率）が0.019まで低下するものもありました。ChatGPT 4o1は、クリーンなサンプルに対して58%のリコールを達成した例外的なモデルでした。
• Uncertainクラス: 多くのモデルが「Uncertain」としての分類に苦戦しましたが、ChatGPT 4 Turboがこのカテゴリで最も優れた性能を示しました。

主な貢献

1. 初の包括的研究: 様々なプロンプティング技術とハイパーパラメータを用いて、一般的なLLMを詐欺検知において評価した初の研究を提示しました。
2. ScamBenchmarkデータセット: 複数の形式とトピックにわたる実世界のサンプルを含む、LLMの詐欺検知評価に特化した初のベンチマークデータセットを公開しました。
3. 経験的な限界の解明: 現在のLLMは詐欺検知における「銀の弾丸」ではないことを実証しました。その有効性は、モデル固有のプロンプティングと構成に強く依存します。
4. ファインチューニングの評価: Mistral 7B、Llama 3.1 8B、およびBERTをファインチューニングし、ゼロショットの大型モデルとの性能比較分析を提供しました。

重要性と主張

本論文は、より大きなLLM（例：ChatGPT 4o1、Llama 3.1 70B）が現在最高のパフォーマンスを提供しているものの、それらが普遍的な解決策ではないと結論付けています。著者らは、進むべき道は単にモデルの規模を拡大することではなく、LLMのセマンティックな理解力と古典的な機械学習手法の効率性と精密さを組み合わせたハイブリッド・アーキテクチャにあると主張しています。

本研究は以下を強調しています：

• LLMはファインチューニングされたモデルよりも未知の詐欺に対して優れた汎化性能を示しており、これは事前学習された知識が価値を持つことを示唆しています。
• プロンプトエンジニアリングは極めて重要ですが、小型モデルを助ける戦略が大型モデルを妨げる可能性があるため、モデルごとに調整される必要があります。
• 単一のモデルや手法が詐欺検知を普遍的に解決することはありません。最適なデプロイメントには、LLMが曖昧な入力や特徴抽出を担い、古典的なモデルが決定論的な分類を行うといったパイプラインが必要になる可能性があります。

著者らは、将来の堅牢な詐欺検知の研究を促進するために、データセットとファインチューニングされたモデルを公開しており、「広範な適合性」という共通の信念を超えて、より微細でエビデンスに基づいたデプロイメント戦略へと移行することを目指しています。