Helping Customers in Distress: An LLM-powered Agent that Converses, Probes, and Routes

技術概要：苦境にある顧客への支援 – 会話、探求、振り分けを行う LLM 駆動のエージェント

問題定義
英国の金融セクターは、未承認の詐欺、詐欺行為、および取引の異議申し立ての急増に直面しており、前年比で 10% 以上増加しています。メニューベースのインタラクティブ音声応答（IVR）システムや手動による人的振り分けといった従来の顧客サービス手法は、その柔軟性の欠如、処理時間の遅延、および誤った振り分けの多さにより、持続不可能になりつつあります。これらの非効率性は、顧客の不満と運用上のボトルネックを引き起こし、専門チームが複雑な調査に集中するのを妨げています。顧客体験の中でこれらのケースを効果的に振り分けるために、スケーラブルで正確かつコンプライアンスに準拠した自動化ソリューションが緊急に必要とされています。

手法
著者らは、多回会話を実行し、ターゲットを絞った探求質問を提起し、ケースを特定のカテゴリ（詐欺、詐欺行為、異議申し立て、または結論不明）に分類するように設計された、大規模言語モデル（LLM）を駆動する顧客向け AI 振り分けエージェントを提案します。

• エージェントアーキテクチャ: システムは、ファインチューニングではなくプロンプトエンジニアリングを介して、Claude、Gemini、GPT シリーズなどの第三者 LLM を利用します。これにより、柔軟性の確保とデータリスクの低減が図られています。エージェントは、エージェントの役割、行動指示、調査ワークフロー、および禁止事項（「してはいけないこと」）を定義する専門的なサブプロンプトを含むプロンプトマネージャーによってオーケストレーションされます。これらのプロンプトは、銀行の内部方針をエージェントの推論に直接埋め込みます。
• 安全性と引き継ぎ: システムは、層状の安全性ガードレールを採用しています。AWS Bedrock が基盤となるフィルタリングを提供し、これに、未承認の製品リクエスト、内部プロセスの探求、および非英語メッセージをブロックするカスタム入力制御が追加されます。専用の「逸脱エージェント」が脆弱性の指標や会話終了を望むユーザーの意図を検出すると、直通電話回線を通じて専門家の人間担当者への引き継ぎがトリガーされます。
• 評価フレームワーク（デジタルツイン）: 学習およびテスト用のラベル付きチャットログが不足しているという課題に対処するため、著者らは合成された「デジタルツイン」顧客を用いたスケーラブルな評価パイプラインを開発しました。これらのエージェントは、OpenAI Agent SDK を使用して生成され、過去の電話記録やレガシーなケースデータに基づき、実際の顧客の行動、言語、および相互作用スタイルを模倣します。
• 検証戦略: パフォーマンスは、以下の組み合わせアプローチを通じて評価されます。
  1. 合成テスト: 約 3,000 のトランスクリプトベースのケースの大規模シミュレーション。
  2. 人間による評価: 専門知識を持つ専門家（SME）が Web インターフェースを介して多回対話を行い、満足度、共感、コンプライアンス、事実性、要約の質などの指標に基づいてエージェントを評価します。
  3. 自動評価: 「LLM を裁判官として活用する（LLM-as-a-judge）」パイプライン（GPT-4.1）が、同じ指標に基づいて会話を評価し、スケーラブルな二値評価と根拠を提供します。
  4. レッドチームング: プロンプトインジェクション、コード操作、および抽出の試行に対する堅牢性を評価するための対抗的テストが実施されました。

主な貢献

1. 配備された振り分けエージェント: 正確なケース分類のための多回対話が可能で、統合された引き継ぎプロトコルと層状の安全性ガードレールを備えた機能的な LLM ベースのエージェント。
2. スケーラブルな評価パイプライン: 運用データと合成された「デジタルツイン」顧客を統合する再現可能なフレームワークであり、既存のラベル付きチャットログに依存せずに徹底的な検証を可能にします。
3. ハイブリッド検証戦略: 継続的なプロンプト調整と品質保証のための人間と自動化（LLM）を組み合わせた検証アプローチであり、実世界の銀行業務への配備の準備が整っていることを示しています。

結果
エージェントは、合成シナリオおよび SME 主導のテストにおいて、レガシーな IVR ベースラインと比較して評価されました。

• 分類精度: システムは大幅な精度向上を達成しました。GPT-5 はレガシーベースラインに対して**+30.6%の最も高い改善を示し、次いで GPT-4.1（+27.7%）、Gemini-1.5-Pro（+28.4%）、GPT-4.1-mini（+21.3%）、Claude Sonnet 3（+20.0%）となりました。SME によるテストでは、平均+16.0%**の改善が確認されました。
• 運用指標: コンプライアンス、満足度、要約の質を含む主要指標は、一貫して**75–80%**の閾値を超えました。
• 引き継ぎパフォーマンス: 引き継ぎエージェントは、人間の介入が必要となる場合を効果的に検出し、精度と再現率が**90%**を超えました。
• 安全性とガードレール: 入力ガードレールは、プロンプトインジェクションとヘイトスピーチを98% 以上の精度で検出しました。出力ガードレールは、幻覚的なコンテンツを95% 以上の精度で特定しました。レッドチームング演習は、敵対的プロンプトのブロックと内部推論の開示防止におけるシステムの能力を確認しました。
• 評価の一致: 自動化された評価と人間による評価は、コンプライアンス、事実性、関連性などの客観的指標において強い一致（79–92%）を示しましたが、共感や苛立ちなどの主観的側面については一致度が低く（約 60%）、感情的に微妙なケースには人間によるループ内検証が必要であることを示唆しています。

重要性
本論文は、提案された LLM 駆動の振り分けエージェントが、現在の銀行における詐欺および異議申し立て処理のスケーラビリティと精度の課題を成功裏に解決していると主張しています。評価のために合成されたデジタルツインを活用することで、著者らはラベル付きデータが不足している規制環境において AI エージェントを検証するための堅牢な手法を実証しています。結果は、多回対話によるターゲットを絞った探求がより効果的な振り分けにつながり、顧客の苛立ちと運用上の遅延を軽減することを示しています。高い精度、厳格な安全性ガードレール、内部方針への準拠を兼ね備えた本システムは、高リスクかつ規制の厳しい金融分野での配備に適していることが確認されました。