Self-evolving Agentic Customer Support System at LinkedIn
LinkedInは、検索拡張生成（RAG）と進化型オートプロンプティングおよびモジュール式評価フレームワークを組み合わせることで、基盤モデルの再学習を行うことなく継続的かつ安全な改善を実現し、プロダクション環境でのA/Bテストにおいてセルフサーブ解決率とルーティング精度の著しい向上をもたらした、自己進化型エージェント的カスタマーサポートシステムを提示しています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大で、刻一刻と変化し続ける企業の完璧なカスタマーサービス・エージェントになるよう、ロボットに教えようとしている場面を想像してみてください。あなたはこう考えるかもしれません。「ただ、大きな脳とルールブックを与えればいいのではないか！」と。しかし、ここに落とし穴があります。その企業の製品、ルール、さらには使用される言語までもが、毎日変化しているのです。もし、単に静的なルールブックをロボットに与えたとしたら、ロボットはすぐに混乱し、デタラメを言い始めたり、時代遅れのアドバイスをしたりするようになるでしょう。これが、「動的な世界における『静的な』AI」という問題です。これを解決するために、科学者たちはいくつかの鍵となるアイデアを実験してきました。第一に、**検索拡張生成（RAG）**です。これは、ロボットに記憶から推測させるのではなく、データベース内の事実を検索するための「図書カード」を与えるようなものです。第二に、プロンプト・エンジニアリングです。これは、ロボットにどのように考え、どのように行動するかを伝えるための、完璧な一連の指示（「プロンプト」）を書く技術です。最後に、**進化型探索（Evolutionary Search）**です。これは自然界から着想を得た手法で、解決策のわずかに異なるバージョンを多数作成し、テストを行い、最も優れたものを次の世代を作るために残すというものです。研究者たちが問いかけている大きな疑問は、「これらのツールを組み合わせることで、ルールに従うだけでなく、世界が変化するにつれて自動的に『学習』し、『改善』していくAIエージェントを構築できるのではないか？」ということです。
これこそが、LinkedInのチームが構築しようとしたもの、すなわち自己進化型エージェント・カスタマーサポート・システムです。これは、カスタマーサービス・ロボットの中に「コーチ」と「ジム」が組み込まれていると考えてください。エンジニアが何週間もかけてロボットの指示を微調整する必要がある代わりに、このシステムは、トレーニング、テスト、アップグレードの継続的なループを実行します。
魔法がどのように起きているのかを説明しましょう。このシステムは、ロボットの指示（「プロンプト」）を、生きている生物のように扱います。システムは、遺伝的アルゴリズムとして機能するオート・プロンプト・エンジンを使用します。想像してみてください。コーチが、ロボットのために少しずつ異なる100通りのプレイブック（作戦指示書）を書くとします。ロボットは、練習問題に対してそれらすべてを試します。次に、コーチは「判定役」のロボットチームを使って、そのパフォーマンスを採点します。最も優れたプレイブック同士が組み合わされ（交叉）、わずかに修正され（突然変異）、よりスマートな次世代の指示へと作り替えられます。これが自動的に、何度も繰り返されることで、LinkedInの製品が変わってもロボットの指示が完璧な状態に保たれるのです。
決定的なのは、このロボットは単に答えを推測するのではないということです。このロボットは、自ら選択して使用できるRAGツールを備えています。ユーザーが質問をしたとき、ロボットは「自分はこのことを知っているのか、それとも調べる必要があるのか？」と判断します。調べる必要がある場合、ロボットはヘルプ記事や製品ドキュメントのバージョン管理されたライブラリを検索します。これにより、ロボットが「ハルシネーション（幻覚）」（デタラメを言うこと）を起こすのを防ぎます。実際、彼らのテストでは、このスマートで自己進化型のロボットのハルシネーション発生率は、文書を読んで推測するだけの標準的なシステムが約5〜6%であったのに対し、0.1%未満でした。
チームはただこれを作っただけでなく、実世界でテストを行いました。彼らは2週間の実験を実施し、LinkedInの実際のユーザーの半分には従来の静的なロボットを、もう半分には新しい自己進化型のロボットを提供しました。結果は、新システムによる圧倒的な勝利でした。自己進化型のロボットは、ユーザーが人間のエージェントを介さずに自力で問題を解決できる割合を、9.0パーセントポイント向上させました。また、ユーザーが自力でサブスクリプションを解約できる割合も、4.8パーセントポイント向上させました。おそらく最も印象的なのは、どの部署にユーザーを繋ぐべきかを判断する能力が大幅に向上し、ルーティングの正確性が30.6パーセントポイント改善したことです。
論文は、これがすべてを解決する魔法の杖ではないことも明確にしています。このシステムは依然として、ライブラリに優れた情報があることに依存しています。もしライブラリに答えがなければ、ロボットはそれを捏造することはありません。また、「進化」のプロセスには時間と計算能力が必要であり、即時的ではなく、週単位のサイクルで実行されます。しかし、この研究は極めて重要な点を証明しています。プロンプト、検索、および評価を、バージョン管理されたクローズドなループとして扱うことで、単に古くなっていく存在ではないAIエージェントを構築できるのです。それらは、自律的に成長し、適応し、賢くなり続け、ペースの速いエンタープライズ・サポートの世界に追いついていくことができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。