Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows

以下は、論文「Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows」の詳細な技術的サマリーです。

1. 問題定義

エンタープライズ顧客サポートにおけるエンドツーエンドの自動化のために大規模言語モデル（LLM）エージェントを配備する際には、以下の重大な障壁が存在します：

• 誤りの伝播： 多段階の UI 操作における小さな誤りが長期的な視野にわたって蓄積し、ワークフローの失敗を招きます。
• コストと複雑性： 大規模な従来の多段階制御ループは高コストであり、頻繁な UI やプロセスの変更により、壊れやすいロボティック・プロセス・オートメーション（RPA）や手動スクリプトフローの維持が困難になります。
• 安全性と信頼性： 完全自律型エージェントは、機密性の高いビジネスプロセス（例：アカウント変更）においてサポート品質の低下や不可逆的な誤りを引き起こすリスクがあります。
• データの不足： ウェブブラウジングのベンチマークとは異なり、エンタープライズワークフローにはトレーニング用の大規模な公開データセットが存在せず、ドメインロジックは高度に専門化されています。

著者らは、高信頼性のステップを自動化しつつ、不確実な意思決定を人間オペレーターに委譲することで、効率性と安全性のバランスを取る「選択的自動化」を実現するシステムを提案します。

2. 手法

このシステムは、模倣学習（特に DAgger）に着想を得た「段階的デプロイパイプライン」を採用し、ポリシーとクリティックを訓練するために 3 つのフェーズを経て進行します。

A. データ表現とシリアライゼーション

• スキーマ駆動ビュー： UI 変更に対して脆弱な生 DOM やスクリーンショットに依存するのではなく、ビジネスプロセス管理（BPM）インターフェースの「スキーマ駆動型 JSON 表現」を抽出します。
• 状態 - 行動トレース： オペレーターセッションは、軌跡 $\{s_t, a_t\}$ としてログ記録されます。状態 $s_t$ には、チャット履歴、UI コンテキスト（顧客プロフィール、アクティブなシナリオ）、およびグローバル発表が含まれます。行動 $a_t$ は、メッセージ作成、ナビゲーション、選択/フォーム入力、セッション管理の 4 種類に分類されます。
• 入力形式： UI スナップショットと行動は、顧客メッセージ、オペレーター行動、更新された UI 状態を時系列に交差させた形式でマージされ、LLM 入力として提供されます。

B. 段階的デプロイパイプライン

1. ログ収集フェーズ：
   • オペレーターとの完全な相互作用トレースを収集します。
   • 行動模倣（状態を与えられた次の行動の予測）に基づく教師あり微調整（SFT）により、初期の**ポリシーモデル（$\pi_\theta$）**を訓練します。
2. コパイロットフェーズ：
   • ポリシーをオペレーターにリアルタイムで行動を提案する形で配備します。
   • フィードバックループ： オペレーターは提案を受諾するか、修正します。
   • クリティカル vs 非クリティカル： 非クリティカルな行動（例：UI ナビゲーション）は自動実行される可能性がありますが、クリティカルな行動（例：メッセージ送信、チャット終了）には人間の承認が必要です。
   • このフェーズでは、特にクリティカルなステップに対して、受諾/拒否のラベル付きデータを生成します。
3. 選択的自動化フェーズ：
   • コパイロットのフィードバックを用いて、提案されたクリティカルな行動が正しい確率を推定する**クリティックモデル（$c_\phi$）**を訓練します。
   • ゲート付き実行： システムは、クリティックのスコア $c_\phi(s, \hat{a}) \geq \tau$（ここで $\tau$ は較正された閾値）の場合にのみ行動 $\hat{a}$ を実行します。
   • 棄権： スコアが $\tau$ 未満の場合、制御は人間オペレーターに引き渡され、更新された UI 状態から再開されます。
   • 較正： 閾値 $\tau$ は、ビジネス上の精度要件（例：自動化された行動の 90% が人間によって受諾されることを保証する）を満たすように調整されます。

C. 安全性と適応性

• 分布外（OOD）処理： システムは、新しい UI 要素を検出するために毎日検証ルールを使用します。ドリフトが検出された場合、影響を受けるスライスでの自動化は無効化され、新しい監督データを収集するためにコパイロットモードに戻ります。
• 匿名化： 訓練データは、個人識別情報（PII）を保護するために、厳格なマスキング（エンティティの置換、セッションレベルの独自性）を受けます。
• 継続的改善： モデルは、最近のデータのローリングウィンドウに基づいて再訓練され、異なる問題クラスターに対してスライス固有のポリシー - クリティックペアが用意されます。

3. 主な貢献

1. 生産規模対応の段階的デプロイ： ログ収集からコパイロット、選択的自動化へと移行する新規パイプライン。手動でのルール作成を必要とせず、自然発生的な監督（受諾/拒否）を活用します。
2. スキーマ駆動型状態シリアライゼーション： 視覚的/スクリーンショットベースのエージェントから、BPM インターフェースの構造化された JSON 表現への移行。画像処理なしで堅牢な監視と信頼性の高いツール呼び出しを可能にします。
3. クリティックゲート型自律性： 軌跡フィードバックに基づいて訓練されたクリティックと SFT 訓練済みポリシーを組み合わせたメカニズムにより、誤り - カバレッジのトレードオフを管理し、高信頼性のステップの安全なバックグラウンド実行を可能にします。
4. エンジニアリングフレームワーク： 棄権、データドリフト処理、フォールバックなどの保護策の包括的なドキュメントと、アブレーション研究を伴うオンライン評価プロトコル。

4. 実験結果

このシステムは、A/B テストグループあたり約15,000 人の顧客を有するライブ生産環境で評価されました。

オフライン結果

• SFT の必要性： ゼロショットプロンプティング（GPT-5 や Gemini 3 などの大規模モデルを使用しても）では、ツール精度は約 47% に留まりました。Qwen2.5-7B モデルに対するドメイン固有の SFT は79.15% のツール精度を達成し、エンタープライズロジックには専門的な微調整が不可欠であることを証明しました。
• データ混合： 過去のログとコパイロットの拒否修正を混合することで、困難なケースにおける汎化性能が向上しました。
• クリティックの性能： SFT 訓練済みクリティックは、信頼度ベースのベースラインよりも**精度で +3.84%、F1 スコアで +3.03%**上回り、明示的な人間のフィードバックからの学習が、生モデルの不確実性よりも優れていることを検証しました。

オンライン結果（A/B テスト）

• 効率性： 人間のみをベースラインとした場合と比較して、選択的自動化システムは平均エージェント時間（AAT）を 39% 削減（227 秒から 139 秒へ）しました。
• 品質： 解決の正確性スコアはベースラインと比較して統計的に変化せず、サポート品質の低下がないことを確認しました。
• 自動化率： システムは、人間の介入なしにセッションの**45%**をエンドツーエンドで完全に自動化しました。
• 従来のボットとの比較： ルールベースのチャットボットベースラインと比較して、AAT を16% 削減することで上回りました。
• 累積的効果： 「必須確認」から「自動化可能実行」へ移行することで、AAT がさらに25% 削減されました。

5. 意義と結論

本論文は、高リスクなエンタープライズ環境において LLM エージェントを配備するための実用的でスケーラブルな道筋を示しています。

• パラダイムシフト： リスクの高い「完全自律」や脆い「静的 RPA」から、漸進的・選択的自律性へと移行します。
• ヒトループ： システムはオペレーターを「AI エディター」として扱い、複数の同時セッションを監督し、システムが不確実な場合のみ介入させます。
• 汎用性： このアプローチは、相互作用ログが利用可能な構造化インターフェースワークフローに適用可能であり、規制産業における安全で効率的な自動化の青写真となります。

この研究は、安全性はモデルの能力を制限することではなく、学習されたクリティックと、変化するビジネスロジックに継続的に適応する段階的デプロイプロセスを通じて実行をゲートすることによって達成されることを浮き彫りにしています。