技術要約：対話およびLLMエージェントの軌跡における弱教師あり早期失敗検知

問題定義

本論文は、カスタマーサポートの対話やLLMベースのエージェントの軌跡といった、マルチターンのインタラクティブなシステムにおける**早期失敗検知（early failure alerting）**の課題に取り組んでいる。核心となる目的は、相互作用が進行している最中に、その軌跡が失敗する可能性が高いかどうかを判断し、タイムリーな介入（例：人間へのエスカレーションや計算の停止）を可能にすることである。

この問題には、主に2つの課題がある：

1. 希薄かつ遅延した教師信号（Sparse and Delayed Supervision）: 教師信号は通常、終端の軌跡レベルのラベル（成功または失敗）としてのみ利用可能である。しかし、アラートは部分的なプレフィックス（前方部分）に基づいて発行されなければならない。既存の手法は、失敗した軌跡のすべてのプレフィックスには失敗の証拠が含まれている（終端ラベルをすべてのプレフィックスにブロードキャストする）と仮定することが多い。著者らは、言語による相互作用における証拠は**希薄（sparse）であり、多くの場合、軌跡の後半（late）**に現れるため、この仮定は不適切であると仮定している。つまり、初期のプレフィックスには失敗を示す内容が含まれていない可能性がある。
2. 可変的な運用上の好みの存在（Variable Operating Preferences）: デプロイメントにおいては、精度（誤報の最小化）と早さ（失敗をできるだけ早く検知すること）の間のトレードオフが求められる。現在のSOTA（最先端）手法は、特定の好みに合わせて個別のモデルやポリシーを訓練する必要があることが多く、デプロイ時の変更に対して柔軟性に欠ける。

手法

提案されるフレームワークは、**アテンションベースの失敗予測器（Attention-Based Failure Predictor）**と、**好みに応じた停止ポリシー（$\alpha$-STOP）**という2つの補完的なコンポーネントで構成されている。

1. アテンションベースの失敗予測器

失敗の証拠が持つ希薄な構造から学習するために、単に終端の失敗ラベルをすべてのプレフィックスに割り当てるのではなく、**複数インスタンス学習（Multiple Instance Learning: MIL）**を用いた2段階の予測器を導入している。

• ステージ1：MILに基づくターンレベルの証拠: モデルは軌跡を「ターン（発話単位）」の「バッグ（袋）」として扱う。アテンションベースのMILモジュールは、どの特定のターンが終端の失敗ラベルに対して最も責任があるかを学習する。これにより、ターンごとのリスクスコア（$s_k$）とアテンション重み（$\pi_k$）を生成する。オンラインでのアラート通知では全軌跡にアクセスできないため、オンライン・ゲーティング予測器を用いて、ターン $k$ までのプレフィックス履歴のみを使用してこれらの重みを近似する。上位 $K$ 個の寄与分が証拠ベクトル $E_t$ を形成する。
• ステージ2：融合（Fusion）: 終端ラベルをブロードキャストすることで学習されたナイーブなプレフィックス予測器（$b_t$）と、希薄な証拠ベクトル（$E_t$）を融合させる。融合ネットワーク（$g_\psi$）は、ナイーブな予測、証拠ベクトル、および正規化されたタイムステップを組み合わせ、最終的な失敗確率 $\hat{p}_t$ を生成する。この融合は、ナイーブな予測器は早期に上昇するがノイズが多い一方、証拠信号は遅れて上昇するがより正確であるという特性を利用している。

2. $\alpha$-STOP（好みに応じた停止ポリシー）

失敗確率をアラートの決定に変換するために、精度と早さのトレードオフを再学習なしで横断できる単一のポリシーである $\alpha$-STOP を提案する。

• 目的関数: ポリシーは、スカラー化された目的関数 $J_\alpha = \mathbb{E}[\alpha \cdot R_{acc} - (1-\alpha) \cdot C_{delay}]$ を最大化する。ここで $\alpha \in (0, 1]$ はユーザー指定の好みパラメータである。
• 状態表現: ポリシーは、融合された予測、ナイーブな予測、証拠、時間、および埋め込みを含む、豊かな状態 $s_t = (\hat{p}_t, b_t, E_t, \tau_t, z_t)$ に条件付ける。
• 学習: 検証データに適合させたプラグイン・閾値コントローラーから**行動クローニング（Behavior Cloning: BC）**によって初期化され、その後 PPO（Proximal Policy Optimization） を用いて洗練される。
• 推論: 推論時に $\alpha$ を変化させることで、単一の訓練済みポリシーが連続的な動作点を生成できる。これにより、ユーザーは再学習を行うことなく、保守的（遅いが高精度）なアラートから積極的（早いが低精度）なアラートへと切り替えることができる。

主な貢献

1. 希薄な証拠の経験的特性付け: 5つの多様なベンチマーク（カスタマーサポート、タスク指向対話、説得、ツール使用、プランニング）を通じて、著者らは、失敗を強く示すターンは軌跡のわずか 4.7–11.3% を占め、通常、軌跡の 59.0–83.6% が経過した後に現れることを実証した。
2. 弱教師ありオンライン失敗予測: ナイーブなプレフィックススコアと希薄なターンレベルの証拠を融合させたアテンションベースの予測器は、ナイーブなプレフィックス教師あり学習と比較して、パレート境界の質（ハイパーボリューム）を 1–10% 向上させた。
3. 好みに応じた早期アラート: $\alpha$-STOP ポリシーは、SOTAのトリガーポリシー（ALERT*, FIRMBOUND）に対して 3–42% のパレート境界の質（ハイバーボリューム）の改善を達成した。決定的なのは、異なる好みに対して再学習する必要がないため、学習コストを 1–3 桁 低減できる点である。

結果

手法は以下の5つのデータセットで評価された：

• 対話（Dialogs）: PCS（カスタマーサポート）、BETOLD（タスク指向）、P4G（説得）。
• LLMエージェント: AppWorld（ツール/API使用）、ALFWorld（テキストベースのプランニング）。

主な知見:

• 予測器の性能: アテンションベースの予測器は、最大精度（Maximum Accuracy）およびハイパーボリューム（HV）において、ナイーブなベースラインを一貫して上回った。例えば、PCSにおいて、最大精度は 0.695（ナイーブ）から 0.813（アテンションベース）へと向上した。
• 停止ポリシーの性能: $\alpha$-STOP は、ALERT*、FIRMBOUND、エンドツーエンドRL、およびLLM Judge を含むベースラインを上回った。PCSデータセットにおいて、$\alpha$-STOP は ALERT* の 0.808 に対し、0.847 の最大精度を達成した。
• 効率性: ALERT* やエンドツーエンドRLのようなベースラインは、各好みのポイントに対して個別の学習実行（11個のポイントに対して11回の実行）を必要としたが、$\alpha$-STOP は全スペクトラムをカバーするためにたった1回の学習実行を必要とした。これにより、動作ポイントあたりのGPU時間コストは、ALERT* の 9.874 に対し、$\alpha$-STOP では 0.003 となった。
• 制御性: パラメータ $\alpha$ は強力な単調制御を示し、$\alpha$ と早さの間に高い順位相関（$\rho > 0.94$）を示した。これにより、アラートの厳格さを調整する際の予測可能な挙動が保証された。

意義と主張

本論文は、そのアプローチが、実際の言語的相互作用の構造により適合した、実用的な弱教師ありフレームワークを提供すると主張している。

• 現実への適合: 「ナイーブなプレフィックス」の仮定から脱却することで、失敗の証拠は希薄で遅れて現れるという事実を認め、より正確なリスク推定を実現している。
• 運用の柔軟性: 単一のパラメータ $\alpha$ によって推論時に精度と早さのトレードオフを調整できる能力は、デプロイメントにおける重要なニーズに応えるものである。これにより、個別のモデルを再学習するという膨大なコストをかけることなく、システムの安全性レジームやユーザーの好みに適応させることが可能になる。
• モジュール性: 失敗予測器（リスク推定）とトリガーポリシー（意思決定）を分離することは、長期かつ希数な軌跡におけるクレジット割り当てが困難な、この弱教師あり設定において、エンドツーエンドのRLアプローチよりも効果的であることを証明している。

著者らは、このフレームワークが、インタラクティブなAIシステムにおける、より早期かつ信頼性の高い介入を可能にし、安全性と信頼性を向上させると同時に、アラートポリシーのチューニングに伴う計算オーバーヘッドを大幅に削減できると結論づけている。