技術要約: Causal Agent Replay (CAR)

問題提起

LLMエージェントが失敗した場合（誤った返金処理、誤ったツールの呼び出し、あるいはデータの漏洩など）、既存のオブザーバビリティおよび評価ツールは、「何が起きたか」を記述したり、結果がパスかフェイルかを判定したりすることはできても、「どの特定のステップが失敗を引き起こしたのか」を特定することはできません。

現在の帰属分析（attribution）のヒューリスティックには、根本的な欠陥があります：

1. 機械的動作と意思決定の混同： 有害なアクションを実行するステップ（例：issue_refund の呼び出し）は、多くの場合、先行するステップで行われた意思決定の機械的な帰結に過ぎません。実行ステップを責めることはカテゴリーエラーです。
2. 信頼性の低いLLMジャッジ： トランスクリプトを判断するためにLLMを使用することは、因果関係ではなく相関関係に基づいています。「Who&When」ベンチマークにおいて、LLMジャッジによるステップレベルの帰属精度は、最先端の技術でも約14%にとどまっています。

核心となる課題は、LLMエージェントが確率的なポリシー（stochastic policies）に基づいて動作することです。単純なリプレイでは、結果が意思決定と観察の複雑な軌跡の結果であるため、因果関係を明らかにすることはできません。

手法: Causal Agent Replay (CAR)

CARは、エージェントの実行を**構造的因果モデル（SCM）としてモデル化し、相関ではなく介入（intervention）**を通じて因果関係を特定することで、この問題に対処します。

1. 定式化

エージェントの軌跡 $\tau$ は、状態、アクション、観察、および結果のシーケンスとしてモデル化されます：
$$\tau = [s_0, (a_1, o_1), (a_2, o_2), \dots, (a_n, o_n), y]$$
ここで、$s_k$ は状態、$a_k \sim \pi(\cdot | s_k)$ は確率的ポリシーから抽出されたアクション、$o_k$ はツールの実行結果、$y$ はアウトカムスコアです。

2. 介入代数（Intervention Algebra）

CARは、特定のステップに対して do(·) 操作を実装し、同じ確率的ポリシーの下でダウンストリームのアクションを強制的に再決定させます。5つの操作が定義されています：

• do_resample: 変更されないポリシーからアクション $a_k$ を再抽出します（ヌル介入）。これは、そのステップに対するアウトカムの固有の因果的感度を測定します。
• do_action: 特定のアクション $a_k$ を強制します。
• do_observation: 観察 $o_k$ を置き換えます。
• do_context: ステップ $k$ における履歴を編集します。
• do_policy: ステップ $k$ 以降のモデルを入れ替えます。

3. 忠実なリプレイと非決定性

ステップ $k$ で介入を行うには、システムは正確な状態 $s_k$ を再構築する必要があります。CARは、非決定的な入力をすべて記録するレコード・リプレイ方式を採用しています。ホスト型のプロバイダーは、浮動小数点数の非結合性やバッチカーネルの影響により、完全な決定論的ではないことを認めています。したがって、CARは完全な再現性を主張するのではなく、リプレイの忠実度として**アクション一致率（action-match rate）**を報告します。固定シードを用いたローカルモデルは正確にリプレイされることが確認されており、これは分布的フレームワークの妥当性を検証しています。

4. 帰属推定器

介入は単一のパスではなくアウトカムの分布をもたらすため、CARは信頼区間を伴う統計的推定器を使用します。

• 対照的単一ステップ推定器（Contrastive Single-Step Estimator）:
  各ステップ $k$ について、システムはステップ $[0, k)$ を事実に基づいたアクションに保持し、do_resample(k) を適用した後、$K$ 回のフォワード実行を行い、「悪い」アウトカムの確率の変化を推定します。

  • 実行フォワードの混同（The Run-Forward Confound）: ステップ $k$ をリサンプルすると、意図せずダウンストリームのすべての確率的ステップも再ロールされます。これにより、初期の無関係なステップが、真に重要なダウンストリームステップの再ロールを引き起こすことで、因果関係があるように見えてしまう現象が発生します。
  • コミットメント・ポイント・ルール（Point-of-Commitment Rule）: これを解決するため、CARは、効果の信頼区間がゼロを依然として除外している最新のステップを因果的所在（causal locus）として特定します。これは、再決定によって実行を「救済」できる最後の地点であり、この地点を超えると、アウトカムは確定（committed）します。

• 予算制限付きモンテカルロ・シャプレー推定器（Budget-Bounded Monte-Carlo Shapley Estimator）:
  単一ステップの手法は、相互作用（例：2つのステップの両方が失敗しなければならないAND型失敗）を捉えることができません。CARは、シャプレー値を使用して、相互作用するステップ間でクレジットを分割します。

  • これは、アンチセティックな逆パーミュテーション・ペアリングを用いたモンテカルロ・パーミュテーション・サンプリングを用いて、あらゆる連合コンテキストにおける限界寄与を推定します。
  • キャッシュなし: パーミュテーション間で $v(S)$ をキャッシュしないのは、ステップごとの限界分散がゼロに収束し、偽の確信を生むことを防ぐためです。
  • 推定器はサーキットブレーカーを備えた予算制限付きであり、オンデマンドで実行されます。

主な貢献

1. SCMの定式化: エージェントの実行をSCMとして定式化し、5つの操作からなる介入代数を定義したこと。
2. 分布的フレームワーク: 確率的ポリシーを扱うために、アウトカム分布と信頼区間を中心にシステムを構築したこと。
3. コミットメント・ポイント・ルール: 再決定がダウンストリームの確率性を再ロールするという混同を解決し、真の因果的所在を特定するルールを確立したこと。
4. 相互作用の処理: 単一ステップの手法が構造的に失敗する、相互作用するステップにおけるクレジット分割のためのシャプレー推定器を提供したこと。
5. グラウンドトゥルースによる検証: 既知のグラウンドトゥルースを持つ合成SCMに対して手法を検証し、これがあらゆる帰属分析手法にとって必須であることを示したこと。

結果と検証

CARは、既知のグラウンドトゥルースを持つ合成SCMに対して検証されました：

• ピボタル・ステップの回収: 中間のステップがピボタルな意思決定であった3ステップのSCMにおいて、対照的推定器はその所在を当該ステップとして正しく回収しました。ダウンストリームのリサンプルは有意な影響を示さず、コミットメント・ポイントのセマンティクスと一致しました。
• 相互作用の回収: 2つの特定のステップが共に失敗した場合にのみアウトカムが悪くなるSCMにおいて、シャプレー推定器はクレジットを正しく分割しました（$\phi_0 \approx 0.44, \phi_1 \approx 0.45, \phi_2 \approx 0$）。効率の合計は0.909であり、解析値の0.91に極めて近い値となりました。
• 対照的手法の限界: 同じ相互作用の実行において、対照的推定器は過剰カウント（効果が真の総寄与を超えた）を起こしました。これは、相互作用におけるシャプレー推定器の必要性を実証しています。

意義と主張

本論文は、CARが相関ではなく介入を通じて「どのステップが失敗を引き起こしたか」という問いに答えるものであると主張しています。その意義は、以下の組み合わせにあります：

1. 実行された同一ポリシーによる do_resample 介入（オラクルによる置換やLLMによるテキスト判定を回避）。
2. 信頼区間を伴う分布的アウトカム。
3. 実行フォワードの混同を処理するためのコミットメント・ポイント・ルール。
4. 相互作用のためのシャプレーによるクレジット分割。
5. 合成グラウンドトゥルースによる検証。

システムはオープンソースであり、ホスト型および無料のローカルモデルの両方で動作するように設計されています。

限界

著者らは以下の限界を指摘しています：

• 直接効果 vs 全効果: 対照的効果は、確率的な継続を伴う全効果を測定します。ステップの直接的な効果を分離するには、分岐間で共通の乱数が必要ですが、これは分岐するLLMコンテキスト間では困難です。
• アウトカムのノイズ: ジャッジベースのアウトカム関数はノイズを注入します。信頼性を高めるには、ルールベースのアウトカムが好ましいです。
• 副作用: 実世界のツールにおける副作用は範囲外です。デモンストレーションでは、再現可能なモックツールを使用しています。
• 計算コスト: シャプレー推定は最悪の場合指数関数的です。モンテカルロ・アプローチは予算制限付きであり、分散と予算のトレードオフを伴います。