Agent Step Value: Probing the Observer Effect in Black-Box Traces

技術要約：エージェント・ステップ値 (Agent Step Value: ASV)

問題提起
言語モデルエージェントに対する最終回答評価は、ブラックボックス解析としては不十分である。なぜなら、トレース内のどの特定の遷移が状態を改善または悪化させたのかを隠蔽してしまうからである。ReActやDSPyのようなシステムは、検索、合成、監査を含む複雑なワークフローを生成するが、標準的な指標では、特定のステップ（例：検索コールや監査）が価値を加えたのか、あるいはエラーを導入したのかを分離できない。さらに、既存のプロセス監督手法は、事前定義されたラベルや報酬モデルに依存しており、エージェントの振る舞いと評価者の特定のプロンプト感受性を混同させてしまうことが多い。エージェントの挙動を「真実」として扱うのではなく、評価プロトコル自体が測定結果にどのように影響するかを明示的に考慮しながら、遷移レベルの信念更新を測定するフレームワークが必要とされている。

手法：エージェント・ステップ値 (ASV)
著者らは、エージェントが状態 $x_{i-1}$ からアクション $a_i$ を介して $x_i$ へと遷移する際の、固定された候補集合 $C$ に対する評価者の信念の変化をスコア化するために設計されたリプレイ・フレームワーク、ASVを導入する。

• 状態投影とスコアリング (State Projection and Scoring): ASVは、エージェントの状態の「編集済み投影（redacted projection）」を処理する、状態に基づいたLLM評価器 ($E_\theta$) を用いる。この投影は、物理的なラベル、正解、および機密情報を除去し、安定した候補識別子とテキストのみを保持する。
• 熟考とスコアリングの分離 (Deliberation vs. Scoring): 推論とスコアリングを分離するため、プロトコルは二段階のアプローチを採用する。まず、評価器は候補に対してラベルを含まないコンパクトな根拠（rationale, $r_x$）を生成する。次に、物理的なラベルのマッピングが付加され、評価器は対数確率を用いて単一のオプション・トークンをスコア化する。これにより、推論の導入部が最初のトークン選択にバイアスを与えることを防ぐ。
• 診断 (Diagnostics): ASVは各遷移に対して3つの異なる指標を算出する：
  1. エントロピー移動 ($\Delta H$): 不確実性の変化を測定する。
  2. ベイズ的驚き (Bayesian Surprise, $S$): 方向に関わらず、信念分布のシフト量 ($D_{KL}$) を測定し、エントロピーでは見逃される可能性のあるピボット（転換点）を検出する。
  3. ゴールド・マージン利得 ($G_{margin}$): 検討対象であるターゲット候補 $g$ とその最も近い競合候補との間の対数尤度マージンの変化を測定する。これは、ターゲットへの接近または離反を示す。
• プロトコル感受性 (Protocol Sensitivity): ASVは、評価プロンプト、根拠の方針（rationale policy）、および投影を一つの「測定チャネル（measurement channel）」として扱う。異なるチャネル（例：根拠の長さやラベルの置換を変える）の下で凍結された遷移をリプレイすることで、ASVは評価プロトコル自体が知覚されたステップの価値をどれほど変化させるかを定量化する。

実験設定
本研究では、PubMedのエビデンス検索を含む100のオープンQAタスクを用い、1,100のエージェント・ステップを生成した。これらのトレースは、128トークンの根拠条件付きプロトコルで構成されたDeepSeekモデルを用いて評価された。著者らはこれを直接的なワン・トークン・スコアリングと比較し、さらに同じ遷移を様々なチャネル変更（例：512トークンの根拠、抽出バッファ、ラベル置換）の下でリプレイし、分散の要因を特定した。

主な結果

• 根拠プロトコル下での負のステップ値: 128トークンの根拠条件付きプロトコルの下では、平均ゴールド・マージン利得は有意に負（-2.335）であり、多くの遷移が評価者の信念を正しいターゲットから遠ざけていることを示した。対照的に、同一のトレースに対する直接的なワン・トークン・スコアリングは、正の利得（+4.033）を示した。
• エントロピーの盲目性 (Entropy Blindness): エントロピーの移動は全ステップを通じて実質的にゼロ（0.000）であり、変化を検出できなかった。しかし、平均ベイズ的驚きは2.693であり、評価者の信念が、全体的な不確実性を変えることなく、ほぼワンホット（one-hot）なピボット（ある候補から別の候補への信頼の切り替え）を起こしていることを明らかにした。
• 損傷の局在化 (Localization of Damage): 最も大きな負のステップ値は、抽出 (extraction) (-7.790) および 監査 (audit) (-7.392) フェーズ、特にエビデンスがワークフローに入った後に発生した。これは、中間状態を圧縮したり批判したりすることが、ターゲット指向の信念をしばしば劣化させることを示唆している。
• 根拠の圧縮が主因: コンポーネント属性監査の結果、スコアの正負の逆転は主に根拠の圧縮 (rationale compression) チャネルによって引き起こされていることが判明した。フル状態の直接スコアリングは正（+7.750）であったが、128トークンの生成された根拠チャネルは急激に負（-21.741）となった。根拠を512トークンに拡張するか、抽出バッファを使用することで、この逆転は概ね緩和された。これは、短い生成された根拠が、正確な評価に必要な重要な手がかりを圧縮して排除してしまうことを示唆している。

意義と主張
本論文は、ASVが、最終回答メトリクスやエントロピーベースの分析では不可視である、エージェント・トレース内の「信念のピボット」および「損傷／修復」イベントを特定する方法を提供すると主張している。その主要な貢献は、ステップ値はエージェントの遷移に固有の特性ではなく、評価チャネルによって共同決定されるものであるという事実を実証したことにある。

著者らは、特定の評価者チャネルを伴わないステップ値は曖昧であると論じている。なぜなら、それは投影、圧縮、またはスコアリング規則によって導入されたアーティファクトと、実際のエージェントの振る舞いが混在している可能性があるからである。プロンプトと根拠の方針を測定チャネルとして扱うことで、ASVは研究者が評価プロセス自体を監査することを可能にする。本研究は、観測された改善や劣化が、単なる評価セットアップのアーティファクトではないことを保証するために、数値的なステップ値は客観的な報酬として信頼すべきではなく、プロトコル感受性の診断と共に報告されるべきであると結論付けている。このフレームワークは、因果的な報酬推定器としてではなく、エージェントのワークフローをデバッグするための診断ツールとして提示されている。