Does Provenance Add Value Beyond Matched Skill Guidance?

技術要約：プロベナンス（由来情報）は、スキル・ガイダンスを一致させた場合を超えて、ターミナル・タスクの成功率を向上させるか？

問題提起
ツールを使用する大規模言語モデル（LLM）エージェントは、トレース、ソースファイル、および過去の実行結果に由来する外部スキルにますます依存するようになっている。これらの「スキル」には、通常のタスク・ガイダンスに加えて、ソースイベント、適用条件、証拠参照などのメタデータフィールド（プロベナンス）がパッケージ化されていることが多い。プロベナンスは監査には役立つが、それが「ターミナル・タスクの成功（terminal task success）」に対して具体的にどのような貢献をしているのかを分離して特定することは困難である。現在の評価手法は通常、スキル・パッケージ全体の有用性を測定するため、改善がガイダンスそのものによるものか、コンテキスト長の変更によるものか、あるいはシリアライズの影響によるものかを区別できないという「帰属の問題（attribution problem）」が生じる。本論文は、「通常のガイダンスを固定した場合、プロベナンス・メタデータの含有はエージェントのタスク完了能力を向上させるのか？」という問いを投げかける。

手法
本研究は、プロベナンス・フィールドの有用性を分離するために、制御されたペア介入デザインを採用している。

• 実験デザイン: 各タスクに対し、2つのアーム（群）が同一の通常のガイダンス、ツール、学生構成、および実行ポリシーを受け取る。唯一の変数は「証拠保持スロット（evidence-bearing slot）」の内容である。
  • アーム P (BESD): ソース/証拠および適用可能性フィールド（プロベナンス）を含む。
  • アーム M (SkillGenMatched): 固定幅のプレースホルダー（プロベナンスのセマンティクスを持たない）を含む。
• ベンチマークと分割: 本研究では、10のシナリオ・ファミリー（例：ワークスペースの書き込み、リトライ、権限など）にわたる834のタスクを含む、ソース・ローカルなベンチマークを利用している。主要な分析は、タスクIDが保持された（held-out）250のタスクに焦点を当てている。別途、コンテキスト長を制御するために、プロバイダーが報告した入力トークン長に基づいてマッチングさせた100のタスクを用いた探索的な修正が行われた。
• 介入契約: システムは、観察可能な証拠が閉じていることを保証するために「ハーネス・エビデンス・グラフ（Harness Evidence Graph）」を使用する。コンパイラは、証拠が可視である場合にのみ節（clause）を承認し、アクセス不可能なプロバイダー・コンテキストからの推論を防止する。
• 統計分析: 主要な推定対象は、有限母集団のペア・コントラスト（$\Delta_{P-M}$）である。本研究では、絶対成功率、ペア差、および厳密な二側検定（McNemar検定）を報告する。信頼区間は、タスク間の依存関係を考慮するために、タスクレベルのブートストラップ法（10,000回の抽出）およびクラスター認識のリサンプリングを用いて生成される。
• コントロール・バリアント（対照変数）:
  • Provider-Token-Matched: プロベナンス・アームの入力長に一致させたプレースホルダー・ペイロード。これにより、トークン数による影響を分離する。
  • メカニズム・コントロール: セマンティックな特異性をテストするために、正解、誤り、シャッフルされた、または無関係なプロベナンスを含むバリアント。
  • オポチュニティ・セル（機会セル）: プロベナンスがオラクル（正解）のアクションを明示的に決定する、構築されたサブセット。意思決定への関連性の境界をテストする。

主要な結果

1. 主要なペイロード・マッチング比較: 主要な250タスクのセルにおいて、BESD（プロベナンスあり）は42.0%の成功率に対し、SkillGenMatched（プロベナンスなし）は38.8%を達成した。ペア推定値は -3.2 パーセントポイント（95%タスク・ブートストラップ区間: [-6.0, -0.4]）であった。これは、ペイロード・マッチング条件下では、プロベナンスの追加はターミナル・サクセスの向上をもたらさず、コンテキスト長やシリアライズのオーバーヘッドにより、わずかに低下させた可能性があることを示している。
2. Provider-Token-Matched 修正: 入力長が一致した別の100タスクのセルでは、推定値は +2.0 パーセントポイント（区間: [-2.0, +6.0]）へとシフトした。この区間はゼロを跨いでおり、この結果は不正確であり、統計的に有意なプラスの効果を確立するものではない。
3. メカニズム・コントロール: 100タスクのメカニズム・セルにおいて、「CorrectProvenance（正しいプロベナンス）」は、「Wrong（誤った）」、「Shuffled（シャッフルされた）」、または「Irrelevant（無関係な）」プロベナンスのペイロードと同様の性能を示した（すべてベースラインに対して負または中立のコントラストを示した）。これは、主要なセルで観察された効果がプロベナンスのセマンティックな正しさによって駆動されたのではなく、コンテキスト長のようなノイズ要因によるものである可能性が高いことを示唆している。
4. ファミリーの不均一性: 負のコントラストは retry_wrapper ファミリー（-36.4 ポイント）に集中していた。その他のファミリーでは差が見られなかった。これは、この効果が普遍的なメカニズムではなく、シナリオ依存であることを示唆している。
5. オポチュニティ・バウンダリ（機会の境界）: プロベナンスのラベルがオラクルのアクションを決定する構築されたセルでは、「CorrectProvenance」は50/50のタスクで成功したが、「SkillGenMatched」ベースラインは25/50であった。これは、プロベーションが意思決定に関連し得ることを示しているが、それはタスク設計が、他に識別不可能なアクションの中から正しいものを選択するためにプロベナンスを明示的に要求する場合に限られる。

主な貢献

• 評価プロトコル: コンテキスト・マッチングを推定対象の一部として扱うことで、「スキル全体の有用性」と「プロベナンスの有用性」を分離するプロトコルを導入した。
• 帰属の明確化: バンドルされたスキルのスコアは、ガイダンスの有用性とメタデータの有用性を混同してしまうことを示した。本研究は、プロベナンスの有用性が固定された特性ではなく、マッチング・レジーム（ペイロードかトークンか）やタスク設計に応じて変化することを示している。
• 制御された比較: エージェント・スキルの監査のための厳格なフレームワークを提供し、ガイダンス・マッチングされた比較対象、およびプロバイダー報告トークンの監査、ならびにタスク・オラクルがプロベナンスを意思決定に関連させているかどうかの明示の必要性を強調している。

意義と主張
本論文は、プロベナンスの有用性は、バンドルされたスキルのスコアから推論することはできないと結論付けている。プロベナンスの価値は、どのように制御されるかに依存する：

• コンテキスト長が制御されていない場合（ペイロード・マッチング）、プロベナンス・フィールドはノイズやオーバーヘッドを導入し、ターミナル・サクセスに対して負または中立の影響を与える可能性がある。
• コンテキスト長が制御されている場合（トークン・マッチング）、その効果は不確実（ゼロを跨ぐ）になる。
• プロベナンスは、メタデータが実行可能なアクションを決定するために必要とされる特定の「オポチュニティ」条件下においてのみ、大きなプラスの有用性をもたらす。

著者は、評価者にとって、標準的な慣行は「ガイダンス・マッチングされた比較対象の公開」、「プロバイダー報告トークンの監査」、および「タスク・オラクルがプロベナンスを意思決定に関連させているかどうかを明示すること」へと移行すべきであると主張している。実務家にとって、プロベナンスは現在のエージェント・アーキテクチャにおいてターミナル・タスクの成功を一貫して向上させるわけではないとしても、監査可能性やデバッグのために依然として価値がある。本研究の主張は控えめであり、結果はソース・ローカルかつフィクスチャ（固定設定）に基づいた設定に限定されており、さらなるストレス・テストなしには制約のないアプリケーションには一般化できないことを注記している。