テクニカル・サマリー：オフラインにおける嗜好ベースの軌跡評価

問題提起

本論文は、エージェント・システムにおけるオフライン評価指標の、増大する非効率性と感度の低さに対処している。現在の標準的な慣行、特に**成功率（Success Rate: SR）**は、複雑なマルチステップの軌跡を単一のバイナリな終端値（成功または失敗）へと集約してしまう。このアプローチは、主に以下の2つの問題を引き起こす：

1. 情報の損失： 部分的な進捗や、タスクがどのように解決されたかという時間的ダイナミクスに関する詳細な信号を破棄してしまう。全く異なるパフォーマンス特性を持つ2つの軌跡（例：あるタスクを迅速に解決したものと、時間をかけて解決したもの、あるいは大幅な部分的な進捗を見せたものと全く見せなかったもの）は、最終的な結果が同じであれば、同一のものとして扱われてしまう。
2. 統計的不効率性： SRのバイナリな性質は、大量の「タイ（同値）」を誘発する。著者らは、多様なベンチマークにおいて、インスタンスレベルの比較の約**75%**がSR下ではタイ（区別不能）になることを観察している。これは実効サンプルサイズを劇的に減少させ、統計的検定力を弱め、システムのランキングを不安定にし、「ベンチマーク飽和」と呼ばれる現象（ベンチマークが、より有能なシステム間の差異を識別できなくなる現象）を助長している。

論文では、ベンチマークの飽和は、データの収集不足やタスクの難易度のみに起因するのではなく、評価尺度の選択によって著しく悪化していると主張している。

手法

著者らは、個々の軌跡に対してスカラー値を割り当てるのではなく、**時間的嗜好（temporal preference）に基づいて、軌跡のペアに対して符号付きの嗜好を割り当てるフレームワークである「嗜好ベースの軌跡評価（Preference-Based Trajectory Evaluation）」**を提案している。

コア概念：時間的嗜好

時間的割引（Temporal Discounting）は、時間と効用との間の特定の（しばしば恣意的な）関係をハイパーパラメータを通じて仮定する必要があるが、著者らは時間的嗜好を採用している。この原理は次のように述べる：「同じタスクの進捗を達成した2つのシステムがある場合、より早くそれに到達したシステムを好む。」 これには追加のハイパーパラメータを必要とせず、ドメインに対する仮定も少ない。

提案される尺度

論文では、戻りレベル $R \in [0, 1]$ において軌跡 $f$ と $f'$ を比較する、3つの具体的な嗜好ベースの指標を導入している：

1. 辞書式戻り（Lexicographic Return: LR）： 軌跡が異なる最高レベルの戻りにおいて、最も高い戻りレベルを優先する保守的なアプローチである。一方の軌跡が成功（$R=1$）し、もう一方が成功していない場合、成功した方が好まれる。両者が成功（または両者が失敗）した場合、差が生じた最高レベルにおける「戻りまでの時間」を比較することでタイを打破する。これはSRと密接に一致するが、タイ発生時に時間的な解像度を加える。
2. 戻りペアリング嗜好（Return-Paired Preference: RPP）： すべての戻りレベルにおける「戻りまでの時間」を統合する指標である。達成されたすべての戻りレベルを一様にスキャンし、各レベルに到達するために必要な時間を両方の軌跡について比較する。これらをセグメント幅で重み付けして集計することで、累積的な時間的優位性を測定する。
3. 区間ペアリング嗜好（Interval-Paired Preference: IPP）： ローカルな時間効率に焦点を当てた指標である。絶対的な「戻りまでの時間」ではなく、ある戻りレベルから次のレベルへ進むために必要な時間増分（$\delta$）を比較する。これにより、サブゴール遷移における進捗の整合性を捉える。

評価フレームワーク

著者らは、5つのベンチマークファミリー（AgentBoard, OpenHands-Index, TheAgentCompany, TALES, および合成SGRLデータセット）にわたって、提案手法を標準的なベースライン（SR, Partial Return (PR), および Success weighted by Path Length (SPL)）と比較評価している。

評価は以下のメタ評価基準に基づいている：

• 妥当性（Validity）： 指標間の類似性（収束妥当性）および「オラクル（正解）」のグラウンドトゥルースとの一致（基準妥当性、SGRL-oracleデータセットを使用）によって測定される。
• 信頼性（Reliability）： データ摂動下でのランキングの一貫性を判断するため、分割信頼性（split-half reliability）および一回抜き（leave-one-out）の安定性によって評価される。
• 感度（Sensitivity）： タイの発生率（区別不能なペアの減少）および識別力（システム間の統計的に有意な差を検出する能力）によって測定される。
• データ効率（Data Efficiency）： 評価サンプル数が減少するにつれて、指標がいかに速く安定したランキングに収束するかを分析する。

主な結果

多様なエージェントおよびインタラクティブなベンチマークにおける実証結果は、軌跡を考慮した嗜好ベースの手法が、すべてのメタ評価次元においてスカラー指標を凌駕することを示している：

• タイの減少： 嗜好ベースの手法は、タイの発生率をSR下の約**75%から、およそ35%**へと減少させた。これにより、これまで破棄されていた相当量の信号が回収された。
• オラクルとの一致： 正解のランキングが既知であるSGRL-oracleデータセットにおいて、SRとPRは真の嗜好を復元する精度がわずか**12.8%であった。対照的に、軌跡嗜好指標（LR, RPP, IPP）は94%を超える精度を達成した。特にRPPは、SPLの48.1%に対し、真の嗜好の63.2%**を（FDR補正下で）統計的に有意なものとして検出した。
• 信頼性： 軌跡嗜好法（LR, RPP）は、スカラー指標（0.70–0.75）よりも高い分割信頼性（相関 ~0.83–0.85）を示した。また、一回抜きによる摂動に対しても高い安定性を示した。
• 感度と識別力： 嗜好ベースの指標は、モデルが一様に成功している、あるいは一様に失敗している領域を含む、全範囲のタスク難易度において高い識別力を維持した。対照的に、SRの識別力はこれらの極限状態において崩壊した。
• データ効率： 嗜好ベースの指標は、より少ない評価インスタンスで安定したシステムランキングに到達した。例えば、RPPはSPLがフルデータでの性能を発揮するために必要とするデータの50〜60%の量で、有意な精度を達成した。

意義と主張

本論文は、ベンチマークの有用性において、評価指標の選択が極めて重要であり、しばしば見落とされている要因であることを主張している。本研究の主な意義は以下の通りである：

1. ベンチマーク飽和の再定義： 著者らは、観察されるベンチマークの飽和は、タスクやデータ自体の固有の限界ではなく、むしろ（SRのような）感度の低い指標を使用して、異なる軌跡をタイとして集約してしまうことによるアーティファクト（人工的な現象）である可能性を示唆している。
2. 新しいデータなしでの効率化： 提案手法は、既存の軌跡ログを利用して失われた信号を回収し、統計的検定力を向上させるものであり、追加のデータ収集、重み付け、またはハイパーパラメータ調整を必要としない。
3. オフライン嗜好評価： 本研究は、オフライン評価の安全性、速度、および反事実的分析能力を維持しつつ、アリーナ形式の比較（分散の低減、感度の向上）の利点を提供する、厳格なオフライン嗜好ベース評価のフレームワークを確立するものである。
4. 方法論的転換： 時間的割引（固定された時間-効用関係を仮定するもの）から時間的嗜好へと移行することで、本アプローチは、環境と相互作用するエージェント・システムを評価するための、より原理的で堅牢な方法を提供する。

著者らは、軌跡の構造に対する嗜好ベースの比較へと移行することで、現在の成功率ベースのパラダイムに内在する統計的不効率性に直接対処し、エージェント・システムのより信頼性が高く、敏感で、データ効率の高い評価が可能になると結論付けている。