技術要約：ロールアウトなしでのタスク難易度予測

問題提起

大規模言語モデル（LLM）エージェントが進歩するにつれ、評価の最前線は、経験的な検証（「ロールアウト」と呼ばれるエージェントのシミュレーション相互作用）が深刻な計算およびロジスティクスのボトルネックとなる、複雑で長期間のドメインへと移行している。これらの環境においてベンチマークを設計・校正するには、膨大な試行錯誤が必要であり、それはますます困難になりつつある。先行研究では、静的なベンチマークにおけるデータ汚染を検出するためにモデルの不確実性を活用する方法が探索されてきたが、事前的（ex ante）な難易度予測、すなわち、コストのかかるシミュレーションを実行する前に、タスクの記述のみに基づいてそのタスクが困難になる可能性が高いかどうかを推定することに関する研究は不足している。既存のアプローチは、静的なコーディングタスクに限定されていたり、狭い特徴量に依存していたり、タスクレベルの難易度推定を正確に反映しない可能性のある評価指標（AUCなど）を使用していたりすることが多い。

手法

データセット構築

著者らは、コーディング、数学、機械学習、ウェブナビゲーション、ファンクションコーリング、サイバーセキュリティにわたる17のエージェント的ベンチマークにわたる415,470件のエージェント・タスク結果からなるマルチベンチマークコーパスを構築した。このデータセットには、216のモデルと90のスカフォールド（scaffolds）の組み合わせである497のエージェント構成によって評価された5,230のユニークなタスクが含まれている。

難易度ターゲット推定（IRT）

グラウンドトゥルースとしての難易度指標を確立するために、著者らは項目反応理論（IRT）、具体的には1パラメータ・ロジスティック（1PL）ラッシュモデルを採用している。

• モデル: エージェント $a$ がタスク $t$ に成功する確率は、$P(Y_{a,t}=1) = \sigma(\theta_a - \beta_t)$ とモデル化される。ここで、$\theta_a$ はエージェントの能力、$\beta_t$ はタスクの難易度を表す。
• 学習: モデルは、観測された二値の結果（成功/失敗）に対して、確率的変分推論（SVI）を用いて学習される。
• ターゲット: 得られたスカラー値 $\beta_t$ が難易度のターゲットとなる。異なるベンチマーク間の分散を扱うため、これらの値は各ベンチマーク内で標準化され、$z(\beta_t)$ が生成される。

特徴量エンジニアリング

予測パイプラインは、ロールアウト前の情報のみを使用して $\beta_t$ を推定することを試みる。著者らは、タスクのコンテキスト（$C_t$）とLLMによって生成された推論トレース（$R_t$）から派生した5つの特徴量ファミリーを定義している。

1. ランダム制御: ガウスノイズ。
2. ベースライン: 対数変換されたコンテキスト長。
3. 埋め込み（Embeddings）: 推論トレースのPCA削減された埋め込み（bge-base-en-v1.5を使用）。
4. エントロピー: オープンウェイトのスコアラーモデル（例：Qwen3-8B-Base）を用いて、推論トレース上のトークンレベルのシャノン・エントロピーを計算。これにより、各トークン位置におけるモデルの不確実性が捉えられる。
5. フルセット: エントロピーの要約（平均、広がり、形状、ギャップ）、スコアラー間の不一致、ベンチマークのメタデータ、構造的特性、および埋め込みを結合したもの。

評価指標

著者らは、このタスクにおけるAUCの使用を批判しており、予測器がすべてのタスクに一定の難易度を割り当てている場合でも、AUCは高くなり得る（これはエージェントの能力とタスクの難易度を混同しているためである）ことを示している。代わりに、以下の指標を優先している。

• スピアマンの $\rho$: 予測された難易度とIRT推定された難易度の間の順位相関。
• ペアワイズ精度（pAcc）: ベンチマーク内のタスクペアにおいて、予測された順序が真の順序と一致する割合。
• 評価分割: K-fold（イン分布）およびLeave-One-Benchmark-Out（LOBO、アウトオブ分布）。

主な結果

1. 難易度の予測可能性

タスクの特徴量は難易度予測のための意味のある信号を含んでいるが、その性能は分布によって異なる。

• イン分布（K-fold）: フル特徴量セットは、スピアマン $\rho$ で 0.399（ベースラインに対し $p < 0.001$）を達成した。エントロピー特徴量単体は最も強力な単一ファミリーであり（$\rho = 0.193$）、埋め込みや長さのベースラインを上回った。
• アウトオブ分布（LOBO）: 性能は低下するものの、依然として有意であり、フルセットは $\rho = 0.225$ に達した。これは、特徴量が難易度を符号化している一方で、未知のベンチマークファミリーへの汎化は限定的であることを示している。

2. AUCの限界

本論文は、難易度予測においてAUCが誤解を招くものであることを示している。「一定の難易度」を予測するモデル（すべてのタスクに同じ値を割り当てるもの）はAUC 0.715を示し、「ベンチマーク平均」を予測するモデルはAUC 0.806を示すが、これらはベンチマーク内でのタスクの順序付け能力がゼロである（pAcc = 0.000）にもかかわらずである。これは、AUCが主にエージェントの能力の分離を測定しており、タスク難易度の正確性を測定しているのではないことを裏付けている。

3. エントロピーの軌跡

アブレーション研究により、エントロピー軌跡の形状（局所的な不一致、傾き、分散）は、グローバルな平均統計量よりも情報量が多いことが明らかになった。複数のスコアラーモデルにわたってエントロピーを集計することは、イン分布の性能を向上させるが、アウトオブ分布の転移を一貫して改善するまでには至らず、ベンチマーク固有の言い回しへの過学習の可能性を示唆している。

4. 残差診断

著者らは、観測された難易度と予測された難易度の残差 $r_t = z(\beta_t) - \hat{z}_t$（観測値マイナス予測値）を使用して、隠れたタスク要因を診断することを提案している。

• 正の残差 ($r_t > 0$): タスクが予測よりも難しい。これは、潜在的な実現可能性の問題や、エバリュエーター（評価器）の失敗を示唆している（例：django-14725 タスクは残差 +1.41 で成功率 9% であった）。
• 負の残沢 ($r_t < 0$): タスクが予測よりも容易。これは、既知性（familiarity）またはデータ汚染を示唆している（例：django-11451 タスクは残差 -0.56 で成功率 71.8% であった）。

意義と主張

本論文は、事前の難易度予測が、プロアクティブな環境設計のための実行可能（ただし不完全）なツールであることを主張している。その主な貢献は以下の通りである。

1. 方法論的転換: 事後的な経験的検証から、ロールアウト前の推定へと移行することで、長期間のドメインにおける計算リソースを大幅に節約できる可能性がある。
2. 診断的有用性: 予測と観測された難易度の間のギャップが、フル評価を行う前に、汚染や実行不可能なタスクといったベンチマークの欠陥を特定するためのフィルターとして機能することを示した。
3. 特徴量の洞察: 静的な埋め込みや単純な長さの指標よりも、トークンレベルのエントロピーが優れた予測信号であることを確立した。
4. 評価の厳密性: 難易度推定におけるAUCの不適切さを強調し、エージェントの能力とタスクの難易度を混同することを避けるために、ランクベースの指標（スピアマン $\rho$, pAcc）を推奨している。

著者らは、現在の分野の状態については謙虚な姿勢を保っており、イン分布のランキングは信頼できるものの、クロスベンチマークの汎化は依然として未解決の問題であることを述べている。彼らは、将来の研究として、エントロピーを時系列としてモデル化することや、タスクの既知性と実現可能性のメカニズム的な予測器を開発することに焦点を当てるべきであると示唆している。