テクニカル・サマリー：すべてのスキルが役立つわけではない：エージェント知識の測定と修復

1. 問題提起

現在の、重みの更新なしに大規模言語モデル（LLM）エージェントを向上させるパラダイムは、経験から自然言語によるスキルを蓄積することに依存しています。これらのシステムは通常、スキルの生成、保持、および検索というスキル・ライフサイクル全体を、LLM自身の判断に委ねています。その根底にある仮定は、LLMが単一タスクのコンテキストに基づいて、どのスキルを保持し、どのように適用すべきかを十分に判断できるというものです。

しかし、本論文は、このアプローチが2つの異なる役割を混同していると主張しています。

1. 生成 (Generation): 経験からスキルを作成すること（LLMの判断力が優れている創造的な行為）。
2. キュレーション (Curation): あるスキルが実際に役立っているかどうかを決定すること（多くのタスクにわたる証拠を必要とする経験的な問い）。

著者らは、無秩序な蓄積に伴う体系的なデメリットとして、因果的異質性 (causal heterogeneity) を特定しています。個々のスキルは特定のタスクタイプには役立つ一方で、他のタスクには悪影響を及ぼすことがあります。これらの相反する効果が総体として相殺されるため、グローバルなキュレーション手法（スキルの平均的なパフォーマンスに基づいて評価するもの）では、これらを検出できません。その結果、「悪い」スキルは目に見えないオーバーヘッドとなり、特に複雑なタスクや分布外（out-of-distribution）のタスクにおいてエージェントの性能を低下させます。

2. メソドロジー：ASSAY フレームワーク

著者らは、スキルの生成とキュレーションを分離するフレームワークである ASSAY (Attribution-Based Skill Selection and Assembly) を提案します。これは、$N$ をスキルの数、$M$ を開発タスクの数とする単一の因果属性行列 $C \in \mathbb{R}^{N \times M}$ によって統合された3つのステージで動作します。

ステージ 1：因果効果の測定（ランダム・マスキング）

スキルの評価をLLMの判断に頼る代わりに、ASSAYはランダム・マスキングを使用して、バイアスのない因果属性を計算します。

• プロトコル: $K$ 回の独立した試行において、各スキルを確率 $f$ で含める（ベルヌーイ・サンプリング）ことで、ランダムなマスクを構築します。
• 属性 (Attribution): タスク $d_i$ に対するスキル $s_j$ の因果スコア $C[j, i]$ は、スキルが存在する試行と存在しない試行の間の平均差推定値として計算されます。
• 結果: これにより、あるスキルが特定のタスクに対して「助けになる（正のスコア）」「害になる（負のスコア）」「影響がほとんどない」ことを明らかにする行列が得られます。これは、スキルがタスクタイプによって符号が反転することが多いという因果的異質性を明らかにします。

ステージ 2：オフラインでのライブラリ再構築

属性行列を用いて、推論前に異質性を解消するためにオフラインでスキル・ライブラリを再構築します。

1. 分割 (Split): 高い異質性（タスク間の因果スコアの大きな分散）を持つスキルは、ベースとなるLLMによって、明示的なトリガー条件（例：「タスクタイプがXの場合にのみ適用」）を持つ条件付きバリアントへと書き換えられます。これらのバリアントは、全体のパフォーマンスを低下させないことを保証するために、開発ゲートを通過しなければなりません。
2. 退去 (Retire): グローバルな因果スコアがほぼゼロに近い（影響が無視できる）スキルは、コンテキストのノイズを減らすために削除されます。
3. 統合 (Merge): 分割中に導入された類似したスキルはクラスタリングされ、最もスコアの高いメンバーが保持されます。

ステージ 3：タスクごとの因果的マスキング

推論時には、静的なライブラリでは不十分です。なぜなら、最適なスキルのセットはタスクごとに異なるからです。ASSAYは、スキル選択をリスク最小化問題として扱います。

• 予測: 新しいテストタスクに対して、システムは指示埋め込み（instruction embeddings）に基づき、最も近い $k$ 個の開発タスクを特定します。そして、それらの近傍の歴史的な因果スコアを重み付けすることで、各スキルの予測因果効果 $\hat{C}(s_j, t)$ を計算します。
• マスキング規則: 負の因果効果が予測されるスキルは抑制され、正または中立の効果を持つスキルは保持されます。保護されたオペレーショナル・テンプレート（例：ページネーション、データバリデーション）は、致命的な失敗を防ぐためにマスキングの対象外となります。
• フォールバック: フィルタリングされたセットが小さくなりすぎた場合、システムは完全なライブラリに戻り、緩やかな劣化（graceful degradation）を確実にします。

3. 主な貢献

• 実証的特性評価: 本論文は、スキルのライブラリにおける広範な因果的異質性の最初の実証的証拠を提供し、スキルが一部のタスクには役立ち、他のタスクには害を与えることが日常的に起こり、それがグローバルなキュレーションでは見逃されることを示しています。
• フレームワーク設計: ASSAYは、生成（LLMの判断）とキュレーション（経験的な測定）の分離を具体化しています。因果属性を計算し、オフラインでライブラリを再構築し、推論時にタスクごとのマスキングを適用するパイプラインを導入しています。
• 最先端の性能: 本フレームワークは、重みを変更することなく、多様なモデルとベンチマークにおいて大幅な改善を達成しています。
  • AppWorld: 最も困難なスプリットにおいて、DeepSeek-V3は 69.3% のタスク目標達成率 (TGC) を達成し、公開されている手法（重み調整を行うものを含む）を 47.4% 相対的に上回り、新たなSOTA（State-of-the-Art）を樹立しました。
  • $\tau$-bench: GPT-4.1 は 8.7% 相対的に向上し、重み変更なしで、公開リーダーボード上の o4-mini, o1, GPT-4.5 を追い抜きました。
• ボトルネックの特定: アブレーション研究により、主要なボトルネックは「悪い」スキルがグローバルに存在することではなく、推論時に正しいスキルを特定のタスクにマッチングできていないことであることが確認されました。タスクごとのマスキングが主要な利益をもたらしています。

4. 実験結果

フレームワークは、4つのプロバイダー（OpenAI, DeepSeek, Anthropic, Google）の7つのベースモデルを用いて、2つのベンチマーク（AppWorld および $\tau$-bench）で評価されました。

• 汎用性: ASSAY は、すべての7つのモデルにおいて一貫してパフォーマンスを向上させました。AppWorld の test_challenge スプリットでは、非キュレーション型のスキル・ライブラリは一部のモデル（例：GPT-5.1）の性能を低下させましたが（52.5% から 49.9% へ）、ASSAY はこれを逆転させ、大幅な向上を実現しました。
• 難易度への感度: この手法は、非キュレーション型のライブラリが最も害を及ぼすレベル2およびレベル3のタスクにおいて、最大の利益をもたらしました。
• 境界条件: 2つのモデル（GPT-5.1 および Sonnet 4.5）は、$\tau$-bench においてゼロの利得を示しました。著者らは、これをベースモデルの能力が高いために、プロンプト時へのスキル注入による恩恵が飽和しているためと考えています。

5. 意義と主張

本論文は、スキルのライフサイクル全体をLLMの判断に依存することへの現在の依存が、根本的な限界であると主張しています。経験的な測定に基づくキュレーション段階を導入することで、ASSAY は既存のスキルベースのエージェントを悩ませている「因果的異質性」の問題を解決します。

著者らは、彼らのアプローチが既存の手法に対して補完的であることを強調しています。

• これは完全に推論時に動作し、重みの更新を必要としません。
• 既存のあらゆるスキル生成パイプライン（例：ACE, CUGA, Reflexion）の上にレイヤーとして重ねることができます。
• パラダイムを「より多くのスキルを蓄積すること」から、「スキルをタスクに精密にマッチングさせること」へとシフトさせます。

本研究は、スキルの生成はLLMが扱うべき創造的な行為であるが、スキルのキュレーションは、コンテキストウィンドウに注入される知識が実際にエージェントのパフォーマンスを助けることを保証するために、ランダムな測定を必要とする経験的な問題である、と結論付けています。