技術要約: Bayesian-Agent: LLMエージェントのための事後分布に基づくスキルの進化

1. 問題提起

大規模言語モデル（LLM）エージェントは、モデルの重みそのものよりも、プロンプト、ツール、メモリ、標準作業手順書（SOP）、およびハーネスからのフィードバックからなる外部推論環境に依存してタスクを解決することが増えています。これらの再利用可能な資産は、再学習なしに実行能力を向上させることができますが、これらを更新するための既存の手法は、多くの場合、ヒューリスティックなリフレクション（内省）や、成功と失敗の単純な頻度カウントに依存しています。

本論文は、既存のアプローチにおける2つの主要な限界を特定しています：

1. 未校正の更新（Uncalibrated Updates）: 疎なエージェントの軌跡を独立同一分布（i.i.d.）の観測値として扱うことは、ノイズの多い編集につながります。あるスキルはある文脈では信頼できるかもしれませんが、別の文脈では有害になる可能性があります。単純なカウントでは、このニュアンスを捉えることができません。
2. 外部化された失敗（Externalized Failure）: 能力がスキルやSOPとして外部化されるとき、失敗もまた外部化されます。もしエージェントが自然言語による自己批判のみに基づいて資産を更新する場合、現在の失敗を修復する一方で、将来のタスクのパフォーマンスを低下させるような編集を導入してしまう可能性があります。逆に、もしハーネスがスキルを修正しなければ、繰り返される失敗はモデルの学習ループの外側に置かれたままとなります。

核心となる課題は、再利用可能なスキルやSOPが、未校正の試行錯誤ではなく、検証された証拠に基づいて進化するように、外部の意思決定環境（「ハーネス」）をどのように維持するかという点です。

2. メソドロジー: Bayesian-Agent

著者らは、再利用可能なスキルやSOPを証拠を伴う仮説（evidence-bearing hypotheses）として扱うフレームワークであるBayesian-Agentを導入します。このフレームワークは、LLMに対してスキルが「良い」かどうかを問うのではなく、ベイズ的な問いを投げかけます。すなわち、「凍結されたモデルと特定の推論環境があるとき、事前仮定と検証された証拠を組み合わせた後、このスキルについて我々は何を信じるべきか？」という問いです。

2.1 問題定式化

本フレームワークはモデルの重み（$M_\theta$）を固定し、ハーネスの進化を推論条件（$C_t$）に対する最適化として扱います。スキル $h_k$ の信頼性は、モデル、コンテキスト、および観測された特徴量における成功確率として定義されます：
$$p_{k,t} = P(y_t = 1 \mid M_\theta, C_t, h_k, z_t)$$
ここで、$z_t$ は検証された軌跡（例：トークン数、ターン数、失敗モード）から抽出された離散的な特徴ベクトルです。

2.2 軌跡の証拠（Trajectory Evidence）

Bayesian-Agentは、実行ハーネスによって生成された**検証済みの軌跡（$e_t$）**からのみ、信念を更新します。これらの軌跡には以下が含まれます：

• タスクのコンテキストと結果（$y_t \in \{0, 1\}$）：これはモデルの自己評価ではなく、外部の検証器またはベンチマーク・グレーダーによって決定されます。
• ランタイム信号（トークンコスト、レイテンシ、ターン数）：疎なオンラインデータセットを扱うために、固定されたバケットに離散化されます。
• 検証器から導出された失敗モード。

2.3 ベイズ証拠モデル

システムは、各スキルに対して特徴量条件付きカテゴリカル・ベイズ証拠モデルを維持します：

• 事前分布（Priors）: 観測が疎な場合に保守的な推定を提供するために、ラプラス平滑化を使用します。
• 尤度（Likelihood）: 特定の特徴値（例：「コンテキストYにおいて失敗モードXが発生する」）を条件とした成功/失敗の確率を計算します。
• 事後分布（Posterior）: 意思決定とランキングに使用される成功確率（$s_{k,t}$）を計算します。
• 要約（Summary）: オーディット（監査）および失敗優位性のチェックのために、共役ベータ・ベルヌーイ要約（$\alpha, \beta$）を維持します。

2.4 事後分布に導かれたスキルのアクション

事後分布の状態は、以下の5つの検査可能なアクションへとマップされる保守的な書き換えポリシーを駆動します：

1. 探索（Explore）: 観測が存在しない場合、または事後分布が不確実な場合にトリガーされます。
2. パッチ適用（Patch）: 同じ失敗モードが少なくとも2回出現した場合にトリガーされます（繰り返される失敗をガードレールへと変換します）。
3. 分割（Split）: 幅広いスキルが異質なケース（3つ以上のコンテキスト、4つ以上の観測）をカバーしている場合にトリガーされます。
4. 圧縮（Compress）: スキルが信頼できる場合（成功率 $\ge$ 0.72）、コンテキストを簡潔に保つためにトリガーされます。
5. 引退（Retire）: 失敗の証拠が支配的になった場合（低い成功確率、高い $\beta$）、トリガーされます。

重要な点は、フレームワークが事後分布の監査情報（デバッグ用に保存）とモデル向けの指示を分離していることです。LLMには、生の確率数値ではなく、実行可能なガードレールや失敗モードのパッチが渡されます。

2.5 実行モード

• フルモード（Full Mode）: レジストリはベンチマーク実行中にゼロからオンラインで進化します。
• インクリメンタルモード（Incremental Mode）: システムは完了したベースライン実行からの検証済みトレースを取り込み、レジストリを更新し、事後分布に基づいたパッチを用いて失敗したタスクのみを再実行します。

3. 主な貢献

1. スキルを仮説として定式化: 自己進化を、経験的なプロンプトの蓄積から、不確実性下での検証済みかつ事後分布に基づいた最適化へと転換しました。
2. 統一されたフレームワーク: プロンプト、コンテキスト、およびハーネス・エンジニアリングのための統一されたベイズ的視点を提供し、効率的なカテゴリカル証拠モデルと事後分布に基づいた書き換えポリシーによって具体化されています。
3. ネイティブおよびクロスハーネス・サポート: 最小限のネイティブ・バックエンドを導入すると同時に、外部ハーネス（GenericAgent, mini-swe-agent, Claude Code）が同じ軌跡証拠ループを利用できるようにアダプター境界を定義しました。
4. 実証的検証: DeepSeekモデルを用い、SOP-Bench、Lifelong AgentBench、RealFin-Benchにおいて、ベースライン、フル・ベイズ、およびインクリメンタル修復の各バリアントを比較する広範な研究を実施しました。

4. 実験結果

本論文では、DeepSeek-v4-flashおよびDeepSeek-v4-proを用い、3つのベンチマーク（SOP-Bench, Lifelong AgentBench, RealFin-Bench）と複数のバックエンド（Native, GenericAgent, mini-swe-agent, Claude Code）にわたってBayesian-Agentを評価しています。

4.1 パフォーマンスの向上

• インクリメンタル修復: インクリメンタルモード（失敗したタスクのみを修復する）は、顕著な改善を示しました：
  • SOP-Bench: 80% (GA) から 95% へ向上。
  • Lifelong AgentBench: 90% (GA) から 100% へ向上。
  • RealFin-Bench: 45% (GA) から 65% へ向上。
• トークン効率: インクリメンタルなアプローチは非常にトークン効率が高く、SOP-Benchの失敗を修復するために、フル・ベースライン実行と比較してわずか153kトークンを使用しました。
• バックエンド非依存性: 本フレームワークは、異なるバックエンド（Native, GenericAgent, mini-swe-agent, Claude Code）にわたってパフォーマンスを向上させることに成功しており、その恩恵が特定のランタイムではなく、証拠のループから来ていることを裏付けています。

4.2 観察された限界

• フルモードの不安定性: Lifelong AgentBenchの設定において、DeepSeek-v4-flashを使用した場合、フル・ベイズモード（85%）はベースラインのGA（90%）を下回りました。これは、証拠がまだ疎な段階では、オンラインでのスキル進化が負の順序効果やコストを導入する可能性があることを示唆しています。
• 飽和: ベースラインモデルがすでに100%の精度を達成している設定（例：DeepSeek-v4-proを用いたSOP-Bench）では、ベイズ層が修復すべき失敗を持たず、インクリメンタルモードは機能しませんでした。

5. 重要性と主張

本論文は、エージェントのスキル進化は、未校正のプロンプト蓄積ではなく、事後分布に基づいたハーネスの最適化として捉えるのが最善であると主張しています。

• 監査可能性（Auditability）: スキルを明示的な事後分布を持つ仮説として扱うことで、フレームワークは進化プロセスを検査可能にします。ユーザーは、特定の失敗モードに基づいて、なぜスキルがパッチ適用、分割、または引退されたのかを知ることができます。
• 不確実性の校正（Uncertainty Calibration）: このアプローチは、エージェントの軌跡の疎性とコンテキスト依存性を明示的に処理し、疎なデータを信頼できる頻度カウントとして扱うことの落とし穴を回避します。
• 実用的な修復: インクリメンタル修復の設定は、ハーネスが失敗したケースに対して追加の推論リソースを投じることで、観測された失敗モードを再利用可能なコンテキストへと変換し、ベンチマーク全体を再実行することなく最終的な精度を大幅に向上させられることを示しています。

著者らは、この手法は一回限りのタスクや非定常な環境に対する万能薬ではないものの、検証器と繰り返される失敗モードが存在する設定において、再利用可能なエージェントスキルを向上させるための堅牢で証拠に基づいた校正メカニズムを提供するものであると結論付けています。