技術要約: BONSAI – スキルに基づく進化可能性ガイド付き木探索

1. 問題提起

本論文は、凍結されたエージェント（frozen agents）に対するスキルの最適化という課題に取り組んでいる。「スキル」とは、単なるプロンプトテンプレートではなく、自然言語によるドキュメント（フィールドマニュアルとして機能するもの）と定義される。これは、重みを更新できない凍結された大規模言語モデル（LLM）を導くためのものである。エージェント自身は経験から学習できないため、欠落している能力はすべてスキルのテキスト内にエンコードされなければならない。

スキルの最適化における標準的なアプローチは、エージェントの失敗に基づいてスキルを編集し、保持されたタスクでテストし、スコアを向上させた編集を保持するという反復ループである。著者らは、この手法における決定的な盲点を指摘している。それは、単一の検証スコアでは、**広いプラトー（平坦な領域）**に位置するドキュメント（さらなる編集に対して頑健である）と、**狭いスパイク（鋭い突起）**の上に位置するドキュメント（過学習しており脆い）を区別できないということである。スパイク上のドキュメントは高いスコアを記録する可能性があるが、それは行き止まりであり、さらなる編集を行うと既存の能力が損なわれる傾向がある。既存の手法には、追加の計算コストをかけることなく、スキルの「進化可能性（evolvability）の領域」——すなわち、変異の下で実行可能なバリエーションを生み出す能力——を測定する方法が欠けている。

2. 手法: BONSAI

BONSAI（Bonsai Optimisation via Natural-language Search and Adaptive Iteration）は、スキルの最適化を、単なる即時的な適合度（fitness）ではなく、**進化可能性（evolvability）によって導かれるモンテカルロ木探索（MCTS）**として再定義する。

コア構成要素

• モデル: 2つの凍結モデルが使用される。
  • パフォーマー（Performer）: スキルに基づいてタスクを実行する凍結エージェント（例：granite-4.1-30b）。
  • オプティマイザ（Optimizer）: パフォーマーの失敗に基づいてスキルを書き換える第2の凍決モデル（例：DeepSeek-V3.2）。
• 木構造: スキルは、ルートとなるシード・ドキュメントを持つ木として構成される。すべてのエッジは、親ノードの変異（反射的な書き換え）を表す。この構造は、ドキュメント空間に近傍のトポロジーを課す。

主要指標

• 適合度 ($v(n)$): ノード $n$ におけるドキュメントの検証スコア。
• 進化可能性 ($Q(n)$): スキルの変異近傍の期待適合度として定義される。これは、ノード自身の系統（そのノードおよびすべてのその子孫）の平均適合度によって推定される。
  $$Q(n) = \frac{1}{m(n)} \sum_{s \in L(n)} v(s)$$
  ここで、$L(n)$ は系統、$m(n)$ はスコア付けされたメンバーの数である。
• 脆さ ($\sigma(n)$): 現在の適合度と進化可能性の差：$\sigma(n) = v(n) - Q(n)$。
  • $\sigma > 0$: 脆い、過学習したピーク（現在のスコアが近傍の平均よりも高い）を示唆する。
  • $\sigma \le 0$: 進化可能な領域（近傍が現在のスコアを維持または改善している）を示唆する。

探索アルゴリズム

探索は、上限信頼限界（UCB）選択ルールを用いて反復的に進行する：
$$U(s) = v(s) + \lambda(Q(s) - v(s)) + c\sqrt{\frac{\ln N(p)}{N(s)}}$$

• 活用（Exploitation）: 項 $\lambda(Q(s) - v(s))$ は、高い進化可能性を持つ領域へと探索を誘導する。$\lambda=1$ のとき、探索は生の適合度 $v(s)$ よりも $Q(s)$（進化可能性）を優先する。
• 探索（Exploration）: 標準的なUCB項は、弱いブランチが再訪されることを保証する。
• 受理（Acceptance）: 提案された子ノードは、小さなトレーニング・ミニバッチにおいて厳密に改善する場合のみ受理される（式4）。
• バックアップ（Backup）: 受理された子ノードは系統統計（$N, m, W$）を更新する。拒否された変異は、訪問回数 $N$ のみを更新し、失敗した書き換えが領域の進化可能性の推定値を不当に低下させるのを防ぐ。
• 拡幅（Widening）: ノードは、スコア付けされたサンプル数に基づいた劣線形の子ノード容量を持ち、探索が広がりすぎるのではなく、深くなるようにする。

グラフト（Grafting / 接ぎ木）（オプションのオペレータ）

異なるブランチ間での能力の断片化に対処するため、BONSAIにはグラフトオペレータが含まれている。ノード $A$ が、クロス・リネージのノード $B$ が持つ能力を欠いている場合（トレーニングデータにおけるタスクごとのスコア比較によって判定）、オプティマイザは $A$ を $B$ のテクニックを取り込むように書き換えるよう求められる。ドナーである $B$ は証拠として機能し、系譜（ancestry）としては扱われず、訪問の更新も受け取らない。

出荷（Shipping）

予算を使い果たした後、BONSAIは進化可能性が最も高いドキュメントではなく、検証スコアが最も高い単一のドキュメント（$\arg\max v(n)$）を出荷する。これにより、最終的な出力が発見された中で最高のパフォーマンスを示すドキュメントであることを保証し、進化可能性はあくまで探索予算の誘導メカニズムとして機能する。

3. 主な貢献

1. ステアリング指標としての進化可能性: 著者らは、スキルの最適化における決定的な特性として、現在の適合度ではなく、変異に対する頑健性（進化可能性）を特定した。
2. コストフリーの推定: 進化可能性（$Q$）を測定するために、探索中に既に支払われたフィットネス・スコアを再利用することで、追加のモデルコールを一切発生させない方法を提案している。
3. 木ベースの探索フレームワーク: BONSAIは、順序のない候補の集合を、近傍の特性を測定し最適化可能な、構造化された探索空間へと変換する。
4. 非対称な能力転移: グラフト・オペレータの導入により、ドキュメントを統合することなく、特定の能力を系統間で転移させることが可能になり、スキルの分岐問題に対処している。

4. 実験結果

本フレームワークは、凍結された30BのパフォーマーとDeepSeek-V3.2オプティマイザを用い、3つのベンチマークで評価された。

• SpreadsheetBench: BONSAIはシード・ドキュメントを5.71ポイント改善し、予算が一致するベースラインであるGEPAを2.14ポイント上回った。グラフトを有効にすると、精度**25.00%**に達した。
• SearchQA: BONSAIはシードに対し6.57ポイント改善し、GEPA（78.29%）を0.71ポイント上回った（79.00%）。
• LiveMathematicianBench: BONSAIは64.91%の精度を達成し、シード（28.23%）を大幅に改善し、GEPAを8.77ポイント上回った。
• SkillOptとの比較: すべてのベンチマークにおいて、BONSAIは2番目のベースラインであるSkillOptを平均3.97ポイント上回った。著者らは、SkillOptの不足の原因を、基礎となる軌跡を見ることなく編集を圧縮してしまうその集約段階にあるとしている。
• アブレーション（進化可能性 vs グリーディ）: 選択信号を純粋なグリーディな適合度（$\lambda=0$）に変更した場合、すべてのベンチマークで性能が大幅に低下した（例：LiveMathematicianBenchで-7.02ポイント）。これは、進化可能性による誘導が成功の主要な原動力であることを裏付けている。

5. 意義と主張

本論文は、BONSAIが、探索予算を、単に現在の適合度（elevation）を高める場所ではなく、スキルの空間において改善を継続できる領域（進化可能性の高い領域）へと効果的に誘導できることを主張している。進化可能性を適合度とは別の特性として扱うことで、この手法は標準的なスコアベースの最適化における「盲点」を回避している。

著者らは、この改善が、進化可能性のメトリックが既存の探索データから導出されるため、標準的な「改善したら受理する」ループを超えた追加コストなしで達成されていることを強調している。本フレームワークは、凍結されたエージェントにとって、スキルの空間の「地形」（その進化する能力）は、現在の「標高」（スコア）と同じくらい重要であることを示している。結果は、スキルの最適化を、変異に対する頑健性をガイドとする木探索として構成することが、既存の反射的なプロンプト進化や学習可能な状態のアプローチと比較して、保持されたタスクに対する優れた汎化性能をもたらすことを示唆している。