Forage V2: 自律エージェント組織における知識の進化と転送

技術的サマリー（日本語）

本論文は、自律型 AI エージェントが「開かれた世界（Open-World）」のタスク（完了の境界が事前に定義されていないタスク）を遂行する際の構造的課題と、その解決策として提案された「Forage V2」アーキテクチャについて詳述しています。Forage V1 が単一のエクスペディション（探検）における課題を解決したのに対し、V2 は単一の探検から「学習する組織」へと進化し、知識の蓄積と転送を実現する機構を設計しました。

1. 問題定義：分母の盲目性（Denominator Blindness）

自律エージェントがオープンワールドタスク（例：特定のカテゴリの全製品を収集する、未解決の数学的証明を行う）を実行する際、以下の構造的課題に直面します。

• 分母の盲目性（Denominator Blindness）: エージェントは、発見した対象の数（分子）は正確に数えられても、存在する対象の総数（分母）を過小評価する傾向があります。その結果、実際にはタスクの一部分しか完了していないにもかかわらず、「100% 完了」と誤って報告してしまいます。
• 既存手法の限界:
  • 人間による評価: 事前に評価基準を定義する手法は、対象範囲が不明なタスクでは機能しません。
  • 自己評価: エージェントが自らを評価すると、努力した事実と成功を混同し、自己満足に陥る構造的欠陥（分母の盲目性）が発生します。

Forage V1 は「共進化評価（Co-evolving evaluation）」と「手法の隔離（Method isolation）」によって、単一のラン内でこの問題を解決しました。しかし、V1 には「各ランがゼロから始まる（経験の蓄積がない）」、「モデル間の知識転送がない」という限界がありました。

2. 手法：Forage V2 アーキテクチャ

Forage V2 は、単一のエージェントの能力向上ではなく、組織としての信頼性を高めるための制度的設計に焦点を当てています。

2.1 基本構成

• 評価者エージェント（Evaluator）: 「完了」の定義を発見・洗練し、カバレッジを評価する。
• 計画者エージェント（Planner）: 収集戦略を設計・実行し、分子（発見数）を最大化する。
• 実行者（Executor）: 非 LLM の決定論的プロセス。両者のスクリプトを実行し、メトリクスを生成する。
• 手法の隔離（Method Isolation）: 評価者と計画者は互いのコード（eval.py と action.py）を直接見ることができません。これにより、自己奉仕的な評価を防ぎます。

2.2 V2 の主要な拡張機能

1. 知識の進化（Knowledge Evolution）:

   • ポストモーテム抽出: 各ラン終了後、評価者と計画者はそれぞれ独立して、そのランから得られた教訓（ドメイン知識、ソースの信頼性、戦略的パターンなど）を構造化されたドキュメントとして抽出します。
   • 組織的記憶（Organizational Memory）: 抽出された知識は knowledge/ ディレクトリに永続的に蓄積されます。新しいランは、この蓄積された知識（INDEX.md）をシステムプロンプトに読み込み、組織の知見を継承して開始します。
   • 付加専用バージョン管理: 知識エントリは上書きされず、新しい観察はバージョン付き（例：X_v2）で追加されます。これにより、組織の理解の歴史が保持されます。

2. 知識の転送（Knowledge Transfer）:

   • 強モデルから弱モデルへの転送: 強力なモデル（例：Opus）が蓄積した知識を、より軽量なモデル（例：Sonnet）に提供します。
   • 転送の性質: モデルの重みや微調整ではなく、組織ドキュメントとしての知識を転送します。これにより、弱いモデルでも強力なモデルの「探索コスト」を回避し、初期段階から高品質な戦略を採用できます。

3. アーキテクチャの強化:

   • 物理的ワークスペース分離: 従来のドットファイル（.eval.py）による隠蔽は不十分だったため、V2 では各エージェントが完全に独立したプライベートディレクトリで動作し、共有リソースのみを通じて通信するように設計されました。これにより、隠しファイルへの不正アクセスを防ぎます。
   • 探索駆動（Exploration Drive）: 知識が早期収束を招くリスクに対抗するため、自己監査チェックリストやラウンド予算（8 ラウンド）などのメカニズムを導入し、評価者が安易に「完了」と判断するのを防ぎます。

3. 実験結果

3 つの異なるタスク（Web スクレイピング、API クエリ、数学的推論）において、以下の 2 つの主張が実証されました。

3.1 主張 1：知識の蓄積（Knowledge Accumulation）

• NVIDIA デスクトップ GPU 収集タスク（Web スクレイピング）:
  • 6 回のランを通じて、知識エントリが 0 から 54 に増加しました。
  • 評価者の「分母（対象総数）」の推定値が、ドメイン理解の深化とともに安定化しました（265〜303 の範囲に収束）。
  • 全てのランが 4 ラウンドで収束し、コストも安定しました。
• UniProt タスク（API クエリ）と Q10（数学的推論）:
  • 異なるタスクタイプにおいても、知識が蓄積し、評価の厳密性や戦略が洗練されることが確認されました。

3.2 主張 2：知識の転送（Knowledge Transfer）

• NVIDIA タスクにおける Opus（強）から Sonnet（弱）への転送:
  • カバレッジの向上: 知識なしの Sonnet（93.1% 平均）に対し、Opus の知識を継承した Sonnet は 98.6% 平均（5/6 のランで 99.7-100%）を達成し、Opus（99.7%）に迫る性能を発揮しました。
  • コスト削減: 平均コストが $9.40 から$5.13 へ約 45% 削減されました。
  • 収束速度: 平均ラウンド数が 7.0 から 4.5 へ半減しました。
  • 評価の較正: 最も顕著な結果として、知識を継承した 3 つの独立した Sonnet ランが、**全く同じ分母推定値（266）**に収束しました。これは、知識転送が単なる収集効率の向上だけでなく、評価そのものの較正をもたらすことを示しています。

3.3 難易度境界における観察（Q6 タスク）

• 非常に困難な数学問題（Q6）では、知識転送は「生存率（タスクを完了できるランの割合）」を向上させますが（50%→83%）、収束したランの平均カバレッジは低下する傾向がありました。これは、リソース制約（コンテキストウィンドウの限界）により、野心的な戦略を持つランが排除され、より単純な戦略を持つランのみが生存する「生存バイアス」が生じたためです。

4. 主要な貢献と意義

1. アルゴリズム的改善ではなく、制度的設計:

   • 個々のモデルをより強くする（微調整や RL）のではなく、**「監査の分離」「契約プロトコル」「組織的記憶」**といった制度的枠組みを設計することで、通常のエージェントでも信頼性の高い自律判断を可能にしました。
   • これは、AI エージェントの信頼性を高めるための新しいパラダイム（ハッスル層の設計）を示しています。

2. モデル非依存の知識転送:

   • 強力なモデルの「組織的経験」を、異なるモデルアーキテクチャや能力レベルのエージェントに転送できることを実証しました。これにより、モデルの能力差（L1）を、組織的なサポート（L3）で補完できる可能性を示唆しています。

3. 現実世界の不確実性への対応:

   • 「正解」が事前に存在しないタスクにおいて、評価者が「完了」の定義を自律的に発見・洗練するプロセス（共進化評価）が有効であることを示しました。
   • 分母の推定値のばらつき（265〜411）はエラーではなく、現実世界の概念的曖昧さを反映したものであり、組織的知識がその曖昧さを収束させる（266 への収束）能力を持つことを示しました。

4. 将来の展望（V3 以降）:

   • 知識のキュレーション（要約・矛盾解決）、動的なリソース配分を行う「キャンプマネージャー」、および成功した軌跡をトレーニングデータとして再利用する可能性が議論されています。

結論

Forage V2 は、自律エージェントが「開かれた世界」で信頼性を持って活動するための基盤として、**「学習する組織」**という概念を技術的に具現化しました。個々のエージェントの能力向上に依存するのではなく、構造的な制約と知識の共有メカニズムによって、エージェント組織全体の信頼性と効率性を飛躍的に高めることが可能であることを実証しました。