🤖 AI

CoCoDA: Co-evolving Compositional DAG for Tool-Augmented Agents

CoCoDA は、記号的統合による検索効率の最適化と構造認識型報酬メカニズムを通じた学習の加速を実現する単一の構成的コード DAG 内で、プランナーと成長するツールライブラリを共進化させることにより、小規模言語モデルがより大規模な教師モデルに匹敵するかそれ以上の性能を発揮することを可能にするフレームワークである。

原著者： Ziyang Yu, Qiyue Li, Liang Zhao

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ziyang Yu, Qiyue Li, Liang Zhao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に頭が良くても小さなロボットアシスタント（「プランナー」）が、高度な数学の計算やコードの作成といった複雑な問題を解決する必要があると想像してください。このロボットは、一度に情報を保持できる「脳のスペース」（コンテキストウィンドウ）が限られています。それを助けるために、使用できるスキル（ツール）の工具箱を与えます。

既存の手法の問題点は、ポケットに膨大な量の図書館の書籍を持ち運ぼうとするようなものです。ロボットを助けるために有用な書籍（ツール）を追加すればするほど、ポケットは重くなりすぎて、ロボットは問題を解決するために必要なだけの書籍を脳に収められなくなります。また、ロボットはこれらの書籍をどのように整理すればよいかを知りません。単に散らかったテキストの山として見えるため、必要なものを素早く見つけることが困難です。

CoCoDA は、工具箱の構築方法と、ロボットがそれを使う方法を学ぶ仕組みを変えることで、この問題を解決する新しいシステムです。以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「生きた設計図」（構成的 DAG）

散らかった書籍の山ではなく、CoCoDA は生きた設計図（有向非巡回グラフ、DAG）を構築します。

ノード: これらは個々のツールと考えることができます。いくつかはハンマーやドライバーのような基本的なツールであり、他のものは基本的なツールを組み合わせて作られた「スーパーツール」（例えば、組み立て済みのドリルプレス）です。
接続: 設計図は、スーパーツールが基本的なツールからどのように構築されるかを正確に示しています。まるで「ケーキ」のレシピが「生地を混ぜる」ステップと「焼く」ステップを指し示すレシピブックのようです。
利点: 設計図が構造を知っているため、ロボットはすべての書籍のすべてのページを読む必要はありません。「目次」（シグネチャ）と「レシピのステップ」（依存関係）を見るだけで、どのツールが組み合わさるかを瞬時に知ることができます。

2. 「スマートフィルター」（型付き DAG 検索）

ロボットが新しい問題に直面したとき、正しいツールを選ぶ必要があります。従来の手法では、ライブラリ内のすべてのツールの説明を読み取るため、遅く、かつ脳のスペースを浪費します。

CoCoDA は、セキュリティチェックポイントのように選択肢を絞り込む4 段階のフィルターを使用します。

ステージ 1（ID 確認）: ツールの「ID カード」（その型のシグネチャ）を確認します。ツールが仕事に合わない場合（例えば、紙を切るためにハンマーを使おうとするなど）、即座に却下されます。これは脳の力をほとんど消費しません。
ステージ 2（説明スキャン）: ID 確認を通過したツールの短い説明を読み、関連性があるかどうかを確認します。
ステージ 3（ルール確認）: 「ルール」（事前条件と事後条件）を確認します。このツールは持っていない入力が必要ですか？正しい出力を生み出しますか？そうでなければ、捨てられます。
ステージ 4（例の一致）: 最後に、実際にツールが機能する現実世界の例を見て、絶対的に最良の一致を選びます。

魔法: 安価で高速なステージ（1 と 2）で不良ツールを除外するため、実際に生き残った少数のツールの詳細をすべて読むのに費やす高価な「脳の力」は最小限に抑えられます。これにより、ライブラリが巨大に成長しても、ロボットの「ポケット」が重くなりすぎるのを防ぎます。

3. 「共進化」（共に学ぶ）

これが最もユニークな部分です。通常、ロボットはツールの使い方を学びますが、ツールはそのままです。CoCoDA では、ロボットと工具箱が共に成長します。

発見: ロボットがいくつかの基本的なステップ（「加算」、「乗算」、次に「除算」など）を連鎖させることで難しい問題を成功裏に解決すると、「教師」（より大きく、賢い AI）がその成功を見ます。
発明: 教師は、「あのステップの連鎖は有用だ！それらを新しい『スーパーツール』に束ねて、設計図に追加しよう」と言います。
報酬: ロボットは、これらの新しいスーパーツールを使用することで、基本的なステップを繰り返し行う必要がなくなるため、ボーナススコア（報酬）を獲得します。
ループ: ロボットが上手になるにつれて、束ねるパターンをより多く見つけます。工具箱が賢くなるにつれて、ロボットはより難しい問題を解決できます。それらは同期して進化します。

結果

この論文では、数学の問題、テーブル分析、コーディングタスクにおいてこのシステムをテストしました。

「小 vs 大」テスト: 80 億の「脳ユニット」を持つ小さなロボットと、320 億ユニットを持つ巨大なロボットを比較しました。
結果: CoCoDA を用いることで、小さなロボットは難しい数学や論理パズルにおいて、巨大なロボットと同等か、あるいはそれ以上のパフォーマンスを発揮しました。
効率性: 小さなロボットが単に運が良かっただけではありません。知識を非常に効率的に整理する方法を学び、重労働を行うために巨大な脳サイズを必要としなくなったのです。

要約すると、CoCoDA は小さな AI に、自分の組織化された階層的なスキルライブラリを構築することを教えます。これにより、どのツールを掴み、どのように組み合わせればよいかを正確に知り、圧倒されることなく、自らの重量級クラスをはるかに超える活躍を可能にします。

技術的サマリー：CoCoDA – ツール拡張エージェントのための共進化型構造化 DAG

1. 問題定式化

ツール拡張型言語モデル（LLM）は、外部で実行可能なスキルを小さなプランナに付与することで、計算や記号操作の負荷を外部へ委譲することを可能にする。しかし、ツールライブラリのスケーリングは根本的な緊張関係をもたらす。ライブラリは新しい再利用可能なサブルーチンを捉えるためにプランナと共進化しなければならない一方で、成長するライブラリからの検索は、固定されたコンテキスト予算内に収まっていなければならない。

既存のアプローチはこの結合を解決できていない。静的なツール使用システムは固定された在庫を前提としており、スキルライブラリ手法は通常、ツールを平坦なテキスト記録や自然言語メモリとして格納する。これらの平坦な構造は、ライブラリサイズに比例してプロンプトコストが線形に増大し、実行可能コードの型付けされた構造化された性質を不明瞭にする。逆に、コードライブラリ手法は構造を活用するが、トークン予算制約下で動作する LLM プランナ向けには設計されていない。核心的な課題は、コードを認識し、検索効率的であり、かつオンラインで学習可能なメカニズムを設計することであり、これにより以下の 2 つの結合した問題を解決する必要がある。すなわち、ポリシーとともにライブラリをどのように成長させるか、そして固定されたコンテキストウィンドウ下でその成長するライブラリからどのように検索するかである。

2. 手法：CoCoDA フレームワーク

CoCoDA は、構造化コード DAG（有向非巡回グラフ）という単一のコードネイティブ構造を通じてこれらの課題に対処する。このフレームワークは、型付け DAG 検索とオンライン共進化手順という 2 つの主要コンポーネントを通じて、プランナ（ $\pi_\theta$ ）とツールライブラリ（ $L$ ）を共進化させる。

2.1 構造化ツール DAG 構造

ライブラリ $L$ は、DAG $G=(V, E)$ として組織化される。ここで：

ノード（ $V$ ）： 原始的ノード（原子実行可能関数）と複合ノード（既存ツールを呼び出すマクロアクション）に分割される。
エッジ（ $E$ ）： 呼び出し依存関係を符号化し、ライブラリを表面的な類似性ではなく抽象度によって階層化する。
ノード記録（ $I(v)$ ）： 各ノードは 4 段階の記録を格納する。
1. $L_1$ ： 型付けされたシグネチャ（記号的）。
2. $L_2$ ： 自然言語による説明。
3. $L_3$ ： 事前・事後条件の仕様と複雑性。
4. $L_4$ ： 入力 - 出力の具体例（ワークド例）。

2.2 型付け DAG 検索

推論時、CoCoDA は高価な LLM コストを発生させる前に記号的に候補を剪定する、粗いものから細かいものへの検索カスケードを採用する。クエリによって誘発されたサブゴールが与えられたとき、このプロセスは生存集合の入れ子になった系列 $S_0 \supseteq S_1 \supseteq S_2 \supseteq S_3 \supseteq S_4$ を構築する。

$L_1$ （記号的剪定）： サブゴールのシグネチャをツールの型付けシグネチャと統一することでツールをフィルタリングする。この段階は記号的であり、プロンプトトークンコストはゼロである。
$L_2$ （意味的拡張）： 説明を用いて生存者を意味的関連性でランク付けする。重要なのは、この段階が DAG 構造に基づいて包含する複合ノードへ上昇したり、原始的ノードへ降下したりできる点であり、これは平坦なテキスト検索には欠けている能力である。
$L_3$ （仕様フィルタリング）： 事前・事後条件と複雑性の制約を検証する。生存する複合ノードは、それらの原始的な部分軌道と同等のマクロアクションとして認証される。
$L_4$ （例による曖昧さ解消）： 具体例を用いて生存者を再ランク付けし、同点の場合を解消する。

このカスケードにより、高価な LLM 課金対象の記録は、漸進的に小さくなる候補集合に対してのみ具体化され、ライブラリサイズに対して検索コストが亜線形に保たれる。

2.3 オンライン共進化

フレームワークは、成功した軌道に基づいてプランナとライブラリを同時に更新する。

ライブラリ成長： 成功した軌道は、固定された教師抽象化器（ $M_T$ ）に渡され、複合ツールの提案を行う。提案は、非巡回性を維持し、依存関係・仕様のチェック（INSERTTOOL 経由）を満たす場合にのみコミットされる。
プランナ更新： プランナは、DAG 誘発型報酬を用いて更新される。標準的な結果報酬（ $R_{res}$ $R_{r es}$ ）に加えて、構造的報酬（ $R_{comp}$ $R_{co m p}$ ）が「保存された呼び出し数（ $\Phi$ $Φ$ ）」によってツールにクレジットを与える。ここで $\Phi$ $Φ$ は、複合ツールが置き換える原始的呼び出しの数を指す。
- $R(\tau) = R_{res}(\tau) + \lambda \sum \Phi(t_i)$ 。
- この報酬は、プランナがより深い複合ノードを経由するように促し、タスクに必要なツール呼び出し数（ $T(\tau)$ ）を実質的に削減する。

3. 主要な貢献

問題定式化： 著者は、明示的な検索コストとコンテキストウィンドウ制約を伴う結合最適化問題として、小規模 LLM 向けのツールライブラリ学習を定式化し、ポリシーとライブラリの共進化に対処した。
型付け DAG 検索： シグネチャ、呼び出しエッジ、仕様、例を活用し、ライブラリサイズに対してプロンプトコストを亜線形に抑えるコードネイティブな検索カスケード。
共進化手順： 検証された複合ツールを挿入し、構造的な「保存された呼び出し」報酬でプランナを訓練するオンラインメカニズム。これにより、新たに学習された抽象化の活用を促進する。
理論的保証： 本論文は以下の証明を提供する。
- 検索コストの削減と亜線形な検索時間。
- 整形された報酬下での構造的優位性（複合ツールの使用が、同等の原始列よりも厳密に高い報酬をもたらすことの証明）。
- 保守的な更新下での単調な共進化。
- DAG の正当性（非巡回性と深さの境界）。

4. 実験結果

CoCoDA は、数学的推論（GSM8K、MATH）、表形式分析（WikiTableQuestions、FinQA）、コードタスク（EvalPlus、MBPP）の 6 つのベンチマークで評価された。

性能： CoCoDA で訓練された 8B スチューデントモデルは、GSM8K（93.67 対 93.40）および MATH（63.18 対 61.62）において、32B のティーチャモデルと同等かそれ以上の性能を発揮した。
スケーリング： 従来の Chain-of-Thought（CoT）に対する gains は、より小規模なモデルで最も顕著であった（例：0.6B モデルでは GSM8K で +10.7）。
ベースライン： CoCoDA は、強力なツール使用ベースライン（ReAct、ToRL、ReTool）およびライブラリ学習手法（CREATOR、TroVE）を一貫して上回った。特に、緊密なスチューデント - ティーチャループを持たないライブラリ構築ベースラインは、数学およびコードタスクにおいて単純な CoT よりも劣っており、共進化の必要性を確認させた。
効率性： ライブラリサイズが 1,600 ノードに成長するにつれて、CoCoDA の検索コストは、平坦な検索に比べて約 11.4 倍、テキスト階層型 RAG に比べて 4.7 倍低かった。
アブレーション： 構造化ツール DAG（CTD）を除去すると、依存関係エッジの重要性を浮き彫りにし、性能が最大で 2〜4 ポイント低下した。型付け DAG 検索（TDR）を無効化すると表形式タスクが最も悪化し、グラフ認識報酬（GAR）を除去すると全体的に性能が低下した。

5. 意義と主張

本論文は、CoCoDA が実行可能コードの固有の構造的性質を活用することで、ライブラリ成長とコンテキスト制約の間の緊張関係を解決すると主張する。ライブラリを構造化 DAG として表現することで、フレームワークは以下のことを可能にする。

亜線形検索： コンテキストコストを線形に増加させることなく、複雑で再利用可能な抽象化を表面化できる能力。
構造的学習： 原始列を複合ツールに圧縮したことをプランナに明示的にクレジットする報酬シグナルにより、ポリシーとライブラリの共進化を駆動する。
スケーラビリティ： 外部で進化する手続き的メモリを効果的に活用することで、小規模モデル（8B）がはるかに大規模なモデル（32B）の性能を達成できる能力。

著者は、このアプローチが、ライブラリがツールの実行可能性質を尊重する構造を通じてポリシーと共進化する場合、小規模言語モデルが計算と記号操作を効率的に外部へ委譲するための実用的な道筋を提供すると結論づけている。今後の研究として、マルチモーダル設定やマルチエージェントシナリオへの拡張が示唆されている。