技術概要：SkillFlow：エージェントオーケストレーションのためのフロー駆動型再帰的スキル進化

1. 問題定義

大規模言語モデル（LLM）ベースのエージェントシステムの最近の進展により、タスクオーケストレーションを通じた複雑なタスクの自動化が可能となった。しかし、既存のオーケストレーション手法は以下の 3 つの重要な課題に直面している：

1. 戦略の崩壊（Strategy Collapse）: REINFORCE 族の目的関数（例：GRPO）に基づく強化学習（RL）手法は、単一の報酬最大化モードへ収束する傾向がある。これにより、同等に効果的な多様な戦略が排除され、実行能力が進化した場合や複数の有効な経路が存在する場合に、エージェントが脆くなる。
2. 高い勾配分散と不透明なクレジット割り当て: 終端のみでの報酬は、長いクレジット割り当ての地平線を生み出す。多段階の軌道が成功または失敗した場合、どの特定のステップが責任を負ったかが不明確であり、方策勾配の分散が高くなり、帰属が不透明になる。
3. 誘導なきスキル進化: 動的スキルライブラリを持つフレームワークは、ライブラリを更新するために、ヒューリスティックなトリガー、固定スケジュール、または直接的な「LLM による判定（LLM-as-judge）」プロンプティングに依存することが多い。これらのアプローチには、いつ進化させるか、どのスキルを作成または剪定するか、そしてどこに重要な意思決定のギャップがあるかを決定するための原理的な訓練信号が欠けている。

2. 手法：SkillFlow

SkillFlow は、マルチターン対話を通じてタスクオーケストレーションを自動化し、自らのスキルライブラリを再帰的に進化させるように設計されたフローベースのフレームワークである。これは、学習可能なスーパーバイザー（$\pi_\theta$）が、動的スキルライブラリと凍結されたエグゼキューターを含む構造化された環境と相互作用するスーパーバイザー - エグゼキューターパラダイムを通じて動作する。

2.1 コアアーキテクチャ

• オーケストレーション状態グラフ: タスクプロセスは、ノードが相互作用履歴（$H_t$）を表し、エッジがオーケストレーション行動を表す有向非巡回グラフ（DAG）としてモデル化される。
• 動的スキルライブラリ: 環境は、「アトミックヒント（短く、自己完結型の戦略的ガイダンス）」のライブラリを維持する。このライブラリは方策と共進化するが、一定の行動空間を確保するため、各訓練フェーズ内では固定される。
• ヒindsight 後向き方策（Hindsight Backward Policy）: 学習された後向き方策（$P_\phi$）は、「ヒindsight 状態（$H_{t-1} \oplus o^{exec}_t$）」を条件とし、意思決定時に前方方策が利用できなかった実行フィードバックを組み込む。

2.2 調整された軌道バランス（Tempered Trajectory Balance: TTB）

SkillFlow の核心は、回帰ベースのフローマッチング損失である**調整された軌道バランス（TTB）**である。REINFORCE が単一の最良の軌道に対して確率質量を押し出すのとは異なり、TTB は軌道のサンプリング確率をその報酬に比例するように駆動する：
$$\pi^*(\tau | q) \propto \tilde{R}(\tau)^\beta$$
ここで、$\tilde{R}(\tau)$ は平滑化された報酬であり、$\beta$ は多様性と品質のトレードオフを制御する。

TTB 損失は、軌道バランス条件の二乗された長さ正規化残差として定義される：
$$L_{TTB}(\tau) = \left( \frac{\Delta(\tau)}{T} \right)^2$$
$$\Delta(\tau) = \log Z_\theta(q) + \sum_{t=1}^T \log \pi_\theta(a_t | r_t, H_{t-1}) - \beta \log \tilde{R}(\tau) - \sum_{t=1}^T \log P_\phi(a_t | H_{t-1} \oplus o^{exec}_t)$$
収束時（$\Delta(\tau) = 0$）、前方方策は報酬に比例して軌道をサンプリングし、戦略的多様性を維持する。

2.3 ゼロコストのクレジット割り当て

同じフロー目的関数が後向き方策を共同で学習するため、追加の推論コストなしにステップごとのクレジット割り当てが可能となる。前方方策の意思決定とヒindsight 後向き方策の評価を比較することで、SkillFlow はステップ重要度（Step Importance）（$I(t)$）を計算する：
$$I(t) = \frac{\pi_\theta(a_t | r_t, H_{t-1})}{P_\phi(a_t | H_{t-1} \oplus o^{exec}_t)}$$
$I(t)$ の大きな偏差は、実行後に評価が大幅にシフトした意思決定を示し、成功または失敗を主導した重要なステップを実効的にフラグ付けする。

2.4 フロー駆動型再帰的スキル進化

SkillFlow は、フロー診断を用いてキュレーション演算子 $\Phi$ を駆動することにより、訓練信号から自律的な能力成長へのループを閉じる：

• いつ進化させるか: TTB 残差（$\Delta(\tau)^2$）がプラトーに対して飽和したときに進化がトリガーされる。これは、現在のライブラリが方策の表現力を制限していることを示す。
• 何を作成/剪定するか: スキルは、そのスキルが引き付ける平均フローを測定するスキル限界フロー（Skill Marginal Flow）（$\hat{F}(s)$）によってランク付けされる。一貫して負の寄与を持つスキルは剪定され、フローが高いスキルは保持される。
• どこで進化させるか: 新しいスキルは、同じクエリからの成功軌道と失敗軌道が分岐する、高いステップ重要度（$I(t)$）によって特定された「トリガーステップ」で生成される。スキルクリエーター（$\Psi$）は、これらの意思決定ギャップから新しいアトミックヒントを合成する。

3. 主要な貢献

1. オーケストレーションのための TTB: REINFORCE 族の目的関数に内在するモード崩壊を回避し、報酬に比例した多様なオーケストレーション戦略を維持するフローマッチング損失の導入。
2. ゼロコストのクレジット割り当て: 追加のロールアウトや推論を必要とせず、軌道の結果に対する透明性のあるステップごとの帰属を提供する、共同学習された後向き方策。
3. 原理的なスキル進化: フロー診断（TTB 残差、ステップ重要度、限界フロー）に基づいてスキルライブラリを自律的に拡張、剪定、洗練する再帰的メカニズム。ヒューリスティックなトリガーや LLM による判定プロンプティングの必要性を排除する。
4. 実証的検証: 14 のベンチマークにおいて、SkillFlow が直接の LLM、RL ベースライン（GRPO、Tree-GRPO）、既存のスキル進化手法を上回ることを示す包括的な評価。

4. 実験結果

SkillFlow は、4 つのカテゴリにまたがる 14 のデータセットで評価された：質問応答（HotpotQA、TriviaQA、MuSiQue、NQ-Open）、数学的推論（AIME 2026、MATH-Hard、GPQA Diamond）、インタラクティブな意思決定（WebShop、ALFWorld、ScienceWorld、Mind2Web）、コード生成（SWE-bench、HumanEval）。

• 性能: SkillFlow はすべてのベースラインを大幅に上回った。分布内（IID）ベンチマークでは、平均完全一致（EM）率**94.14%を達成した（Qwen3.5-9B の 73.34%、AgentFlow の 90.63% に対して）。分布外（OOD）ベンチマークでは、平均 EM 率83.99%**で強力なリードを維持した（AgentFlow の 76.96% に対して）。
• 多様性と堅牢性: このフレームワークは、REINFORCE ベースラインが戦略の崩壊に苦しんだ WebShop や ALFWorld などのタスクにおいて、優れた戦略的多様性を示した。
• 転移性: SkillFlow は、さまざまな LLM バックボーン（Qwen3.5、Claude、Gemini を含む）の性能を向上させた。より弱いバックボーンほど顕著な gains を示しており、この手法が基礎的な推論能力の限界を補完することを示唆している。
• 効率性: SkillFlow は、フロー信号駆動型進化の効率性に起因し、他のスキル進化ベースラインと比較して、より低い計算コスト（トークン数と時間の削減）でこれらの結果を達成した。

5. 意義と主張

本論文は、SkillFlow が自己進化型フローベースのエージェントオーケストレーションの基盤を確立すると主張している。その意義は、オーケストレーション訓練と再帰的スキル進化を単一の理論的枠組み（GFlowNets）の下で統合することにある。

• 多様性の維持: 単一のモードへ収束するのではなく、報酬に比例して軌道をサンプリングすることにより、SkillFlow は戦略のレパートリーを維持し、ツール能力の変化やタスクの変動に対してエージェントをより堅牢にする。
• 透明な学習: ゼロコストのクレジット割り当てメカニズムは解釈可能性を提供し、システムがどの意思決定が決定的であったかを正確に特定できるようにする。これは、終端報酬 RL でしばしば欠落している機能である。
• 自律的成長: 再帰的スキル進化メカニズムは、訓練信号と能力成長の間のループを閉じ、人間の介入やヒューリスティックなスケジュールなしに、エージェントが意思決定ギャップを自律的に特定し、埋めることを可能にする。

著者らは、SkillFlow がオーケストレーションとツールの使用を効果的に増幅する一方で、基盤となるバックボーンの長文脈メモリと推論能力に依存していることを指摘している。これはコア推論スキルを置き換えるものではなく、むしろそれらのスキルがどのように構成され、進化するかを最適化するものである。