🤖 AI

Knowledge-Centric Agents for Workflow Generation

本論文は、実世界の事例から階層的な知識を反転、注入、および推論することを学習することで、既存の直接的なテキスト・トゥ・JSON手法と比較して優れた構造的一貫性と実行成功率を実現し、視覚的制作システムにおけるワークフロー生成を強化する、知識中心のフレームワークを提案するものである。

原著者： Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

公開日 2026-07-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhendong Li, Lei Sun, Ruibo Ming, He Zhang, Danda Pani Paudel, Luc Van Gool, Jinjin Gu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

レゴブロックで複雑な機械を作ろうとしている場面を想像してみてください。ただし、手でブロックを組み立てるのではなく、言葉だけでその設計図全体をロボットに説明しなければならないとしたらどうでしょう。これが、人工知能を用いた画像生成ツールとして人気の高い「ComfyUI」の世界です。このシステムでは、色の変更、顔の鮮明化、画像の拡大といったクリエイティブな工程の各ステップが、それぞれ独立した「ブロック」や「ノード」となっています。素晴らしい結果を得るためには、これら数百ものブロックを、非常に特定の順序で接続しなければなりません。まるで巨大で複雑な回路基板のように。もし間違ったブロック同士を繋いでしまったり、電源コード（パラメーター）を差し込むのを忘れたりすると、その機械はガタガタと音を立てて止まってしまいます。

長い間、人々は大規模言語モデル（LLM）——物語を書いたり質問に答えたりするようなスマートなAI——を使って、これらの設計図を自動的に作成しようと試みてきました。アイデアは単純でした。「スチームパンク風の飛行船の絵を作って」とAIに伝え、完璧なレゴの指示書を吐き出させるというものです。しかし、ここに問題があります。これらのAIモデルは文章を書くことは得意ですが、複雑な構造物を構築することに関しては非常に不得意なのです。彼らはブロックの接続方法を忘れ、指示を混同し、見た目は良くても実際に組み立てようとすると崩れてしまうような設計図を作成してしまいます。彼らには、「なぜブロックAをブロックBに接続するのか」という理由を知っている人間の専門家のような「経験」が欠けているのです。

ここで、Zhendong Li氏とそのチームによる新しい論文が登場します。彼らは、AIがいかにして熟練したビルダー（組み立て職人）になれるかを教えるための、巧妙な新しい方法を提案しています。彼らは単にAIに最終的な設計図を推測させるのではなく、専門家の人間のデザイナーのように考える方法を教えています。彼らはこれを**「知識中心（Knowledge-Centric）」**のアプローチと呼んでいます。こう考えてみてください。もしあなたが学生に完璧なケーキの焼き方を教えたいなら、完成したケーキを見せて「これをコピーしなさい」と言うだけでは不十分です。まず「戦略」（なぜ最初に卵を混ぜるのか）を教え、次に「骨組み」（正確な分量を除いた手順のリスト）を教え、最後に「レシピ」（小麦粉の正確なグラム数）を教える必要があります。

著者らは、既存のAI手法が失敗している理由は、AIがユーザーのリクエストから直接、最終的な乱雑なコードへと飛びつこうとしているからだと発見しました。これを解決するために、彼らは**「知識の反転（Inversion）、注入（Injection）、推論（Inference）」**と呼ぶ3ステップのプロセスを考案しました。

まず、彼らは人間が作成した何千もの実用的な設計図を取り上げ、「リバースエンジニアリング（逆コンパイル）」のプロセスを実行しました。彼らは、隠れたパターンを見つけ出すために、乱雑な詳細を削ぎ落としました。これは、特定の車の形を丸暗記するのではなく、エンジンがどのように機能するかという一般的なルールを理解するために、千台の異なる車を分解していく作業に似ています。彼らはこれらの設計図を以下の3つのレイヤーに凝縮しました。

高レベル戦略（High-Level Strategy）： 「大きな絵」を描く計画（例：「まず顔を修正してから、スタイルを変更する」）。
スケルトン擬似コード（Skeleton Pseudo-code）： 具体的な数値を含まない、手順の粗いアウトライン。
完全な擬似コード（Full Pseudo-code）： 組み立ての準備が整った、詳細な指示。

次に、この凝縮された知識をAIモデルに**注入（Injection）**しました。単にデータを読み込ませたのではありません。層レベルで推論するように教え込んだのです。彼らはモデルに対し、「これがタスクであり、これが専門家が用いる戦略であり、そしてその戦略がいかにしてスケルトンへと変わるのか」を示しました。これは、学生にレシピだけでなく、料理の「論理」を解説する教科書を与えるようなものです。

最後に、ユーザーが新しい画像を要求すると、AIはただ推測するのではなく、学習したレイヤーを遡って解を**推論（Inference）**します。まず高レベルの戦略を導き出し、次にスケルトンを構築し、最後に具体的な詳細を埋めていきます。また、この論文には「自己洗練（Self-refinement）」のステップも含まれています。AIは計画を確定させる前に、「私はこれらのブロックを正しく接続できているだろうか？」と自問自答し、自分の仕事をダブルチェックします。

結果は目覚ましいものでした。チームは900以上の実世界のタスクを含むデータセットを用いて、この手法を他のAIツールと比較テストしました。他の手法が動作する設計図を作成できたのは半分以下のケースであったのに対し、この新しい「知識中心」のエージェントは86.9%のケースで成功しました。複雑で多様な構造物の構築において、彼らの手法は多様性スケールで152を記録しましたが、次点の優れた手法はわずか42でした。学習していない未知の困難なタスクに対しても、このAIは**66.7%**の成功率を維持し、競合を大きく引き離しました。

著者らは、AIに単にパターンを記憶させるのではなく、仕事の背後にある「構造」と「推論」を教えることで、より信頼性の高いエージェントを作成できると示唆しています。彼らは、非常に珍しい、あるいは学習データに含まれていない特殊なブロックを使用するよう求められると、システムが依然として少し苦戦することを認めていますが、全体として、専門家の思考プロセスという「メンタルモデル」を与えることが、より優れた、より複雑なクリエイティブ・ツールの構築への鍵であることを証明しました。これは、ロボットに「答えを推測させる」ことから「考え方を教える」ことへの転換であり、脆くてエラーの多いプロセスを、堅牢で専門的な技術へと変貌させるものなのです。

技術要約：ComfyUIにおけるワークフロー生成のための知識中心型エージェント

問題提起

ComfyUIのような視覚的制作システムにおけるワークフローの生成は、単なるテキストからJSONへの変換を超えた課題を提示している。ComfyUIのワークフローは、ノードが機能モジュールであり、エッジがデータ依存性を定義する、JSON構成として表現された有向非巡回グラフ（DAG）である。大規模言語モデル（LLM）はこのタスクに適用されてきたが、既存のアプローチは主に以下の2つの制限により失敗することが多い：

構造的な脆弱性： テキストから直接JSON構成を生成することは、構文エラー、接続ミス、パラメータ結合の不一致を招きやすく、実行失敗の原因となる。
経験的知識の欠如： 効果的なワークフロー設計には、セグメンテーション、分岐、およびモジュールの相互作用に関するヒューリスティックな決定を含む、エキスパートレベルの推論が必要である。現在のLLMは、テキストデータのみからこの暗黙的で経験駆動型の知識を獲得することに苦慮しており、その結果、一貫性に欠ける、あるいは複雑なタスク要件に対処できないワークフローを生み出すことが多い。

既存の手法は、制約付きのメタノードに依存するか（表現力を制限する）、あるいは知識をモデルのパラメータ内に暗黙的に絡み込ませる（解釈や再利用を困難にする）かのいずれかである。

メソドロジー

著者らは、ワークフロー生成をアドホックなパターンマッチングではなく、明示的かつ階層的な知識を用いた推論プロセスとして扱う知識中心型フレームワークを提案している。このフレームワークは、以下の3つのコアフェーズを通じて動作する。

1. 知識の反転（Knowledge Inversion）

システムはまず、大量の未注釈の生のComfyUIワークフローから、階層的な知識表現を蒸留する。このプロセスは、ボトムアップでワークフローデータを反転させる：

生のワークフローから完全な疑似コードへ： ルールベースの正規化により、JSONグラフを機械読み取り可能な疑似コードに変換し、構文上のノイズを除去しつつ、トポロジーとパラメータを保持する。
完全なものからスケルトン疑似コードへ： LLMが特定のパラメータ結合や数値を抽象化し、本質的なグラフ構造と実行フローのみを保持する。
スケルトンから戦略的推論へ： LLMが意味論的な解釈を行い、ワークフローの構造の背後にある「推論の痕跡（reasoning traces）」（例：なぜ特定の制御が融合されたのか、あるいはなぜデノイジングの後にフェイスディテイラーが配置されたのか）を推論する。
推論の痕跡から高レベル戦略へ： これらの痕跡は、エキスパートの高レベルな処理計画を表す簡潔な戦略記述へと要約される。
戦略からタスク指示へ： システムは、そのワークフローを生成したであろう元のユーザータスク指示と入力仕様を推論し、自然言語による監督信号を作成する。

2. 知識の注入（Knowledge Injection）

蒸留された知識は、**教師あり微調整（SFT）**を介して言語モデル（具体的にはQwen3-14B）に注入される。著者らは、明示的な知識注入を必要とする特定の遷移を特定している：

タスク $\to$ 戦略： ユーザーの指示を高レベルの処理計画へと分解し、適切なモジュールを選択することをモデルに教える。
戦略 $\to$ スケルトン疑似コード： 抽象的な戦略を実行可能な構造的スケルトンへと翻訳することをモデルに訓練する。
注：スケルトンから完全な疑似コードへの遷移（パラメータの復元）は、SFTではなく、ルールベースの拡張または軽量なプロンプティングによって処理される。
補助的な目的として、エキスパートの言説と論理構造の学習を正規化するために、中間的な推論の痕跡を生成するようにモデルを訓練するプロセスが含まれる。

3. 知識の推論（Knowledge Inference）

推論時には、システムは反転プロセスを逆転させる：

高レベル戦略プランナー： SFTされたモデルが、ユーザーのタスク指示から高レベルの戦略を生成する。
疑似コード生成器： 戦略はスケルトン疑似コードへと変換される。
パラメータ充填： 事前学習済みモデルが、コンテキストに基づいて特定のパラメータと結合を埋める。
ルールベースの再構成： 完全な疑似コードは、実行可能なComfyUI JSONワークフローへと変換される。
堅牢性を高めるため、戦略プランニングと疑似コード生成の後に**自己洗練（self-refinement）**メカニズムが適用され、モデルが構造的な不整合を再評価し修正することを可能にする。

主な貢献

知識中心型パラダイム： 本論文は、焦点を直接的な生成から、エキスパート知識の構造、階層、およびダイナミクスのモデリングへとシフトさせている。
知識の反転： 手動の注釈なしに、生の未注釈ワークフローデータから階層的表現（戦略、推論の痕跡、スケルトン）を蒸類する新しい手法。
階層的推論： フレームワークは、生成タスクをマルチレベルの監督信号（タスク $\to$ 戦略 $\to$ スケルトン $\to$ 完全なもの）へと分解し、モデルが設計原則を明示的に捉えることを可能にする。
可逆的な推論と自己洗練： 推論プロセスは反転プロセスを鏡写しにしたものであり、構造的一貫性を確保するために反復的な自己修正によって拡張されている。

実験結果

本手法は、精選された912個の高品質なワークフロー（トレーニング用882個、テスト用30個）および外部ベンチマーク（FlowBenchおよびComfyBench）を用いて評価された。

構造的多様性と完全性： 提案手法は、**有効ノード多様性（VND）**スコアで152を記録し、最強のベースライン（42）を大幅に上回った。また、ノード完全性（96.3% vs 56.7%）およびリンク完全性（98.3% vs 56.7%）においても高い数値を達成した。
タスクの一貫性： 本手法はタスク一貫性において86.9%を記録し、最強のベースラインであるComfyAgentの55.1%を上回った。
実行成功率： テストセットにおいて、本手法はパス率（エラーのない実行成功）86.9%、**解決率（タスクを満たす実行成功）61.1%**を達成した。これに対し、ComfyAgentはそれぞれ36.4%および29.4%であった。
汎化性能： 本手法は「実世界のケース」（比較対象となるトレーニングサンプルがないタスク）および外部ベンチマークにおいても優れた性能を維持し、強力な汎化能力を示した。
アブレーション解析： 14Bモデルを用いた階層的アプローチは、より大きな32Bモデルを用いたエンドツーエンドのQ2P（Question-to-Pseudo-code）ベースラインを上回り、マルチレベルの監督戦略の有効性を検証した。

意義と主張

本論文は、知識駆動型、エージェント的ワークフロー生成の新しい基盤を確立することを主張している。エキスパートの知識を明示的にモデル化し反転させることで、本フレームワークはワークフロー生成を、脆弱なテキスト生成問題から、原理に基づいた推論プロセスへと変貌させる。著者らは、このアプローチが制約付きテンプレートベースのシステムと、不透明なデータ駆動型LLMの両方の限界を克服し、エージェントがエキスパートレベルの信頼性と構造的一貫性を持って複雑な視覚的パイプラインを構成することを可能にすると論じている。本研究は、視覚的制作における将来のエージェントシステムは、単純なパターン補完よりも、ドメイン知識の明示的な表現と反転を優先すべきであることを示唆している。