技術要約: OctoT2I: 自己進化型エージェント的 Text-to-Image ルーター

1. 問題提起

Text-to-Image (T2I) モデルの急速な普及により、大規模で高忠実度なモデルから軽量でリアルタイム性の高いバリアントに至るまで、多様なエコシステムが形成されています。しかし、この多様性は重大な課題を提示しています。すなわち、非専門家ユーザーは特定のタスクに対して最適なモデルを選択する専門知識を欠いており、その結果、最適ではない結果を招いたり、不必要な計算オーバーヘッドが発生したりすることが頻繁にあります。さらに、単一モデルのスケーリングは収穫逓減の局面に達しつつあります。

LLM（大規模言語モデル）を使用して複数のツールをオーケストレーションする既存の「エージェント的 T2I」手法は、以下の3つの決定的な限界に直面しています：

1. 知識獲得: 高価で手作業による事前知識や、教師あり微調整（SFT）のためのコストのかかる人間によるアノテーション済みデータに依存しており、汎用性とスケーラビリティが制限されています。
2. 決定の硬直性: ほとんどの手法は静的な単一パスの決定メカニメントを採用しており、中間フィードバックに基づいて適応的に選択を洗練させることができません。
3. 効率性の軽視: 先行研究では推論レイテンシやエネルギー消費が軽視されており、実用的なデプロイメントを妨げています。

本研究の核心的な目的は、エージェント的 T2I を、生成品質と推論効率の共同最適化として再定式化することです。ここで、エージェントは与えられたプロンプトに対して最も適切なツールを自律的に選択しつつ、計算コストを最小限に抑えます。

2. 手法: OctoT2I フレームワーク

OctoT2I は、この共同最適化を実現するために設計された、新しいエージェント的フレームワークです。これは、状態を持つマルチラウンドのルーティング戦略と、自己進化型の知識獲得メカニズムで構成されています。

2.1 システムアーキテクチャ

システムは、「推論（reason）– 行動（act）– 反省（reflect）」のループを通じて動作し、以下の3つのコアモジュールを含みます：

• 知識モジュール ($K$): ツールの能力、適用可能なシナリオ、および推論コストを格納する長期的なリポジトリ。極めて重要な点として、これは初期状態では空であり、自律的に構築されます。
• メモリモジュール ($M$): 現在のタスクのための短期的なワーキングメモリであり、使用されたツールの履歴、生成された画像、およびそれらの評価スコアを記録します。
• 決定ポリシー ($\pi$): LLM ベースのエージェントであり、各ラウンド $r$ において、プロンプト $p$、知識 $K$、およびメモリ $M_{r-1}$ に基づいてツール $t_r$ を選択します。このポリシーは、推定コストを最小限に抑えつつ、品質閾値 $\theta$ を満たすツールを見つけることを目的とします。
• 評価モジュール: MLLM（マルチモーダルLLM）を介したバイナリの「Yes/No」アライメント・チェックを用いて、生成された画像をプロンプトに対して定量的にスコアリングし、次の決定を導くための連続的なスコアを提供します。

ワークフローは、品質スコアが閾値 $\theta$ に達するか、最大ラウンド制限 $R$ に達したときに終了し、最も高いスコアを持つ画像を出力します。

2.2 自己進化メカニズム

人間の監督への依存を克服するため、OctoT2I は「提案–解決–評価–学習」（PSEL）ループを通じて、ゼロから知識ベースを自律的に構築する自己進化メカニズムを導入しています。

1. 初期化: エージェントは、プロンプト空間を構造化するために、基礎的な概念的次元（例：スタイル、色、数、位置）を定義します。
2. 提案 (Propose): エージェントは、これらの次元の組み合わせを具体的なテキストプロンプトへとインスタンス化します。
3. 解決 (Solve): プロンプトは、ライブラリ内の異なるツールを使用して実行されます。
4. 評価 (Evaluate): 生成された画像は、プロンプトとのアライメントについてスコアリングされます。システムは、ツールの信頼性を推定するために Pass@1（単一の試行が品質閾値を満たす確率）を計算します。
5. 学習 (Learn): エージェントは、2種類の情報を用いて知識ベースを更新します：
   • 詳細な記録: 特定のプロンプト探索データと成功率。
   • 高レベルのプロファイル: ツールの強み、限界、およびコストの抽象化された要約。

2.3 探索空間の枝刈り

自己進化プロセスを計算量的に実行可能なものにするため、システムは探索空間の枝刈り戦略を採用しています。これは再帰的な前提条件の原則に従います。つまり、ある複雑な次元の組み合わせは、エージェントがそのツールがその中のより単純なサブ組み合わせ（サブタスク）をすでに習得していると判断した場合にのみ、探索されます。これにより、リソースを各ツールの「能力のフロンティア」を効率的に発見することに集中させます。

3. 主な貢献

1. OctoT2I フレームワーク: リアルタイムのフィードバック、知識、およびメモリに基づいて適応的にツールを選択し、品質と効率の両方を最適化する、状態を持つマルチラウンドのエージェント的ルーター。
2. 自己進化メカニズム: 外部データや人間の監督なしに、自己相互作用を通じてツール知識を完全に獲得することを可能にする、新しい手法。これにより、手作業による事前知識の限界を克服します。
3. 効率性と性能のバランス: 本フレームワークは、最先端のベースラインと比較して、優れた性能を達成しながら、推論速度とエネルギー効率において大幅な向上を実現しています。

4. 実験結果

GenEval、T2I-CompBench++、および WISE ベンチマークを用いた実験、ならびにユーザー調査を実施しました。

• 性能: GenEval において、OctoT2I は 0.96 の総合スコアを達成し、主要なベースラインである Flow-GRPO（0.93）および他のすべてのエージェント的手法を上回りました。T2I-CompBench++ では、平均スコア 0.6618 を達成し、競合他社を凌駕しました。
• 効率性: OctoT2I は、主要なベースライン（Flow-GRPO）と比較して、90.3% の推論高速化と 56.6% のエネルギー効率向上を示しました。これは Idea2Img より約45倍、GenArtist より11倍高速です。
• ユーザー調査: 30人の研究者を対象とした、30個の実世界のプロンプトを用いた調査において、OctoT2I は ChatGen の 29.6% に対し 70.4% の投票率を獲得し、生成時間も約3倍高速（18.45秒 vs 53.34秒）でした。
• アブレーション研究:
  • 自己進化メカニズムを除去した場合（GPT の内部知識や手作業による事前知識に依存）、性能が低下し、自律的な知識獲得の必要性が検証されました。
  • 探索空間の枝刈り戦略は、最終的な性能を損なうことなく、探索されるプロンプトの数を 70.9%、探索時間を 66.0% 削減しました。
  • 本フレームワークは、新しいツール（最小限の探索で Flux1.dev および gpt-image-1 を学習）に対する強力な汎用性と、異なる基盤 LLM（Qwen, GPT-5）にわたる堅牢性を示しました。

5. 意義と主張

本論文は、OctoT2I が性能、適応性、効率性の「トリレンマ」に対処することで、エージェント的 T2I システムにおける重要な進歩を遂げたことを主張しています。その主な意義は以下の通りです：

• 自律性: ツール知識のための高価な人間によるアノテーションへの依存を排除し、システムの拡張性と自己改善を可能にします。
• 動的な意思決定: 静的なシングルショットのルーティングを超え、各プロンプトの特定の制約に適応するマルチラウンドのフィードバック駆動型プロセスへと移行します。
• 持続可能性: 高品質な生成には最大級の計算コストが必要ではないことを示し、より持続可能で実用的な AI デプロイメントへの道筋を提示します。

著者らは、自己進化メカニズムと状態を持つルーティングが、より有能かつ効率的な T2I システムを作成するための有望な方向性であると結論付けており、今後はこのフレームワークを画像編集や 3D 生成へと拡張することを計画しています。