技術要約: CreatiPoster

問題提起

グラフィックデザインは現代のコミュニケーションにおける重要な要素であるが、高品質で編集可能な構成を作成するには、多大な専門知識と多大な時間を要する。既存のAI駆動型のアプローチは、以下の4つの不可欠な基準を同時に満たすことが困難であるという、根本的なトレードオフに直面している：

1. テキストの正確性: 正しい綴りとタイポグラフィ。
2. アセットの忠実度: ユーザーが提供した画像、ロゴ、写真の忠実な保持と配置。
3. 編集可能性: 生成後にユーザーがテキストやアセットを変更できる能力。
4. 審美的な魅力: プロフェッショナルな視覚的品質。

既存のオープンソースの手法は、ユーザーのアセットを取り込むことができなかったり、プロフェッショナルな水準に達しなかったりすることが多く、一方で（CanvaやAdobe Expressなどの）商用システムは、個人や小規模組織が複製することが困難な膨大な独自のテンプレートライブラリに依存している。さらに、ほとんどの生成モデルは「フラット化」されたピクセル画像を出力するため、出力は非編集となり、アセットの忠実度が損なわれる。

手法

著者らは、グラフィックデザインの生成を、フラット化された画像の合成ではなく、編集可能なデザインプログラム合成として再定義するオープンフレームワークであるCreatiPosterを提案する。本システムは、前景（テキストとアセット）の生成と背景を分離する2段階のパイプラインを通じて動作する。

1. レイヤード・プロトコル・ジェネレーター ($P_M$)

第1段階では、大規模マルチモーダルモデル（InternLM2.5に基づく）を利用して、実行可能なJSONデザインプログラムを合成する。

• 入力: ユーザープロンプト ($p$)、オプションのRGBAアセット ($I$)、キャンバスサイズ ($s$)、およびオプションの制約 ($C$)。
• 出力: 構造化されたプロトコル $P = \{L, c_{bg}\}$。ここで：
  • $L$ はレイヤーの順序付きリストである。各レイヤー $\ell_j$ は、セマンティック・アイデンティティ ($a_{sem}$)、ジオメトリ ($a_{geo}$、例：位置、サイズ、回転)、スタイル ($a_{sty}$、例：フォント、色)、および順序 ($o_j$) の4つの属性グループを含む。
  • $c_{bg}$ は、背景を記述する簡潔なキャプションである。
• 学習戦略: モデルは単一のプロトコル補完目的の下で学習される。タスク固有のヘッドを用いる代わりに、部分的にマスクされたバージョン ($\hat{P}$) から完全なプロトコルを復元することを学習する。この統一されたアプローチにより、アーキテクチャの変更なしに、プロンプトのみの生成、アセット条件付き生成、およびキャンバス編集をサポートする。
• レンダリング: 生成されたJSONプログラムは、標準的なグラフィックスエンジン（例：Skia）を使用して、テキストとアセットが個別のレイヤーとして維持されるように、完全に編集可能な前景画像 ($I_{fg}$) へとレンダリングされる。

2. 前景認識型背景シンセサイザー ($B_M$)

第2段階では、レンダリングされた前景と背景キャプションに基づき、背景レイヤー ($I_{bg}$) のみを生成する。

• アーキテクチャ: マルチモーダル・ディフュージョン・トランスフォーマー (MM-DiT) バックボーン上に構築されている。
• 条件付け: モデルは3つのトークンストリームを結合する：
  1. 前景トークン ($h_f$): 中立的なグレーのキャンバス上のRGBA前景からエンコードされたもの。
  2. キャプション・トークン ($h_b$): 背景キャプションからエンコードされたもの。
  3. ノイズ画像トークン ($h_z$): 潜在空間からサンプリングされたもの。
• メカニズム: MM-DiTブロックは、これらのストリーム間で共同アテンションを実行し、テキストやアセットを損なうことなく、色、レイアウト、スタイルにおいて前景と調和する背景生成を可能にする。
• 学習: ディフュージョン・バックボーンは凍結されており、フロー・マッチング目的を用いてLoRAモジュールとAdaLN層のみが学習される。システムは、前景への感度と高解像度への適応性のバランスをとるため、2段階の学習プロセス（512pxおよび1024px解像度）を経る。

統一された制御モード

システムはプロトコル補完に基づいているため、単一のモデルが多様な生成モードをサポートする：

• プロンプトのみ: テキストから完全なデザインを生成する。
• アセット条件付き: アップロードされたアセットを保持し、その配置とスタイリングを予測する。
• キャンバス条件付き: ロックされたユーザー要素に基づいて、欠落しているレイヤーや属性を補完する。
• 再レイアウト: コンテンツとスタイルを保持しながら、新しいキャンバスサイズに合わせてレイアウトを再生成する。

主な貢献

1. 編集可能なデザインプログラム合成: グラフィックデザインを、静止画ではなく編集可能なJSONプログラムの生成として定式化することを提案し、ネイティブなレイヤー編集可能性を確保した。
2. レイヤード・プロトコル生成: 全てのレイヤーの内容、ジオメトリ、スタイル、および順序を、背景キャプションと共に指定するRGBAマルチモーダルモデルの開発。
3. 前景認識型背景合成: 前景に条件付けられた背景を生成するMM-DiTベースのシンセサイザーの導入により、テキストの正確性とアセットの忠実度を維持する。
4. 評価とリソース: 自動化された指標を備えた新しいベンチマーク、10万件の著作権フリーなマルチレイヤー・サンプルからなるデータセット、およびコードとモデルを公開し、既存のシステムに対する優れた性能を実証した。

結果

CreatiPosterは、45件のプロンプトのみのケース、39件のシングルアセットのケース、および6件のマルチアセットのケースを含む新しいベンチマークで評価された。評価次元には、GPT-4.1およびボランティアによるスコアリングによる、レイアウト、カラー、グラフィックスタイル、およびコンプライアンスが含まれる。

• パフォーマンス: CreatiPoster（SおよびFの両バリアント）は、OpenCOLE（オープンソース）、Microsoft Designer、およびCanva Magic Design（商用）と比較して、ほぼ全ての次元でトップまたはそれに準ずるスコアを獲得した。
• アセット処理: アセット条件付きの設定において、CreatiPorterは、商用システムがユーザーアセットを正しく統合できなかったり、テンプレートの骨組みを再利用したりする傾向がある中で、コンプライアンスおよびグラフィックスタイルにおいてベースラインを大幅に上回った。
• 限界: 著者らは、レイアウトが依然として最も困難な次元であることを指摘しており（どの手法も3.0のスコアを超えなかった）、複雑なテキストが絡み合う構成における人間デザイナーとの間に依然としてギャップがあることを示している。失敗モードとしては、小さなアイコンの歪みや、時折発生するテキストとアセットの不整合が挙げられる。

重要性

本論文は、プロプライエタリなテンプレートライブラリへの依存を排除することで、AIによるグラフィックデザインの民主化を促進すると主張している。デザインを編集可能なプログラムとして表現することで、本フレームワークはユーザーのアセットが損なわれないこと、および生成後のあらゆる要素が編集可能であることを保証する。統一されたプロトコル補完アプローチにより、キャンバス編集、テキストオーバーレイ、レスポンシブなリサイズ、多言語対応、アニメーションポスターなど、タスク固有のパイプラインを必要としない多様なアプリケーションが可能となる。フレームワーク、データセット、およびベンチマークの公開は、編集可能なAI駆動型グラフィックデザインに関するさらなる研究を促進することを目指している。