技術要約：Giraffe – 高効率なグラフィックデザインのためのマッピング・アーキテクチャ

問題提起

マルチモーダル大規模言語モデル（MLLM）は、視覚的理解タスク（VQA、キャプション生成など）において著しく進歩したが、視覚的コンテンツを生成する能力には依然として限界がある。このギャップを埋めるための既存のアプローチは、大きく以下の2つのカテゴリーに分類される：

1. 検索ベース（Retrieval-based）: テキストクエリを既存の画像ライブラリにマッピングするもの（例：FROMAGe）。これは、特定のスタイルや主題がライブラリに存在しない場合には機能しない。
2. 生成ベース（Generation-based）: 隠れトークン表現を視覚的埋め込みまたは生の画像データへと変換するもの（例：GILL、Emu、Chameleon）。

現在の生成ベースの手法における決定的な制限は、画像の表現方法にある。ほとんどのアプローチでは、単一の画像を表現するために複数の特化されたトークン（例：16個から1024個）を使用する。グラフィックデザインのタスクにおいては、出力に数千のトークン（テキスト、複数の画像、SVGシェイプ、レイアウト）のシームレスな融合が必要となるため、このマルチトークン表現はシーケンス長を劇的に増大させる。これにより、主に2つの問題が生じる：

• 容量の制約: シーケンスがモデルの最大トークン容量に接近、あるいは超過してしまう。
• アテンションの限界: トランスフォーマー・アーキテクチャの限られたアテンション・スパンでは、このような拡張されたシーケンス全体にわたる長距離依存関係を捉えることが困難であり、その結果、不整合なデザインやスタイルの不一致を招く。

さらに、画像をテキスト記述によって表現する方法（ベースラインとして）は、スタイル、カラーテーマ、および意味的なニュアンスを正確に捉えることができず、視覚的な調和に欠けるデザインをもたらす。

手法：Giraffe アーキテクチャ

本論文では、言語モデルの隠れトークン表現を、画像あたり1つの [IMG] トークンを用いて視覚モデル（具体的には CLIP ViT-L/14）の埋め込み空間へとマッピングするように設計された新しいアーキテクチャ、Giraffe を提案する。このアプローチにより、言語モデルは容量を超過したり一貫性を失ったりすることなく、長いシーケンス内にテキストと画像トークンを統合することが可能になる。

アーキテクチャの概要

Giraffe アーキテクチャは、L字型の構造を持つ2つの浅い多層パーセプトロン（MLP）ブロックで構成されている：

1. メイン・マッピング・ブロック: 言語モデルからの [IMG] トークンの隠れ表現を、正規化された視覚的埋め込み空間へとマッピングする役割を担う。
2. アシスティング・ブロック: トレーニング中にメイン・ブロックを補助する補助ブロックであるが、軽量なソリューションを実現するために推論時には省略される。

主要コンポーネント:

• 圧縮モジュール（Compression Modules）: 各ブロックは独自の圧縮モジュール（メイン・ブロックには $f_{\theta1}$、アシスティング・ブロックには $f''_{\theta2}$）を持つ。
• 共有拡張モジュール（Shared Expansion Module）: 両方のブロックは、それらを連結する共通の拡張モジュール（$f'_{\theta s}$）を共有する。
• 活性化関数: 両方のモジュール全体で SiLU が使用され、拡張モジュールの最終層には Tanh が使用される。

学習目的

アーキテクチャは、正確なマッピングとアライメントを確保するために、6つの異なる損失関数を用いて学習される：

1. 平均二乗誤差損失（MSE Loss, $L_{b1-MSE}$）: 予測された正規化埋め込みと正解（グランドトゥルース）との間の誤差を最小化する。
2. コサイン類似度損失（Cosine Similarity Loss, $L_{b1-COS}$）: 投影空間における予測埋め込みと正解の埋め込み間の方向的な整合性を促進する。
3. アシスティング・ブロック MSE（Assisting Block MSE, $L_{b2-MSE}$）: アシスティング・ブロックが正解から正規化された視覚的埋め込みを近似するように学習させる（オートエンコーダとして機能）。
4. アシスティング・ブロック・コサイン（Assisting Block Cosine, $L_{b2-COS}$）: アシスティング・ブロックの方向的な整合性を確保する。
5. InfoNCE 損失（$L_{NCE1}, L_{NCE2}$）: 両方の MLP ブロックのボトルネックに適用され、ポジティブペアとネガティブペアを対照させることで、メイン・ブロックによる変換学習をさらに支援する。
6. クロスエントロピー損失（Cross-Entropy Loss, $L_{CE}$）: 言語モデルにおける標準的な次トークン予測損失。

総損失は、これらのコンポーネントの加重合計である。

推論プロセス

推論時、アシスティング・ブロック（$f''_{\theta2}$）は除去される。プロセスは以下の通りである：

1. 言語モデルが [IMG] トークンを含むトークンシーケンスを生成する。
2. 各 [IMG] トークンの隠れ表現が、メイン・マッピング・ブロック（$f'_{\theta s} \circ f_{\theta1}$）を通過し、正規化された視覚的埋め込みが生成される。
3. この埋め込みは逆正規化され、事前学習済みの画像生成モデル（FLUX および CLIP ViT-L/14 IP Adapter）に直接渡され、画像が生成される。
4. 生成された埋め込みは既知の分布に従うため、拡散モデルのファインチューニングは不要である。

主な貢献

• シングル・トークンによる画像表現: 本論文は、画像全体を単一の [IMG] トークンで表現する手法を導入しており、マルチトークン・アプローチと比較してシーケンス長を大幅に削減している。
• デュアル・ブロック・マッピング・アーキテクチャ: Giraf ェアーキテクチャは、メイン・ブロックと、共通の拡張モジュールを持つアシスティング・ブロックを利用している。この設計により、軽量な推論フットプリントを維持しながら、複雑なマッピング変換の効果的な学習を促進する。
• エンドツーエンドのグラフィックデザイン生成: 本システムは、テキスト、レイアウト、および複数の画像を単一の整合したシーケンス内に含む複雑なグラフィックデザインの生成を可能にし、従来の検索のみの手法やテキスト記述ベースの生成手法の限界に対処している。

実験結果

モデルは、180万件のプロフェッショナルに作成されたグラフィックデザインを用いた独自のデータセットを用いて、2つのタスクで評価された。

1. テキスト・トゥ・デザイン生成（Text-to-Design Generation）

• 設定: 言語モデルとして Gemma3 4B を使用。画像を FLUX に渡すためのテキスト記述を用いたベースラインと比較した。
• 定量的評価: 提案手法は FID スコア 66.85 を達成し、ベースラインの 81.61 よりも有意に低く（良好であり）、高い品質と多様性を示した。
• 定性的評価: 提案手法は、より多様なレイアウト、強いスタイルの整合性、および優れたカラーハーモニーを持つデザインを生成した。ベースラインはしばしばバリエーションが最小限で、断片的な画像を含むデザインを生成したが、Giraffe は互いに補完し合う複数の画像を正常に統合できた。

2. イメージ・トゥ・デザイン生成（Image-to-Design Generation）

• 設定: 言語モデルをカスタム・エンコーダー・デコーダー・トランスフォーマーに置き換えた。タスクは、参照画像に基づいたデザインシーケンスを生成することである。
• 定量的評価: 入力画像と生成されたデザインの間の CLIP コサイン類似度は 0.85 ± 0.05 を達成し、ソース素材への強い追従性を示した。
• 定性的評価: モデルは、画像あたり1つの [IMG] トークンを使用して、入力画像から意味的、様式的、および色彩的な情報を正常に捉え、参照に密接に一致する出力を生成した。

重要性と主張

本論文は、Giraffe が現在の MLLM のトークン長およびアテンション・スパンの制限を克服することで、複雑なマルチモーダル・グラフィックデザインの生成という課題を効果的に解決すると主張している。単一トークンによる画像の圧縮により、以下のことが可能になる：

• より長いシーケンス: 複数の画像や広範なテキストを含むデザインであっても、容量制限に達することなく扱うことができる。
• 改善された一貫性: 画像がテキストのみ、あるいは断片的なトークンによって表現される場合に失われがちな、スタイル、色彩、およびテーマの情報を保持できる。
• 効率性: 画像生成バックボーンのファインチューニングを必要とせず、事前学習済みの視覚モデルを活用する軽量な推論ソリューションを提供する。

著者は、単一トークン・アプローチが、生成されるグラフィックデザインの多様性と複雑性を高めるために極めて重要であり、言語モデルがこれまで困難であった、視覚的に一貫し、かつスタイルの統一された出力を生成することを可能にすると結論付けている。