NumColor: テキストから画像への生成における精密な数値色制御の実現

本論文「NumColor: Precise Numeric Color Control in Text-to-Image Generation」は、テキストから画像を生成する拡散モデル（Diffusion Models）が、自然言語による色の記述（例：「赤」）には優れているものの、数値的な色コード（16 進数#FF5733 や RGB 値 rgb(255,87,51)）を正確に解釈・生成できないという根本的な課題を解決する新しいフレームワーク「NumColor」を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

既存のテキストから画像への生成（T2I）モデル（FLUX, Stable Diffusion 3 など）は、プロのデザインソフトウェア（Adobe Suite, Blender など）で標準的に使用される数値色コードを扱えません。この失敗は主に以下の 2 つの原因に起因します。

1. サブワードトークナイゼーションの断片化:
   • 標準的なテキストエンコーダ（CLIP や T5）は、色コードを意味のある単位として扱わず、文字列を断片的なトークンに分割します（例：#FF5733 → #, FF, 57, 33）。
   • これにより、色コードが意味的な色表現を持たず、クロスアテンション（Cross-Attention）が対象物体ではなく、画像の任意の領域に散らばってしまい、色と物体の紐付けが破綻します。
2. トレーニングデータの不足と埋め込み空間の不一致:
   • 大規模な画像キャプションデータセットでは、色が「赤」や「ネイビーブルー」といった名前だけで記述され、数値コードは稀です。
   • 数値色コードとテキストエンコーダの埋め込み空間（Embedding Space）の間に幾何学的な対応関係が存在せず、色空間（CIE Lab 空間など）の構造が反映されていません。

2. 提案手法：NumColor

NumColor は、事前学習済みの拡散モデルを再学習させることなく、数値色を精密に制御するためのプラグアンドプレイ型フレームワークです。主に以下の 2 つのコンポーネントと、新しいデータセットで構成されています。

2.1 カラー・トークン・アグリゲータ (Color Token Aggregator: CTA)

• 目的: トークナイザの断片化を解消し、色コードを意味のある単一のトークンとして検出・統合します。
• 仕組み:
  • トークナイザに依存しない、文字レベルのシーケンスラベリングモジュールです。
  • 入力トークンを文字列に変換し、1D 畳み込み層とトランスフォーマーエンコーダを用いて文脈を学習します。
  • CRF（Conditional Random Field）層を用いて、色コードの開始（B）、内部（I）、外部（O）を識別し、断片化されたトークンを単一の意味的単位として統合します。
  • これにより、どのテキストエンコーダ（T5, CLIP など）を使用しても色コードを正しく検出できます。

2.2 カラーブック (ColorBook)

• 目的: 検出された数値色を、テキストエンコーダの埋め込み空間にマッピングする学習可能なコードブックです。
• 仕組み:
  • 色空間: 知覚的に均一なCIE Lab 色空間を使用します（RGB 空間では距離と知覚的差異が一致しないため）。
  • アンカー点: sRGB 色域内で 5 単位間隔でサンプリングし、6,707 個のアンカー色を定義しました。
  • 埋め込み: 各アンカー色に対して、T5 の隠れ次元（4096 次元）に一致する学習可能な埋め込みベクトルを保持します。
  • 初期化: 言語的バイアスを避けるため、ISCC-NBS 色カテゴリの重心や CSS3/X11 の色名に基づき、T5 の埋め込みから初期化します。
  • ソフト補間: 入力された任意の色に対して、最も近い 8 個のアンカー色（k=8）から重み付け補間（Soft Interpolation）を行い、滑らかな色生成を可能にします。
  • 注入タイミング: 色埋め込みを、T5 の自己注意（Self-Attention）層の前に注入します。これにより、色トークンと物体トークンの間で双方向のアテンションが形成され、色と物体の正確な紐付けが実現されます。

2.3 補助的な損失関数

ColorBook の学習において、単なる画像生成だけでなく、埋め込み空間の幾何学的構造を色空間に整合させるため、2 つの補助損失を導入しています。

1. 方向性アライメント損失 (Directional Alignment): Lab 空間での色の差異が、埋め込み空間でのベクトル方向の差異と一致することを強制します。
2. 補間の一貫性損失 (Interpolation Consistency): Lab 空間の中点が、埋め込み空間の中点に対応することを強制し、滑らかな色補間を可能にします。

2.4 NumColor-Data（合成データセット）

• 既存のフォトグラフィックデータセットでは、照明や素材の影響で「色」と「ピクセル」の対応が曖昧になる問題を解決するため、50 万枚の合成画像データセットを構築しました。
• Objaverse-XL の 3D メッシュと BlenderKit のシーンを組み合わせ、均一なランバート材質（Albedo）に正確な Lab 色を割り当ててレンダリングしました。
• これにより、プロンプトの色指定と生成画像のピクセル色が完全に一致する「曖昧さのない」教師データを提供します。

3. 主要な貢献

1. NumColor フレームワーク:
   • トークナイザに依存しない CTA と、CIE Lab 空間に基づく ColorBook を導入し、数値色コードを精密に制御する初の包括的な手法です。
2. NumColor-Data データセット:
   • 数値色制御のための大規模合成データセット（50 万枚）を公開し、色とピクセルの明確な対応関係を提供しました。
3. ゼロショット転移と高性能:
   • FLUX だけでトレーニングした ColorBook が、SD3, SD3.5, PixArt-α, PixArt-Σ など、異なるアーキテクチャのモデルに対してモデル固有の適応なし（ゼロショット）で転移することを実証しました。

4. 実験結果

GenColorBench ベンチマーク（9,800 件のプロンプト、400 以上の色）を用いた評価において、NumColor は顕著な改善を示しました。

• 色の精度向上:
  • 5 つのモデル（FLUX, SD3, SD3.5, PixArt-α, PixArt-Σ）において、色の正確性が4〜9 倍向上しました。
  • 例：FLUX の ISCC-L1 精度は 13.82% から 55.71% へ、ISCC-L3 は 7.74% から 48.02% へと大幅に改善されました。
• 色の調和（Harmony）の向上:
  • 生成された画像の色調和スコアが10〜30 倍改善されました。これは、正確な色制御が単なる色の再現だけでなく、画像全体の美的整合性も高めることを示しています。
• クロスモデル転移:
  • FLUX で学習した ColorBook を他のモデルに適用しても、同様の高精度な色制御が可能であり、汎用性が高いことが確認されました。
• 埋め込み空間の分析:
  • 学習後の ColorBook は、CIE Lab 空間の知覚的構造を埋め込み空間に反映しており、色名と同様の幾何学的整合性を保っていることが確認されました。

5. 意義と限界

意義

• 産業応用: 広告、ブランドコンテンツ、製品可視化など、厳密な色忠実性が求められる分野での T2I モデルの実用性を飛躍的に高めました。
• 技術的ブレイクスルー: 従来の「色はスタイル属性」として扱っていたアプローチから、「色は空間的に局所的かつ連続的な特徴」として制御する新しいパラダイムを提示しました。
• 効率性: 基盤モデル全体を再学習させる必要がなく、追加パラメータは約 2,870 万（ColorBook と CTA のみ）で、推論時のオーバーヘッドも極めて小さい（2ms 未満）ため、実用性が高いです。

限界

• 色の漏洩 (Color Leakage): 指定された色が対象物体から周囲に滲み出る現象が、クロスアテンションの空間的制約の欠如により発生することがあります。
• 記憶色バイアス (Memory Color Bias): 太陽（黄色）、バナナ（黄色）など、強い先験的知識を持つ物体に対しては、モデルが学習済みの「記憶色」を優先し、指定色を無視する傾向があります。これは事前学習モデルの根本的な課題です。

結論

NumColor は、テキストから画像への生成における数値色制御の長年の課題を、トークナイゼーションの問題と埋め込み空間の整合性の問題という 2 つの側面から解決し、産業レベルの精度を達成しました。この手法は、デザインワークフローへの統合や、より精密な画像生成制御の未来を切り開く重要なステップとなります。