SketchDeco: 訓練不要な潜在空間合成による精密なスケッチ彩色の技術的サマリー

本論文「SketchDeco: Training-Free Latent Composition for Precise Sketch Colourisation」は、デザイナーやアーティストがスケッチの特定の領域を指定し、希望する色パレットを適用することで、高精度かつ直感的にスケッチを彩色する新しい手法を提案しています。既存のテキストプロンプトに基づく方法の曖昧さや、手動での色指定の煩雑さを克服し、モデルの微調整（Fine-tuning）を一切行わずに高品質な結果を生成することを特徴としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義

スケッチから完成された彩色画像への変換は、アニメーション、プロダクトデザイン、コンセプトアートなどにおいて重要なタスクです。しかし、既存の手法には以下の課題がありました。

• テキストプロンプトの空間的曖昧さ: 大規模な拡散モデル（Diffusion Models）は強力ですが、テキストによる指示では「どの領域にどの色を塗るか」という空間的な制御が不正確になりがちです（色の滲みや意味的な誤り）。
• 手動作業の負担: 従来の手動塗りや参照ベースの転送は精密ですが、現代のワークフローには非効率で時間がかかります。
• 制御と品質のトレードオフ: 既存のテキストガイド型は速いが不正確、構造制御（スケッチ入力）は形を維持できるが色の制御が難しいというジレンマがありました。

本論文は、これらの課題を解決するため、「モデルの再学習や微調整を必要とせず（Training-Free）」、ユーザーが定義した領域マスクと色パレットに基づいて、精密かつ調和のとれた彩色を実現するフレームワークを提案します。

2. 提案手法：SketchDeco

SketchDeco は、スケッチ彩色タスクを「潜在空間（Latent Space）における合成問題」として再定式化し、以下の 2 つの段階的なパイプラインで構成されます。

2.1. 全体概要

入力として、スケッチ（$S$）、領域マスク（$M$）、および 16 進数カラーコードのパレット（$P_H$）を受け取ります。処理は以下の 2 つのステージに分かれます。

1. グローバル彩色（Global Sketch Colourisation）: スケッチの構造を維持しつつ、全体として一貫性のある彩色画像を生成。
2. ローカル彩色（Local Sketch Colourisation）: ユーザー指定のマスク領域に、希望する色を精密に適用し、境界を滑らかに合成。

2.2. グローバル彩色ステージ

このステージでは、入力スケッチに基づいて、色パレットを反映した高品質な画像（$I^G$）を生成します。

• スケッチのセマンティック予測: BLIP-2（VQA モデル）を用いて、スケッチが描く物体のクラス名（例：「猫」「車」）をゼロショットで推定します。
• 色の名前変換: ユーザーが指定した 16 進数カラーコードを、拡散モデルが理解できる標準的な色名（CSS3 カラー名）に変換します。これには、RGB 空間を効率的に検索する**K-D 木（K-D Tree）**アルゴリズムを使用し、147 種類の CSS3 色名との近傍検索を行います。
• 画像生成: 推定されたクラス名と色名を含むプロンプト、およびスケッチ構造を保持するためのScribble ControlNetを Stable Diffusion に適用し、構造を忠実に保ちつつ色調を反映した画像を生成します。

2.3. ローカル彩色ステージ

このステージでは、グローバルに生成された画像とユーザー指定のマスク・色パレットを組み合わせ、最終的な画像（$I^L$）を生成します。ここが本手法の核心的な技術革新です。

• 画像合成と ODE 逆変換:

  1. 各領域マスクに対応するグローバル彩色画像を切り出し、背景画像（色指定なしの画像）と合成して仮の画像（$I^*$）を作成します。
  2. この合成画像 $I^*$ を、拡散モデルの常微分方程式（ODE）逆変換（Inversion）を用いて、ノイズの多い潜在空間（$z^*$）に戻します。これにより、色情報が潜在空間に埋め込まれます。
  3. 逆変換には、**DPM-Solver++**を使用し、15〜20 ステップで高品質なサンプリングを実現します。
  4. 逆変換時の安定性を高めるため、通常の Null Prompt（空文字列）の代わりに、特殊トークンを除去した**「例外プロンプト（Exceptional Prompt）」**を使用し、ODE の軌跡のズレを最小化します。

• 初期ノイズの注入:
  境界領域の滑らかな遷移を確保するため、合成画像の境界部分（マスクの矩形領域と実際のマスクの XOR 演算で特定）に、追加のガウスノイズ（$z^+$）を注入します。これにより、生成モデルの事前知識を活用して境界を自然にインペイントします。

• 自己アテンション注入（Self-Attention Injection）:
  最終的な生成プロセスにおいて、合成画像 $I^*$ から得られた自己アテンションマップを注入します。これにより、スケッチの構造と色の一貫性を維持しつつ、テキストプロンプトによる滑らかな色の混合を制御します。

  • スケーリングファクター $\tau$: 自己アテンション（構造・色の一貫性）とテキストプロンプト（色の混合・調和）のバランスを調整するパラメータです。初期ステップではアテンションを重視し、後期ステップではプロンプトを重視することで、両者の利点を活かします。

3. 主要な貢献

1. 訓練不要な領域ガイド型フレームワーク: マスクとパレットを組み合わせ、モデルの微調整なしで精密かつ柔軟な色制御を実現。
2. 潜在空間合成技術: 拡散逆変換（Diffusion Inversion）とガイドドサンプリングを組み合わせ、局所的な色の忠実性と全体的な調和を両立。
3. カスタム自己アテンション機構: スケッチ構造の保存と制御された色の拡散を適応的にバランスさせるメカニズムの導入。
4. 効率性: 消費者向け GPU（例：RTX 4090）上で 15〜20 ステップの推論で高品質な結果を生成。

4. 実験結果

• データセット: AFHQ（動物）、Place365（室内・室外）、Danbooru2023（アニメ）、PascalVOC（多物体）など多様なデータセットで評価。
• 定量的評価:
  • FID（Frechet Inception Distance）: 提案手法は全データセットで最良のスコアを記録し、生成画像の分布が実画像に近いことを示しました。
  • DCCW（Dynamic Closest Colour Warping）: 色パレットとの一致度において優れた性能を示し、指定された色が正確に反映されていることを証明しました。
  • PSNR/SSIM: 構造の忠実性においても競合手法を上回る結果を得ています。
• 定量的評価:
  • 既存の SOTA 手法（DiffBlender, T2I-Adapter, ColorizeDiffusion など）と比較し、スケッチの忠実性、色の鮮明さ、リアリズム、全体的な彩色品質において優れていることが視覚的に確認されました。
  • 特に、テキストプロンプトだけでは制御が難しい「特定の領域への特定色の適用」において、他手法の色の滲みや誤りを回避し、正確な結果を出力しています。
  • 微調整を必要とする SOTA 手法（DiffBlender など）と比較しても、訓練不要な本手法が同等かそれ以上の性能を発揮しました。

5. 意義と結論

SketchDeco は、クリエイティブなワークフローにおけるスケッチ彩色の課題を、**「訓練不要（Training-Free）」かつ「高精度な空間制御」**という 2 つの側面から解決しました。

• 実用性: Photoshop などの既存ツールでマスクと色パレットを指定するだけで、専門的な知識がなくてもプロレベルの彩色が可能になります。
• 技術的革新: 拡散モデルの事前知識を最大限活用しつつ、逆変換とアテンション制御を組み合わせることで、モデルの微調整なしに複雑な条件付き生成を実現しました。
• 将来性: このアプローチは、インテリアデザインやプロダクトデザインなど、迅速な色・テクスチャの探索が求められる分野において、直感的で効率的なツールとして応用可能です。

本論文は、大規模拡散モデルの能力を、ユーザーの意図を精密に反映させる形で引き出すための新たなパラダイムを示唆しており、画像生成分野における「制御可能性」の向上に大きく貢献しています。