技術的サマリー：ScribbleEdit

問題定義

生成モデルの最近の進歩により画像編集能力は向上したが、正確かつ直感的なユーザー制御を実現することは依然として重大な課題である。ユーザーは、正確な空間配置と特定のセマンティックな詳細を同時に伝達することに苦労している。自然言語指示は高レベルのセマンティクス（例：質感、色）を効果的に伝達するが、空間的な具体性に欠ける。逆に、フリーハンドの落書きは直感的な空間境界と構造を提供するが、本質的に抽象的で不正確であり、詳細な視覚属性に関してモデルが解釈することが困難である。既存のモデルは、抽象的な落書きとテキスト指示を組み合わせた専門的なトレーニングデータの欠如により、これら 2 つのモダリティを共同で解釈することに苦労している。

手法

著者は、落書きとテキストに導かれた画像編集の間のギャップを埋めるために設計された大規模な合成データセットおよび自動化パイプラインであるScribbleEditを導入する。

1. データセット構築パイプライン:
このデータセットは、落書きとテキスト指示に導かれて画像に特定のオブジェクトを追加することを目的とした、オブジェクト追加タスク用の 11,775 サンプルで構成されている。パイプラインは 4 つの段階を含む：

• ソースデータ: 12,500 枚の画像 - 落書きペアが、クラウドソーシングされた手描きの落書きとペアになった写真を含むSketchy Databaseからサブサンプリングされた。
• オブジェクトセグメンテーション: 2 段階のプロセスでオブジェクトマスクを生成する。まず、Grounding DINOがクラス名を使用してオブジェクトを検出し、バウンディングボックスを生成する。次に、Segment Anything Model (SAM) が 3 つのマスク候補を生成し、予測された IoU が最も高いものが選択される。マスクは完全な境界カバレッジを確保するために 15 ピクセル拡大される。
• 入力画像生成: セグメント化されたオブジェクトは、LaMa インペインティングモデルを使用してソース写真から除去される。このモデルはテキストプロンプトなしで周囲のコンテキストのみから背景を再構築する。このインペインティングされた画像が編集モデルの入力として機能する。
• 指示生成: Gemma 3 (4B)（指示チューニングされたビジョン - ランゲージモデル）が自然言語指示を生成する。入力（インペインティング済み）画像とターゲット（元の）画像が提供され、オブジェクトの外観と場所を記述する特定の編集コマンドを生成するようプロンプトされる。

最終的なデータセットは、トレーニング（9,438 枚の写真）、バリデーション（1,164 枚の写真）、テスト（1,173 枚の写真）のセットに分割される。トレーニングコストを管理するために、各写真が最大 2 つの落書きとペアになる部分集合がサンプリングされ、約 18,876 のトレーニングインスタンスが生成される。

2. モデル評価とファインチューニング:
著者は、ScribbleEdit 上で 2 種類のモデルを評価しファインチューニングする：

• Image-Conditioned ControlNet-Scribble: 拡散ベースのモデル。著者は、標準的な ControlNet-Scribble を、テキストと落書きの入力に加えて、元の画像の潜在表現（VAE を通じてエンコード）に基づいて条件付けるように修正する。これにより、モデルは元の背景を保持しながら編集を実行でき、編集ではなく生成を行うという標準的な ControlNet の制限に対処する。このモデルは、新しいレイヤーを最初に更新し、その後 U-Net 全体をファインチューニングする 2 段階のプロセスでトレーニングされる。
• BAGEL-7B-MoT: 統合マルチモーダル大規模言語モデル。著者は言語バックボーンにLoRA ファインチューニングを適用する。モデルがターゲット領域のみを編集し、背景を保持するように促すため、ターゲット編集マスク内のトークンに背景トークンと比較して 5 倍の重みを割り当てる、空間的に重み付けされた MSE 損失が使用される。

両モデルとも、テキストまたは落書き入力を確率 0.1 でドロップすることにより、分類器フリーガイダンス（CFG）でトレーニングされる。

主要な貢献

1. ScribbleEdit データセット: フリーハンドの落書きと自然言語指示を組み合わせた、マルチモーダル画像編集のために特別に設計された大規模な合成データセット。
2. 自動化パイプライン: インペインティングを介してソース - ターゲット画像ペアを自動的に生成し、それらを人間が描いた落書きと VLM によって生成されたテキストとペアリングすることにより、ペアリングされたマルチモーダル編集例を構築する方法。
3. ベンチマーク評価: 異なる条件設定（テキストのみ、落書きのみ、および共同ガイダンス）の下での、最新の拡散ベースおよび自己回帰型統合マルチモーダルモデルの包括的な評価。

結果

本論文は、ヒストグラム交差、RMSE、CLIP 類似度、および FID スコアを用いた定量的結果と、定性的な比較を提示する。

• 性能向上: ScribbleEdit でのファインチューニングは、ゼロショットベースラインと比較して、4 つのすべての指標においてモデルの性能を大幅に向上させる。
• モデル比較:
  • Image-Conditioned ControlNet-Scribbleは最低の FID スコアを達成し、優れたリアリズムと背景の保持を示した。
  • ファインチューニングされた BAGEL-7B-MoTは、ヒストグラム交差と RMSE（画像全体およびバウンディングボックス内）で最も顕著な改善を示し、色およびピクセルレベルの詳細における類似性の増加を実証した。また、CLIP および FID スコアでも大幅な改善を示した。
• ロバスト性: ファインチューニングされた BAGEL は、推論中に落書きのみまたはテキストのみが提供された場合でも性能を維持し、テキストのみを使用した場合にのみ FID が大幅に低下した。
• エラー分析: 50 枚のテスト画像のサンプルにおいて、ファインチューニングされた BAGEL は 82% のケースで落書きガイダンスに十分に従ったが、テキスト指示に従ったのは 57% のケースのみであった。一般的な失敗には、オブジェクトの向き、場所、またはサイズの誤り（落書きへの準拠）と、色またはオブジェクトの同一性の誤り（テキストへの準拠）が含まれる。

意義と主張

本論文は、ScribbleEdit が、落書きとテキストの共同解釈のための専門的なトレーニングデータの欠如を効果的に解決すると主張している。著者は、市販のモデルが抽象的な落書き入力に苦労することが多い（落書きのような特徴を生成するか、編集に失敗する）一方で、合成データセットでのファインチューニングは、空間的に整合性がありセマンティックに一貫した編集を生成する能力を大幅に向上させることを実証している。

この研究は、ScribbleEdit を、正確で人間中心の編集ツールに関する将来の研究を促進するためのリソースとして位置づけている。著者は限界を認め、データセットが合成されたものではなく既存の人間の描画に依存していること、主にオブジェクト追加に焦点を当てていること、およびノイズを導入する可能性のある自動化パイプラインに依存していることを指摘している。将来の研究としては、微細な部分的編集の探求や、よりセマンティックに意識された落書き生成手法（例：CLIPasso）の使用が提案されている。