💻 computer science

ClickRemoval: An Interactive Open-Source Tool for Object Removal in Diffusion Models

ClickRemoval は、手動マスクやテキストプロンプト、追加学習を必要とせず、ユーザーのクリックと事前学習済み Stable Diffusion モデルのみを用いて、複雑なシーンにおける精密な物体除去と自然な背景復元を可能にするオープンソースの対話型ツールです。

原著者： Ledun Zhang, Yatu Ji, Xufei Zhuang, Xinying Yao

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ledun Zhang, Yatu Ji, Xufei Zhuang, Xinying Yao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

写真の中に望まないゲストが写っている状況を想像してみてください。背景にいる見知らぬ人、美しい風景に映るゴミ箱、あるいはダイニングテーブル上の散らかった物などです。通常、これらを除去するには写真編集ソフトを使って、ブラシで対象物を慎重に「塗りつぶす」必要があります。輪郭をピクセル単位でなぞりながら行うこの作業は、鈍い包丁で紙から特定の形を切り抜こうとするようなものです。時間がかかり、安定した手さばきが求められ、一箇所でも見逃せば、切り口はギザギザで醜いものになってしまいます。

ClickRemoval は、この状況を一新する新しい無料ツールです。マスクを描く代わりに、削除したい対象物にクリックするだけです。それだけ。ワンクリックで、コンピュータが何を削除し、何を保持すべきかを正確に判断し、空いた空間を実写のような背景で魔法のように埋め尽くします。

以下に、いくつかの簡単な比喩を用いてその仕組みを説明します。

1. 「クリックからマップへ」の翻訳機（M2N2）

対象物をクリックすると、このツールは単なる点としてではなく、その対象物の「概念」を理解します。

比喩: 池に小石を落とすと、波紋が広がり、水がどこまで届くかがはっきりと見えます。ClickRemoval も同様のことを行います。「波紋効果」（セマンティック距離マップと呼ばれるもの）を用いて、対象物がどこで終わって背景が始まるかを正確に把握します。対象物が奇妙な形をしていても、部分的に隠れていても構いません。あなたが一本の線も描くことなく、単一のクリックをその対象物の詳細なマップに変換します。

2. 「注意のスイッチ」（SGAR & SGAS）

ツールが対象物が何であるかを把握すると、AI モデルに「この部分は無視して、背景に集中せよ」と伝える必要があります。

比喩: AI モデルを、全体像に非常に集中している画家だと想像してください。通常、画家はすべてを均等に眺めます。ClickRemoval は、スポットライト操作者のように機能します。
- SGAR（スポットライト）: クリックした対象物の上の光を暗くし（画家に「ここは描くな」と伝える）、背景の光を明るくします（画家に「ここはここにあるべきもので埋めろ」と伝える）。
- SGAS（調光器）: 対象物の上の光を最初から最後まで暗くしたままにすると、絵が不自然に見えたり奇妙になったりする可能性があります。そのため、この部分は調光器のように機能します。「無視」という信号を最初は強く出し、絵が完成に近づくにつれて徐々に弱めていきます。これにより、背景が不自然で無理やりなものではなく、自然に見えるように保証します。

3. 「ブレンドのシェフ」（ARG）

最後に、ツールは「新しい」背景のどの部分を「古い」元の画像と混ぜ合わせるかを決定する必要があります。

比喩: スムージーを作っている状況を想像してください。元の果物（背景）と新しい風味（AI の推測）があります。ARG は、完璧な比率を決めるシェフです。元の写真に非常に近い結果を望むなら、シェフは新しい風味を少し加えます。完全な変身を望むなら、シェフはより多くを加えます。これにより、除去効果の強さをあなたが制御できます。

なぜこれが画期的なのか？

他の多くのツールは、料理を始める前に特定のレシピ（テキストプロンプト）と、事前に準備された材料リスト（手動マスク）を必要とするプロのシェフのようです。また、特定の材料を扱う方法を学ぶために、料理学校（追加トレーニング）に通う必要があることもよくあります。

ClickRemoval は、あなたが既に持っているどんなレシピとも連携するスマートなキッチンアシスタントのようです。

トレーニング不要: 既存の AI モデルですぐに動作します。新しいことを教える必要はありません。
マスクもテキストも不要: 輪郭を描いたり、「犬を削除」と入力したりする必要はありません。クリックするだけです。
オープンソース: 作成者は「レシピブック」（コード、手順、ツール）全体を無料で共有しており、誰でも使用したり、それを基に構築したりできます。

結果

作成者は、このツールを他のトップクラスの画像編集ツールと比較してテストしました。

品質: テストにおいて、生成された写真は、マスクとテキストを必要とする複雑な手法と同等か、それ以上の品質でした。
ユーザーの好み: 一般の人々（専門家ではない人々）が結果を見た際、彼らは ClickRemoval を最も好みました。使いやすく、結果がより自然だと感じました。
汎用性: 512x512 ピクセルの単純な画像から、1024x1024 ピクセルの高解像度画像まで、さまざまな種類の写真で機能します。さらに、フェンスの後ろに隠れている犬を削除するといった厄介な状況にも対応します（フェンスではなく犬だけを削除するようツールに伝える「ネガティブクリック」を使用）。

要するに、ClickRemoval は写真編集の難しい作業を、シンプルな「ポインティング＆クリック」の体験に変え、コンピュータを持つ誰でもプロレベルのオブジェクト除去を可能にします。

技術概要：ClickRemoval

問題定義

マルチメディアコンテンツ制作およびプライバシー保護における既存の物体除去ツールは、非専門家ユーザーにとって大きな障壁となっている。AttentiveEraser、PowerPaint、SD-Inpaint シリーズなどの現在の最先端手法は、通常、微細な手動マスク、テキストプロンプト、または専用トレーニングパイプラインに依存している。これらの依存関係は、高い相互作用コストをもたらし、複雑なシーンでの使用可能性を制限する結果となり、物体の除去が不完全になったり、背景の補完が不自然になったりすることが多い。手動マスク、テキスト記述、追加モデルトレーニングを必要とせずに、精密な物体除去を可能にする解決策が求められている。

手法

ClickRemoval は、事前学習済み Stable Diffusion モデル（SD1.5、SD2.1、および SDXL1.0）に基づいて構築されたオープンソースの対話型物体除去ツールである。これはユーザーのクリックのみで動作し、手書きマスクやテキストプロンプトを不要とする。本システムは、ユーザーのクリックをソフトなセマンティックマップに変換し、これらのマップを利用して、ノイズ除去プロセス中に拡散モデル内の自己注意メカニズムを再方向付けることで機能する。

本フレームワークは、以下の 3 つの主要コンポーネントで構成される：

M2N2 セマンティック距離マップ抽出:
- ユーザーのクリックは、M2N2 手法を用いてセマンティック距離マップに変換される。これには、フリーズされた Stable Diffusion モデル上で単一のノイズ除去フォワードパスを実行し、マルチヘッド自己注意マップを集約して遷移行列を生成することが含まれる。
- マルコフ伝播は、クリックされた位置から開始され、各ピクセルのセマンティック距離を決定する。
- オブジェクトマップ ( $M_{ob}$ ): セマンティックマップに Flood Fill を適用して局所最小値を抑制し、インスタンス認識を強化することで生成され、除去対象領域を定義する。
- 背景マップ ( $M_{bg}$ ): クリックされたオブジェクトからのセマンティック距離を測定する正規化されたマルコフマップ（Flood Fill なし）であり、値が小さいほどオブジェクトとの類似度が高いことを示す。このマップは背景の復元を導く。
自己ガイド型注意再方向付けとスケジューリング（SGAR および SGAS）:
- SGAR（自己ガイド型注意再方向付け）: 推論中に自己注意ロジット ( $S_{self}$ ) を変調する。これは、大きな負のペナルティ ( $P_{ob}$ ) を用いてオブジェクト関連のキーエントリを抑制し、 $M_{bg}$ から導出されたスケジュール因子 ( $G_{bg}(t)$ ) を用いて背景のキーエントリを再重み付けする。
- SGAS（自己ガイド型注意スケジューリング）: 自然な背景補完を確保するために、SGAR のタイミングと強度を制御する。ノイズ除去プロセスは以下の段階に分割される：
  - 初期段階（最初の約 20%）: 変更なし。
  - 初期 - 中期段階: SGAR を有効化し、背景ガイドを徐々に減衰させる。
  - 中期段階: 背景ガイドを無効化するが、オブジェクト抑制は継続する。
  - 後期段階: すべてのガイドを無効化し、モデルが残りの詳細を自律的に補完できるようにする。
注意再方向付けガイド（ARG）:
- 制御可能な出力レベルのガイドを提供するために、ARG は元のノイズ予測 ( $\epsilon(x,t)$ ) と変調されたノイズ予測 ( $\epsilon'(x,t)$ ) を線形結合する。
- 最終予測は $\epsilon_{ARG} = (1-r) \cdot \epsilon(x,t) + r \cdot \epsilon'(x,t)$ として計算され、ここで $r$ はユーザーが指定する係数である。 $r$ が小さいほど元のモデルの挙動を多く保持し、 $r$ が大きいほど除去ガイドに厳密に従う。

本システムは、除去対象の物体を示すポジティブクリックと、保持する領域を示すネガティブクリックの両方をサポートしており、前景要素を保持しながら遮蔽された物体を除去するなど、複雑な相互作用を可能にする。

主要な貢献

対話型物体除去ツール: マスク、テキスト記述、追加トレーニングを必要としないツール ClickRemoval の導入。ポジティブおよびネガティブクリック相互作用をサポートし、非専門家ユーザーの使用障壁を大幅に低下させる。
拡張可能な注意再方向付けメカニズム: M2N2、SGAR、SGAS、ARG で構成されるクリック駆動型フレームワーク。このメカニズムは特定の拡散バックボーンに密結合しておらず、SD1.5、SD2.1、および SDXL1.0 全体で成功裡に実装されている。
完全なオープンソース配信: ソースコード、設定ファイル、Docker 環境、ドキュメント、デモインターフェース、評価スクリプトを含む包括的なソフトウェアパッケージを Apache-2.0 ライセンスで公開。

実験結果

著者は、Pico-Banana-400K に由来する統一テストセットを用いて、ClickRemoval を SD-Inpaint、LaMa、PixelHacker、Inpaint Anything、PowerPaint-v2、AttentiveEraser などの強力なベースラインと比較評価した。

定量的指標: ClickRemoval は追加トレーニングなしで競争力のある結果を達成した。
- 1024×1024 解像度（SDXL1.0）: FID 8.05、Local-FID 15.56 を達成し、AttentiveEraser（7.98 / 15.74）と同等の性能を示した。
- 512×512 解像度（SD1.5）: 同解像度手法の中で最良の総合性能を達成し、FID 9.35、KID 0.899、Local-FID 17.27 を記録した。
ユーザー調査: 25 名の非専門家参加者を対象とした調査において、ClickRemoval は両方の解像度設定で 1 位にランクインし、512 解像度で 30.48%、1024 解像度で 41.89% の票を獲得した。
LLM 支援検証: GPT ベースのマルチモーダル評価器を用いた評価において、ClickRemoval は 512 解像度で 1 位（28.85%）、1024 解像度で 2 位（39.21%）となり、AttentiveEraser との差はわずか 1.97 パーセントポイントであった。
効率性: 本ツールは許容範囲の推論オーバーヘッドを示し、1024 解像度の実行時間は強力なベースラインと同等であり、512 解像度タスクにおいてはコンシューマーハードウェア（RTX 3090）上で実用的な効率性を有していた。

重要性

本論文は、高品質な物体除去の民主化に向けた重要な一歩として ClickRemoval を位置づけている。手動マスクやテキストプロンプトへの依存を排除することで、非専門家でもアクセス可能な「ポイントして除去」ワークフローを提供しつつ、競争力のある復元品質を維持する。著者は、このアプローチが追加トレーニングを必要とせず、事前学習済み拡散モデルの内在的な能力に、自らの注意再方向付けフレームワークによる強化を加えることでこれらの結果を達成していると強調している。完全なオープンソースパッケージの公開は、再現性のある研究および実用的なコンテンツ編集アプリケーションの支援を目的としている。