AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression

技術的サマリー：AdaEraser

問題定義
画像からの物体除去には、ユーザーが指定したターゲットの正確な消去だけでなく、空いた領域における背景の妥当な再構築も必要とされます。最近の事前学習済み拡散モデルを利用する学習不要な手法は有望な結果を示していますが、それらはしばしば「効果的な物体除去」と「高品質な背景コンテンツの生成」という根本的な対立に直面します。AttentiveEraser などの既存のアプローチは、通常、マスクされた物体領域内での自己注意を無差別に抑制する手法を採用しています。この手法はターゲットの除去には成功しますが、背景生成プロセスを誤って妨害してしまいます。背景の再構築は、調整されていない自己注意を前提とする事前学習済みモデルの生成能力に依存しているため、これらの領域で注意を完全にブロックすることは、構造的なアーティファクト、視覚的な歪み、および低品質な背景合成をもたらします。

手法：AdaEraser
この対立を解決するため、著者はAdaEraserを提案します。これは、ノイズ除去プロセス中にターゲット物体概念の推定存在に基づいて、注意抑制を動的に調節する学習不要なフレームワークです。核心的な洞察は、物体除去と背景生成は競合する目標であり、静的な二値的な抑制ではなく、バランスの取れた適応的なアプローチを必要とするという点にあります。

この手法は以下の 3 つの主要なステップで動作します：

1. 参照およびターゲット注意の抽出：

   • 参照：ソース画像 $I_{src}$ に対して、モデルは「t ステップの拡散 + 1 ステップのノイズ除去」スキームを適用することで、参照自己注意マップ（$SAsrc$）を生成します。これにより、完全な逆変換プロセスを必要とせず、ノイズ条件下でも元の画像の特徴情報が保持されます。
   • ターゲット：同時に、モデルはソース画像から初期化されたターゲット潜在変数に対して、標準的な物体除去ノイズ除去プロセスを実行し、ターゲット自己注意マップ（$SAtgt$）を生成します。

2. トークンごとの存在スコア推定：

   • 著者は、自己注意マップが文脈的関係と意味的特徴を符号化していることを観察しました。彼らは、物体を含む参照マップと、物体が除去されつつあるターゲットマップとの間の類似度が、物体の残存存在と相関すると仮定します。
   • 物体マスク内の各トークン $i$ に対して、$SAtgt(i)$と$SAsrc(i)$の間のコサイン類似度を用いて、**トークンごとの存在スコア**$p(i)$ が計算されます。
   • ノイズ除去プロセスが進行し物体が除去されるにつれて、ターゲット領域の意味的内容は参照から乖離し、類似度スコアは低下します。このスコアは、物体の存在レベルに対するヒューリスティックな代理指標として機能します。

3. 適応的注意抑制：

   • 固定された抑制の代わりに、AdaEraser は各トークンの存在スコアに基づいて抑制係数 $\eta(i)$ を計算します。マスク内のトークンに対しては $\eta(i) = 1 - p(i)$、それ以外は $1$ となります。
   • この係数は、ノイズ除去用 UNet 内の自己注意スコアを調節します。物体が明確に存在する場合（高い類似度）、抑制は強くなります。物体が除去され背景の形成が始まるにつれて（低い類似度）、抑制は緩和され、モデルが背景を自然に再構築するために完全な生成能力を利用できるようになります。
   • 最終的に、非除去領域の一貫性を確保するため、各タイムステップでマスクを使用して、前景（ノイズ除去済みのターゲット）と背景（元のソース）をブレンドします。

主な貢献

• 適応的調節戦略：本論文は、高品質な物体除去には、物体の残存存在に基づいた注意抑制の適応的調節が必要であり、静的な抑制では不十分であることを特定しました。
• トークンごとのヒューリスティック：物体の直接検出が困難なノイズの多い潜在空間において、トークンごとの自己注意マップの類似度を、物体存在を推定するための効果的な学習不要な代理指標として使用することを提案しました。
• AdaEraser フレームワーク：著者は、この適応的戦略を統合した完全な学習不要なフレームワークを導入し、物体の除去と背景の復元との間のバランスを達成しました。

実験結果
MulanおよびOABenchデータセットにおいて、バックボーンとして**Stable Diffusion XL (SDXL)**を使用し、SD1.5、SD2.1、FLUX においても追加検証を行いました。

• 定量的性能：AdaEraser は、FID、LPIPS、PSNR、ReMOVE、CFD といったすべての指標において、学習ベースの手法（PowerPaint、RORem、SmartEraser など）および最先端の学習不要な手法（AttentiveEraser、OmniPaint など）を上回りました。特に、ユーザー調査において最高平均人間評価（AHR）を達成しました。
• 定性的性能：視覚的比較により、AdaEraser が物体を効果的に除去しつつ、シーンの文脈を保持し、完全な注意抑制を使用する手法に共通する構造的歪みやアーティファクトを回避していることが示されました。
• アブレーション研究：著者は、トークンごとの適応的抑制が、タイムステップベースまたは領域ベースの抑制戦略よりも大幅に優れていることを検証しました。また、現在のノイズレベルに整合した動的参照（$x_{src}^t$）を使用することが、固定ノイズ参照と比較して優れた結果をもたらすことも確認しました。

意義と主張
本論文は、生成事前知識をより賢く活用することで、学習不要な手法が学習ベースのアプローチを上回る可能性があることを実証し、物体除去に関する新たな視点を提供すると主張しています。抑制強度を動的に調整することで、AdaEraser は無差別な注意抑制の欠点を回避し、背景再構築のための事前学習済みモデルの生成能力を保持します。著者は、この研究を、高品質かつデータ効率的な画像編集への重要な一歩として位置づけており、専門的なデータセットの収集やモデルの微調整といったコストのかかる作業を必要としないことを強調しています。

限界と将来の方向性
本論文は、性能がマスクの品質に依存することを認めています。わずかに緩いマスクには頑健ですが、物体による副作用（影など）をカバーできない不完全なマスクには対処が困難です。さらに、この手法は、生成事前知識のみでは複雑な再構築が不十分な、非常に類似したテクスチャや意味的に曖昧な内容を持つシーンにおいて課題に直面する可能性があります。著者は、将来の研究として、より強力な構造的ガイダンスの組み込みや、頑健性を向上させるための副作用の自動識別を提案しています。また、この手法は、少ないノイズ除去ステップにおける注意ダイナミクスの情報量の減少により、高度に加速された蒸留モデル（SDXL-Lightning など）との互換性が低いことも指摘しています。