技術要約: EraseLoRA

問題提起

画像におけるオブジェクト除去には、マスクされた対象物を排除するだけでなく、遮蔽された背景を構造的および文脈的な忠実度を持って忠実に再構成することが求められます。拡散モデルを利用した近年のデータセットフリーのアプローチは、セルフアテンション機構を操作してモデルがマスク領域を参照することを防ぐことでこれを達成しようと試みていますが、著者らはこれらの手法における2つの決定的な失敗モードを特定しています。

1. 前景の誤解釈: 既存の手法は、マスクされていない領域全体を背景として扱います。その結果、非対象の前景オブジェクト（例：取り除かれたテーブルの隣にある椅子）が背景として誤解釈され、マスク領域内に意図せず再生成されてしまいます。
2. 一様なアテンション制約: これらの手法は、多様な背景のサブタイプ（例：芝生、舗装、空）を区別することなく、一様にアテンションのブロッキングやリダイレクションを適用します。これにより、テクスチャのぼけ、構造的な不整合、および複数の背景の手がかりを整合的に統合することの失敗が生じます。

著者らは、これらの失敗が**背景を意識した推論（background-aware reasoning）**の欠如に起因すると主張しています。つまり、モデルが「何を削除すべきか」、「何が前景として保持されるべきか」、そして「何が再構成されるべきクリーンな背景を構成するか」を区別できていないことが原因です。

手法

本論文では、アテンション・サージェリー（attention surgery）に代わり、背景を意識した推論とテスト時適応（test-time adaptation）を用いるデータセットフリーのフレームワークであるEraseLoRAを提案しています。この手法は、2つの明確なステージで動作します。

ステージ1: 背景を意識した前景排除 (Background-aware Foreground Exclusion: BFE)

このステージでは、マルチモーダル大規模言語モデル（MLLM）を活用して、単一の画像とマスクのペアに対して意味的な推論を行います。

• 意味的分割 (Semantic Partitioning): MLLMが画像を分析し、3つの異なるカテゴリを特定および分類します：対象となる前景（除去されるべきもの）、非対象の前景（シーン内に存在するが保持されるべき他のオブジェクト）、および背景のサブタイプ（再構成されるべき遮蔽内容）。
• マスク生成 (Mask Generation): MLLMの出力タグを用いて、システムはTag2Maskモデル（例：Grounding DINOおよびSAM2）を使用し、対象物 ($M_T$)、非対象の前景 ($M_F$)、およびクリーンな背景 ($M_B$) の精密なバイナリマスクを生成します。
• 排除 (Exclusion): 非対象の前景を明示的に分離することで、この手法は、すべての未マスクピクセルを背景として扱う従来の研究とは異なり、これらのディストラクター（妨げとなる要素）が再構成のための参照手がかりとして使用されるのを防ぎます。

ステージ2: サブタイプ集約による背景を意識した再構成 (Background-aware Reconstruction with Subtype Aggregation: BRSA)

このステージでは、明示的なアテンション・ブロッキングを行うことなく、低ランク適応（LoRA）を用いたテスト時最適化を行い、マスク領域を再構成します。

• 最適化目的 (Optimization Objective): この手法は、拡散モデルをガイドするために、2つの補完的な損失を共同で最適化します：
  1. 背景再構成損失 ($L_{recon}$): クリーンな背景マスク ($M_B$) 内の再構成された潜在表現と入力された潜在表現の差を最小化することで、元の画像への忠実度を強制します。これにより、生成を真の背景構造に固定します。
  2. 背景パズル損失 ($L_{puzzle}$): 推論された背景のサブタイプを個別の「パズルのピース」として扱います。これは、支配的なアテンションマップと有効な領域（対象マスク + クリーンな背景）の重なりを最大化し、アテンションが非対象の前景ではなく、関連する背景の手がかりに集中するようにします。
• プロセス: LoRAアダプターは拡散バックボーンに挿入され、結合損失 ($L_{total} = L_{recon} + \lambda L_{puzzle}$) を用いて固定回数のイテレーション（デフォルト500回）で最適化されます。バックボーンのパラメータは凍結されたままです。

主な貢献

本論文は、主に4つの貢献を挙げています。

1. 失敗モードの特定: 著者らは、非対象の前景の意図しない再生成が、現在のデータセットフリーのオブジェクト除去手法における根本的な失敗モードであり、それが背景を意識した推論の欠如によって引き起こされていることを正式に特定しました。
2. EraseLoRAフレームワーク: MLLMによる前景と背景の分離と、マルチ背景を意識したテスト時適応スキームを組み合わせた、新しいモデル非依存のデータセットフリーフレームワークです。これは、精細なテクスチャを保持するために、明示的なアテンション操作を回避します。
3. 新しいアノテーションと指標: 著者らは、既存のベンチマークに対して3ラベルのグラウンドトゥルース（正解）アノテーション（対象、非対象前景、背景）を提供し、ペアのないオブジェクト除去の設定向けに特別に設計された評価指標（前景類似度および背景類似度）を導入しました。
4. 性能向上: 本手法は、学習データを必要としないにもかかわらず、データ駆動型のアプローチを上回る性能を示しながら、背景の忠実度において大幅な向上を実現し、不要な前景の再生成をほぼ半減させました。

実験結果

著者らは、OpenImages V7とRORDの2つのベンチマークを用いて、様々な拡散バックボーン（SD3.5-M, SDXL, FLUX.1）でEraseLoRAを評価しました。

• 定量的性能: OpenImages V7において、EraseLoRAは背景類似度（BG Sim.）を0.605（ベースライン）から0.743に向上させ、前景類似度（FG Sim.、低いほど良い）を0.286から0.151に減少させました。RORDでも同様の利得が見られました。
• 比較: EraseLoRAは、すべての比較対象となったデータセットフリー手法（AttentiveEraser, DesignEditなど）を上回り、背景の忠実度と前景の抑制の両面において、データ駆動型の手法（PowerPaint, SmartEraserなど）をも凌駕しました。
• アブレーション研究:
  • BFEの有効性: BFEモジュールを従来の手法に組み込むことで、BG Sim.が最大6.6%向上し、FG Sim.が8.6%減少したことから、前景の排除が極めて重要な要因であることが確認されました。
  • 損失成分: $L_{recon}$ と $L_{puzzle}$ の組み合わせが必要であることが示されました。いずれか一方のみを使用した場合、前景の痕跡がわずかに残るか、あるいは構造的に不整合な補完結果になるかのいずれかとなりました。
  • 柔軟性: 本手法は、異なるMLLM（7Bから78Bパラメータまで）およびTag2Maskモデルに対して堅牢性を示しました。より大きなMLLMの方がわずかに優れた推論を提供しましたが、軽量なモデルでも実質的な利得が得られました。

意義と主張

本論文は、EraseLoRAをデータセットフリーのオブジェクト除去における重要な進展として位置付けています。その主な意義は、パラダイムを「アテンション・サージェリー」（しばしば画質を劣化させる）から「背景を意識した推論」へとシフトさせたことにあります。MLLMの推論能力を利用してシーンのセマンティクスを理解し、テスト時適応によって強化された拡散モデルの生成能力を活用することで、EraseLoTAは以下を実現します。

• 忠実な復元: 元のシーンと構造的およびテクスチャ的に一致する背景を再構成し、新しいオブジェクトの幻覚（ハルシネーション）を回避します。
• 汎用性: プラグアンドプレイのモジュールとして、再学習やペアデータセットを必要とせずに、多様な拡散バックボーンに適用可能です。
• 効率と品質のトレードオフ: MLLMの推論やテスト時最適化による計算オーバーヘッドが発生しますが、著者らは、これが除去品質の大幅な向上と不要な前景の再生成の排除という観点から、正当化されるトレードオフであると主張しています。また、軽量なMLLMや早期終了戦略によって効率を改善できることも述べています。

著者らは、EraseLoRAが、対象物の背後に何があるのか、そして再構成プロセスから何を除外すべきかを明示的に推論することによって、従来の設計の限界を効果的に解決し、データセットフリーのオブジェクト除去のための拡張可能な定式化を確立したと結論付けています。