PANDORA: ゼロショット物体除去のためのピクセル単位アテンション溶解と潜在空間ガイダンス

本論文は、事前学習済みの拡散モデル（Diffusion Models）をそのまま利用し、微調整（Fine-tuning）、プロンプトエンジニアリング、推論時の最適化を一切行わずに、画像から物体を除去する新しいゼロショットフレームワーク**「PANDORA」**を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

自然画像からの物体除去は、背景の整合性を保ちながら、除去された領域に意味的に一貫したコンテンツを合成する必要があるため、非常に困難なタスクです。

既存の手法には以下の課題がありました：

• パッチベース/GAN 系手法: 不自然なテクスチャの継ぎ目や、周囲との融合の欠如。
• 拡散モデルベース手法（Inpainting 等）:
  • 物体の完全な除去ができず、残像（Artifact）が残る。
  • 高品質な結果を得るために、大規模なモデルの微調整や、複雑なプロンプト設計、推論時の最適化が必要であり、リソース制約のある環境では実用性が低い。
  • 既存のゼロショット手法（CPAM, Attentive Eraser など）は、複数の物体や類似物体が密集したシーンでの除去に弱く、アテンションの残存により完全な消去が難しい。

2. 提案手法：PANDORA

PANDORA は、事前学習済みの Stable Diffusion などの拡散モデルを直接操作し、単一のフォワードパスで物体を除去します。主な構成要素は以下の通りです。

2.1 全体フロー

1. 入力: 元画像 $I_s$ と除去対象を指定するバイナリマスク $M$。
2. 潜在空間への逆変換（Latent Inversion）: DDIM 逆変換を用いて、画像をノイズ空間へ変換し、背景領域の情報を保持したまま物体除去プロセスを開始します。
3. 主要モジュールの適用:
   • BPA (Background Preservation Adaptation): 非マスク領域（背景）が変更されないよう、元の潜在状態のキー・値特徴量を注入して背景を保持します。
   • PAD (Pixel-wise Attention Dissolution): マスクされたピクセルの自己アテンションにおいて、最も相関の高いキーを無効化し、物体情報を「溶解」させます。
   • LADG (Localized Attentional Disentanglement Guidance): 潜在空間におけるノイズ予測を誘導し、物体領域から離れる方向へ軌道を変化させることで、残存アーティファクトを抑制します。
4. 出力: 背景と整合性の取れた、物体が除去された画像 $I_t$。

2.2 主要コンポーネントの詳細

A. ピクセル単位アテンション溶解 (Pixel-wise Attention Dissolution: PAD)

物体除去の核心となるモジュールです。

• 仕組み: 自己アテンションの計算において、マスクされたクエリピクセルが、物体と強く相関するキー（Key）にアクセスするのを防ぎます。
• 実装: 各クエリのアテンション分布に対してパーセンタイルベースの閾値処理を行い、トップ-k 個の最も強い接続（アテンション重み）を $-\infty$ に設定します。
• 効果: これにより、マスク領域のピクセルは物体の文脈から切り離され、周囲の背景文脈のみを参照して再構成されるようになります。これにより、物体が自然に消え、背景が埋め込まれます。

B. 局所アテンション解離ガイダンス (Localized Attentional Disentanglement Guidance: LADG)

PAD と相補的に働くガイダンス機構です。

• 仕組み: 従来の分類器ベースや分類器フリーのガイダンスはグローバルに作用しますが、LADG はマスク領域内でのみ局所的に作用します。
• 実装: マスク領域内では、条件付きノイズ予測（物体を含む方向）と無条件ノイズ予測（物体を含まない方向）の重み付けを行い、$\alpha_t$ というパラメータで物体領域から離れる方向へ潜在ノイズを誘導します。
• 効果: 物体の痕跡が残りやすい領域を強制的に「物体なし」の潜在多様体（Manifold）へ誘導し、滑らかでクリーンな合成を実現します。

3. 主要な貢献

1. PANDORA フレームワークの提案: 微調整もプロンプトも不要な、単一パスでのゼロショット物体除去フレームワーク。
2. PAD モジュール: 自己アテンションの最も相関するキーを切断することで、物体情報をピクセル単位で溶解し、背景との整合的な再構成を可能にする。
3. LADG モジュール: 潜在空間のノイズ軌道を物体領域から遠ざけることで、残存アーティファクトを抑制し、高品質な除去を実現する。
4. 新規ベンチマークデータセットの構築: 単一物体、複数物体、類似物体が密集したシーン（Mass-similar objects）を含む 186 枚の画像からなる評価用データセットを構築し、包括的な評価を行いました。

4. 実験結果

Stable Diffusion v1.5 および v2.1 をベースに、既存の微調整手法（LaMa, PowerPaint, SD2-Inpaint）およびゼロショット手法（CPAM, Attentive Eraser）と比較評価を行いました。

• 定量的評価:
  • CLIP スコア: 物体除去の質（背景との意味的整合性）において、PANDORA はゼロショット手法の中で最高スコアを記録しました。
  • FID / LPIPS / MSE: 背景のリアルさや歪みの少なさにおいても、微調整手法に匹敵、あるいはそれ以上の性能を示しました。特に、微調整手法は背景パッチを単純に結合する傾向があり、PANDORA はより自然な合成を実現しています。
• 定性的評価:
  • 単一物体だけでなく、複数の異なる物体、あるいは視覚的に類似した物体（果物や鳥の群れなど）が密集したシーンにおいても、PANDORA は残像なく物体を除去し、背景の細部を保持しました。
  • 既存のゼロショット手法は、類似物体がある場合の除去に失敗したり、テクスチャが不自然になったりする傾向がありました。
• ユーザー調査:
  • 20 名の参加者による評価において、PANDORA は**47.5%**の支持率（User Preference Rate）を獲得し、他のすべての手法（次点で Attentive Eraser の 22.0%）を大きく上回りました。

5. 意義と限界

意義

• アクセシビリティとスケーラビリティ: 大規模モデルの微調整や大量の計算資源、プロンプト設計の知識が不要なため、リソース制約のある環境でも高品質な物体除去が可能です。
• 汎用性: 単一物体から複雑な密集シーンまで、一貫した性能を発揮します。
• 技術的革新: 拡散モデルの内部メカニズム（アテンション）を直接操作することで、物体と背景の「解離（Disentanglement）」を制御する新しいアプローチを示しました。

限界と今後の課題

• マスクの精度依存: 入力マスクの精度に依存します。マスクが物体より小さすぎると除去が不完全になり、大きすぎると背景が歪む可能性があります（ただし、適度なオーバーラップには耐性があります）。
• 閾値の固定: PAD の相関抑制パーセンタイル（2-5%）は固定されており、シーンによって最適な値が異なる可能性があります。今後は、アテンション統計やマスクの信頼度に基づいた適応的な閾値設定を検討する予定です。

結論

PANDORA は、事前学習済みの拡散モデルの潜在生成能力を最大限に活用し、追加学習なしで高品質な物体除去を実現する画期的な手法です。特に、アテンションメカニズムをピクセル単位で制御し、物体情報を「溶解」させるアプローチは、ゼロショット画像編集の新たな基準（Benchmark）を打ち立てるものとして期待されます。