1. 문제 정의 (Problem)

자연 이미지에서 객체를 제거하는 작업은 배경의 무결성을 유지하면서 제거된 영역에 의미론적으로 일관된 콘텐츠를 합성해야 하므로 매우 어렵습니다. 기존 방법들은 다음과 같은 한계를 가지고 있습니다:

• 기존 패치 기반 방법 및 GAN: 합성된 영역과 주변 배경 간의 자연스러운 융합이 어렵고, 불일치 (inconsistency) 나 인공물 (artifacts) 이 발생하기 쉽습니다.
• 확산 모델 (Diffusion Models) 기반 방법:
  • 파인튜닝 (Fine-tuning) 필요: Stable Diffusion Inpainting 등 기존 방법은 특정 작업에 맞춰 모델을 파인튜닝하거나 방대한 프롬프트 엔지니어링이 필요하여 리소스 효율성이 낮습니다.
  • Zero-shot 방법의 한계: 기존 Zero-shot 방법 (예: CPAM, Attentive Eraser) 은 단일 객체 제거에는 어느 정도 효과적이지만, 다중 객체 (Multi-object) 제거나 밀집된 유사 객체 제거 시에는 잔여 주의 (residual attention) 로 인해 객체가 완전히 제거되지 않거나 배경이 왜곡되는 문제가 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 PANDORA라는 새로운 Zero-shot 객체 제거 프레임워크를 제안했습니다. 이 방법은 사전 훈련된 텍스트 - 이미지 확산 모델 (Pre-trained Text-to-Image Diffusion Models) 을 직접 활용하며, 파인튜닝, 프롬프트, 추론 시간 최적화 (Inference-time optimization) 없이 한 번의 순전파 (Single Forward Pass) 로 객체를 제거합니다.

핵심 구성 요소는 다음과 같습니다:

A. 배경 보존 적응 (Background Preservation Adaptation, BPA)

• 목적: 객체 제거 과정에서 마스크가 지정되지 않은 배경 영역이 변하지 않도록 보장합니다.
• 방식: DDIM 역변환 (Inversion) 을 통해 입력 이미지를 잠재 공간 (Latent Space) 의 노이즈로 변환하고, 중간 잠재 상태 (Intermediate Latent States) 를 저장합니다.
• 작동 원리: U-Net 의 자기 주의 (Self-Attention) 메커니즘에서, 쿼리 (Query) 는 현재 노이즈에서 가져오되, 키 (Key) 와 밸류 (Value) 는 저장된 배경 잠재 공간에서 추출하여 마스크가 아닌 영역의 의미론적 정보를 유지합니다.

B. 픽셀 단위 주의 해체 (Pixel-wise Attention Dissolution, PAD)

• 목적: 마스크된 객체 영역의 정보를 주의 (Attention) 수준에서 해체하여 객체를 완전히 지웁니다.
• 방식:
  1. 마스크된 쿼리 픽셀과 가장 강하게 상관관계가 있는 키 (Key) 들을 식별합니다.
  2. **백분위수 기반 임계값 (Percentile-based Thresholding)**을 적용하여 각 쿼리의 주의 분포에서 상위 $k$개 (예: 2~5%) 의 가장 강한 연결을 $-\infty$로 설정하여 차단합니다.
  3. 이를 통해 마스크된 픽셀이 객체 영역의 지배적인 특징과 연결되는 것을 끊고, 주변 배경 맥락이 재구성을 주도하도록 합니다.

C. 국소적 주의 해리 안내 (Localized Attentional Disentanglement Guidance, LADG)

• 목적: 잠재 공간에서 노이즈가 객체 영역으로 향하는 것을 방지하고, 배경과 일관된 재구성을 유도합니다.
• 방식:
  • 조건부 (Conditional) 및 무조건부 (Unconditional) 노이즈 예측을 활용합니다.
  • 마스크 인식 가중치: 마스크 영역 내에서는 무조건부 궤적 (원래 객체가 있는 상태) 에서 벗어나도록 안내하고, 마스크 외 영역에서는 조건부 궤적을 유지하여 배경의 정밀도를 높입니다.
  • 이는 전역적 가이드가 아닌 공간적으로 게이트된 (Spatially gated) 메커니즘으로 작동하여 잔여 인공물을 제거하고 더 깨끗한 결과를 생성합니다.

3. 주요 기여 (Key Contributions)

1. PANDORA 프레임워크: 파인튜닝이나 프롬프트 없이 사전 훈련된 확산 모델을 기반으로 한 최초의 Zero-shot 다중 객체 제거 프레임워크 제안.
2. PAD (Pixel-wise Attention Dissolution): 자기 주의 메커니즘에서 가장 상관관계가 높은 키를 차단함으로써 객체 정보를 정밀하게 해체하고 배경 맥락으로 자연스럽게 재구성하는 기술 개발.
3. LADG (Localized Attentional Disentanglement Guidance): 잠재 공간에서 노이즈 궤적을 국소적으로 제어하여 잔여 인공물을 억제하고 배경 무결성을 유지하는 안내 메커니즘 도입.
4. 새로운 벤치마크 데이터셋: 단일 객체, 다중 객체, 밀집된 유사 객체 (Mass-similar objects) 제거를 평가하기 위한 186 개의 샘플로 구성된 새로운 데이터셋 구축.

4. 실험 결과 (Results)

• 데이터셋: 75 개의 단일 객체, 17 개의 다중 객체, 94 개의 유사 객체 군집 샘플로 구성.
• 비교 대상: LaMa, PowerPaint, SD2-Inpaint (파인튜닝 기반) 및 CPAM, Attentive Eraser (Zero-shot 기반) 와 비교.
• 정량적 평가 (Quantitative):
  • 객체 제거 품질 (CLIP Score): PANDORA 는 다른 모든 Zero-shot 방법보다 높은 CLIP 점수를 기록하여 객체가 효과적으로 제거되었음을 증명했습니다.
  • 배경 충실도 (FID, LPIPS, MSE): 배경 영역의 왜곡을 최소화하여 기존 방법들과 경쟁력 있는 성능을 보였습니다.
  • Ablation Study: PAD 나 LADG 중 하나를 제거할 경우 성능이 급격히 저하되거나 제거 효과가 떨어짐을 확인했습니다.
• 정성적 평가 (Qualitative): 복잡한 장면, 밀집된 유사 객체, 다중 객체 제거 시에도 배경의 구조와 질감을 유지하며 자연스럽게 제거하는 것을 확인했습니다.
• 사용자 연구 (User Study): 20 명의 참가자를 대상으로 한 연구에서 PANDORA 는 **47.5% 의 사용자 선호도 (UPR)**를 기록하여 다른 모든 방법 (최대 22%) 을 압도했습니다.

5. 의의 및 결론 (Significance)

• 접근성 및 확장성: 파인튜닝이나 추가 학습 없이 기존 모델 (Stable Diffusion v1.5, v2.1 등) 을 즉시 활용할 수 있어 리소스 제약이 있는 환경에서도 적용 가능합니다.
• 다중 객체 처리 능력: 기존 Zero-shot 방법들이 취약했던 '유사 객체 군집'이나 '다중 객체' 제거 문제를 효과적으로 해결했습니다.
• 기술적 혁신: 확산 모델의 잠재 공간과 주의 메커니즘을 직접 조작하여 객체 제거를 수행하는 새로운 패러다임을 제시했습니다.

결론적으로, PANDORA 는 객체 제거 작업에서 배경의 무결성과 객체의 완전한 제거라는 상충되는 목표를 동시에 달성한 State-of-the-Art Zero-shot 솔루션으로 평가받습니다.