AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression

기술 요약: AdaEraser

문제 제기
이미지 내 객체 제거는 사용자가 지정한 대상의 정밀한 제거뿐만 아니라, 비워진 영역의 배경에 대한 타당한 재구성도 요구합니다. 최근 사전 훈련된 확산 모델을 활용한 학습 없는 방법들이 가능성을 보여주고 있지만, 이러한 방법들은 종종 근본적인 갈등에 직면합니다: 즉, 객체를 효과적으로 제거하는 것과 고품질의 배경 콘텐츠를 생성하는 것 사이의 충돌입니다. AttentiveEraser와 같은 기존 접근법들은 일반적으로 마스크된 객체 영역 내에서 자기 주의 (self-attention) 를 무분별하게 억제하는 방식을 사용합니다. 이는 대상 제거에는 성공하지만, 배경 생성 과정을 부주의하게 방해합니다. 배경 재구성은 변조되지 않은 자기 주의를 전제로 하는 사전 훈련된 모델의 생성 능력에 의존하기 때문에, 이러한 영역에서 주의를 완전히 차단하면 구조적 아티팩트, 시각적 왜곡, 그리고 저품질의 배경 합성이 초래됩니다.

방법론: AdaEraser
이러한 갈등을 해결하기 위해 저자들은 AdaEraser를 제안합니다. 이는 노이즈 제거 (denoising) 과정 중 추정된 대상 객체 개념의 존재 여부에 따라 주의 억제를 동적으로 조절하는 학습 없는 프레임워크입니다. 핵심 통찰력은 객체 제거와 배경 생성이 상충되는 목표이므로, 정적이고 이진적인 억제보다는 균형 잡힌 적응형 접근법이 필요하다는 점입니다.

이 방법은 세 가지 주요 단계를 통해 작동합니다:

1. 참조 및 대상 주의 추출:

   • 참조: 소스 이미지 $I_{src}$에 대해, 모델은 "t 단계 확산 + 1 단계 노이즈 제거" 방식을 적용하여 참조 자기 주의 맵 ($SAsrc$) 을 생성합니다. 이는 완전한 역변환 과정 없이도 노이즈 조건 하에서 원본 이미지의 특징 정보를 보존합니다.
   • 대상: 동시에, 모델은 소스 이미지에서 초기화된 대상 잠재 공간 (target latent) 에서 표준 객체 제거 노이즈 제거 과정을 수행하여 대상 자기 주의 맵 ($SAtgt$) 을 생성합니다.

2. 토큰별 존재 점수 추정:

   • 저자들은 자기 주의 맵이 문맥적 관계와 의미론적 특징을 인코딩한다는 것을 관찰합니다. 그들은 객체가 포함된 참조 맵과 객체가 제거되는 대상 맵 간의 유사성이 객체의 잔류 존재와 상관관계가 있다는 가설을 세웁니다.
   • 마스크 내의 각 토큰 $i$에 대해 $SAtgt(i)$와$SAsrc(i)$사이의 코사인 유사도를 사용하여 **토큰별 존재 점수**$p(i)$를 계산합니다.
   • 노이즈 제거 과정이 진행되고 객체가 제거됨에 따라, 대상 영역의 의미론적 콘텐츠가 참조와 달라져 유사도 점수가 감소합니다. 이 점수는 객체의 존재 수준을 나타내는 휴리스틱 대리 지표로 작용합니다.

3. 적응형 주의 억제:

   • 고정된 억제 대신, AdaEraser 는 각 토큰의 존재 점수에 기반하여 억제 계수 $\eta(i)$를 계산합니다: 마스크 내 토큰의 경우 $\eta(i) = 1 - p(i)$이며, 그 외의 경우 1 입니다.
   • 이 계수는 노이즈 제거 UNet 내의 자기 주의 점수를 조절합니다. 객체가 명확히 존재할 때 (높은 유사도) 억제는 강하게 작용합니다. 객체가 제거되고 배경이 형성되기 시작할 때 (낮은 유사도) 억제는 완화되어, 모델이 배경을 자연스럽게 재구성하기 위해 전체 생성 능력을 활용할 수 있도록 합니다.
   • 마지막으로, 비제거 영역의 일관성을 보장하기 위해 각 시간 단계에서 마스크를 사용하여 전경 (노이즈 제거된 대상) 과 배경 (원본 소스) 을 혼합합니다.

주요 기여

• 적응형 조절 전략: 이 논문은 고품질 객체 제거가 정적인 억제가 아닌, 객체의 잔류 존재에 기반한 적응형 주의 조절이 필요함을 규명했습니다.
• 토큰별 휴리스틱: 노이즈가 있는 잠재 공간에서 직접적인 객체 감지의 어려움을 극복하기 위해, 토큰별 자기 주의 맵 유사성을 객체 존재를 추정하는 효과적인 학습 없는 대리 지표로 사용함을 제안했습니다.
• AdaEraser 프레임워크: 저자들은 이 적응형 전략을 통합한 완전한 학습 없는 프레임워크를 도입하여, 객체 제거와 배경 복원 사이의 균형을 달성했습니다.

실험 결과
**Stable Diffusion XL (SDXL)**을 백본으로 사용하여 Mulan 및 OABench 데이터셋에서 광범위한 실험을 수행했으며, SD1.5, SD2.1, FLUX 에 대한 추가 검증도 실시했습니다.

• 정량적 성능: AdaEraser 는 FID, LPIPS, PSNR, ReMOVE, CFD 를 포함한 모든 지표에서 학습 기반 방법 (예: PowerPaint, RORem, SmartEraser) 과 최첨단 학습 없는 방법 (예: AttentiveEraser, OmniPaint) 을 모두 능가했습니다. 특히 사용자 연구에서 가장 높은 평균 인간 순위 (AHR) 를 달성했습니다.
• 정성적 성능: 시각적 비교는 AdaEraser 가 객체를 효과적으로 제거하면서도 장면의 문맥을 보존하고, 완전한 주의 억제를 사용하는 방법에서 흔히 발생하는 구조적 왜곡과 아티팩트를 피함을 보여주었습니다.
• 애블레이션 연구: 저자들은 토큰별 적응형 억제가 시간 단계 기반 또는 영역 기반 억제 전략보다 현저히 우수함을 검증했습니다. 또한, 현재 노이즈 수준에 정렬된 동적 참조 ($x_{src}^t$) 를 사용하는 것이 고정 노이즈 참조보다 우수한 결과를 산출함을 확인했습니다.

의의 및 주장
이 논문은 AdaEraser 가 생성적 사전 지식을 더 지능적으로 활용할 때 학습 없는 방법이 학습 기반 접근법을 능가할 수 있음을 보여줌으로써 객체 제거에 대한 새로운 관점을 제시한다고 주장합니다. 억제 강도를 동적으로 조절함으로써 AdaEraser 는 무분별한 주의 억제의 단점을 피하고, 배경 재구성을 위한 사전 훈련된 모델의 생성 능력을 보존합니다. 저자들은 이 작업을 고비용의 전문 데이터셋 수집이나 모델 미세 조정이 필요 없는 고품질, 데이터 효율적인 이미지 편집을 향한 중요한 걸음으로 위치시킵니다.

한계 및 향후 방향
이 논문은 성능이 마스크의 품질에 의존함을 인정합니다. 약간 느슨한 마스크에는 강건하지만, 객체로 인한 부작용 (예: 그림자) 을 커버하지 못하는 불완전한 마스크에는 어려움을 겪습니다. 또한, 이 방법은 생성적 사전 지식만으로는 복잡한 재구성이 불충분한 매우 유사한 질감이나 의미론적으로 모호한 콘텐츠가 있는 장면에서 어려움을 겪을 수 있습니다. 저자들은 향후 작업이 강건성을 높이기 위해 더 강력한 구조적 지침을 통합하거나 부작용을 자동으로 식별하는 방향으로 진행될 수 있음을 제안합니다. 또한, 적은 수의 노이즈 제거 단계에서 주의 역학의 정보성이 감소하기 때문에, 이 방법은 SDXL-Lightning 과 같은 고도로 가속화된 증류 모델과는 호환성이 낮음을 지적합니다.