기술 요약: OSOR – 효과 인지형 객체 제거를 위한 원스텝 확산 인페인팅(One-Step Diffusion Inpainting)

문제 정의

실제 환경에서의 객체 제거는 다음과 같은 세 가지 주요 과제에 직면한 근본적인 이미지 편집 작업입니다:

1. 효과 인지(Effect-Awareness): 단순히 마스크 내부의 픽셀을 지우는 것만으로는 불충분합니다. 객체는 종종 지속적인 시각적 효과(예: 드리워진 그림자, 반사, 환경적 상호작용)를 남기며, 이를 올바르게 제거하기 위해서는 장면의 기하학적 구조와 조명에 대한 강력한 의미론적 이해가 필요합니다.
2. 마스크 강건성(Mask-Robustness): 실제 시나리오에서 사용자가 제공하는 마스크는 불완전한 경우가 많습니다. 즉, 너무 크거나(관련 없는 콘텐츠까지 포함) 너무 작아서(객체와 그 효과를 모두 포함하지 못함) 발생합니다. 기존 방식들은 이러한 부주의한 입력값에 대해 합리적인 결과를 생성하는 데 어려움을 겪는 경우가 많습니다.
3. 효율성(Efficiency): 모바일 기기와 같은 대화형 애플리케이션은 극도로 낮은 지연 시간을 요구합니다. 현재의 최첨단 확산 기반 방식들은 수천억 개의 파라미터와 수백 단계의 반복적인 디노이징 단계를 필요로 하여, 뛰어난 지각적 품질을 제공하지만 높은 계산 비용과 추론 시간으로 인해 실시간 사용이 불가능합니다.

방법론

저자들은 효율적이고, 효과를 인지하며, 마스크에 강건한 객체 제거를 단 한 번의 추론 단계로 달성하도록 설계된 프레임워크인 **OSOR (One-Step Object Removal)**를 제안합니다. 이 방법론은 세 가지 핵심 기술 구성 요소로 구축되었습니다:

1. 시맨틱 앵커 검증 파이프라인 (SAVP) 및 CORNE 데이터셋

고품질의 효과 인지형 학습 데이터 부족 문제를 해결하기 위해, 저자들은 SAVP를 도입했습니다. 이 파이프라인은 노이즈가 섞인 명령 기반 트리플릿(예: "객체 X를 제거하라")을 처리하여 신뢰할 수 있는 감독 신호를 검증하고 추출합니다.

• 검증(Verification): SAVP는 다중 특징 차이 히트맵(로그 휘도, 색도, 그래디언트 크기)을 계산하고 이를 Grounding DINO가 생성한 시맨틱 바운딩 박스와 정렬합니다. 이를 통해 분산된 아티팩트나 정렬되지 않은 시맨틱을 가진 쌍을 필터링합니다.
• 마스크 합성(Mask Synthesis): 검증된 차이 영역을 SAM2로 생성된 객체 코어 마스크와 융합하여 효과 인지형 타겟 마스크를 생성합니다.
• 데이터셋: SAVP를 사용하여 저자들은 효과 인지형 주석이 포함된 280,000개의 검증된 객체 제거 쌍을 포함하는 CORNE 데이터셋을 큐레이션했습니다. 또한 특정 도메인(애니메이션 이미지 및 텍스트 오버레이)에서의 성능을 평가하기 위해 AnimeEraseBench와 TextEraseBench를 구축했습니다.

2. 2단계 학습 커리큘럼

OSOR은 경계 일관성과 불완전한 마스크에 대한 강건성 사이의 균형을 맞추기 위해 2단계 학습 전략을 채택합니다.

• 1단계: 경계 일관성이 있는 원스텝 제거 (Boundary-Consistent One-Step Removal)

  • 목표: 잘 국소화되고 효과를 인지하는 마스크 하에서 신뢰할 수 있는 단일 단계 복원을 위해 사전 학습된 확산 백본(SDXL-Inpainting 또는 FLUX Fill)을 적응시킵니다.
  • 점유 가이드 디스크리미네이터 (Occupancy-Guided Discriminator): 단일 단계 생성에서 흔히 발생하는 흐릿한 경계를 방지하기 위해, 저자들은 다중 스케일 디스크리미네이터를 도입합니다. 패치 타겟에 대해 이진 마스크나 가우시안 평활화를 사용하는 대신, 면적 풀링을 통해 **분수 점유 값(fractional occupancy values)**을 계산합니다. 이는 경계 패치에 대해 정밀한 분수 단위의 감독을 제공하여 원스텝 모델의 적대적 학습을 안정화합니다.
  • 잠재 공간 복원 (Latent Restoration): 모델은 잠재 공간에서 하드 블렌딩을 수행하여, 편집된 영역에만 그래디언트를 제한하면서 마스크되지 않은 영역을 정확하게 보존합니다.

• 2단계: 알파 인지형 강건 제거 (Alpha-Aware Robust Removal)

  • 목표: 부드러운 효과(그림자/반사)를 커버하지 못하는 보수적이거나 정렬되지 않은 사용자 마스크에 대한 강건성을 향상시킵니다.
  • 경량 알파 헤드 (Lightweight Alpha Head): 백본에 작은 프로젝션 레이어를 추가하여 디노이징 출력과 함께 소프트 알파 맵($\hat{\alpha}$)을 예측합니다. 이를 통해 모델은 제공된 마스크 너머의 유효한 편집 영역을 추론할 수 있습니다.
  • 불완전 마스크 조건화 (Incomplete-Mask Conditioning): 학습 시 "보수적인" 마스크(예: 좁은 객체 코어 또는 기하학적으로 변형된 마스크)를 입력 조건으로 사용하되, 그라운드 트루스는 전체 효과 인지형 마스크를 유지합니다.
  • 적응형 블렌딩 (Adaptive Blending): 하드 잠재 블렌딩 대신, 모델은 알파 컴포지팅($z_{out} = \hat{\alpha} \odot \hat{z}_0 + (1 - \hat{\alpha}) \odot \bar{z}$)을 사용하여 생성된 콘텐츠를 원본 이미지와 매끄럽게 블렌딩함으로써 잔여 효과를 효과적으로 제거합니다.

주요 기여

1. OSOR 모델: 고효율, 효과 인지형 제거(그림자/반사), 그리고 불완전한 마스크에 대한 강건성을 동시에 달로 달성하는 단일 단계 확산 모델입니다.
2. 기술적 혁신:
   • 안정적인 단일 단계 학습을 위해 분수 점유 타겟을 사용하는 점유 가이드 디스크리미네이터.
   • 최소한의 오버헤드로 적절한 제거 영역을 예측하기 위해 사전 학습된 확산 사전 확률(priors)을 활용하는 경량 알파 헤드.
   • 노이즈 섞인 데이터로부터 대규모의 검증된 효과 인지형 감독 데이터를 생성하는 파이프라인인 SAVP.
3. 리소스:
   • 28만 개의 검증된 제거 쌍을 포함하는 고품질 데이터셋인 CORNE.
   • 복잡한 도메인에서의 제거를 평가하기 위한 벤치마크인 AnimeEraseBench 및 TextEraseBench.

실험 결과

실험은 여섯 가지 벤치마크(CORNE-Val, RORD-Val, AnimeEraseBench, TextEraseBench, OmniPaint-Bench, RemovalBench)에서 강력한 다단계 확산 베이스라인(예: ObjectClear, OmniEraser, FLUX Fill, SDXL-Inpainting)과 OSOR을 비교하여 수행되었습니다.

• 성능: OSOR은 지각적 품질(FID, LPIPS, PSNR, SSIM) 측면에서 다단계 확산 베이스라인을 능가하면서도 훨씬 더 빠릅니다.
  • AnimeEraseBench에서 OSOR-FLUX는 두 번째로 우수한 방법보다 2.24 dB 높은 PSNR을 기록했으며 27배 더 빨랐습니다.
  • CORNE-Val에서 OSOR-FLUX는 객체 전용 및 효과 인지형 마스크 설정 모두에서 모든 지표에 대해 최고의 점수를 기록했습니다.
• 효율성: OSOR은 단일 NVIDIA A100 GPU에서 1024 × 1024 이미지를 1초 미만에 처리하며, 이는 기존 방식 대비 4배에서 30배 빠른 속도를 나타냅니다.
• 정성적 분석: OSOR은 다른 방법들이 잔여물을 남기거나, 내용을 환각하거나, 불완전한 마스크를 처리하지 못하는 것과 달리, 객체와 관련된 효과(그림자, 반사)를 일관되게 제거하면서 더 깨끗한 배경 구조를 보존합니다.

의의 및 주장

본 논문은 단순히 사전 학습된 확산 모델을 적용하는 것만으로는 불충 sufficient하지 않으며, 이 특정 작업을 위한 잠재력을 끌어내기 위해서는 표적화된 학습 전략이 필요하다고 주장합니다. OSOR은 다음과 같은 요소가 결-합될 때 원스텝 확산이 복잡한 편집 작업에 실행 가능하다는 것을 입증합니다:

1. 정밀한 경계 감독 (점유 가이드 디스크리미네이션).
2. 마스크 불확실성을 처리하는 메커니즘 (알파 헤드 및 적응형 블렌딩).
3. 노이즈가 섞인 데이터로부터 유도된 고품질의 효과 인지형 감독 (SAVP).

추론 시간을 한 자릿수 단위로 줄이면서도 지각적 품질을 유지하거나 향상시킴으로써, OSOR은 고충실도 생성 편집과 대화형 및 엣지 애플리케이션의 지연 시간 요구 사항 사이의 간극을 메웁니다.