기술 요약: EraseLoRA

문제 정의

이미지 내 객체 제거는 마스킹된 대상을 없애는 것뿐만 아니라, 가려진 배경을 구조적 및 맥락적 충실도를 유지하며 정교하게 재구성하는 것을 필요로 합니다. 최근 확산 모델(diffusion models)을 활용하여 셀프 어텐션(self-attention) 메커니즘을 조작함으로써 마스킹된 영역을 참조하지 않도록 시도하는 데이터셋 프리(dataset-free) 방식들이 등장했으나, 저자들은 이러한 방법들에서 두 가지 결정적인 실패 모드를 식별했습니다:

1. 전경의 오해석: 기존 방법들은 마스킹되지 않은 전체 영역을 배경으로 취급합니다. 결과적으로, 타겟이 아닌 전경 객체(예: 제거된 테이블 옆의 의자)가 배경으로 오해되어 마스킹된 영역 내에 의도치 않게 재생성됩니다.
2. 균일한 어텐션 제약: 이 방법들은 다양한 배경 하위 유형(예: 풀, 보도, 하늘)을 구분하지 않고 균일한 어텐션 차단 또는 재지정을 적용합니다. 이는 질감의 흐림, 구조적 불일치, 그리고 여러 배경 단서들을 일관되게 통합하지 못하는 결과로 이어집니다.

저자들은 이러한 실패가 **명시적인 배경 인식 추론(background-aware reasoning)**의 부재에서 기인한다고 주장합니다. 즉, 모델이 무엇을 제거해야 하는지, 무엇을 전경으로서 보존해야 하는지, 그리고 무엇이 재구성될 깨끗한 배경을 구성하는지를 구분하지 못한다는 것입니다.

방법론

본 논문은 어텐션 수술(attention surgery) 대신 배경 인식 추론과 테스트 타임 적응(test-time adaptation)을 사용하는 데이터셋 프리 프레임워크인 EraseLoRA를 제안합니다. 이 방법은 두 가지 별도의 단계로 작동합니다.

단계 1: 배경 인식 전경 제외 (BFE)

이 단계는 멀티모달 거대 언어 모델(MLLM)을 활용하여 단일 이미지-마스크 쌍에 대해 의미론적 추론을 수행합니다.

• 의미론적 분할: MLLM은 이미지를 분석하여 세 가지 별도 카테고리를 식별하고 분류합니다: 타겟 전경(제거 대상), 비타겟 전경(장면 내에서 보존되어야 할 다른 객체들), 그리고 배경 하위 유형(재구성될 가려진 콘텐츠).
• 마스크 생성: MLLM의 출력 태그를 사용하여, 시스템은 Tag2Mask 모델(예: Grounding DINO 및 SAM2)을 통해 타겟($M_T$), 비타겟 전경($M_F$), 그리고 깨끗한 배경($M_B$)에 대한 정밀한 이진 마스크를 생성합니다.
• 제외: 비타겟 전경을 명시적으로 격리함으로써, 이 방법은 이러한 방해 요소들이 재구성을 위한 참조 단서로 사용되는 것을 방지합니다. 이는 모든 마스킹되지 않은 픽셀을 배경으로 취급하는 이전 연구와의 핵심적인 차별점입니다.

단계 2: 하위 유형 집합을 통한 배경 인식 재구성 (BRSA)

이 단계는 명시적인 어텐션 차단 없이 로우 랭크 적응(Low-Rank Adaptation, LoRA)을 사용하여 마스킹된 영역을 재구성하기 위해 테스트 타임 최적화를 수행합니다.

• 최적화 목적 함수: 이 방법은 확산 모델을 가이드하기 위해 두 가지 상호 보완적인 손실 함수를 공동으로 최적화합니다:
  1. 배경 재구성 손실 ($L_{recon}$): 깨끗한 배경 마스크($M_B$) 내에서 재구성된 잠재 표현(latent)과 입력 잠재 표현 사이의 차이를 최소화함으로써 원본 이미지에 대한 충실도를 강제합니다. 이는 생성을 실제 배경 구조에 고정시킵니다.
  2. 배경 퍼즐 손실 ($L_{puzzle}$): 추론된 배경 하위 유형들을 별개의 "퍼즐 조각"으로 취급합니다. 이는 지배적인 어텐션 맵과 유효 영역(타겟 마스크 + 깨끗한 배경) 사이의 중첩을 최대화하여, 어텐션이 비타겟 전경이 아닌 관련 배경 단서에 집중되도록 보장합니다.
• 프로세스: LoRA 어댑터는 확산 백본에 삽입되며, 결합된 손실 함수($L_{total} = L_{recon} + \lambda L_{puzzle}$)를 사용하여 정해진 횟수의 반복(기본값 500회) 동안 최적화됩니다. 이때 백본 파라미터는 동결된 상태를 유지합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 실패 모드 식별: 저자들은 타겟이 아닌 전경의 의도치 않은 재생성이 배경 인식 추론의 부재로 인해 발생하는, 현재의 데이터셋 프리 객체 제거 방식의 근본적인 실패 모드임을 공식적으로 식별했습니다.
2. EraseLoRA 프레임워크: MLLM 가이드 기반의 전경-배경 분리와 다중 배경 인식 테스트 타임 적응 기법을 결합한 새로운 모델 불가지론적(model-agnostic), 데이터셋 프리 프레임워크를 제안합니다. 이는 명시적인 어텐션 조작을 피함으로써 미세한 질감을 보존합니다.
3. 새로운 주석 및 지표: 저자들은 기존 벤치마크에 대해 세 가지 레이블(타겟, 비타겟 전경, 배경)을 가진 그라운드 트루스 주석을 제공하며, 쌍이 없는(unpaired) 객체 제거 환경에 특화된 평가 지표(전경 유사도 및 배경 유사도)를 도입했습니다.
4. 성능 향상: 이 방법은 별도의 학습 데이터 없이도 기존의 데이터 기반(dataset-driven) 방식보다 높은 배경 충실도와 전경 억제 성능을 보이면서, 최신 데이터셋 프리 방식들을 크게 앞지르는 성능을 입증했습니다.

실험 결과

저자들은 다양한 확산 백본(SD3.5-M, SDXL, FLUX.1)을 사용하여 OpenImages V7 및 RORD 벤치마크에서 EraseLoRA를 평가했습니다.

• 정량적 성능: OpenImages V7에서 EraseLoRA는 배경 유사도(BG Sim.)를 0.605(베이스라인)에서 0.743으로 개선하였고, 전경 유사도(FG Sim., 낮을수록 좋음)를 0.286에서 0.151로 감소시켰습니다. RORD에서도 유사한 이득이 관찰되었습니다.
• 비교: EraseLoRA는 비교된 모든 데이터셋 프리 방식(예: AttentiveEraser, DesignEdit)보다 우수한 성능을 보였으며, 배경 충실도와 전경 억제 모두에서 데이터 기반 방식(예: PowerPaint, SmartEraser)을 능가했습니다.
• 절제 연구(Ablation Studies):
  • BFE 효능: BFE 모듈을 기존 방식에 결합했을 때 BG Sim.이 최대 6.6% 향상되고 FG Sim.이 8.6% 감소하여, 전경 제외가 핵심적인 요소임을 확인했습니다.
  • 손실 구성 요소: $L_{recon}$과 $L_{puzzle}$의 조합이 필수적임을 보여주었습니다. 하나만 사용할 경우 희미한 전경 흔적이 남거나 구조적으로 일관되지 않은 완성이 나타났습니다.
  • 유연성: 이 방법은 다양한 MLLM(7B에서 78B 파라미터까지) 및 Tag2Mask 모델에 대해 견고함을 입증했습니다. 더 큰 MLLM이 약간 더 나은 추론 능력을 제공하지만, 경량 모델도 상당한 이득을 제공했습니다.

의의 및 주장

본 논문은 EraseLoRA를 데이터셋 프리 객체 제거의 중요한 진전으로 자리매김합니다. 이 연구의 주요 의의는 (종종 이미지 품질을 저하시키는) "어텐션 수술"에서 "배경 인식 추론"으로 패러다임을 전환했다는 점에 있습니다. MLLM의 추론 능력을 통해 장면의 의미론을 이해하고, 테스트 타임 적응을 통해 확산 모델의 생성 충실도를 높임으로써 EraseLoRA는 다음을 달 achieve 합니다:

• 충실한 복원: 원래 장면과 구조적, 질감적으로 일관된 배경을 재구성하며, 새로운 객체를 환각(hallucination)하는 현상을 방지합니다.
• 일반화 가능성: 플러그 앤 플레이 모듈로서, 재학습이나 쌍이 있는 데이터셋 없이도 다양한 확산 백본에 적용 가능합니다.
• 효율성 대 품질의 트레이드오프: MLLM 추론 및 테스트 타임 최적화로 인해 계산 비용이 발생하지만, 저자들은 이를 제거 품질 향상 및 원치 않는 전경 재생성 제거를 위한 정당한 트레이드오프라고 주장합니다. 또한 경량 MLLM과 조기 종료 전략을 통해 효율성을 개선할 수 있음을 언급했습니다.

저자들은 EraseLoRA가 타겟 뒤에 무엇이 있는지, 그리고 재구성 과정에서 무엇을 제외해야 하는지를 명시적으로 추론함으로써, 기존 방식의 한계를 효과적으로 해결하는 확장 가능한 데이터셋 프리 객체 제거 형식을 구축했다고 결론짓습니다.