From Inpainting to Layer Decomposition: Repurposing Generative Inpainting Models for Image Layer Decomposition

1. 문제 정의 (Problem)

이미지는 배경 (Background) 과 전경 (Foreground) 이 겹쳐진 레이어 구조로 볼 수 있으며, 이를 분리하면 각 요소를 독립적으로 편집할 수 있어 콘텐츠 제작의 유연성이 높아집니다. 그러나 단일 이미지를 레이어로 분해하는 작업은 다음과 같은 어려움이 존재합니다:

• 데이터 부족: 고품질의 레이어가 주석 달린 (RGBA 등) 공개 데이터셋이 극히 부족합니다.
• 계산 비용: 기존 연구 (예: LayerDecomp) 는 대규모 고품질 데이터셋을 사용하여 모델을 처음부터 학습하거나 전체 파인튜닝 (Full Fine-tuning) 을 수행하여 막대한 컴퓨팅 자원을 요구합니다.
• 과제: 전경 객체를 추출하고 (Occlusion 포함 복원), 동시에 배경에서 해당 객체를 제거하여 자연스럽게 채우는 (Inpainting) 두 가지 작업을 동시에 수행해야 합니다.

2. 제안 방법론 (Methodology)

저자들은 이미지 레이어 분해 (Layer Decomposition) 와 인페인팅 (Inpainting)/아웃페인팅 (Outpainting) 작업 간의 구조적 유사성을 발견하고, 사전 학습된 인페인팅 모델을 경량화하여 재사용하는 'Outpaint-and-Remove' 파이프라인을 제안합니다.

핵심 구성 요소:

1. 문제 재정의 (Reformulation):

   • 배경 생성: 마스킹된 영역을 채우는 인페인팅 작업과 동일합니다.
   • 전경 생성: 가시 영역을 확장하고 투명도 (Alpha 채널) 를 추가하는 아웃페인팅 작업으로 간주합니다.
   • 이를 통해 단일 인페인팅 백본을 기반으로 두 작업을 동시에 수행할 수 있습니다.

2. 멀티모달 컨텍스트 토큰화 (Multi-Modal Context Tokenization):

   • 잠재 공간 (Latent Space) 에서 세부 정보를 보존하기 위해 입력 이미지의 에지 맵, 세그멘테이션 맵, 깊이 맵을 컨텍스트로 추가합니다.
   • 토큰 수가 증가할 때 발생하는 계산 오버헤드를 해결하기 위해, 선형 어텐션 (Linear Attention) 기반의 'Multi-Modal Latent Fusion' 모듈을 도입하여 토큰 수에 비례하는 선형 복잡도 ($O(KN)$) 로 효율적으로 융합합니다.

3. 이미지 - 마스크 컨텍스트 설계 (Image-Mask Context Design):

   • 기존 인페인팅 모델은 배경 마스크 컨텍스트 ($c^b_{I-M}$) 만 사용하지만, 이 모델은 전경 컨텍스트 ($c^f_{I-M}$) 와 배경 컨텍스트를 모두 입력으로 받습니다.
   • 전경 컨텍스트는 모델이 기존 정보를 보존하면서 새로운 내용을 생성하는 균형을 맞추도록 도와, 전경 추출 시 할루시네이션 (Hallucination) 을 방지하고 객체 경계를 정확하게 유지합니다.

4. 파라미터 효율적 파인튜닝 (PEFT):

   • 사전 학습된 Diffusion Transformer (DiT) 의 가중치는 고정하고, LoRA (Low-Rank Adaptation) 레이어와 입력 프로젝션 레이어만 미세 조정합니다.
   • 이를 통해 대규모 재학습 없이도 새로운 작업 (레이어 분해) 을 학습할 수 있습니다.

5. 데이터 큐레이션 (Training Data):

   • 공개 소스만 활용하여 10 만 개의 이미지 - 전경 - 배경 3 중체 (Triplets) 를 구성했습니다.
   • 하이브리드 전략: MULAN 데이터셋 (실제 이미지, 세부 정보 풍부하지만 형태 불완전) 과 LayerDiffuse 로 생성된 이미지 (형태 완전하지만 텍스처 단순) 를 결합하여 상호 보완적인 학습 데이터를 만듭니다.

3. 주요 기여 (Key Contributions)

• 새로운 관점: 레이어 분해가 인페인팅/아웃페인팅의 확장임을 규명하고, 사전 학습된 인페인팅 모델을 경량 파인튜닝으로 재사용하는 첫 번째 방법을 제안했습니다.
• 효율성: 대규모 데이터와 컴퓨팅 자원 없이도 공개 데이터와 경량 적응 (Adaptation) 만으로 SOTA 성능을 달성했습니다.
• 새로운 모듈: 선형 복잡도를 가진 멀티모달 컨텍스트 퓨전 모듈과 전경/배경 이중 컨텍스트 설계를 통해 할루시네이션을 줄이고 디테일을 보존했습니다.

4. 실험 결과 (Results)

• 데이터셋: MULAN 데이터셋 (배경 제거 평가) 과 실제 고화질 이미지 (전경 추출 평가) 를 사용했습니다.
• 정량적 평가 (Quantitative):
  • 배경 제거: PSNR(27.30), SSIM(0.93), FID(25.97) 등에서 기존 SOTA 모델 (SD-XL Inpainting, PowerPaint, BrushNet 등) 과 베이스 모델 (FLUX.1-Fill-dev) 을 모두 압도했습니다. 특히 베이스 모델 대비 PSNR 1.71dB 향상, FID 9.99 감소.
  • 전경 추출: Matting-Anything, DiffMatte 등 기존 마팅 모델 대비 사용자 선호도 (User Preference Rate) 에서 **59.51%**로 가장 높은 점수를 기록했습니다.
• 정성적 평가 (Qualitative): 복잡한 오clusion(가림) 상황에서도 전경 객체를 정확하게 추출하고 배경을 자연스럽게 복원하는 것을 확인했습니다.
• Ablation Study:
  • 전경 컨텍스트 ($c^f_{I-M}$) 제거 시 전경 할루시네이션이 발생하여 성능이 저하됨을 확인.
  • LoRA Rank 256 이 사전 학습 지식 보존과 새로운 작업 학습 간의 최적 균형점을 제공함을 입증.

5. 의의 및 결론 (Significance)

이 논문은 생성형 AI 모델의 재사용 가능성을 극대화한 사례입니다.

• 접근성: 고비용의 대규모 학습 없이도 누구나 공개된 인페인팅 모델을 레이어 분해 도구로 활용할 수 있게 하여, 크리에이티브 리컴포지션, 레이어 아트 생성, 컴포넌트 기반 검색 등 다양한 다운스트림 애플리케이션을 가능하게 합니다.
• 기술적 통찰: 인페인팅과 레이어 분해가 본질적으로 유사한 문제임을 증명함으로써, 향후 다양한 이미지 편집 작업을 위해 기존 생성 모델을 효율적으로 적응 (Adapt) 시키는 새로운 패러다임을 제시했습니다.

결론적으로, 이 연구는 데이터와 파라미터 효율성을 극대화하면서도 SOTA 수준의 성능을 달성하여 이미지 레이어 분해 분야의 실용적 장벽을 낮췄다는 점에서 의의가 큽니다.