PICS: Pairwise Image Compositing with Spatial Interactions

이 논문은 확산 기반 이미지 합성에서 발생하는 공간적 일관성 문제를 해결하기 위해, 마스크 가이드 혼합 전문가 (Mixture-of-Experts) 와 적응형 알파 블렌딩을 통해 객체 간의 상호작용을 명시적으로 모델링하는 자기지도 학습 방식인 PICS 를 제안합니다.

핵심

이 논문은 PICS라는 새로운 인공지능 기술을 소개합니다. 이 기술은 두 장의 사진에서 각각 다른 사물을 잘라내어, 마치 한 장의 자연스러운 사진처럼 합성하는 '이미지 합성' 작업을 훨씬 더 똑똑하게 해냅니다.

기존의 인공지능들은 사물을 하나씩 순서대로 붙이다 보니, 나중에 붙인 사물이 먼저 붙인 사물을 덮어버리거나 경계가 어색해지는 문제가 있었습니다. PICS 는 이 문제를 해결하기 위해 "함께 생각하기" 방식을 도입했습니다.

이제 이 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "순서대로 쌓는 레고"의 함정

기존의 합성 기술은 마치 레고를 하나씩 쌓아 올리는 사람과 같습니다.

• 먼저 바닥에 '의자'를 놓습니다.
• 그다음 '사람'을 의자 위에 놓으려 합니다.
• 그런데 인공지능이 "의자가 이미 바닥에 있잖아?"라고 생각하며, 사람과 의자가 닿는 부분을 무작정 지워버리거나, 사람이 의자 뒤로 사라지게 만들기도 합니다.
• 결과적으로 사람이 의자에 앉는 게 아니라, 의자가 사람에게 먹혀버리거나 둘의 경계가 뭉개진 이상한 사진이 나옵니다.

2. PICS 의 해결책: "동시에 조율하는 오케스트라 지휘자"

PICS 는 이 문제를 해결하기 위해 모든 사물을 동시에 고려하는 '병렬 합성' 방식을 사용합니다.

• 비유: PICS 는 레고를 하나씩 쌓는 게 아니라, 오케스트라 지휘자처럼 행동합니다.
• 지휘자는 바이올린 (의자) 과 첼로 (사람) 가 동시에 연주할 때, 서로의 소리가 섞이지 않고 조화롭게 들리도록 한 번에 지시를 내립니다.
• "의자는 뒤에 있고, 사람은 앞에 있어. 그리고 두 사물이 닿는 부분에서는 사람이 의자를 살짝 가리도록 해."라고 한 번에 결정합니다.
• 이렇게 하면 사물이 서로 겹치는 부분 (가려지는 부분) 이 자연스럽게 처리되어, 실제 사진처럼 보입니다.

3. 핵심 기술: "마법 같은 투명 유리창" (상호작용 트랜스포머)

PICS 는 합성할 때 사물과 배경, 그리고 사물끼리의 관계를 아주 세밀하게 분석합니다. 이를 위해 **'인터랙션 트랜스포머 (Interaction Transformer)'**라는 기술을 썼는데, 이를 투명 유리창에 비유해 볼 수 있습니다.

• 상황: 의자와 사람이 겹치는 부분을 어떻게 처리할까요?
• 기존 방식: 그냥 두 이미지를 섞어버려서 경계가 흐릿해집니다.
• PICS 방식: PICS 는 지능형 투명 유리창을 만들어냅니다.
  • 이 유리창은 "여기는 사람이 앞장서서 보이고, 저기는 의자가 살짝 비쳐야 해"라고 스스로 판단합니다.
  • 마치 스마트한 페인트처럼, 어떤 사물이 더 중요하고 어떤 사물이 뒤에 있어야 할지 상황에 따라 투명도를 조절하며 자연스럽게 섞어줍니다.
  • 특히, 사물이 구부러지거나 (예: 옷 주름), 다른 사물을 가릴 때 (예: 사람이 의자 등받이를 가림) 이런 물리적인 법칙을 이해하고 적용합니다.

4. 다양한 각도에도 강한 "3D 감각"

이 기술은 단순히 2 차원 사진만 보는 게 아니라, 3 차원 공간감을 이해합니다.

• 비유: 우리가 물체를 볼 때, 정면에서 보든 옆에서 보든 그 물체의 모양이 일정하다는 것을 알죠? PICS 도 마찬가지입니다.
• 훈련 과정에서 물체를 다양한 각도에서 회전시키거나, 다른 각도에서 본 모습을 학습시켜서, 합성할 때 물체가 뚱뚱해지거나 비틀리지 않고 자연스러운 3D 형태를 유지하도록 합니다.

5. 요약: 왜 PICS 가 특별한가요?

• 기존: "하나, 둘, 셋" 순서대로 붙이다 보니, 나중에 붙은 게 앞의 걸 지워버리는 실수가 잦았습니다. (불완전한 합성)
• PICS: "하나, 둘, 셋"을 한 번에 보고, 서로의 관계를 고려하여 자연스럽게 합칩니다. (완벽한 합성)

결론적으로, PICS 는 두 장의 사진을 합칠 때, **"누가 앞이고 누가 뒤인지", "서로 어떻게 겹쳐져야 자연스러운지"**를 인공지능 스스로가 물리 법칙을 이해하듯 계산해 내어, 마치 처음부터 한 장의 사진으로 찍힌 것처럼 매우 사실적이고 자연스러운 결과물을 만들어냅니다.

이 기술은 가상 의상 입기 (Virtual Try-on) 나 실내 인테리어 변경, 영화 특수효과 등 다양한 분야에서 더 현실적인 이미지 편집을 가능하게 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

기존의 확산 모델 (Diffusion Models) 기반 이미지 합성 (Image Compositing) 기술은 단일 객체를 배경에 삽입하는 데서는 뛰어난 성능을 보이지만, 여러 객체를 순차적으로 (Sequentially) 편집하거나 합성할 때 심각한 한계를 드러냅니다.

• 순차적 편집의 불안정성: 한 번에 하나씩 객체를 추가하는 방식 (Multi-turn editing) 은 이전에 생성된 콘텐츠를 덮어쓰거나 (overwrite), 물리적 일관성을 해치는 결과를 초래합니다.
• 공간적 상호작용 부재: 현실 세계의 객체들은 서로 지지 (Support), 포함 (Containment), 가림 (Occlusion), 변형 (Deformation) 등의 관계를 맺고 있습니다. 기존 방법들은 이러한 객체 간 상호작용을 명시적으로 모델링하지 않아, 중첩된 영역에서 경계 불일치, 아티팩트 (Artifact), 또는 객체 정체성 손실이 발생합니다.
• 그림자 및 접촉 불일치: Figure 2 에서 보듯, 기존 방법들은 객체가 서로 겹치거나 접촉할 때 자연스러운 가림 관계나 물리적 접촉을 구현하지 못해 비현실적인 결과를 낳습니다.

2. 방법론 (Methodology)

저자들은 **PICS (Pairwise Image Compositing with Spatial Interactions)**를 제안합니다. 이는 객체 간 상호작용을 명시적으로 모델링하여, 두 객체를 **병렬 (Parallel)**로 한 번에 합성하는 자기지도 학습 (Self-supervised) 기반의 분해 - 재구성 (Decomposition-by-Recomposition) 패러다임입니다.

핵심 구성 요소:

1. 병렬 합성 전략 (Parallel Compositing):

   • 기존 그림자 알고리즘 (Painter's Algorithm) 처럼 순차적으로 합성하는 대신, 배경과 두 개의 객체를 동시에 입력으로 받아 한 번의 패스로 합성합니다.
   • 입력 데이터는 배경 ($x_{bg}$), 두 객체 ($x_a, x_b$), 그리고 각 객체의 마스크 ($m_a, m_b$) 로 구성됩니다.
   • 마스크를 통해 배경 영역, 객체 전용 영역 (Exclusive), **중첩 영역 (Overlap)**을 명확히 구분합니다.

2. 상호작용 트랜스포머 블록 (Interaction Transformer Block):

   • 마스크 유도 혼합 전문가 (Mask-guided Mixture-of-Experts, MoE): 특징 공간에서 입력을 세 가지 영역으로 라우팅하여 각기 다른 전문가 (Expert) 가 처리하도록 설계했습니다.
     • 배경 전문가 (Background Expert): 배경 정보를 보존하며 Identity 를 유지합니다.
     • 전용 영역 전문가 (Exclusive Experts): 각 객체의 비중첩 영역에 대해 배경과 객체 간의 크로스 어텐션 (Cross-Attention) 을 수행하여 객체의 외관을 주입합니다.
     • 중첩 영역 전문가 (Overlap Expert): 두 객체가 겹치는 영역에서 가장 중요한 역할을 합니다.
       • 적응형 $\alpha$-블렌딩 (Adaptive $\alpha$-blending): 배경 컨텍스트를 기반으로 두 객체 중 어느 것이 우세할지, 혹은 어떻게 혼합할지 결정하는 **게이팅 쿼리 (Gating Query)**를 생성합니다.
       • 이 메커니즘은 두 객체의 호환성 점수 (Compatibility Score) 를 계산하여 위치별 (Position-wise) 로 가중치 ($\alpha$) 를 동적으로 조절합니다. 이를 통해 객체 간 가림 관계와 경계 일관성을 자연스럽게 학습합니다.

3. 기하학적 인식 증강 (Geometry-aware Augmentations):

   • 멀티뷰 샵 프리어 (Multi-view Shape Prior): 단일 뷰 재구성 모델을 사용하여 객체의 다양한 시점 (Viewpoint) 을 생성하고 이를 인코더에 주입하여 3D 기하학적 일관성을 강화합니다.
   • 평면 내 회전 (In-plane Rotation): 객체와 마스크를 무작위 회전시켜 배경과의 정렬 및 회전 변화에 대한 강건성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 병렬 합성 패러다임: 단계별 합성의 아티팩트를 제거하고, 객체 간 상호작용을 한 번의 패스로 처리하여 공간적 일관성을 확보했습니다.
2. 상호작용 트랜스포머 및 적응형 블렌딩: 마스크 기반 MoE 와 적응형 $\alpha$-블렌딩을 통해 객체 간 중첩 영역에서의 물리적 상호작용 (가림, 접촉) 을 정교하게 모델링했습니다.
3. 포괄적인 평가: 가상 의류 착용 (Virtual Try-on), 실내 장면, 거리 장면 등 다양한 시나리오에서 기존 최첨단 (SOTA) 방법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative):
  • LVIS 검증 세트: PSNR, SSIM, LPIPS, FID 등 모든 메트릭에서 기존 방법 (ObjectStitch, AnyDoor, ControlCom 등) 보다 우수한 성능을 기록했습니다. 특히 객체가 겹치는 영역 (Intersection regions) 에서의 성능 향상이 두드러졌습니다.
  • DreamBooth 테스트 세트: 객체 합성 품질을 평가한 결과, FID(255.5) 와 CLIP-score(54.02) 등에서 1 위를 차지했습니다.
• 정성적 평가 (Qualitative):
  • Figure 2 와 Figure 5 에서 보듯, 기존 방법들은 객체가 겹칠 때 경계 왜곡이나 불완전한 가림을 보인 반면, PICS 는 자연스러운 접촉과 가림 관계를 구현했습니다.
  • 사용자 연구: 20 명의 참가자를 대상으로 한 연구에서 '현실성 (Realism)', '정체성 보존 (Fidelity)', '일관성 (Consistency)' 항목에서 모두 가장 높은 점수를 받았습니다.
• 확장성: 2 개 객체 합성뿐만 아니라 3 개 및 4 개 객체 합성에서도 안정적인 성능을 보였으며, 가상 의류 착용 및 새로운 시점 (Novel-view) 합성 애플리케이션에서도 효과성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 이미지 합성 분야에서 **객체 간 공간적 상호작용 (Spatial Interactions)**을 명시적으로 모델링하는 것이 다중 객체 편집의 핵심임을 밝혔습니다. PICS 는 순차적 편집의 한계를 극복하고, 확산 모델이 물리적으로 타당한 (Physically plausible) 복잡한 장면을 생성할 수 있는 새로운 기준을 제시합니다. 특히, 가림 (Occlusion) 과 접촉 (Contact) 관계를 학습 가능한 메커니즘으로 통합함으로써, 향후 다중 객체 편집 및 3D 일관성 있는 이미지 생성 연구의 중요한 토대가 될 것으로 기대됩니다.