Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model

기술 요약: 확산 모델을 활용한 포즈 유도 인물 이미지 합성을 위한 퓨전 임베딩 (FPDM)

문제 제기
포즈 유도 인물 이미지 합성 (PGPIS) 은 소스 이미지의 정체성, 의상, 질감을 유지하면서 지정된 목표 포즈의 인물이 포함된 사실적인 이미지를 생성하는 것을 목표로 합니다. 최근 확산 기반 접근법은 이미지 품질을 향상시켰지만, 일반적으로 탈노이즈 과정 내에서 암시적 특징 집계에 의존합니다. 기존 방법들에서는 소스 외관과 목표 포즈 임베딩이 명시적인 사전 정렬 없이 탈노이즈 네트워크 (예: UNet) 에 직접 주입됩니다. 결과적으로 외관과 포즈 간의 상호작용은 암시적으로 학습되며, 이는 종종 관계가 특정 탈노이즈 궤적에 의존하게 되는 '얽힘 (entanglement)'을 초래합니다. 이로 인해 소스 외관이나 목표 포즈가 변할 때 동일한 정체성에 대해 일관되지 않은 생성 결과가 나타나며, 왜곡된 질감, 흐릿한 윤곽선, 또는 정체성 이탈로 나타납니다.

방법론
저자들은 확산 과정 이전에 융합된 소스 - 포즈 임베딩을 목표 이미지 임베딩과 명시적으로 정렬하는 FPDM(확산 모델을 활용한 PGPIS 를 위한 퓨전 임베딩) 프레임워크를 제안합니다. 이 아키텍처는 두 가지 주요 단계로 구성됩니다:

1. 이미지 - 포즈 퓨전 (IPF) 모듈 (확산 전 단계):

   • 이 모듈은 소스 이미지 임베딩과 목표 포즈 임베딩을 융합하여 통합된 표현을 학습합니다.
   • CLIP 기반 이미지 인코더와 CLIP 기반 포즈 인코더의 특징을 통합하기 위해 Combiner Network(CLIP4CIR 에서 적응됨) 를 사용합니다.
   • 대비 학습 전략: 핵심 혁신은 소스 강화 포즈 퓨전 접근법입니다. 융합된 임베딩을 목표 이미지와 단순히 정렬하는 기존 대비 학습과 달리, 이 접근법은 훈련 중 소스 이미지 임베딩을 음의 샘플 (negative sample) 로 명시적으로 취급합니다.
   • 융합된 임베딩이 목표 이미지에는 가깝지만 (목표 포즈 조건 하에서) 소스 이미지와는 명시적으로 멀어야 하는 배치 증강 InfoNCE 손실을 구성함으로써, 모델은 포즈 인식 분리를 강제합니다. 이는 융합된 임베딩이 소스 외관에만 지배적인 표현으로 붕괴되는 것을 방지하여 포즈 조건부 구분을 포착하도록 보장합니다.

2. 조건부 확산 모델 (생성 단계):

   • Stable Diffusion (SD) 프레임워크를 기반으로 구축된 생성 모델은 세 가지 서로 다른 입력에 의해 안내됩니다:
     • 소스 외관: DINOv2 인코더를 통해 추출되어 UNet 트랜스포머 블록에 키/값 특징으로 주입됩니다.
     • 목표 포즈: CNN 기반 인코더 (ControlNet 스타일) 를 통해 추출되어 노이즈가 있는 잠재 공간과 연결됩니다.
     • 퓨전 임베딩 ($e_f$): 사전 훈련된 IPF 모듈의 출력으로, 시간 단계 임베딩과 함께 ResNet 블록에 주입됩니다.
   • 추론 중 모델은 소스 - 포즈 조건부 및 퓨전 임베딩의 기여도를 독립적으로 가중치 부여하기 위해 확장된 Classifier-Free Guidance (CFG) 방식을 활용합니다.

주요 기여

• 대비 학습을 통한 명시적 정렬: FPDM 은 대비 학습을 사용하여 융합된 소스 - 포즈 임베딩을 목표 이미지 임베딩과 명시적으로 정렬하는 최초의 확산 기반 PGPIS 프레임워크로, 암시적 조건부 설정의 한계를 해결합니다.
• 소스 강화 포즈 퓨전: 저자들은 소스 임베딩을 음의 샘플로 취급함으로써 소스 및 목표 표현을 명시적으로 구분하는 새로운 대비 학습 목적 함수를 도입합니다. 이는 퓨전 임베딩이 소스 외관 변화에 불변하면서 포즈에는 민감하도록 보장합니다.
• 강건한 조건부 신호: 학습된 퓨전 임베딩은 탈노이즈 과정 전반에 걸쳐 안정적인 조건부 신호로 작용하여, 다양한 포즈와 소스 이미지 전반에 걸쳐 일관된 정체성 유지를 가능하게 합니다.

실험 결과
이 방법은 DeepFashion(패션 이미지 합성) 과 RWTH-PHOENIX-Weather 2014T(수화 비디오 생성) 라는 두 가지 벤치마크에서 평가되었습니다.

• 정량적 성능: DeepFashion 에서 FPDM 은 최첨단 방법들 (예: MCLD, PCDM, XMDPT) 과 경쟁력 있는 성능을 달성했습니다. 더 나은 지각적 유사성과 질감 유지를 나타내는 LPIPS 점수와 더 나은 일반화를 시사하는 강력한 FIDt(테스트 세트의 Fréchet Inception Distance) 를 보여주었습니다. Phoenix 데이터셋에서 FPDM 은 수화 충실도에 중요한 Hand SSIM(0.682) 과 경쟁력 있는 Hand Pose Error를 달성했습니다.
• 정성적 성능: 시각적 비교는 FPDM 이 미세한 세부 사항 (예: 특정 의상 패턴, 로고) 을 재구성하고 소스 이미지가 부분적인 뷰만 제공할 때 (예: 정면 뷰에서 뒷면 뷰 추론) 구조적 일관성을 유지할 수 있음을 보여주었습니다.
• 애블레이션 연구:
  • 소스 강화 포즈 퓨전 전략 (A3) 은 검색 정확도 (Recall@1 99.7% 대 기준선 5.0%) 에서 기준선 퓨전 (A2) 및 소스 전용 임베딩 (A1) 을 크게 능가했습니다.
  • 전체 모델 (B6) 은 질감 충실도와 포즈 일관성 측면에서 IPF 모듈이 없거나 다른 퓨전 전략을 가진 변형 모델보다 일관되게 우수한 성능을 보였습니다.
  • 수렴 분석은 IPF 모듈이 초기 최적화 복잡성을 추가하지만, 지각적 품질 측면에서 우수한 최종 성능으로 이어진다는 것을 나타냈습니다.

의의 및 주장
이 논문은 FPDM 이 현재 확산 기반 PGPIS 의 근본적인 한계인 이질적인 조건부 신호 (외관과 포즈) 간의 명시적 정렬 부재를 해결한다고 주장합니다. 사전 훈련된 퓨전 임베딩을 통해 정렬 과정을 생성 과정과 분리함으로써, 이 방법은 정체성 유지가 포즈 및 소스 외관 변화에 대해 강건하도록 보장합니다.

저자들은 FPDM 을 범용 비디오 생성 모델이 아닌 포즈 유도 인물 이미지 합성을 위한 작업 특화 솔루션으로 위치시킵니다. 그들은 다음과 같은 실용적 적용 가능성을 강조합니다:

• 가상 피팅 및 디지털 아바타: 고품질 질감 및 정체성 유지로 인해 가능합니다.
• 수화 생성: 특히 다양한 포즈 전반에 걸쳐 손 구조와 정체성을 유지하는 것이 중요한 화자 일관성 비디오 프레임 생성에 적합합니다. 논문은 FPDM 이 이미지 합성 수준에서 작동하지만, 손 중심 지표에서의 강력한 성능으로 인해 수화 비디오 파이프라인의 실현 가능한 핵심 구성 요소가 될 수 있다고 지적합니다.

저자들은 정밀한 텍스트나 로고를 재현하는 것의 어려움과 단일 패스 GAN 에 비해 반복적 확산 샘플링의 inherent 한계인 계산 비용을 포함한 한계를 인정합니다. 그들은 향후 연구가 이 명시적 정렬 전략을 시간적으로 구조화된 비디오 생성 작업으로 확장하는 데 초점을 맞춰야 한다고 결론지었습니다.