기술 요약: 정체성 보존 잠재 확산 모델을 활용한 얼굴 인페인팅

문제 제기

얼굴 인페인팅은 시각적 사실성과 의미론적 일관성을 유지하면서 결손되거나 가려진 얼굴 영역을 재구성하는 것을 목표로 합니다. 사진 복원 및 디지털 포렌식과 같은 응용 분야에서 필수적이지만, 재구성된 출력에서 피사체의 고유한 정체성을 보존하는 것이 여전히 중요한 과제로 남아 있습니다. 표준 확산 모델은 생성적 충실도에도 불구하고 피사체별 정체성을 명시적으로 인코딩하는 메커니즘이 부족하여, 재구성된 영역이 "평균적인" 얼굴 외양으로 편향되는 경향이 있습니다. 기존 정체성 인식 솔루션들은 일반적으로 계산 비용이 많이 드는 피사체별 미세 조정 (예: MyStyle, Custom Diffusion) 에 의존하거나 다양한 가림과 자세에 대한 견고성이 제한적입니다. 또한, 기존 데이터셋 (예: CelebA-HQ, FFHQ) 이 종종 무작위 또는 광역 가림을 사용하므로, 타당한 얼굴 생성과 진정한 정체성 복원 사이를 구분하기 어려워 정체성 보존 평가가 복잡해집니다.

방법론: ID-ControlNet

저자들은 잠재 확산 모델 (LDMs) 을 기반으로 구축된 정체성 보존 얼굴 인페인팅 프레임워크인 ID-ControlNet을 제안합니다. 이 접근법은 피사체별 미세 조정 없이 얼굴 정체성 단서를 직접 확산 과정에 통합합니다.

아키텍처

• 베이스 모델: 이 프레임워크는 이미지 생성을 위해 고정된 Stable Diffusion (SD1.5) 잠재 확산 백본을 활용합니다.
• ControlNet 확장: ControlNet 에서 영감을 받아, 저자들은 외부 조건 신호를 주입하는 학습 가능한 보조 분기를 도입합니다. 가장자리, 깊이와 같은 공간적 단서를 사용하는 표준 ControlNet 과 달리, ID-ControlNet 은 정체성 임베딩을 주입합니다.
• 정체성 추출: 사전 훈련된 얼굴 인식 네트워크 (ArcFace) 가 마스크가 제거된 참조 이미지에서 정체성 임베딩을 추출합니다.
• 잠재 통합: 정체성 임베딩은 제어 분기에 의해 처리되어 $8 \times 8$에서 $64 \times 64$로 업샘플링되어 U-Net 디코더 경로와 정렬됩니다. 0 으로 초기화된 합성곱 레이어는 이러한 정체성 유도 특징을 고정된 확산 백본에 주입하여, 전역적 일관성을 유지하면서 목표 정체성으로 탈노이즈 궤적을 안내합니다.

훈련 전략

이 모델은 표준 탈노이즈 손실과 명시적 정체성 감독을 결합한 복합 목적 함수를 사용하여 훈련됩니다:

1. 탈노이즈 손실 ($\mathcal{L}_{denoise}$): 잠재 공간에서 노이즈를 예측하는 표준 LDM 손실.
2. 정체성 일관성 손실 ($\mathcal{L}_{id}$): 생성된 이미지의 임베딩이 조건부 정체성 임베딩과 일치하도록 보장하는 코사인 거리 손실.
3. 트리플릿 손실 ($\mathcal{L}_{trip}$): 배치 내 목표 정체성과 부정 샘플 간의 분리성을 최대화하는 배치 단위 손실.
4. 효율성: 전체 $T$-단계 탈노이즈 체인을 통해 역전파하는 계산 비용을 피하기 위해, 저자들은 단일 단계 탈노이즈 근사를 채택합니다. 잠재를 작은 시간 단계로 교란시키고, 하나의 탈노이즈 단계를 적용한 후, 결과 이미지를 디코딩하여 임베딩 손실을 계산합니다.

주요 기여

1. ID-ControlNet 프레임워크: 사전 훈련된 얼굴 인식 네트워크에서 추출된 정체성 임베딩을 기반으로 잠재 확산을 조건화하는 새로운 아키텍처로, 피사체별 미세 조정 없이 정체성 보존 인페인팅을 가능하게 합니다.
2. 훈련 전략: 생성된 얼굴과 목표 정체성 표현 간의 정렬을 자기지도 방식으로 강제하는 정체성 일관성 및 트리플릿 손실 전략.
3. E-Mask 데이터셋: 가림이 엄격하게 눈 영역으로 제한된 새로운 벤치마크 데이터셋의 도입. 이는 가장 정체성 정보량이 풍부한 얼굴 영역에 초점을 맞춤으로써 기존 데이터셋의 한계를 해결하고, 정체성 복원 능력을 더 정밀하게 평가할 수 있게 합니다.
4. Zero-Shot 능력: 이 방법은 이전 확산 기반 개인화 방법이 요구하는 비용이 많이 드는 적응이나 미세 조정 없이 제로샷 설정에서 최첨단 수준의 정체성 보존을 달성합니다.

실험 결과

저자들은 ID-ControlNet 을 CelebA-HQ, FFHQ 및 제안된 E-Mask 데이터셋에서 평가하여 표준 확산 베이스라인 (SD1.5, SD2) 과 정체성 인식 방법 (PVA, MyStyle, Custom Diffusion) 과 비교했습니다.

• 지각적 품질: ID-ControlNet 은 FID, mFID, LPIPS 측면에서 표준 확산 베이스라인과 비교 가능한 지각적 품질을 달성하여, 정체성 조건화가 시각적 사실성을 크게 저하시키지 않음을 나타냅니다.
• 정체성 보존:
  • CelebA-HQ-IDI-5 벤치마크에서 ID-ControlNet 은 미세 조정이 일반적으로 필요한 PVA(최첨단 방법) 와 동일한 정체성 충실도를 제로샷 설정에서 달성합니다.
  • E-Mask 데이터셋 (눈 특정 가림) 에서 ID-ControlNet 은 정체성 유사도 점수 (PVA No-Tune 의 0.63 대비 0.78) 에서 베이스라인과 PVA(No-Tune) 를 모두 크게 능가하여, 정체성을 정의하는 특징의 우수한 복원을 보여줍니다.
• 일반화: CelebA-HQ-IDI 에서 훈련된 모델은 추가 미세 조정 없이 보이지 않는 FFHQ 데이터셋으로 효과적으로 일반화됩니다.

중요성과 주장

이 논문은 ID-ControlNet 이 얼굴 인페인팅에서 시각적 사실성과 정체성 충실도 사이의 균형을 이루는 중요한 발전이라고 주장합니다. ControlNet 에서 영감을 받은 아키텍처를 통해 정체성 임베딩을 확산 과정에 직접 통합함으로써, 이 방법은 표준 모델의 "평균 얼굴" 편향과 미세 조정 기반 접근법의 확장성 한계를 극복합니다.

저자들은 그들의 접근 방식이 얼굴 인식, 디지털 포렌식, 인간 - 컴퓨터 상호작용과 같은 하위 응용 분야에서 특히 가치 있는 경량 효율적인 정체성 일관성 생성 솔루션을 제공한다고 강조합니다. 이러한 분야에서는 미묘한 정체성 왜곡이 시스템 성능이나 신뢰를 심각하게 저하시킬 수 있기 때문입니다. E-Mask 데이터셋의 도입은 정체성 인식을 위한 가장 중요한 얼굴 영역을 분리함으로써 엄격한 평가를 위한 필수적인 단계로 강조됩니다.

저자들은 현재 결과가 유망하지만, 향후 작업은 백본 모델을 업그레이드하고 이미지 품질 및 정체성 보존의 견고성을 더 검증하기 위해 사용자 연구를 수행하는 데 중점을 두어야 한다고 결론지었습니다.