💻 computer science

DiffSwap++: 3D Latent-Controlled Diffusion for Identity-Preserving Face Swapping

DiffSwap++는 3D 얼굴 구조를 활용하여 정체성을 포즈 및 표정과 분리함으로써 얼굴 교체 시 정체성 보존과 기하학적 일관성을 향상시키는 새로운 3D 잠재 제어 확산 프레임워크이며, 여러 벤치마크에서 기존 방식들을 능가합니다.

원저자: Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 이미지 처리 분야에서 한 사람의 얼굴을 다른 사람의 몸에 합성하는 능력은 예술과 복잡한 수학을 결합하며 오랫동안 매혹적인 주제였습니다. 수년 동안 이러한 이미지를 만드는 데 사용된 도구들은 생성적 적대 신경망(GAN)이라 불리는 일종의 인공지능에 의존해 왔습니다. 이 시스템은 두 명의 경쟁하는 예술가처럼 작동합니다. 한 명은 가짜 이미지를 만들려고 노력하고, 다른 한 명은 그 위조품을 찾아내려고 노력합니다. 시간이 흐르면서 이 경쟁은 창작자가 믿기 힘들 정도로 숙련되도록 강제합니다. 하지만 이 과정은 매우 불안정하여, 종종 인간의 눈이 쉽게 알아챌 수 있는 흐릿한 특징이나 이상한 왜곡이 있는, 어딘가 어색해 보이는 이미지를 만들어내곤 합니다. 최근에는 확산(diffusion)이라는 다른 방식이 등장했습니다. 경쟁 게임 대신, 확산 모델은 조각가가 돌덩이를 천천히 다듬으며 노이즈를 점진적으로 제거하여 선명한 그림을 드러내는 과정처럼 작동합니다. 이 새로운 모델들은 더 선명한 이미지를 만들어내지만, 여전히 특정한 문제로 어려움을 겪습니다. 바로 사람이 새로운 포즈나 표정을 취할 때 그 사람의 진정한 정체성을 온전히 유지하는 것입니다. 얼굴의 3차원 구조에 대한 깊은 이해 없이는, 컴퓨터가 사람의 고유한 특징을 머리의 각도나 미소의 형태와 혼동하기 때문에, 결과물이 매우 사실적이더라도 엉뚱한 사람처럼 보이게 됩니다.

노스캐롤라이나 대학교 샬럿 캠퍼스의 연구팀은 이 특정한 난제를 해결하기 위해 DiffSwap++라고 불리는 새로운 방법을 개발했습니다. 그들의 연구는 최종 이미지가 평면적인 2차원임에도 불구하고, 컴퓨터가 얼굴의 보이지 않는 3차원 골격을 이해하도록 가르치는 데 중점을 둡니다. 연구진은 얼굴을 완벽하게 합성하려면 시스템이 정면에서 얼굴이 어떻게 보이는지뿐만 아니라, 특징들이 공간 속에 어떻게 배치되어 있는지도 알아야 한다는 점을 깨달았습니다. 이를 달성하기 위해, 그들은 얼굴의 깊이와 부피를 포착하는 특수한 종류의 디지털 지도를 사용하여 모델을 훈련시켰습니다. 훈련 단계에서 컴퓨터는 평면 사진을 이 3차원 공간으로 투영하는 법을 배우며, 표준 이미지로 다시 변환하기 전에 기저에 깔린 구조를 분석합니다. 이 과정은 모델이 사람의 정체성(고유한 골격 구조와 피부 질감)을 포즈나 표정(그 구조의 일시적인 위치)으로부터 분리할 수 있게 해줍니다.

혁신은 이 3차원 지식이 사용되는 방식에 있습니다. 연구진은 컴퓨터가 얼굴을 합성할 때마다 완전한 3D 모델을 구축하도록 요구하지 않습니다. 대신, 시스템이 학습하는 동안에만 3D 정보를 사용합니다. 일단 훈련이 완료되면, 모델은 오직 표준 2D 이미지만을 사용하여 합성을 수행할 수 있으므로 과정이 빠르고 실용적입니다. 시스템은 한 사람의 소스 이미지와 다른 포즈를 취하고 있는 다른 사람의 타겟 이미지를 가져옵니다. 그런 다음 3차원 훈련으로부터 배운 교훈을 사용하여 타겟의 얼굴을 재구성하되, 타겟의 머리 각도와 얼굴 표정을 엄격하게 유지하면서 소스 인물의 특징으로 교체합니다. 이를 통해 최종 이미지는 단순히 다른 얼굴 위에 스티커를 붙여 놓은 것이 아니라, 소스 인물이 그 장면에 자연스럽게 존재하는 것처럼 보이게 합니다.

그들의 방법이 실제로 효과가 있는지 테스트하기 위해, 연구진은 실제 사람들의 고품질 초상화가 담긴 공공 데이터셋에서 추출한 수천 장의 이미지를 사용하여 광범위한 실험을 수행했습니다. 그들은 자신들의 새로운 시스템을 기존의 가장 뛰어난 방법들, 즉 오래된 GAN 기반 도구와 최신 확산 모델을 모두 포함하여 비교했습니다. 결과는 Diff-Swap++의 명확한 우위를 보여주었습니다. 연구진이 합성된 얼굴이 원래 인물의 정체성을 얼마나 잘 유지하는지 측정했을 때, 그들의 방법은 이전의 어떤 접근 방식보다 일관되게 높은 점수를 기록했습니다. 합성된 얼굴이 생체 인식 시스템을 속일 수 있는지 확인하기 위한 테스트에서, DiffSwap++는 경쟁 모델들보다 소스의 정체성을 보존하는 데 훨씬 더 성공적이었습니다. 동시에, 타겟의 포즈나 표정을 자연스럽게 유지하는 데 있어서도 희생이 없었습니다. 다른 방법들은 종종 얼굴이 약간 왜곡되거나 정체성을 완전히 전달하지 못하는 경우가 많았지만, Diff-Swap++는 매우 사실적이면서도 원래 인물에게 충실한 이미지를 만들어냈습니다.

연구팀은 또한 인간 자원봉사자들을 대상으로 연구를 진행하여, 육안으로 보기에 이미지가 얼마나 설득력 있는지 조사했습니다. 참가자들은 합성된 얼굴 세트를 보고 정체성, 표정, 포즈가 얼마나 잘 보존되었는지 평가하도록 요청받았습니다. 결과는 컴퓨터의 측정치가 시사하는 바를 확인해주었습니다. 사람들은 DiffSwap++가 만든 이미지가 가장 현실적이고 설득력 있다고 판단했습니다. 얼굴은 자연스러웠으며, 디지털 조작을 드러내는 데 흔히 쓰이는 이상한 아티팩트나 부자연스러운 혼합이 없었습니다. 반면, 다른 방법들은 때때로 움푹 들어간 눈이나 입 주변의 불규칙한 질감과 같이 위조의 흔적을 남기기도 했습니다. 3차원 구조적 인식을 학습 과정에 통합함으로써, 연구진은 시각적으로 매우 뛰어나면서도 정체성 보존 측면에서 과학적으로 견고한 얼굴 합성을 구현할 수 있음을 입증했습니다.

기술 요약: DiffSwap++: 정체성 보존을 위한 3D 잠재 제어 확산 모델 기반 페이스 스와핑

1. 문제 정의

페이스 스와핑(Face swapping)은 소스 얼굴의 정체성을 타겟 얼굴로 전이시키면서도 타겟의 포즈, 표정, 배경을 보존하는 작업이다. 생성적 적대 신경망(GAN)이 널리 사용되어 왔으나, 학습 불안정성과 눈에 띄는 아티팩트(artifact) 및 낮은 정체성 일관성 문제를 겪는다. 최근의 확산 기반 접근 방식들은 충실도를 개선했으나, 미세한 아티팩트와 약한 정체성 보존 문제로 여전히 어려움을 겪고 있다. 기존 확산 방법론에서 확인된 주요 한계점은 기저에 있는 3D 얼굴 구조에 대한 명시적인 모델링의 부재이다. 3D 인지 능력이 없으면 모델이 정체성을 포즈 및 표정과 효과적으로 분리(disentangle)하기 어려워지며, 이로 인해 소스의 정체성을 제대로 전달하지 못하거나 타겟의 속성을 왜곡하는 결과가 발생한다. 또한, 기존의 3D 인지 확산 방법(예: DiffSwap)은 3D 특징을 추론 시 랜드마크 생성용으로만 제한하여 사용한다는 한계가 있다.

2. 방법론: DiffSwap++

저자들은 3D 인지 잠재 표현(3D-aware latent representations)을 활용하여 확산 생성 과정을 가이드하는 새로운 파이프라인인 **DiffSwap++**를 제안한다. 이 방법은 효율성을 위해 DDIM(Denoising Diffusion Implicit Models)을 사용하여 사전 학습된 잠재 확산 모델(LDM)의 시맨틱 잠재 공간 내에서 완전히 작동한다.

핵심 구성 요소

3D 인지 학습, 2D 추론: 핵심 혁신은 DiffSwap++가 학습 과정에는 3D 얼굴 정보를 포함하지만, 추론 시에는 3D 특징 없이 작동한다는 점이다. 이를 통해 모델은 배포 시 3D 재구성 능력을 요구하지 않고도 견고한 기하학적 분리를 학습할 수 있다.
3D 잠재 추출: 시스템은 사전 학습된 3D 얼굴 재구성 모델(EG3D 기반)을 사용하여 2D 얼굴 이미지를 3D 잠재 임베딩으로 투영한다. 이 임베딩은 세 가지 수준의 세밀도로 계층화되어 구성된다:
- 조립 단계 (Layers 1-4): 저주파 구조적 기하학(머리 형태, 포즈)을 제어한다.
- 중간 단계 (Layers 5-9): 국소적 특징(눈 모양, 입 구조)을 관장한다.
- 미세 단계 (Layers 10-14): 고주파 세부 사항(피부 질감, 조명)을 나타낸다.
  이러한 특징들은 결합되어 구조적 정체성을 포착하는 전체적인 3D 잠재 벡터( $f_{3D}$ )를 형성한다.
컨디셔닝 파이프라인: 확산 모델은 세 가지 별도의 특징 집합에 의해 조건화(conditioned)된다:
1. 정체성 특징 ( $f_{ID}$ ): 사전 학습된 얼굴 인식 모델(예: ArcFace)을 사용하여 소스 이미지에서 추출되며 MLP를 통해 투영된다.
2. 랜드마크 특징 ( $f_{LM}$ ): 타겟 이미지의 2D 얼굴 랜드마크로부터 유도되어 포즈와 표정을 보존한다.
3. 3D 잠재 특징 ( $f_{3D}$ ): 소스와 타겟 이미지의 결합된 3D 표현으로, 정체성과 포즈/표정 간의 분리를 가이드한다.
  이 특징들은 가중치 합산(weighted aggregation)을 통해 결합되며, 크로스 어텐션(cross-attention) 메커니즘을 통해 UNet에 주입된다.

학습 목적 함수

학습 과정은 조건부 인페인팅(conditional inpainting) 작업으로 정식화되며, 두 단계의 목적 함수를 사용하여 최적화된다:

재구성 손실 ( $L_{Recon}$ ): 모델이 노이즈로부터 타겟 얼굴을 재구성할 수 있도록 보장하는 표준 디노이징 확산 손실이다.
정체성 보존 손실 ( $L_{ID}$ ): 스와핑된 얼굴과 소스 정체성 사이의 코사인 유사도(ArcFace 활용)를 계산하여 소스의 정체성이 유지되도록 보장한다.
지각적 유사도 손실 ( $L_{PS}$ ): LPIPS를 사용하여 생성된 얼굴이 타겟 배경과 매끄럽게 섞이고 시각적 일관성을 유지하도록 한다.

전체 손실은 다음과 같은 가중 합계이다: $L_{Total} = L_{Recon} + w_{ID}L_{ID} + w_{PS}L_{PS}$ .

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

최초의 3D 가이드 확산 프레임워크: DiffSwap++는 3D 얼굴 잠재 특징을 활용하여 확산 기반 생성 파이프라인을 가이드하는 최초의 페이스 스와핑 프레임워크이다. 이는 추론 시에는 완전한 2D 방식으로 작동하면서도 학습 중에 3D 기하학적 단서를 통합한다.
우수한 성능 및 견고성: CelebA-HQ, FFHQ, CelebV-Text에 대한 광범위한 실험을 통해, 이 방법이 정체성 유지 및 지각적 사실성 측면에서 최첨단(SOTA) 베이스라인들을 능가함을 입증했다. 사용자 연구는 생성된 스와핑 결과가 기존 방법들보다 시각적으로 더 설득력 있음을 확인해 준다.
새로운 생체 인식 평가: 저자들은 Impostor Attack Presentation Acceptance Rate(IAPAR)와 False Reject Rate(FRR) 사이의 트레이드오프를 분석함으로써 엄격한 평가 관점을 도입했다. 이는 생체 인식 시스템에 대해 소스 정체성을 얼마나 효과적으로 보존하는지에 대한 정량적 척도를 제공한다.

4. 실험 결과

방법론은 DiffFace, DiffSwap, REFace, HiFiFace, SimSwap을 포함한 베이스라인들과 함께 세 가지 공개 데이터셋(CelebA-HQ, FFHQ, CelebV-Text)에서 평가되었다.

정체성 보존: DiffSwap++는 CelebA-HQ에서 가장 높은 Top-1(94.7%) 및 Top-5(98.2%) 정체성 검색 정확도를 달 기록했으며, FFHQ에서는 95.1%/98.4%를 기록했다. 이는 DiffSwap(16.9% Top-1)과 같은 확산 기반 베이스라인 및 HiFiFace(86.4% Top-1)와 같은 GAN 기반 방법들을 크게 상회하는 수치이다.
시각적 품질: 이 방법은 CelebA-HQ에서 6.42, FFHQ에서 6.57의 가장 낮은 FID(Fréchet Information Distance)를 달성하여 높은 사진적 사실성을 보여주었다.
포즈 및 표정: 일부 방법들은 타겟 얼굴에 최소한의 변화만을 주어(따라서 정체성 전달에 실패하여) 약간 더 나은 포즈/표정 점수를 얻기도 했으나, DiffSwap++는 타겟 속성을 최소한의 저하로 보존하면서 균형 잡힌 절충안을 유지했다 (Pose $\ell_2$ 거리: 3.29; Expression: 1.00).
생체 인식 분석: IAPAR vs. FRR 분석에서 DiffSwap++는 생체 인식 시스템의 수락 임계값을 높게 유지하며 소스 정체성을 성공적으로 보존하는 고충실도 스와핑을 입증했다.
효율성: DiffSwap++는 추론 시 이미지당 3.35초가 소요되어, DiffSwap보다 약 1.5배 빠르고 DiffFace보다 11배 빠르며, 18.69 GB의 VRAM을 사용한다.
절제 연구(Ablation Studies): 실험을 통해 3D 특징 결합을 위한 "Avg. Pool" 전략(조립, 중간, 미세 단계 레이어 결합)이 특정 레이어만 사용하는 것보다 최고의 정체성 검색(79.30%)을 제공함을 확인했다. 또한 정체성 및 랜드마크 특징 모두가 학습에 필수적이며, 4단계의 DDIM이 학습 시 최적의 균형을 제공함을 검증했다.

5. 의의 및 주장

본 논문은 DiffSwap++가 확산 기반 페이스 스와핑의 핵심적 한계인 3D 인지 능력 부재를 해결한다고 주장한다. 3D 잠재 특징을 학습 과정에 포함함으로써, 모델은 정체성을 포즈 및 표정으로부터 효과적으로 분리하여 사진처럼 사실적이면서도 소스의 정체성을 매우 효과적으로 전달하는 결과를 만들어낸다.

저자들은 이 방법이 추론 시 3D 특징을 요구하지 않아 실무 적용이 용이하다는 점을 강조한다. 본 연구의 의의는 실제 이미지와 구별하기 어려운(높은 IAPAR) 스와핑을 생성하는 동시에 타겟 얼굴의 구조적 무결성을 유지할 수 있다는 점에 있다. 결론적으로 DiffSwap++는 정량적 지표와 인간 사용자 연구를 통해 검증된 바와 같이, 높은 평균 충실도와 일관된 생성 품질 사이에서 가장 효과적인 균형을 제공한다. 연구의 발전을 위해 코드는 공개적으로 제공된다.