기술 요약: 유출 속에 숨겨진 악마: 고충실도 헤어스타일 전이를 위한 분리된 이중 정화 프레임워크

1. 문제 정의

헤어스타일 전이는 참조 이미지(reference image)로부터 헤어스타일을 추출하여 소스 대상에게 이식하면서, 동시에 소스의 정체성(identity)을 엄격하게 보존함으로써 사실적인 인물 초상화를 합성하는 것을 목표로 한다. 최근의 대규모 파운데이션 모델(예: 확산 모델)은 강력한 생성 능력을 갖추고 있지만, 정밀한 국소 편집에 필요한 제로샷 분리(zero-shot disentanglement) 능력은 부족하다. 이러한 모델들은 참조 헤어스타일과 그 본래의 얼굴 정체성, 포즈, 조명을 본질적으로 얽히게 만들어 명시적인 제어를 제공하지 못한다.

기존의 파이프라인은 일반적으로 두 개의 스트림 설계(two-stream design)를 통해 이를 해결하려 한다. 즉, 소스로부터 "대머리(bald)" 이미지를 생성하는 경로(기하학적 스트림)와 참조 이미지로부터 정체성이 배제된 헤어스타일 특징을 추출하는 경로(스타일 스트림)를 만든 뒤 이를 융합하는 방식이다. 그러나 저자들은 이 패러다임이 두 가지 뚜렷한 실패 모드로 구성된 근본적인 **유출 문제(leakage problem)**를 겪고 있음을 식별하였다.

1. 헤어스타일 내 정체성 유출(Identity Leakage in Hairstyle): 참조 이미지에서 추출된 헤어스타일 특징이 참조의 정체성 및 포즈와 여전히 얽혀 있다. 이 특징들이 융합될 때, 소스 인물의 얼굴을 왜곡시켜 정체성 불일치를 초래한다.
2. 대머리 이미지 내 결함 유출(Flaw Leakage in Bald): "대머리" 이미지를 생성할 때(일반적으로 인페인팅을 통해), 미세한 기하학적 결함(예: 그림자나 원래 머리카락 경계의 잔재)이 남는 경우가 많다. 생성 모델은 이러한 아티팩트를 "지름길(shortcuts)"로 활용하며, 이로 인해 발생하는 부적절한 상관관계 때문에 합성된 머리카락이 참조의 스타일이 아닌 소스의 원래 헤어스타일을 잘못 복제하게 된다.

2. 방법론: 이중 정화 프레임워크 (DPF)

저자들은 헤어스타일과 기하학적 정보 스트림을 모두 명시적이고 공동으로 정화하도록 설계된 새로운 아키텍처인 **이중 정화 프레임워크(Dual-Purification Framework, DPF)**를 제안한다. 이 프레임워크는 공간 제어를 위한 ControlNet과 스타일 주입을 위한 IP-Adapter 기반 모듈이 통합된 잠재 확산 모델(Latent Diffusion Model, LDM) 백본을 기반으로 구축되었다.

2.1 핵심 아키텍처

DPF는 이중 대상 자기 재구성(Dual-Target Self-Reconstruction) 학습 패러다임을 통해 작동한다. 소스 이미지($I_{src}$)와 헤어 마스크가 주어지면 "대머리" 초상화($I_{bald}$)가 생성된다. 모델은 두 개의 병렬 경로를 통해 재구성($\hat{I}_{src}$)을 합성한다.

• 스타일 경로(Style Pathway): 동결된 스타일 인코더가 얽힌 패치 특징을 추출한다. 학습 가능한 **스타일 생성기($G$)**는 이를 고정된 길이의 분리된 스타일 표현($S_{pure}$)으로 정화한다.
• 기하학적 경로(Geometric Pathway): 학습 가능한 **ControlNet($C_{Net}$)**과 동결된 정체성 인코더가 대머리 초상화로부터 공간 및 정체성 조건을 추출한다.

2.2 적대적 헤어스타일 정화 (Adversarial Hairstyle Purification, AHP)

정체성 유출 문제를 해결하기 위해, AHP 모듈은 스타일 생성기($G$)와 콘텐츠 인식 판별기($D$) 사이의 적대적 게임을 활용한다.

• 목표: 생성기는 정화된 헤어스타일 표현($S_{pure}$)과 정체성 표현($C_{bald}$) 사이의 상호 정보를 최소화하는 것을 목표로 한다.
• 메커니즘: 생성된 가짜 데이터가 진짜처럼 보이도록 속이는 일반적인 GAN과 달리, 여기서는 생성기가 양의 쌍(동일 정체성)을 음의 쌍(다른 정체성)과 구별할 수 없게 만드는 데 집중한다. 판별기는 최대 불확실성(확률 0.5)을 향하도록 유도되며, 이는 결과적으로 생성기가 헤어스타일 특징에서 정체성 관련 단서를 제거하도록 강제한다.

2.3 대비적 기하학 정화 (Contrastive Geometric Purification, CGP)

결함 유출 문제를 해결하기 위해, CGP 모듈은 ControlNet이 $I_{bald}$ 입력 내의 기하학적 아티팩트에 의존하는 것에 대해 페널티를 주는 대비적 목적 함수를 도입한다.

• 메커로니즘: 단일 기하학적 조건($I_{bald}$)에 대해, ControlNet에는 두 가지 대비되는 스타일 조건인 타겟 정화 스타일($S_{pure}$)과 무작위 이미지로부터 추출된 부정적 스타일($S_{neg}$)이 입력된다.
• 손실 함수: 모델은 결과물인 ControlNet 특징 맵($C_{pos}$와 $C_{neg}$) 사이의 공간 코사인 유사도를 오직 머리카락 영역 내에서만 계산한다. 대비 손실($L_{CGP}$)은 높은 유사도에 페널티를 부여하여 특징들이 서로 멀어지도록 강제한다.
• 효과: 이를 통해 ControlNet이 대머리 이미지의 정적인 아티팩트에 기반한 "지름길"을 학습하는 것을 방지하며, 생성된 기하학적 구조가 잔류 결함이 아닌 타겟 스타일에 의해 주도되도록 보장한다.

2.4 하이브리드 특징 전략

단일 사전 학습된 인코더가 텍스처와 구조 모두에서 탁월할 수 없다는 점을 인식하여, 저자들은 하이브리드 접근 방식을 채택했다. 이들은 "텍스처 챔피언"인 CLIP-B/16과 "구조 챔피언"인 DINOv2의 특징을 결합하여 생성기에 입력함으로써, 두 모델의 상호 보완적인 강점을 활용한다.

2.5 추론 전략

추론 단계에서 프레임워크는 증분적 분류기 없는 가이드(Incremental Classifier-Free Guidance, CFG) 전략을 사용한다. 대머리 초상화를 구체적으로 재구성하도록 무조건적 브랜치($\epsilon_{uncond}$)를 학습시킴으로써, 시스템은 안정적인 기하학적 베이스라인을 구축한다. 최종 출력은 조건부 예측과 무조건적 예측 사이의 차이를 외삽하여 생성되며, 이를 통해 피부톤 변화 없이 풍부한 텍스처 주입과 정밀한 구조적 정렬을 보장한다.

3. 주요 기여

1. 문제 공식화: 본 논문은 헤어스타일 전이에서의 "유출 문제"를 체계적으로 식별하고 이를 정체성 유출(헤어스타일 내)과 결함 유출(대머리 이미지 내)의 두 가지 구성 요소로 정의하였다.
2. 이중 정화 프레임워크(DPF): 두 개의 표적화된 모듈을 통합한 새로운 아키텍처를 제안하였다.
   • AHP: 적대적 상호 정보 최소화를 통해 헤어스타일 특징에서 정체성 정보를 명시적으로 제거한다.
   • CGP: 스타일 민감한 대비적 목적 함수를 통해 대머리 이미지의 기하학적 결함에 대한 의존성을 억제한다.
3. 하이브리드 인코더 설계: 텍스처에 최적화된(CLIP) 인코더와 구조에 최적화된(DINOv2) 인코더를 결합하는 것이 단일 인코더 방식보다 우수한 결과를 낸다는 것을 입증하였다.
4. 최첨단 성능(SOTA): 광범한 실험을 통해 DPF가 표준 및 "in-the-wild" 벤치마크 전반에서 질적 충실도와 양적 지표 모두에서 기존 방식(GAN 기반 및 확산 기반 방식 포함)을 능가함을 보여주었다.

4. 실험 결과

프레임워크는 CelebA-HQ 벤치마크(표준 헤드샷)와 Human-Matting 데이터셋(도전적인 in-the-wild 이미지)에서 평가되었다.

• 양적 성능:
  • CelebA-HQ에서 DPF는 가장 높은 정체성 유사도(ID-Sim: 0.80)와 경쟁력 있는 충실도(FID: 16.53)를 달성하여, HairCLIPv2 및 HairFastGAN과 같은 GAN 기반 베이스라인을 능가했다.
  • 도전적인 Human-Matting 데이터셋에서 DPF는 FID를 15.81(HairFusion)에서 7.75로 크게 낮추었으며, ID-Sim 0.75를 달성하며 기존 방식들을 압도했다.
• 절제 연구(Ablation Studies):
  • 베이스라인(IP-Adapter + ControlNet)은 37.86%의 높은 유출 실패율(LFR)을 보였다.
  • AHP를 추가하면 ID-Sim은 개선되었으나 LFR은 크게 줄어들지 않았다.
  • CGP를 추가하면 LFR이 10.33%로 급격히 감소했다.
  • 하이브리드 특징을 적용한 전체 DPF는 가장 낮은 LFR(3.17%)과 최고의 전반적 지표를 달성했다.
• 효율성: DPF는 약 5.4 GB의 메모리 점유율과 이미지당 약 6초의 합성 시간을 가지며, 이는 StableHair(16 GB) 및 HairFusion(10.9 GB)보다 자원 효율적이다.
• 사용자 조사: 블라인드 테스트(N=22)에서 DPF는 스타일 전이 정확도, 정체성 보존, 사실성 측면에서 가장 높은 점수를 받았다.

5. 의의 및 주장

본 논문은 현재 헤어스타일 전사 방법의 주요 한계가 생성 능력의 부족이 아니라, 특징 융합 과정에서의 근본적인 유출에 있다고 주장한다. 적대적 헤어스타일 정화와 대비적 기하학 정화를 통해 이러한 유출을 명시적으로 해결함으로써, 불완전한 기하학적 입력(대머리 이미지)이 있더라도 고충실도 및 정체성 보존 전이가 가능하다는 것을 입증하였다.

저자들은 DPF를 포즈, 조명, 배경 변화가 흔한 실제 응용 분야(예: 미용실의 가상 피팅)를 위한 강력한 솔루션으로 포지셔닝한다. 또한, 조건부 스트림의 "명시적 정화" 원칙이 특징 얽힘과 지름길 학습이 빈번한 다른 조건부 생성 도메인에도 일반화될 수 있음을 시사한다. 본 연구는 모든 생성 편집 작업을 해결한다고 주장하는 것이 아니라, 헤어스타일 전이에 내재된 디샌글링(disentanglement) 과제를 특정하여 겨냥하고 있다.