기술 요약: 렌즈의 언워핑(Unwarping): 물리 기반의 비디오 안경 제거 접근법

문제 정의

비디오에서 안경을 고해fidelity로 제거하는 것은 얼굴 속성 편집에 있어 상당한 도전 과제입니다. 일반적인 폐쇄(occlusion)와 달리, 안경은 깊이에 따른 굴절 왜곡과 시점에 따른 정반사(specular reflection)를 유발하는 복잡한 광학 요소로서, 그 아래의 실제 얼굴 기하 구조를 가리는 경우가 많습니다. 생성적 사전 지식(stochastic generative priors, 예: GAN 또는 확산 모델)에 의존하는 기존 방식들은 이러한 광학적 효과와 실제 얼굴 구조를 분리하는 데 어려움을 겪습니다. 결과적으로, 이러한 방법들은 복원된 대상의 표정, 포즈 또는 고유한 구조적 특징이 원본과 달라지는 "정체성 드리프트(identity drift)" 현상을 자주 겪습니다. 또한, 시간 영역(temporal domain)에 대한 제약이 부족하여 프레임 단위로 모델을 적용할 경우 시간적 깜빡임(flickering)이 발생하기 쉽습니다.

방법론

저자들은 대규모 생성적 사전 지식과 물리적 복원 원칙을 결리하는 새로운 전이 프레임워크를 제안합니다. 이 파이프라인은 데이터 큐레이션, 물리 기반 증강, 그리고 특화된 복원 아키텍처라는 세 가지 주요 구성 요소로 이루어져 있습니다.

1. 생성적 데이터 생성 및 필터링

훈련 데이터는 상용급 생성 모델인 Nano Banana(Gemini 3 Pro Image)를 사용하여 합성됩니다.

• 합성: 각 합성 정체성에 대해, 모델은 안경을 착용한 상태와 착용하지 않은 상태 모두에서 다양한 머리 포즈와 표정을 포착하는 13개의 고충실도 이미지 세트를 생성합니다.
• 정렬: 생성 모델 특유의 공간적 불일치를 해결하기 위해, 저자들은 ARAP(As-Rigid-As-Possible) 변형 메쉬를 사용합니다. 이는 랜드마크 제약 조건과 다중 스케일 광도 손실(multi-scale photometric loss)을 사용하여 "깨끗한" 얼굴을 안경을 쓴 이미지의 정확한 포즈와 구성에 정렬시킵니다.
• 필터링: 엄격한 3단계 필터링 프로세스가 데이터 품질을 보장합니다:
  1. L1 필터링: 배경 및 안구 오류 분석을 통해 머리 포즈, 시선 또는 정체성에 유의미한 변화가 있는 샘플을 제거합니다.
  2. 구조적 일관성: 생성 모델이 원치 않는 표정 드리프트를 유발한 정체성을 필터링합니다.
  3. 재구성 프록시: 경량 U-Net이 예비 복원을 수행하며, 재구성 오차가 높은(잔여 불일치나 아티팩트가 있음을 나타내는) 정체성은 폐기됩니다.
     이 과정을 통해 1,860개의 정체성(24,180개의 이미지 쌍)으로 구성된 큐레이션된 데이터셋이 구축됩니다.

2. 물리 기반 훈련 증강

광학적 효과에 대한 생성 모델의 단순성 편향을 극복하기 위해, 저자들은 훈련 중에 작동하는 물리 기반 증강 파이프라인을 도입합니다.

• 굴절 시뮬레이션: 3D 파라메트릭 얼굴 피팅과 단안 깊이 추정을 사용하여 렌즈의 광학적 특성을 시뮬레이션합니다. 타겟 디옵터 강도(Vogel의 법칙 사용)를 사용하여 정의된 구형 렌즈 표면을 통해 광선을 투사하고, 스넬의 법칙(Snell's law)을 적용하여 굴절 왜곡(refractive warp)을 계산합니다. 이를 통해 깊이에 따른 확대/축소를 시뮬레이션하는 조밀한 왜곡 필드($W$)를 생성합니다.
• 반사 시뮬레이션: 피사체의 초상화를 조건으로 하는 역뷰 환경 맵(inverse-view environment maps)을 사용하여 정반사를 생성하며, 이는 사실적인 하이라이트와 가변적인 렌즈 코팅을 포착하기 위해 HDR 환경에서 시뮬레이션됩니다.
• 훈련 입력: 최종 훈련 입력 $I$는 생성된 안경 이미지와 물리적으로 시뮬레이션된 깨끗한 얼굴의 합성물입니다:
  $$I = (1 - M_{lens}) \cdot G_{glasses} + M_{lens} \cdot (\mathcal{W}(G_{clean}) + \mathcal{R}) + \epsilon$$
  여기서 $M_{lens}$는 렌즈 마스크, $\mathcal{W}$는 굴절 왜곡, $\mathcal{R}$은 반사 레이어입니다.

3. JFSnet 아키텍처

복원 네트워크인 JFSnet(Joint Feature-Spatial network)은 잠재 확산(latent diffusion) 방식에서 흔히 손실되는 고주파 세부 사항을 보존하기 위해 픽셀 공간에서 직접 작동합니다.

• 인코더: 국소적 왜곡에 불변하는 안정적인 시맨틱 정체성 사전 지식을 포착하기 위해 사전 훈련된 DINOv2(ViT-L/14) 인코더를 활용합니다. 마지막 4개의 레이어만 미세 조정(fine-tuning)됩니다.
• 디코더: ResNet 기반의 컨볼루션 디코더가 미세한 얼굴 특징을 재구성합니다.
• 스킵 연결(Skip Connections): 입력 이미지로부터의 직접적인 스킵 연결은 정보 병목 현상을 우회하여, 네트워크가 안경에 의해 가려지지 않은 세부 사항을 유지하도록 보장합니다.
• 시간적 일관성: 비용이 많이 드는 플로우 추정 없이도 깜빡임을 방지하기 위해, 모델은 훈련 중에 **평행 이동 등변성(translation equivariance)**을 강제합니다. 손실 항($\mathcal{L}_{temp}$)은 네트워크가 작은 공간적 이동과 교환 가능(commute)하도록 강제하여, 복원된 특징들이 피사체와 함께 일관되게 움직이도록 합니다.

핵심 기여

1. 결정론적 전이 프레임워크: 저자들은 비디오 안경 제거를 큐레이션된 생성 세트와 물리 기반 증강을 결합하여, 생성적 사전 지식을 결정론적이고 피드포워드(feed-forward) 모델로 오프라인 전이하는 것으로 공식화합니다.
2. JFSnet 아키텍처: 시맨틱 특징과 공간적 재구성을 통합하여 정체성 보존과 시간적 일관성을 가능하게 하는 하이브리드 ViT-CNN 아키텍처입니다.
3. 물리 기반 증강: 실제 렌즈 굴절과 반사를 시뮬레이션하여, 모델이 단순히 환각(hallucination)에 의존하는 대신 특정 광학 왜곡을 역전하는 법을 학습할 수 있게 하는 새로운 파이프라인입니다.
4. 포괄적 평가: 큐레이션된 FFHQ 및 CelebV-Text 데이터셋에 대한 광범-한 평가를 통해, 시선 보존, 시간적 안정성 및 구조적 충실도 측면에서 최신 베이스라인 대비 우수한 성능을 입증했습니다.

결과

• 정량적 성능: FFHQ 데이터셋(12,163개 이미지)에서 이 방법은 0.379의 Fréchet Inception Distance(FID)와 0.632의 랜드마크 L2 오차를 달성하여, Nano Banana, ProPainter 및 다양한 확산 모델과 같은 베이스라인을 능가했습니다.
• 추론 속도: 모델은 27.68 FPS로 작동하여 실시간 비디오 애플리케이션에 적합합니다.
• 지각 연구: CelebV-Text 비디오 시퀀스에 대한 사용자 연구에서, 이 접근법은 시선 일관성, 시간적 안정성 및 전반적인 복원 품질 측면에서 확산 및 GAN 기반 베이스라인(Runway Gen-4.5 포함)보다 일관되게 선호되었습니다.
• 어블레이션(Ablation): 실험을 통해 굴절/반사 시뮬레이션과 평행 이동 등변성 손실 모두 낮은 FID 점수와 시간적 안정성을 달성하는 데 필수적임을 확인했습니다.

의의

본 논문은 대규모 생성적 사전 지식과 물리적 복원 사이의 간극을 메운다고 주장합니다. 생성 모델의 사진처럼 사실적인 다중 뷰 지식을 물리적으로 시뮬레이션된 데이터로 훈련된 특화된 아키텍처로 전이함으로써, 이 접근법은 실시간 성능을 유지하면서도 높은 충실도의 구조적 정확도를 달성합니다. 이 연구는 정체성과 표정을 보존하는 데 있어 확률적 사전 지식의 한계를 해결하며, 인간 얼굴의 기하학적 및 광학적 제약을 존중하는 솔루션을 제공합니다. 저자들은 이를 단순한 글로벌 스타일 전이를 넘어 복잡한 광학적 폐쇄를 결정론적 신뢰성을 가지고 처리하는 정밀한 로컬 편집의 진보된 단계로 규정합니다.