FaceCam: Portrait Video Camera Control via Scale-Aware Conditioning

이 논문은 3D 사전 지식 없이도 단일 얼굴 영상에 대해 기하학적 왜곡 없이 일관된 카메라 제어를 가능하게 하는 'FaceCam' 시스템을 제안하며, 다양한 훈련 데이터와 전략을 통해 화질, 정체성, 모션 보존 측면에서 우수한 성능을 입증합니다.

핵심

얼굴 카메라 마법사 'FaceCam': 한 장의 사진으로 영화 같은 샷을 만들어내는 기술

이 논문은 FaceCam이라는 새로운 기술을 소개합니다. 쉽게 말해, "스마트폰으로 찍은 짧은 얼굴 영상 하나만 있으면, 마치 전문 카메라맨이 돌아다니며 찍은 것처럼 다양한 각도와 움직임이 있는 영상을 만들어주는 기술"입니다.

기존의 기술들은 이 작업을 할 때 얼굴이 일그러지거나, 배경이 뭉개지는 등 문제가 많았습니다. FaceCam 은 이 모든 문제를 해결하고, 마치 마법 지팡이를 휘두르듯 원하는 카메라 움직임을 정밀하게 구현합니다.

이 기술이 어떻게 작동하는지, 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: "얼굴이 얼마나 큰지 모르겠어요!" (스케일 불명확성)

기존의 카메라 제어 기술들은 카메라의 위치를 수학적인 좌표 (x, y, z) 로만 표현했습니다. 하지만 이건 마치 **"집에서 10 미터 떨어진 곳에 서 있어"**라고만 말하고, 그 '10 미터'가 발걸음인지, 비행기 날개 길이인지 알려주지 않는 것과 같습니다.

• 비유: 만약 AI 가 "카메라를 1 미터 당겨라"라고 지시받았을 때, 대상이 '인형'인지 '거인'인지 모르면 결과가 완전히 달라집니다. 인형은 화면 가득 차고, 거인은 아주 작아져 버리죠. 기존 기술은 이 '크기'를 알 수 없어서 얼굴이 찌그러지거나 배경이 엉뚱하게 변하는 기하학적 왜곡이 자주 발생했습니다.

2. 해결책: "얼굴의 랜드마크로 나침반을 만들다" (스케일 인식 조건)

FaceCam 은 이 문제를 해결하기 위해 카메라의 위치를 숫자가 아닌, 얼굴의 점 (Landmark) 으로 표현합니다.

• 비유: Imagine you are directing a play. Instead of telling the camera operator "Move 5 meters left," you hand them a transparent sheet with dots drawn on it. These dots match the actor's eyes, nose, and mouth.
  • "이 점들이 이 위치로 오게 하세요."라고 지시하는 것입니다.
  • 얼굴이 크든 작든, 점들의 상대적인 위치 관계만 정확하면 카메라는 자연스럽게 움직입니다.
  • 이 방식은 AI 가 "얼굴이 얼마나 큰지"를 계산할 필요 없이, 눈코입이 화면에서 어디로 이동해야 하는지만 보게 만들어, 아주 정교하고 자연스러운 카메라 움직임을 가능하게 합니다.

3. 훈련 방법: "연속된 영화 같은 움직임을 배우는 비법"

FaceCam 을 훈련시킬 때 가장 큰 난제는 움직이는 카메라로 찍은 데이터가 없다는 점입니다. 스튜디오에서는 카메라가 고정되어 있고, 사람만 움직일 뿐이죠.

저자들은 두 가지 창의적인 방법으로 이 문제를 해결했습니다.

• 비유 1: 합성 카메라 운동 (Synthetic Camera Motion)
  • 고정된 영상을 잘라내어 마치 카메라가 줌인 (Zoom-in) 하거나 옆으로 이동 (Pan) 하는 것처럼 가상 효과를 입혀서 훈련시켰습니다. 마치 정지된 사진에 '움직임'이라는 필터를 입히는 것과 같습니다.
• 비유 2: 멀티 샷 스티칭 (Multi-shot Stitching)
  • 서로 다른 각도에서 찍힌 여러 개의 짧은 영상 조각을 한 줄로 이어 붙여 훈련시켰습니다. 마치 퍼즐 조각을 이어 붙여 하나의 긴 영화처럼 만든 것이죠.
  • 놀랍게도, AI 는 이렇게 불연속적인 조각들을 통해 학습했음에도, 실제 사용 시에는 부드럽게 흐르는 연속된 카메라 움직임을 완벽하게 구현해 냅니다. 마치 조각난 퍼즐을 보고 전체 그림을 상상하는 능력과 같습니다.

---

요약: FaceCam 이 가져오는 변화

1. 정밀한 제어: 사용자가 원하는 대로 카메라가 얼굴 주위를 빙글빙글 돌거나, 줌인/줌아웃을 해도 얼굴이 찌그러지지 않습니다.
2. 자연스러운 표현: 머리카락이 바람에 날리는 모습, 표정의 미세한 변화, 심지어 손이나 액세서리까지 원래 영상과 똑같이 유지됩니다.
3. 실용성: 스튜디오에서 찍은 고화질 데이터뿐만 아니라, 일반인이 찍은 자연스러운 영상 (In-the-wild) 에서도 잘 작동합니다.

결론적으로, FaceCam 은 "카메라를 움직이는 기술"이 아니라, **"얼굴의 특징점을 나침반 삼아 카메라를 안내하는 기술"**입니다. 덕분에 앞으로 SNS, 영화, 가상 현실 (VR) 등에서 우리가 직접 카메라맨이 되어 멋진 영상을 만들 수 있는 시대가 열릴 것입니다.

기술 요약

FaceCam: 스케일 인지 조건부 (Scale-Aware Conditioning) 를 통한 초상화 비디오 카메라 제어

1. 문제 정의 (Problem)

기존의 대규모 비디오 생성 모델을 활용한 카메라 제어 기술은 일반적인 장면에서는 성과를 보였으나, 인물 초상화 (Portrait) 비디오에 적용할 때 다음과 같은 심각한 한계를 겪었습니다.

• 스케일 모호성 (Scale Ambiguity): 단안 (Monocular) 비디오는 절대적인 깊이 정보가 없기 때문에, 카메라의 외관 파라미터 (Extrinsic parameters) 만으로 카메라 운동을 지시할 경우 장면의 스케일과 카메라 거리가 불명확해집니다. 이는 동일한 파라미터 변화가 대상의 크기에 따라 전혀 다른 시각적 변환을 유발하여, 원치 않는 왜곡이나 드리프트 (Drift) 를 발생시킵니다.
• 3D 재구성 오류 증폭: 3D 재구성을 기반으로 카메라를 제어하는 방법들은 작은 기하학적 오차도 얼굴의 형태 왜곡이나 정체성 (Identity) 변화와 같은 큰 시각적 아티팩트로 증폭시킵니다. 인간의 얼굴은 미세한 변화에도 매우 민감하기 때문에 이는 치명적입니다.
• 데이터 부족: 다양한 카메라 궤적과 동일한 동적 장면 (표정, 머리카락 움직임 등) 을 포착한 고품질의 쌍 (Pair) 데이터 확보가 어렵습니다.

2. 방법론 (Methodology)

FaceCam 은 위 문제들을 해결하기 위해 스케일 인지 (Scale-Aware) 카메라 표현 방식과 새로운 데이터 생성 파이프라인을 제안합니다.

A. 스케일 인지 카메라 조건부 (Scale-Aware Camera Conditioning)

• 기존 방식의 대안: 기존의 3D 카메라 파라미터 (회전, 이동 벡터) 대신, 이미지 공간의 점 대응 관계 (Image-space point correspondences) 를 카메라 조건부로 사용합니다.
• 얼굴 랜드마크 활용: 초상화 비디오의 특성상 얼굴 랜드마크 (Facial Landmarks) 를 통해 3D 얼굴 구조와 2D 이미지 간의 대응 관계를 자연스럽게 얻을 수 있습니다.
• 작동 원리:
  1. 타겟 카메라 궤적에 따라 렌더링된 3D 얼굴 랜드마크 (또는 3D Gaussian 헤드 모델) 에서 2D 랜드마크를 추출합니다.
  2. 이 2D 랜드마크 맵을 이미지 채널로 인코딩하여 생성 모델에 조건부로 입력합니다.
  3. 이 방식은 절대적인 스케일 (거리) 에 의존하지 않고 픽셀 공간의 상대적 변화만 학습하므로, 단안 비디오에서도 결정론적 (Deterministic) 이고 정확한 카메라 제어가 가능합니다.

B. 데이터 생성 및 학습 파이프라인

• 데이터 소스: 스튜디오에서 촬영된 다중 뷰 데이터 (NeRSemble) 와 라벨이 없는 자연계 (In-the-wild) 단안 비디오를 활용합니다.
• 데이터 증강 전략:
  1. 합성 카메라 운동 (Synthetic Camera Motion): 줌 (Zoom) 과 팬 (Pan) 효과를 시뮬레이션하여 연속적인 카메라 움직임을 학습시킵니다.
  2. 멀티샷 스티칭 (Multi-shot Stitching): 서로 다른 카메라 각도로 촬영된 여러 클립을 이어붙여, 모델이 불연속적인 뷰 포인트 변화에서도 연속적인 궤적을 추론할 수 있도록 훈련시킵니다.
  3. 자연계 데이터 추가: 스튜디오 조명에 과적합되는 것을 방지하고 다양한 배경/조명에 대한 일반화 능력을 높이기 위해 자연계 비디오를 합성 운동과 함께 학습합니다.

C. 추론 파이프라인 (Inference)

• 입력된 소스 비디오와 사용자가 지정한 타겟 카메라 궤적을 받습니다.
• 임의의 3D Gaussian 헤드 모델을 타겟 궤적을 따라 렌더링하고, 여기서 추출된 얼굴 랜드마크를 카메라 조건부로 사용합니다.
• 이 조건부와 소스 비디오를 기반으로 Diffusion Transformer (Wan 모델 기반) 를 통해 새로운 카메라 각도의 비디오를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 스케일 인지 카메라 표현: 장면의 스케일 모호성을 해결하고 직관적인 카메라 궤적 작성을 가능하게 하는 얼굴 특화 (Face-tailored) 표현 방식을 처음 제안했습니다.
2. 3D 합성 데이터 없이 연속 궤적 학습: 정적 다중 뷰 데이터와 라벨 없는 자연계 데이터만으로, 추론 시 연속적인 카메라 운동을 지원하는 학습 파이프라인을 개발했습니다.
3. 성능 입증: Ava-256 데이터셋과 다양한 자연계 비디오에서 기존 방법들보다 뛰어난 카메라 제어 정확도, 시각적 품질, 그리고 주체의 정체성/동작 보존 능력을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Ava-256 및 In-the-wild):
  • 카메라 제어 정확도: 기존 방법 (ReCamMaster, TrajectoryCrafter) 대비 카메라 궤적 추종 정확도가 현저히 높았습니다.
  • 정체성 보존 (Identity Preservation): ArcFace 점수가 가장 높게 나타나, 얼굴 특징이 왜곡되지 않고 유지됨을 증명했습니다.
  • 화질 및 일관성: VBench 점수에서 이미지의 질, 미적 품질, 배경 일관성 등에서 우수한 성능을 보였습니다.
• 정성적 평가:
  • 대각선 회전 (Arc), 줌인/아웃 등 다양한 카메라 운동에서 얼굴의 표정, 머리카락의 역동적인 움직임, 그리고 손이나 액세서리 등의 세부 사항이 자연스럽게 재현되었습니다.
  • 기존 방법들이 겪던 얼굴 왜곡, 배경 환각 (Hallucination), 또는 프레임 밖으로 사라지는 문제를 해결했습니다.

5. 의의 및 중요성 (Significance)

• 단안 비디오의 한계 극복: 3D 재구성에 의존하지 않고 이미지 공간의 대응 관계만으로 정확한 카메라 제어를 가능하게 함으로써, 3D 기하학적 오차로 인한 왜곡 문제를 근본적으로 해결했습니다.
• 실용성: 소셜 미디어, 포스트 프로덕션, 텔레프레즌스, AR/VR 등 다양한 분야에서 사용자가 원하는 카메라 앵글로 인물 영상을 재구성할 수 있는 강력한 도구를 제공합니다.
• 데이터 효율성: 고품질의 4D 합성 데이터나 복잡한 3D 스캔 데이터 없이도, 기존에 존재하는 정적 다중 뷰 데이터와 자연계 비디오를 효과적으로 활용하여 모델을 학습시킬 수 있는 새로운 패러다임을 제시했습니다.

이 논문은 인물 초상화 비디오 생성 분야에서 카메라 제어의 정확성과 시각적 품질을 동시에 달성한 새로운 기준을 제시했다는 점에서 의의가 큽니다.