💻 computer science

FG-Portrait: 3D Flow Guided Editable Portrait Animation

이 논문은 2D 입력의 한계를 극복하고 3D 파라메트릭 헤드 모델을 기반으로 학습 없는 3D 흐름을 도입하여, 확산 모델에 통합함으로써 Driving 영상에서 소스 인물로의 정교한 모션 전달과 함께 표정 및 머리 자세 편집이 가능한 고품질 3D 포트레이트 애니메이션을 제안합니다.

원저자: Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

게시일 2026-03-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 FG-Portrait라는 새로운 기술을 소개합니다. 쉽게 말해, "내 사진에 다른 사람의 표정과 머리 움직임을 자연스럽게 입히는 기술"입니다.

기존 기술들은 마치 "누군가의 얼굴을 보고 그 사람의 표정을 흉내 내려고 노력하는 배우" 같아서, 때로는 얼굴이 뭉개지거나 원래 사람과 닮지 않는 문제가 있었습니다. 하지만 이 새로운 방법은 조금 다릅니다.

이 기술을 이해하기 위해 세 가지 핵심 비유를 들어보겠습니다.

1. 기존 기술의 문제: "눈으로만 보는 추측"

기존의 인공지능들은 2D 사진 (평면) 만 보고 "아, 이 사람이 고개를 돌렸구나"라고 눈으로만 추측해서 움직임을 만들었습니다.

비유: 마치 2 차원 그림책 속의 인물을 보고, 3 차원 공간에서 어떻게 움직일지 눈으로만 대충 짐작해 보는 것과 같습니다.
문제점: 그림책 속 인물이 고개를 돌릴 때, 귀가 뒤로 사라지고 코가 앞으로 나오는 정확한 3 차원 움직임을 2 차원 그림만으로는 정확히 계산하기 어렵습니다. 그래서 얼굴이 일그러지거나, 움직임을 제대로 따라가지 못하는 경우가 많았습니다.

2. 이 기술의 핵심: "3D 인형 장난감" (3D Flow)

이 연구팀은 "그림책만 보는 게 아니라, 실제 3D 인형 장난감을 만들어서 움직임을 분석하자"고 생각했습니다.

비유: 우리가 사진을 분석할 때, 그 사람 얼굴을 **3D 로 조립 가능한 인형 (FLAME 모델)**으로 바꿉니다.
- 원본 사진 (Source): 내 얼굴 모양을 가진 인형.
- 움직임 사진 (Driving): 다른 사람이 웃거나 고개를 돌리는 동작을 가진 인형.
작동 원리: 이 두 인형의 **각 점 (Vertex)**을 하나하나 연결합니다. "원본 인형의 코 끝이, 움직이는 인형에서는 어디로 갔을까?"를 3D 공간에서 정확히 계산합니다.
3D Flow (흐름): 이렇게 계산된 "원래 위치에서 새로운 위치로 이동한 3 차원 경로"를 3D Flow라고 부릅니다. 이는 마치 인형의 각 부위에 붙은 작은 화살표처럼, "이 부분은 여기로 이동해"라고 정확히 지시하는 지도와 같습니다.

3. 정확한 위치 찾기: "깊이 감각이 있는 나침반" (Depth-Guided Sampling)

3D 인형의 지도를 만들었다고 해서 끝이 아닙니다. 이 지도를 2D 사진에 어떻게 적용할지 고민해야 합니다.

문제: 3D 공간에서 "앞"과 "뒤"가 섞여 있으면, 2D 사진에 옮길 때 위치가 헷갈릴 수 있습니다.
해결책 (깊이 안내 샘플링): 이 기술은 깊이 (Depth) 지도를 사용합니다.
- 비유: 마치 안경을 쓴 사람이 사물을 볼 때, "이 물체는 내 눈에서 1 미터 떨어져 있고, 저것은 2 미터 떨어져 있다"고 정확히 파악하는 것과 같습니다.
- 이 기술은 사진 속 각 픽셀이 3D 공간에서 정확히 어느 깊이 (거리) 에 있는지 먼저 파악한 뒤, 그 위치에서 3D Flow 지도를 읽습니다. 덕분에 머리카락이 뒤로 날아가는지, 코가 앞으로 나오는지가 훨씬 자연스럽게 표현됩니다.

이 기술의 특별한 장점

정확한 모방 (Motion Transfer):
- 다른 사람이 웃거나 고개를 크게 돌리는 동작을 해도, 내 얼굴이 뭉개지지 않고 원래 얼굴을 유지한 채 그 움직임을 완벽하게 따라갑니다.
- 마치 유령이 아니라, 내가 그 동작을 직접 하는 것 같은 자연스러움을 줍니다.
사용자 편집 (Editable):
- 단순히 다른 사람의 사진을 따라 하는 것을 넘어, 내가 직접 "입꼬리를 더 올려줘" 또는 "고개를 더 왼쪽으로 돌려줘"라고 명령할 수 있습니다.
- 비유: 마치 미용실 거울 앞에서 "이 정도만 웃게 해줘"라고 미용사에게 지시하듯, AI 에게 원하는 표정과 자세를 직접 조절할 수 있습니다.

요약

이 논문은 **"2D 사진만 보고 추측하던 옛날 방식"**을 버리고, **"3D 인형 장난감을 만들어 움직임을 정확히 계산하는 방식"**을 도입했습니다.

기존: "눈으로 대충 짐작" → 얼굴이 일그러짐.
이 기술: "3D 인형으로 정밀 계산 + 깊이 감각" → 얼굴은 그대로, 움직임은 완벽!

이 기술은 영화 제작, 디지털 휴먼, 혹은 내 사진을 재미있게 변형해보고 싶은 모든 사람들에게 매우 유용한 도구가 될 것입니다.

1. 문제 정의 (Problem Definition)

기존의 포트레이트 애니메이션 (Portrait Animation) 기술은 소스 이미지 (Source) 의 신원을 유지하면서 드라이빙 이미지 (Driving) 의 표정과 머리 자세를 따라 움직이는 것을 목표로 합니다. 그러나 기존 딥러닝 기반 (특히 Diffusion 모델) 접근법들은 다음과 같은 한계를 가집니다:

부정확한 모션 전이: 드라이빙 이미지의 모션만 조건으로 사용하여, 소스와 드라이빙 간의 명시적인 대응 관계 (Correspondence) 를 학습하지 못합니다. 이로 인해 큰 자세 변화나 외모 차이가 있을 때 모션이 왜곡되거나 신원이 손상됩니다.
2D 광학 흐름 (Optical Flow) 의 한계: 2D 이미지에서 밀집된 모션 흐름을 예측하는 것은 본질적으로 모호한 (Ill-posed) 문제이며, 대규모 데이터 학습이 필요하고 일반화 능력이 떨어집니다.
편집 기능 부재: 추론 (Inference) 단계에서 사용자가 표정이나 자세를 자유롭게 수정하는 기능이 제한적입니다.

2. 제안 방법론 (Methodology)

저자들은 3D Flow(3D 흐름) 를 학습 불필요 (Learning-free) 이고 기하학적 기반 (Geometry-driven) 인 모션 대응 관계로 도입하여 위 문제를 해결했습니다. 전체 프레임워크는 다음과 같이 구성됩니다.

가. 3D Flow 의 정의 및 계산

FLAME 모델 활용: 파라메트릭 3D 헤드 모델인 FLAME 을 사용하여 소스 이미지 ( $M_{src}$ ) 와 드라이빙 이미지 ( $M_{dri}$ ) 에서 3D 헤드를 추정합니다.
타겟 3D 헤드 구성: 소스의 모양 (Shape, $\beta$ ) 과 드라이빙의 자세/표정 ( $\theta, \psi$ ) 을 결합하여 타겟 3D 헤드 ( $M_{tgt}$ ) 를 생성합니다.
3D Flow 계산: 타겟 공간의 각 점 ( $p_{tgt}$ ) 에 대해 소스 공간의 대응점 ( $p_{src}$ ) 을 표면 필드 (Surface Field) 를 통해 역방향으로 검색합니다. 이때의 3D 변위 벡터 ( $f_{src \leftarrow tgt} = p_{src} - p_{tgt}$ ) 를 3D Flow로 정의합니다. 이는 2D 픽셀의 이동이 아닌, 3D 공간에서의 정확한 기하학적 이동을 나타냅니다.

나. 3D Flow Encoding 및 Depth-Guided Sampling

Diffusion 모델 (ControlNet) 에 3D Flow 를 효과적으로 통합하기 위해 다음과 같은 기법을 제안합니다:

3D Flow Encoding: 타겟 이미지의 각 픽셀을 3D 공간으로 역투영 (Backprojection) 하여 여러 개의 3D 점 ( $N$ 개) 을 샘플링합니다. 각 점에 대한 대응 소스 위치를 찾아 3D Flow 를 계산한 후, 이를 ControlNet 의 입력 조건으로 스택합니다.
Depth-Guided Sampling (깊이 유도 샘플링): 단순히 일정한 깊이 범위로 샘플링하면 2D 모션과 불일치가 발생합니다. 따라서 렌더링된 깊이 맵 (Depth Map) 을 기반으로 각 픽셀의 실제 3D 위치 근처에서 샘플링을 수행합니다. 이를 통해 2D 이미지에서의 모션 변화와 3D Flow 를 정확하게 정렬시킵니다.

다. 추론 단계의 편집 기능 (User-specified Editing)

학습된 모델은 추론 시 드라이빙 이미지뿐만 아니라 사용자가 지정한 FLAME 파라미터 (표정 $\Delta\psi$ , 자세 $\Delta\theta$ ) 를 입력받아 애니메이션을 생성할 수 있습니다.
사용자가 원하는 표정이나 머리 자세로 3D Flow 를 재계산하여, 소스 신원을 유지하면서 자유롭게 편집된 영상을 생성합니다.

3. 주요 기여 (Key Contributions)

3D Flow 기반 모션 대응: 학습 불필요한 3D 기하학적 흐름을 도입하여, 다양한 자세와 외모 변화에서도 소스와 드라이빙 간의 정확한 1 대 1 대응 관계를 확립했습니다.
3D Flow Encoding 및 Depth-Guided Sampling: Diffusion 모델에 3D 모션 정보를 효과적으로 주입하기 위한 새로운 조건 입력 방식과 정밀한 샘플링 전략을 제안했습니다.
추론 단계의 편집성: 학습 후에도 사용자가 표정과 머리 자세를 자유롭게 수정할 수 있는 기능을 지원합니다.
성능 입증: VFHQ 및 FFHQ 데이터셋에서 기존 SOTA 모델 (X-Portrait, Face-Adapter, HunyuanPortrait 등) 보다 우수한 모션 정확도 (APD, AED) 와 신원 보존 (CSIM) 을 입증했습니다.

4. 실험 결과 (Results)

정량적 평가:
- 모션 정확도: 자기 재연 (Self-reenactment) 및 교차 재연 (Cross-reenactment) 작업에서 평균 자세 거리 (APD) 와 평균 표정 거리 (AED) 가 기존 모델 대비 가장 낮게 기록되어 모션 전이 정확도가 우수함을 보였습니다.
- 신원 보존: 교차 재연 시 신원 보존 지표 (CSIM) 에서도 경쟁력 있는 수치를 유지하며, 모션 정확도와 신원 보존 간의 트레이드오프를 잘 해결했습니다.
- 이미지 품질: LPIPS 및 FID 점수에서도 높은 품질을 유지했습니다.
정성적 평가:
- 큰 자세 변화나 다른 인종/연령대 간의 재연 시에도 자연스러운 모션과 일관된 배경을 생성했습니다.
- 기존 Diffusion 모델들이 겪는 모션 왜곡이나 신원 손실 문제를 효과적으로 해결했습니다.
Ablation Study:
- Depth-Guided Sampling 을 사용하지 않을 경우 모션 정확도가 급격히 떨어짐을 확인하여, 이 기법의 중요성을 입증했습니다.
- 3D Flow 가 학습된 광학 흐름 (Predicted Flow) 보다 모션 조건으로 더 효과적임을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 포트레이트 애니메이션 분야에서 2D 픽셀 기반의 모호한 흐름 예측을 3D 기하학적 기반의 명확한 흐름으로 대체함으로써, 모션 전이의 정확성과 안정성을 획기적으로 향상시켰습니다. 특히, 학습 불필요 (Learning-free) 인 3D Flow 를 Diffusion 모델에 통합한 점은 데이터 의존도를 줄이고 일반화 능력을 높인 중요한 기여입니다. 또한, 추론 단계에서의 사용자 정의 편집 기능은 디지털 휴먼 및 영상 제작 분야에서 실용적인 가치를 크게 높였습니다.

한계점: 현재 3D 헤드 모델 (FLAME) 의 메시 해상도 한계로 인해 매우 미세한 표정 (예: 눈꺼풀의 정교한 움직임) 표현에는 한계가 있으며, 향후 더 정교한 3D 모델 도입이 필요하다고 언급했습니다.