Motion Manipulation via Unsupervised Keypoint Positioning in Face Animation

이 논문은 기존 방법의 한계를 극복하기 위해 자기지도 학습과 변분 오토인코더를 활용하여 얼굴의 정체성과 움직임을 효과적으로 분리하고, 비지도 프레임워크 내에서 얼굴 표정을 자유롭게 조작하고 보간할 수 있는 새로운 얼굴 애니메이션 기법인 MMFA 를 제안합니다.

핵심

🎭 1. 기존 기술의 문제: "옷을 갈아입히는데 얼굴이 변해버린 경우"

기존의 얼굴 애니메이션 기술들은 두 가지 큰 고민이 있었습니다.

1. 얼굴 모양 (정체성) 과 표정이 뒤섞여 있음:
   • 비유: 친구의 사진을 가져와서 "웃게" 하려고 했는데, 웃기만 한 게 아니라 친구의 얼굴이 옆으로 늘어나거나 코가 커져버리는 경우입니다.
   • 문제: 표정을 바꾸려고 하면 얼굴의 고유한 특징 (아이덴티티) 이 망가져서, "누구인지 알 수 없는 괴상한 얼굴"이 만들어집니다.
2. 조절이 어렵다는 점:
   • 비유: 인형의 줄을 당겨서 움직이려는데, 머리만 돌리려다 보니 입도 같이 돌아가고, 눈도 같이 움직여서 원하는 대로 조절이 안 됩니다.
   • 문제: "머리만 돌리게", "입만 웃게" 하는 식으로 정교하게 조절하기가 매우 어렵습니다.

---

🛠️ 2. MMFA 의 해결책: "마법 같은 얼굴 변신 도구"

이 논문은 MMFA라는 새로운 방법을 제안하며, 위 문제들을 해결했습니다. 핵심 아이디어는 **"분리"**와 **"연속적인 조절"**입니다.

① 얼굴을 '레고 블록'처럼 분리하다 (Decoupling)

기존 기술은 얼굴을 통째로 움직였지만, MMFA 는 얼굴을 세 가지 요소로 깔끔하게 분리합니다.

• 정체성 (Identity): 그 사람의 고유한 얼굴 (코, 눈, 피부).
• 자세 (Pose): 고개 숙임, 옆으로 돌림 등.
• 표정 (Expression): 웃음, 눈썹 치켜올림 등.

비유: 마치 인형을 생각해보세요.

• 기존: 인형 전체를 밀어서 움직이면, 인형의 옷 (표정) 이 찢어지거나 얼굴이 일그러집니다.
• MMFA: 인형의 **몸통 (정체성)**은 그대로 두고, **관절 (자세)**과 **얼굴 근육 (표정)**만 따로 움직일 수 있는 마법 지팡이를 가진 것입니다. 그래서 "웃게" 하더라도 그 사람의 고유한 얼굴은 그대로 유지됩니다.

② 표정을 '무지개'처럼 부드럽게 이어주다 (VAE & Interpolation)

이 기술의 가장 멋진 점은 표정을 연속적으로 조절할 수 있다는 것입니다.

비유:

• 기존: 표정을 바꾸려면 'A(무표정)'와 'B(웃음)'라는 두 개의 단추만 있었습니다. A 를 누르면 무표정, B 를 누르면 웃음. 그 사이는 없었습니다.
• MMFA: 표정을 무지개처럼 만들었습니다. '무표정'에서 '웃음'까지 그 사이에 '살짝 미소', '가볍게 웃음', '크게 웃음' 등 수많은 단계가 부드럽게 이어져 있습니다.
• 효과: 사용자가 원하는 대로 표정을 아주 미세하게 조절하거나, 두 가지 표정 사이를 자연스럽게 이어주는 (인터폴레이션) 애니메이션을 만들 수 있습니다.

③ 카메라 거리까지 고려하다 (스케일링)

기존 기술은 카메라에서 얼굴이 멀어지거나 가까워지면 (스케일 변화) 이를 표정 변화로 잘못 알아차리는 경우가 많았습니다.

• MMFA: "아, 얼굴이 커진 건 표정이 변한 게 아니라, 카메라가 다가온 거구나!"라고 정확히 구분해냅니다. 마치 스케일 조절 버튼이 따로 있는 것처럼, 얼굴의 크기와 표정을 완벽하게 분리합니다.

---

🚀 3. 왜 이 기술이 중요한가요?

이 기술이 완성되면 다음과 같은 일들이 가능해집니다.

• 가상 회의/교육: 내 얼굴을 그대로 유지하면서, 화상 회의에서 더 활기차게 웃거나 진지한 표정을 지을 수 있습니다.
• 게임/영화: 배우의 얼굴을 그대로 유지하면서, 다양한 각도에서 다양한 표정을 연기하게 할 수 있습니다.
• 콘텐츠 제작: 내 사진 한 장만으로도, 내가 원하는 대로 웃고, 깜짝 놀라고, 고개를 돌리는 영상을 만들 수 있습니다.

📝 한 줄 요약

"MMFA 는 얼굴의 '본래 모습 (정체성)', '자세', '표정'을 완벽하게 분리해서, 마치 레고 블록을 조립하듯 원하는 대로 얼굴을 움직이게 하고, 표정을 무지개처럼 부드럽게 조절할 수 있게 해주는 새로운 기술입니다."

이 기술은 더 이상 얼굴이 일그러지거나, 원하는 대로 움직이지 않는 고통에서 벗어나, 자연스럽고 사실적인 가상 얼굴 애니메이션을 만들어낼 수 있게 해줍니다.

기술 요약

1. 문제 정의 (Problem)

얼굴 애니메이션 (Face Animation) 은 정적 이미지에서 비디오 프레임의 움직임 정보를 활용하여 사실적인 얼굴 움직임을 생성하는 기술입니다. 기존 연구들은 주로 2D 랜드마크, 3DMM(3D Morphable Model) 계수, 또는 잠재 공간 (Latent Space) 기반의 방법을 사용했습니다. 그러나 기존 비지도 (Unsupervised) 키포인트 기반 방법들은 다음과 같은 한계를 가지고 있었습니다:

• 속성 분리 실패: 신원 (Identity), 자세 (Pose), 표정 (Expression) 정보가 서로 얽혀 있어 (intertwined), 특정 속성 (예: 표정만 변경) 을 독립적으로 제어하기 어렵습니다.
• 표정 왜곡: 기존 방법 (예: Face-vid2vid) 은 카메라의 원근 투영 (perspective projection) 을 고려하지 않아, 얼굴의 크기 변화 (scaling) 가 표정 변형 (expression deformation) 과 혼동되는 문제가 발생했습니다. 이로 인해 표정을 정밀하게 조작하는 것이 어려웠습니다.
• 제어 불가능성: 기존 키포인트 파이프라인은 신원 의미와 움직임 정보를 완전히 분리하지 못해, 사용자가 원하는 대로 얼굴 움직임을 자유롭게 조작할 수 없었습니다.

2. 제안 방법 (Methodology: MMFA)

저자들은 MMFA(Motion Manipulation via unsupervised keypoint positioning in Face Animation) 라는 새로운 방법을 제안했습니다. 이 방법은 비지도 키포인트 위치 추정과 자기지도 표현 학습 (Self-supervised Representation Learning) 을 결합하여 표정과 자세를 효율적으로 분리하고 제어합니다.

핵심 구성 요소:

1. 확대 정사영 (Scaled Orthographic Projection) 기반 키포인트 분해 파이프라인:

   • 기존 3D 키포인트 추정 방식의 한계를 보완하기 위해, 얼굴과 카메라 간의 거리 변화로 인한 원근 효과를 처리하기 위한 스케일링 인자 (scaling factor, $f$) 를 추정합니다.
   • 3 가지 가정을 기반으로 키포인트를 분해합니다:
     1. 물체의 중심은 세계 좌표계 (카메라 좌표계) 원점에 위치.
     2. 카메라 좌표계에서 이미지 좌표계로의 매핑은 정사영 (Orthographic projection) 을 따름.
     3. 객체는 강체 (Rigid) 로 가정하며, 스케일/회전 변환 시 영역 간 위상 관계는 불변.
   • 이를 통해 키포인트를 기본 키포인트 (Canonical keypoints, $p_C$), 회전 ($R$), 이동 ($t$), 스케일 ($f$), 표정 변형 ($\delta$) 로 명확히 분리합니다.

2. 자기지도 표현 학습 (Self-Supervised Representation Learning):

   • 표정 인코더 - 디코더: 입력 이미지에서 표정 정보를 추출하여 잠재 벡터 ($f_\delta$) 로 인코딩하고, 이를 기본 키포인트와 결합하여 표정 변형 ($\delta$) 을 예측합니다.
   • 표현 손실 (Expression Loss, $L_{Exp}$): 데이터 증강 (회전, 스케일, 이동) 을 통해 생성된 변형된 이미지 ($D'$) 와 원본 이미지 ($D$) 의 표정 특징 벡터 간 코사인 유사도를 최대화하여, 표정 정보가 자세나 스케일 정보와 분리되도록 학습시킵니다.

3. 변분 오토인코더 (VAE) 를 통한 표정 잠재 공간 매핑:

   • 표정 특징 ($f_\delta$) 을 연속적인 가우시안 분포 ($N(0, I)$) 로 매핑하기 위해 VAE 를 도입합니다.
   • 적대적 손실 (Adversarial Loss) 을 추가하여 VAE 가 평균적인 표정만 생성하는 '모델 붕괴 (Model Collapse)' 현상을 방지하고, 표정 특징의 다양성을 보장합니다.
   • 이를 통해 학습된 데이터 없이도 잠재 공간에서 표정을 보간 (Interpolation) 하거나 임의의 표정을 생성할 수 있습니다.

4. 다중 스케일 생성기 (Multi-Scale Generator):

   • 다양한 해상도 (64x64, 128x128, 256x256) 에서 이미지를 재구성하여 더 세밀한 얼굴 디테일과 사실적인 애니메이션을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 속성 분리: 비지도 키포인트 위치 추정과 자기지도 학습을 기반으로 자세 (Pose) 와 표정 (Expression) 을 효율적으로 분리하여, 최소의 사전 정보 (Priors) 로 정밀한 속성 제어를 가능하게 했습니다.
2. 연속적인 표정 조작: VAE 를 활용하여 표정 특징을 연속적인 잠재 공간에 매핑함으로써, 비지도 프레임워크 내에서 표정의 보간과 임의 생성을 가능하게 했습니다. 이는 기존 방법들이 가지지 못했던 새로운 기능입니다.
3. 성능 검증: 공개 데이터셋 (VoxCeleb, CelebA 등) 에서 광범위한 실험을 통해 기존 최첨단 방법 (SOTA) 보다 뛰어난 사실성 (FID 점수 최하) 과 얼굴 디테일 전이 능력을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가: VoxCeleb 데이터셋에서 FID(Fréchet Inception Distance) 점수가 13.265 (Same-identity) 및 77.445 (Cross-identity) 로, 기존 방법들 (Face-vid2vid, DPE, LIA 등) 보다 가장 낮은 수치를 기록하여 생성된 얼굴의 사실성이 가장 높음을 증명했습니다.
• 정성적 평가:
  • 동일 신원 (Same-identity): 치아와 입술과 같은 미세한 디테일이 다른 방법들보다 선명하게 재현되었습니다.
  • 이종 신원 (Cross-identity): 얼굴 모양 차이가 큰 경우에도 신원 정보가 유지되며 자연스러운 표정 전이가 가능했습니다.
  • 속성 편집: 자세 (Rotation, Translation) 와 표정을 독립적으로 조작할 수 있으며, DPE 와 같은 기존 잠재 공간 기반 방법보다 배경 왜곡이 적고 얼굴 외곽선 (넥타이 등) 이 왜곡되지 않는 것을 확인했습니다.
  • 표정 보간: VAE 잠재 공간에서 표정을 부드럽게 보간하여 자연스러운 애니메이션을 생성할 수 있음을 시각적으로 증명했습니다.

5. 의의 및 중요성 (Significance)

MMFA 는 얼굴 애니메이션 분야에서 표정과 자세의 명확한 분리와 사용자 정의 가능한 표정 제어라는 두 가지 핵심 과제를 해결했습니다.

• 실용성: 원격 회의, 온라인 고객 서비스, 가상 현실 (VR), 게임 등 다양한 분야에서 사용자 경험을 향상시킬 수 있는 고충실도 얼굴 애니메이션 기술을 제공합니다.
• 기술적 진보: 3DMM 기반의 복잡한 사전 모델 의존도를 줄이면서도, 2D 키포인트 기반 방법의 한계였던 신원 손실과 표정 왜곡 문제를 해결하여, 비지도 학습 프레임워크 내에서 가장 정교한 얼굴 제어를 가능하게 했습니다.
• 확장성: 학습된 VAE 잠재 공간을 통해 Driving 비디오 없이도 임의의 표정을 생성하거나 보간할 수 있어, 콘텐츠 제작의 유연성을 크게 높였습니다.

이 논문은 얼굴 애니메이션의 사실성과 제어 가능성을 동시에 극대화한 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.