EmbedTalk: Triplane-Free Talking Head Synthesis using Embedding-Driven Gaussian Deformation

EmbedTalk 는 삼면 (tri-plane) 인코딩 대신 학습된 임베딩을 활용하여 3D 가우스 스플래팅 기반의 말하기 헤드 합성에서 렌더링 품질, 입술 동기화 및 모션 일관성을 향상시키고 모바일 GPU 에서 60FPS 이상의 실시간 성능을 달성하는 새로운 방법을 제안합니다.

핵심

EmbedTalk: 말하기 인형의 '뇌'를 바꾼 새로운 기술

이 논문은 **"말하는 얼굴 **(Talking Head)을 만드는 기술에 대한 것입니다. 기존 방식은 무겁고 느렸는데, 이 연구는 이를 훨씬 가볍고 빠르게, 그리고 더 자연스럽게 만들었습니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 마치 '인형극'이나 '애니메이션'을 만드는 과정에 비유해서 설명해 드리겠습니다.

---

1. 기존 방식의 문제점: "거대한 지도를 들고 다니는 인형"

기존의 3D talking head 기술 (Gaussian Talker 등) 은 인형의 입 모양을 움직이게 할 때 **'삼면도 **(Tri-plane)라는 방식을 썼습니다.

• 비유: 인형의 입 모양을 바꾸려면, 인형의 머리 전체를 감싸는 거대한 3 차원 지도를 펼쳐서 "여기 입술은 이렇게 움직여야 해"라고 지도에 표시하는 방식이었습니다.
• 문제점:
  1. 무거움: 이 지도는 데이터 양이 너무 커서 (약 20~50MB), 컴퓨터가 이를 읽는 데 시간이 걸려서 속도가 느렸습니다.
  2. 오해: 지도가 2 차원 평면으로 압축되는 과정에서 정보가 뭉개져서, "입을 벌려야 하는데 살짝만 벌리는 실수"가 자주 발생했습니다. (음성과 입 모양이 안 맞는 현상)
  3. 흔들림: 지도가 정확하지 않아서 인형의 얼굴이 쉴 새 없이 **덜덜 떨리는 **(Wobbling) 현상이 생겼습니다.

2. EmbedTalk 의 혁신: "각 인형에게 붙인 '스마트 칩'"

이 연구팀 (EmbedTalk) 은 "왜 거대한 지도를 쓸까? 인형 하나하나에 **작은 메모리 칩 **(Embedding)을 붙여보자!"라고 생각했습니다.

• 새로운 방식:
  • 거대한 지도 대신, **인형의 입술 하나하나 **(Gaussian)에 직접 **작은 '스마트 칩' **(Learnable Embedding)을 붙였습니다.
  • 이 칩에는 "내가 입을 벌릴 때 어떻게 움직여야 하는지"에 대한 정보가 저장되어 있습니다.
  • 오디오 (소리) 가 들어오면, 이 칩들이 "아, 소리에 맞춰 입을 벌려야겠다!"라고 스스로 판단하고 움직입니다.

3. 왜 이것이 더 좋은가? (세 가지 장점)

① **가볍고 빠르다 **(모바일에서도 가능!)

• 비유: 거대한 지도를 들고 다니는 대신, 스마트폰 하나만 들고 다니는 것과 같습니다.
• 결과: 데이터 크기가 기존보다 **26 배 더 작아져서 **(약 10MB), 일반 노트북이나 모바일 GPU 에서도 **초당 60 프레임 **(60 FPS)이라는 매우 빠른 속도로 영상을 만들어냅니다. (기존은 3040 FPS)

② **입 모양이 더 정확하다 **(음성과 완벽하게 일치)

• 비유: 거대한 지도를 보면 "입을 크게 벌려야지"라고 대략적으로만 알 수 있지만, 각 입술에 달린 칩은 "내 입술이 정확히 3mm 벌어져야 해"라고 정밀하게 조절합니다.
• 결과: 소리와 입 모양의 싱크 (Lip-sync) 가 매우 정확해져서, 말하는 사람의 표정이 훨씬 자연스럽습니다.

③ 얼굴이 흔들리지 않는다

• 비유: 지도가 부정확해서 인형이 덜덜 떨렸다면, 이제는 각 부품이 스스로 제자리를 지키기 때문에 얼굴이 아주 안정적입니다.
• 결과: 얼굴 주변이 덜덜거리는 현상 (Wobbling) 이 사라져서, 마치 실제 사람이 말하는 것처럼 보입니다.

---

4. 실험 결과: 다른 기술들과 비교하면?

연구팀은 이 기술을 다른 최신 기술들과 비교했습니다.

• **기존 3D 기술들 **(GaussianTalker 등) 입 모양이 조금 어색하거나 얼굴이 흔들립니다.
• **생성형 AI 기술들 **(Diffusion 모델 등) 입 모양은 잘 맞지만, 입이 너무 크게 벌어지거나 (과장된 표정), 사람이 아닌 것 같은 기괴한 느낌을 줍니다. 또한 속도가 매우 느립니다.
• EmbedTalk: 가장 자연스럽고, 가장 빠르며, 가볍습니다. 특히 모바일 기기에서도 실시간으로 작동할 수 있다는 점이 가장 큰 강점입니다.

5. 결론: 왜 이것이 중요한가?

이 기술은 가상 비서, 화상 회의, 영화 제작 등에서 매우 유용하게 쓰일 수 있습니다.

• 간단한 요약: "거대한 지도 (Tri-plane) 를 버리고, 각 부품에 달린 '스마트 칩' (Embedding) 으로 인형을 조종하니, 더 가볍고, 더 빠르고, 더 자연스럽게 말하는 얼굴을 만들 수 있게 되었습니다."

이제 우리는 무거운 컴퓨터 없이도, 스마트폰으로 아주 자연스러운 말하는 아바타를 실시간으로 만들 수 있는 시대가 왔습니다!

기술 요약

1. 문제 정의 (Problem)

실시간 구동형 말하는 머리 (Talking Head) 합성 분야에서 **3D 가우스 스플래팅 (3D Gaussian Splatting, 3DGS)**은 낮은 지연 시간과 빠른 렌더링 속도로 인해 주목받고 있습니다. 그러나 기존 3DGS 기반 방법론들은 다음과 같은 한계를 가지고 있습니다:

• Tri-plane 의 한계: 대부분의 기존 방법 (GaussianTalker, TalkingGaussian 등) 은 가우스의 변형을 위해 Tri-plane(3D 공간을 2D 평면 3 개로 투영) 을 사용합니다. 이는 격자 해상도의 한계와 3D 부피 장을 2D 부분 공간으로 투영할 때 발생하는 근사 오차 (approximation errors) 를 초래합니다.
• 오디오 - 비주얼 정렬 저하: Tri-plane 의 근사 오차는 구강 (입술) 움직임의 정밀도를 떨어뜨려 오디오와 시각적 동기화 (lip-synchronisation) 를 방해합니다.
• 계산 비용 및 메모리: Tri-plane 인코딩은 모델 크기를 증가시키고, 모바일 GPU 와 같은 제한된 환경에서의 추론 속도를 저하시킵니다.
• 흔들림 현상 (Wobbling): 부정확한 얼굴 추적 및 초기화 과정으로 인해 얼굴 경계에서 발생하는 흔들림 현상이 자주 발생합니다.

2. 방법론 (Methodology)

저자들은 Tri-plane 인코딩을 제거하고 **학습 가능한 가우스 임베딩 (Learnable Per-Gaussian Embeddings)**을 기반으로 한 새로운 아키텍처인 EmbedTalk을 제안합니다.

• 임베딩 기반 변형 (Embedding-Driven Deformation):

  • 각 3D 가우스 (Gaussian) 에 고유한 학습 가능한 임베딩 벡터 ($z_g$) 를 할당합니다.
  • Tri-plane 대신, 오디오 신호 (음성) 와 얼굴 제어 신호 (눈 깜빡임, 눈썹 올림 등) 를 입력받아 가우스의 위치 ($\mu$) 와 불투명도 ($\alpha$) 의 변형량을 예측하는 MLP(다층 퍼셉트론) 를 사용합니다.
  • 포지셔널 인코딩 (Positional Encoding): 입술 주변의 고주파수 움직임을 정밀하게 포착하기 위해 가우스 임베딩에 사인/코사인 함수 기반의 포지셔널 인코딩을 적용합니다. 이는 입술이 벌어지는 동작과 머리가 기울어지는 동작을 분리하여 학습하도록 돕습니다.

• 초기화 및 훈련 전략:

  • COLMAP 기반 초기화: 3DMM(3D Morphable Model) 을 사용하는 기존 방식 대신, COLMAP 을 통해 얻은 밀집된 3D 포인트 클라우드를 사용하여 가우스를 초기화합니다. 이는 얼굴 주변의 흔들림 현상을 방지하고 안정적인 재구성을 보장합니다.
  • 로컬 스무스니스 제약 (Local Smoothness Constraint): 인접한 가우스들이 유사한 임베딩을 가지도록 정규화 손실 함수를 도입하여 자연스러운 모션 일관성을 확보합니다.
  • 렌더링: 변형된 가우스를 몸통과 배경이 포함된 이미지 위에 렌더링하여 얼굴 윤곽선 주변의 아티팩트를 제거합니다.

• 손실 함수:

  • $L_1$ 손실, LPIPS(지각적 손실), 얼굴 및 입술 영역에 대한 LPIPS, 임베딩 정규화 손실, 불투명도 최소화를 위한 손실을 결합하여 최적화합니다.

3. 주요 기여 (Key Contributions)

1. Tri-plane 제거: 3DGS 기반 말하는 머리 합성에서 Tri-plane 인코딩을 학습 가능한 가우스 임베딩으로 대체하여 근사 오차를 제거하고 오디오 - 비주얼 정렬을 개선했습니다.
2. 고성능 및 경량화: Tri-plane 을 제거함으로써 모델 크기를 획기적으로 줄였으며 (약 2 배~6 배 감소), 모바일 GPU(RTX 2060) 에서 60 FPS 이상의 실시간 추론 속도를 달성했습니다.
3. 종합적인 평가: 기존 3DGS 기반 방법론 (GaussianTalker, TalkingGaussian, DEGSTalk) 과 최신 생성형 모델 (AniTalker, Sonic 등) 에 대한 정량적/정성적 비교 평가 및 사용자 연구를 수행했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative):
  • 렌더링 품질: PSNR(35.186), SSIM(0.961), LPIPS(0.021) 에서 모든 3DGS 기반 방법론 중 최상위 성능을 기록했습니다.
  • 동기화 및 모션: 입술 동기화 지표 (LMD, Sync-C) 와 모션 일관성 (FVMD) 에서 기존 방법들보다 우수한 성능을 보였습니다. 특히 좁은 입 벌림 (narrow mouth opening) 상황에서도 정확한 구강 재구성이 가능했습니다.
  • 생성형 모델 대비: 생성형 모델 (Diffusion 기반 등) 은 과장된 입술 움직임으로 인해 동기화 점수는 높았으나, 비현실적인 움직임과 낮은 렌더링 품질을 보였습니다. EmbedTalk 은 높은 현실감과 정확한 동기화를 동시에 달성했습니다.
• 계산 효율성:
  • 모델 크기: 10.20 MB 로 기존 Tri-plane 기반 방법들 (19~58 MB) 보다 훨씬 작습니다.
  • 추론 속도: 모바일 GPU 환경에서 61 FPS 를 기록하여, 다른 방법들 (3338 FPS) 보다 약 1.52 배 빠릅니다.
• 사용자 연구: 20 명의 평가자를 대상으로 한 연구에서 **비디오 현실감 (Video Realness)**과 이미지 품질에서 다른 방법들보다 높은 선호도를 받았습니다. 입술 동기화 측면에서는 생성형 모델과 비슷하거나 약간 뒤처졌으나, 전반적인 자연스러움에서는 우위를 점했습니다.

5. 의의 및 결론 (Significance)

EmbedTalk 은 3DGS 기반 Talking Head 합성 분야에서 Tri-plane 의존성을 탈피한 새로운 패러다임을 제시합니다.

• 정밀도 향상: Tri-plane 의 근사 오차를 제거함으로써 입술 움직임과 오디오 간의 정밀한 정렬을 가능하게 하여, 더 자연스러운 가상 인간 생성을 지원합니다.
• 실용성: 경량화된 모델 구조와 빠른 추론 속도로 인해 모바일 기기 및 실시간 애플리케이션 (화상 회의, 가상 비서 등) 에의 적용 가능성을 크게 높였습니다.
• 미래 방향: 현재는 중립적인 표정과 목소리에 제한되지만, 향후 다양한 감정 표현과 전체 신체 모션으로 확장할 수 있는 잠재력을 가지고 있습니다. 또한, 딥페이크 오남용 방지를 위한 워터마킹 및 라벨링 기술 개발의 필요성을 강조하고 있습니다.

이 연구는 실시간성, 품질, 효율성이라는 세 가지 핵심 요소를 모두 충족시키는 Talking Head 합성 기술의 새로운 기준을 제시합니다.