FC-4DFS: Frequency-controlled Flexible 4D Facial Expression Synthesizing

이 논문은 주어진 중립 랜드마크와 길이를 기반으로 프레임별 4D 얼굴 표정 시퀀스를 생성하고, 시간적 일관성 손실 및 다중 수준 정체성 인식 변위 네트워크를 통해 유연하고 정교한 4D 얼굴 표정 합성을 가능하게 하는 'FC-4DFS'를 제안합니다.

핵심

1. "리듬을 아는 드럼 연주자" (FC-LSTM)

문제: 기존 기술은 표정 변화를 만들 때, "1 초, 2 초, 3 초"라고 숫자만 세며 움직임을 만들었습니다. 그래서 속도가 빨라지거나 느려질 때 움직임이 어색해졌습니다.
해결책 (FC-LSTM):
저희는 **'주파수 (리듬) 를 조절할 수 있는 LSTM'**이라는 새로운 신경망을 만들었습니다.

• 비유: 마치 드럼 연주자가 있습니다. 기존 기술은 박자를 무조건 '1, 2, 3, 4'로만 치는 기계였습니다. 하지만 우리의 기술은 연주자가 **"이 부분은 천천히, 저 부분은 빠르게"**라고 리듬을 조절하며 치는 것입니다.
• 효과: 덕분에 캐릭터가 입을 벌리거나 눈을 감을 때, 속도가 변해도 움직임이 매끄럽고 자연스러워집니다. 또한, 10 초짜리 연기를 만들든 30 초짜리 연기를 만들든 원하는 길이에 맞춰 유연하게 생성할 수 있습니다.

2. "내 얼굴을 기억하는 거울" (MIADNet)

문제: 표정만 바꾸면 캐릭터의 얼굴이 뚱뚱해지거나, 원래 얼굴 특징이 사라져 버리는 경우가 많았습니다. (예: 긴 얼굴인 사람이 웃으면 동그란 얼굴이 됨)
해결책 (MIADNet):
우리는 **'다단계 정체성 인식 네트워크 (MIADNet)'**를 개발했습니다.

• 비유: 이 기술은 거울과 같습니다. 캐릭터가 표정을 지을 때, 단순히 얼굴 근육만 움직이는 게 아니라, **"이 사람은 원래 어떤 얼굴이었지?"**를 거울을 통해 계속 확인하며 움직임을 만듭니다.
  • 중요한 점: 이 거울은 단순히 얼굴 모양만 보는 게 아니라, **저해상도 (전체적인 얼굴 뼈대)**와 **고해상도 (피부 결, 주름 등 세부 사항)**를 동시에 봅니다.
• 효과: 그래서 캐릭터가 화를 내든 기뻐하든, 원래 그 사람의 얼굴 특징 (눈매, 코 모양 등) 은 그대로 유지되면서 표정만 자연스럽게 바뀝니다.

3. "부드러운 춤사위" (시간 일관성 손실)

• 비유: 춤을 출 때, 한 동작에서 다음 동작으로 넘어갈 때 발을 뻗는 속도가 갑자기 변하면 어색하죠? 우리는 **'시간 일관성 손실 (Temporal Coherence Loss)'**이라는 규칙을 만들어, 이전 프레임과 다음 프레임 사이의 움직임이 너무 급격하게 변하지 않도록 훈련시켰습니다.
• 결과: 캐릭터의 표정 변화가 마치 실제 사람이 연기하듯 부드럽고 자연스러워졌습니다.

---

요약: 이 기술이 왜 중요할까요?

1. 유연함: 게임이나 영화에서 캐릭터가 5 초 동안 웃을 수도 있고, 30 초 동안 슬퍼할 수도 있습니다. 길이에 상관없이 자연스러운 표정을 만들어줍니다.
2. 현실감: 캐릭터마다 고유한 얼굴 특징을 살려서, 모든 캐릭터가 똑같은 '가면'을 쓴 것처럼 보이지 않습니다.
3. 최고의 성능: 기존에 있던 기술들 (Motion3D, LM-4DGAN 등) 보다 훨씬 정확하고 매끄러운 결과를 보여주었습니다.

결론적으로, 이 기술은 가상 현실 (VR) 게임, 애니메이션, 메타버스에서 실제 사람처럼 살아있는 표정을 가진 캐릭터를 쉽게 만들어주는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

4D 얼굴 표정 합성 (4D Facial Expression Synthesizing) 은 중립적인 얼굴 메시 (Neutral Mesh) 에서 시작하여 다양한 표정이나 발화 관련 움직임을 가진 일련의 리얼한 3D 메시 시퀀스를 생성하는 컴퓨터 비전 및 그래픽스의 핵심 과제입니다. 기존 방법들은 다음과 같은 한계를 가지고 있었습니다:

• 유연성 및 부드러움 부족: 기존 생성 모델 (GAN 등) 은 시퀀스 간의 운동 (Inter-frame motion) 을 매끄럽게 시뮬레이션하는 데 어려움을 겪었으며, 특히 프레임 레이트가 다른 입력에 대한 인식이 부족했습니다.
• 고정된 길이 제한: 많은 기존 방법들이 고정된 길이의 시퀀스만 생성할 수 있어, 게임 개발이나 VR 등 다양한 길이가 필요한 실제 시나리오 적용에 제약이 있었습니다.
• 정체성 (Identity) 과 디테일 손실: 생성된 시퀀스가 다양한 얼굴 정체성 (Identity) 에 대해 강건하지 못하거나, 표정의 미세한 디테일이 누락되는 문제가 있었습니다.
• 메시 재구성 한계: 랜드마크 (Landmark) 시퀀스를 3D 메시로 변환할 때, 중립 메시의 정체성 정보를 충분히 활용하지 못해 다양한 얼굴 구조에서의 일반화 성능이 낮았습니다.

2. 제안 방법론 (Methodology)

저자들은 FC-4DFS라는 새로운 프레임워크를 제안하며, 이는 크게 두 가지 핵심 모듈로 구성됩니다.

가. 주파수 제어 LSTM (Frequency-Controlled LSTM, FC-LSTM)

• 목적: 주어진 중립 랜드마크 (Neutral Landmark) 와 표정 레이블을 입력받아, 임의의 길이와 프레임 레이트를 가진 4D 얼굴 랜드마크 시퀀스를 프레임 단위로 생성합니다.
• 주파수 통합 (Frequency Integration): 기존 LSTM 구조에 주파수 정보 ($freq_t$) 를 통합하여, 현재 프레임의 망각 게이트 (Forget Gate) 와 입력 게이트 (Input Gate) 를 제어합니다. 이를 통해 시퀀스의 시간적 간격과 프레임 레이트를 인식하고 조절할 수 있습니다.
• 위치 인코딩 (Positional Encoding): 상대적 위치 인코딩 (Relative Positional Encoding) 을 사용하여 현재 프레임이 전체 시퀀스에서 어디에 위치하는지, 그리고 이전 프레임과의 시간적 변화를 인식하도록 합니다. 이는 가변 길이의 시퀀스 생성을 가능하게 합니다.
• 손실 함수: 시퀀스의 부드러움과 상대적 변위 정확도를 높이기 위해 **시간적 일관성 손실 (Temporal Coherence Loss)**을 도입하여 인접 프레임 간의 움직임을 매끄럽게 합니다.

나. 다단계 정체성 인식 변위 네트워크 (Multi-level Identity-Aware Displacement Network, MIADNet)

• 목적: 생성된 랜드마크 시퀀스를 3D 메시 시퀀스로 재구성합니다.
• 구조:
  1. Landmark Decomposition Embedding: 생성된 랜드마크 시퀀스를 중립 랜드마크 ($lm_0$) 와 랜드마크 변위 시퀀스 ($\Delta lm_t$) 로 분해합니다. 중립 랜드마크는 정체성 정보를, 변위는 표정 변화를 나타냅니다.
  2. Identity Extractor: 중립 메시 ($M_0$) 를 입력받아 나선형 합성곱 (Spiral Convolution) 을 통해 다중 해상도의 정체성 특징을 추출합니다.
  3. Identity-aware Mesh Generator: 교차 주의 (Cross-Attention) 메커니즘을 사용하여 생성된 표정 메시와 참조 중립 메시 간의 문맥 의존성을 모델링합니다. 이를 통해 중립 메시의 정체성 정보를 참조하여 디테일하고 일관된 표정 메시를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 유연한 가변 길이 생성 프레임워크: FC-LSTM 과 시간적 손실 (Temporal Loss) 을 도입하여, 표정 레이블과 중립 랜드마크만으로 임의의 길이를 가진 매끄러운 4D 표정 시퀀스를 프레임 단위로 생성하는 시스템을 구축했습니다.
2. 강건한 정체성 인식 디코더 (MIADNet): 교차 주의 메커니즘과 중립 메시/랜드마크의 다단계 정체성 정보를 활용하여, 다양한 얼굴 정체성에 대한 재구성 강건성과 디테일한 표정 생성 능력을 크게 향상시켰습니다.
3. SOTA 성능 달성: CoMA 및 Florence4D 데이터셋에서 기존 방법 (Motion3D, LM-4DGAN 등) 대비 랜드마크 및 메시 재구성 오차를 줄이고, 표정 분류 정확도를 높여 최첨단 (SOTA) 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: CoMA (12 명, 12 표정) 와 Florence4D (95 명, 70 표정) 데이터셋을 사용했습니다.
• 정량적 평가:
  • 재구성 오차: 랜드마크 ($E_{lm}$) 및 메시 ($E_{mesh}$) 재구성 오차에서 기존 방법 (Motion3D, LM-4DGAN) 대비 유의미한 개선을 보였습니다. (예: CoMA 에서 메시 오차는 Motion3D 대비 21.8% 개선).
  • 분류 정확도 (CA): 생성된 시퀀스의 표정 레이블 일치도가 기존 방법보다 높게 나타났습니다.
• 정성적 평가:
  • 부드러움: FC-LSTM 을 사용한 방법은 프레임 간 움직임이 매끄럽고, 입술과 근육의 디테일이 자연스러웠습니다.
  • 정체성 유지: MIADNet 을 적용한 결과는 S2D 디코더를 사용한 결과보다 다양한 얼굴 정체성에서 더 일관된 디테일을 보여주었습니다.
• Ablation Study:
  • 주파수 제어 (Frequency Control) 와 시간적 손실 (Temporal Loss) 이 없으면 생성된 시퀀스의 길이가 고정되거나 움직임이 뚝뚝 끊기는 문제가 발생함을 확인했습니다.
  • MIADNet 의 두 모듈 (Landmark Decomposition, Identity-aware Generator) 을 모두 적용했을 때 재구성 오차가 가장 크게 감소함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 4D 얼굴 표정 생성 분야에서 **유연성 (Flexibility)**과 부드러움 (Smoothness), 그리고 **정체성 강건성 (Identity Robustness)**을 동시에 해결하는 새로운 패러다임을 제시했습니다.

• 실용성: 고정된 길이의 시퀀스 생성 한계를 극복하여, 게임, VR, 인터랙티브 애니메이션 등 다양한 길이가 필요한 실제 응용 분야에 직접 적용 가능한 가능성을 열었습니다.
• 기술적 발전: 단순히 랜드마크를 메시로 변환하는 것을 넘어, 중립 메시의 정체성 정보를 교차 주의 메커니즘을 통해 효과적으로 활용함으로써 3D 얼굴 모델링의 정확도를 높였습니다.
• 향후 과제: 현재는 랜드마크 생성 후 메시로 확장하는 2 단계 방식이지만, 향후 4D 표정 시퀀스의 엔드 - 투 - 엔드 (End-to-End) 생성 연구로 확장할 계획임을 밝혔습니다.

요약하자면, FC-4DFS 는 주파수 제어 LSTM 과 다단계 정체성 인식 네트워크를 결합하여, 다양한 길이의 정체성 일관적이고 매끄러운 4D 얼굴 표정 시퀀스를 생성하는 현재까지의 최고 성능 (SOTA) 을 달성한 연구입니다.