ExpGest: Expressive Speaker Generation Using Diffusion Model and Hybrid Audio-Text Guidance

이 논문은 오디오와 텍스트 정보를 동기화하여 감정과 전신 움직임을 자연스럽게 생성하는 새로운 확산 기반 프레임워크인 ExpGest 를 제안하며, 기존 방법들의 한계를 극복하고 더 표현력 있고 제어 가능한 화자 제스처를 구현함을 보여줍니다.

핵심

🎭 ExpGest: 말투와 몸짓을 완벽하게 조화시키는 '디지털 배우' 만들기

이 논문은 ExpGest라는 새로운 기술을 소개합니다. 쉽게 말해, **"말하는 사람의 목소리와 내용, 그리고 감정을 모두 이해해서 자연스러운 몸짓 (제스처) 을 만들어내는 인공지능"**입니다.

기존의 기술들은 주로 상체 움직임만 만들거나, 목소리 톤만 보고 팔을 흔들어서 기계적이고 딱딱한 느낌이었습니다. 하지만 ExpGest 는 이를 넘어 **전신 (발걸음, 손가락, 표정 등)**을 자연스럽게 움직이게 합니다.

이 기술을 이해하기 위해 몇 가지 재미있는 비유를 들어보겠습니다.

---

1. 🎻 악기와 지휘자의 관계 (오디오와 텍스트의 분리)

기존 기술들은 연주가 (목소리) 가 어떤 소리를 내는지만 보고 지휘자 (AI) 가 팔을 휘둘렀습니다. 하지만 ExpGest는 훨씬 더 똑똑합니다.

• 손가락 (지문): "하나, 둘, 셋"이라고 차분히 셀 때는 손가락만 살짝 움직입니다. (의미에 집중)
• 팔 (전신): "화나요!"라고 소리를 지르면 팔이 크게 휘둘러집니다. (톤과 감정에 집중)

ExpGest 는 손가락과 팔을 따로 생각합니다. 목소리의 '리듬'과 '말의 의미'를 구분해서, 상황에 맞는 가장 자연스러운 움직임을 찾아냅니다. 마치 악보의 가사 (의미) 와 멜로디 (리듬) 를 동시에 보고 가장 완벽한 연주를 해내는 지휘자 같은 역할입니다.

2. 🎨 그림을 그리는 '노이즈'와 '감정 화가'

이 기술의 가장 큰 특징은 **확산 모델 (Diffusion Model)**을 사용한다는 점입니다.

• 비유: 처음엔 화면이 눈이 시릴 정도로 하얀 눈 (노이즈) 으로 가득 차 있습니다. AI 는 이 하얀 눈에서 점점 선명한 그림을 그려냅니다.
• 감정 화가: 여기서 새로운 아이디어가 등장합니다. AI 가 그림을 그리는 도중, **"이 그림은 화난 표정으로 그려줘!"**라고 지시하면, AI 는 그 지시를 받기 위해 노이즈 (화려한 눈) 를 살짝 수정합니다.
  • 기존 방식은 "화난 표정"이라는 스티커를 붙이는 방식이라 어색했지만, ExpGest 는 그림 그리는 과정 자체를 감정 방향으로 수정합니다. 그래서 화난 표정이 자연스럽게 얼굴에 배어나옵니다.

3. 🧩 퍼즐 맞추기 (의미와 움직임의 연결)

기존 기술들은 "사랑해"라는 말과 "팔을 흔드는 동작"을 연결하는 데 어려움을 겪었습니다. 의미와 움직임이 서로 다른 언어를 쓰는 것처럼 보였기 때문입니다.

• ExpGest 의 해결책: AI 는 말의 의미 (텍스트) 와 몸짓 (동작) 을 **같은 언어 (잠재 공간)**로 번역합니다.
  • 마치 "사랑해"라는 말과 "팔을 흔드는 동작"을 같은 퍼즐 조각으로 인식하게 만들어, 두 가지가 완벽하게 맞물리도록 합니다. 그래서 대본을 보고도 자연스러운 움직임을 만들어냅니다.

---

🌟 이 기술이 가져온 변화 (실제 효과)

1. 전신 움직임: 이제 AI 가 앉았다가 일어서고, 한 바퀴 돌고, 다리를 끌며 걷는 등 발걸음까지 포함한 전신 연기를 합니다.
2. 자연스러운 감정: 화가 나면 손가락을 찌르거나, 기쁘면 몸을 흔드는 등 감정에 맞는 미세한 몸짓까지 표현합니다.
3. 혼합 제어: "목소리만 듣고" 만들 수도 있고, "대본과 목소리를 같이 보고" 만들 수도 있습니다. 예를 들어, "화난 목소리로 걸어가면서 말해"라고 지시하면, AI 는 화난 표정으로 걸으며 말을 합니다.

🏁 결론: 왜 이것이 중요할까요?

이 기술은 가상 인간 (버추얼 인플루언서), 영화 속 CGI 배우, 게임 캐릭터 등을 더 생동감 있게 만들어줍니다. 앞으로는 우리가 대화하는 AI 가 단순히 말만 하는 것이 아니라, 우리의 감정을 읽고 자연스러운 몸짓으로 반응하는 진짜 같은 친구가 될 수 있는 기반이 됩니다.

한 줄 요약:

"ExpGest 는 목소리의 리듬, 말의 의미, 그리고 감정을 모두 읽어서, 마치 살아있는 사람처럼 자연스럽고 표현력 풍부한 몸짓을 만들어내는 **'초지능 몸짓 화가'**입니다."

기술 요약

1. 문제 정의 (Problem Statement)

기존의 제스처 생성 (Gesture Generation) 연구들은 주로 오디오의 멜로디 (음성 피치, 리듬 등) 에 기반하여 상체 (Upper-body) 동작만을 생성하는 데 집중해 왔습니다. 이로 인해 다음과 같은 한계점이 존재합니다.

• 내용 및 감정 무시: 화자의 말의 의미 (텍스트/세맨틱) 나 감정 상태, 그리고 이동 (Locomotion) 이 고려되지 않아 동작이 경직되고 기계적으로 보임.
• 단일 모달리티의 한계: 오디오만 입력되거나 텍스트만 입력되는 경우, 두 가지 정보를 통합하여 자연스러운 전신 (Full-body) 동작을 생성하는 연구가 부족함.
• 데이터 불일치: 오디오 기반 제스처 데이터와 텍스트 기반 모션 데이터 간의 표현 방식과 데이터셋의 불일치로 인해 통합 생성이 어려움.

2. 제안 방법론 (Methodology)

저자들은 ExpGest라는 새로운 프레임워크를 제안하며, 이는 확산 모델 (Diffusion Model) 을 기반으로 텍스트와 오디오 정보를 동기화하여 표현력 있는 전신 제스처를 생성합니다.

A. 통합 데이터 표현 (Unified Data Representation)

• 다양한 데이터셋 (BEAT, AMASS, 100-STYLE 등) 의 이질적인 데이터를 통합하기 위해 SMPL-X 의 55 개 관절에 대한 Euler 각도를 rot6D 표현으로 변환하고, 3D 위치를 정렬 (Alignment) 하여 통일된 포맷 (994 차원 특징 벡터) 으로 재구성했습니다.
• 텍스트 - 오디오 - 모션 매칭 데이터가 부족하므로, 하체 (이동) 와 상체 (제스처) 데이터를 인위적으로 결합하여 2 만 개의 합성 데이터를 생성하고 이를 훈련 데이터에 혼합 (6:4 비율) 했습니다.

B. 확산 모델 기반 모션 생성 (Diffusion Model for Motion)

• GDM (Gesture Diffusion Model): 순수 가우시안 노이즈에서 시작하여 역확산 (Reverse Denoising) 과정을 통해 오디오와 텍스트 조건에 맞는 제스처를 생성합니다.
• 조건부 입력: 노이즈 단계, 시드 포즈, 텍스트 설명, 오디오 정보 (WavLM 인코딩), 그리고 시맨틱 잠재 코드를 조건으로 활용합니다.
• 손과 팔의 분리 (Decoupling): 오디오의 '멜로디'와 '의미 (Semantics)'가 손가락과 팔에 미치는 영향이 다르다는 관찰 (예: 차분한 숫자 세기 시 손가락은 움직이지만 팔은 정지, 톤 변화 시 팔 움직임 증가) 을 반영하여 손과 팔의 제스처를 분리하고 각각에 다른 가중치를 두어 생성합니다.

C. 잠재 공간의 시맨틱 정렬 (Semantic Alignment in Latent Space)

• 오디오 텍스트와 제스처 간의 다대다 (Many-to-many) 매핑 문제를 해결하기 위해 **대조 학습 (Contrastive Learning)**을 도입했습니다.
• 텍스트 인코더 (BERT) 와 제스처 인코더 (Motion-VAE) 를 공유 잠재 공간에 정렬하여, 텍스트의 의미와 제스처가 잠재 공간에서 높은 유사도를 갖도록 학습합니다. 이를 통해 생성된 제스처가 화자의 말内容与 일치하도록 유도합니다.

D. 노이즈 기반 감정 가이드 분류기 (Noise-based Emotion Guided Classifier)

• 기존 방법 (One-hot 인코딩 등) 의 한계를 극복하기 위해, 확산 과정의 역방향 단계에서 감정 분류기를 활용합니다.
• 특정 감정 방향으로 노이즈를 최적화하기 위해 **기울기 역전파 (Gradient Backpropagation)**를 사용하여 노이즈를 조정합니다. 이 과정은 확산 계산 그래프에서 분리되어 있어 원래의 의미 정보나 멜로디를 손상하지 않으면서도 감정의 다양성을 부여합니다.

3. 주요 기여 (Key Contributions)

1. 혼합 제어 생성 프레임워크: 오디오 기반 제스처와 텍스트 기반 모션을 통합하여 제어할 수 있는 최초의 전신 화자 생성 프레임워크 (ExpGest) 제안.
2. 해부학적 분리 및 정렬: 손과 팔을 분리하여 각각 의미와 멜로디에 대한 민감도를 다르게 부여하고, 잠재 공간에서 시맨틱 정렬 모듈을 도입하여 오디오 내용과 일치하는 제스처 생성.
3. 감정 제어 메커니즘: 역확산 과정에 노이즈 감정 분류기를 도입하여 기울기 최적화를 통해 자연스럽고 연속적인 감정 전환을 가능하게 함.
4. 성능 입증: 기존 최첨단 모델 (SOTA) 대비 자연스러움, 풍부함, 제어 가능성 측면에서 우수한 성능을 입증.

4. 실험 결과 (Results)

• 정량적 평가 (BEAT 데이터셋):
  • FGD (Fréchet Gesture Distance): 생성된 제스처의 품질을 평가하는 지표로, ExpGest 는 기존 모델들 (DiffStyleGesture, Trimodal 등) 보다 훨씬 낮은 (더 좋은) 점수를 기록했습니다 (Raw 기준 11.7).
  • SA (Semantic Alignment): 텍스트와 제스처의 의미 일치도를 평가하는 지표에서 기존 모델 대비 크게 향상됨 (0.61).
  • EA/EC (Emotion Alignment/Control): 감정 일치도 및 제어 성공률에서 기존 방법보다 월등히 높은 성능을 보였습니다 (EA 0.91, EC 0.83).
• 정성적 평가 및 사용자 연구:
  • 120 명의 참가자를 대상으로 한 사용자 연구에서 '인간 유사성', '제스처 적절성', '감정 호환성', '전체적 일관성' 모든 항목에서 기존 방법과 Ground Truth 를 능가하는 높은 점수를 받았습니다.
  • 오디오만 입력된 경우에도 풍부한 제스처를 생성하며, 텍스트와 오디오를 혼합 입력하면 걷기, 앉기, 일어나기 등의 이동 동작과 제스처가 자연스럽게 결합된 결과를 보여줍니다.

5. 의의 및 결론 (Significance)

ExpGest 는 가상 에이전트, 영화 제작, 인간 - 컴퓨터 상호작용 (HCI) 분야에서 **자연스럽고 통제 가능한 전신 화자 (Talking Avatar)**를 생성하는 데 중요한 진전을 이룩했습니다. 특히, 오디오의 멜로디와 텍스트의 의미를 동시에 고려하고, 감정을 정교하게 제어할 수 있는 능력을 통해 기존 연구들이 가진 '경직된 동작'과 '단일 모달리티 의존'이라는 한계를 극복했습니다. 향후 더 다양한 모션 캡처 데이터를 활용하여 더욱 사실적인 연속 자연 데이터를 생성하는 방향으로 연구가 확장될 것으로 기대됩니다.