MIBURI: Towards Expressive Interactive Gesture Synthesis

이 논문은 실시간 대화에 맞춰 자연스럽고 표현력 있는 전신 제스처와 얼굴 표정을 생성하는 최초의 온라인 인과적 프레임워크인 MIBURI 를 제안하며, 이를 통해 기존 에이전트의 경직된 동작 문제를 해결하고 인간과 유사한 상호작용을 가능하게 합니다.

핵심

🎭 1. 문제: 왜 지금의 AI 아바타는 어색할까?

지금까지의 AI 비서나 디지털 캐릭터들은 두 가지 큰 문제를 가지고 있었습니다.

• 로봇 같은 움직임: "말할 때 손은 어떻게 움직일까?"라고 미리 정해진 규칙대로만 움직여서, 마치 로봇이 춤을 추는 것처럼 어색하고 반복적이었습니다.
• 예측 불가능성 (시간 여행의 딜레마): 더 자연스러운 움직임을 만들려면 AI 가 "앞으로 5 초 뒤에 내가 무슨 말을 할지" 미리 알아야 합니다. 하지만 실시간 대화에서는 미래의 말을 알 수 없죠. 그래서 기존 기술들은 대화 중에는 멈춰 있거나, 말을 다 한 뒤에야 움직임을 만들어내는 등 '대화 흐름'을 끊었습니다.

비유: 마치 연극 배우가 대본을 다 외워서 무대 위에서 즉흥적으로 연기하는 게 아니라, 대본의 마지막 장을 미리 훑어보고 대사를 외운 뒤에만 제스처를 취하는 것과 같습니다. 대화 중에는 멈춰 서서 "다음 대사가 뭐지?"라고 기다리는 꼴이죠.

---

🚀 2. 해결책: MIBURI(미부리) 의 등장

MIBURI 는 이 문제를 해결하기 위해 세 가지 핵심 아이디어를 도입했습니다.

① "미래를 보지 않고, 지금 순간에 반응한다" (인과적 실시간 처리)

MIBURI 는 미래의 말을 알지 못해도 됩니다. 지금 내가 말하고 있는 순간의 말과 톤만 보고, 그 즉시 손짓과 표정을 만들어냅니다.

• 비유: 마치 재즈 뮤지션처럼, 상대방이 연주하는 리듬을 듣고 즉흥적으로 자신의 악기를 맞춰 연주하는 것과 같습니다. 미리 악보를 다 볼 필요 없이, '지금'의 음악에 맞춰 즉흥적으로 춤을 춥니다.

② "말의 숨결을 직접 읽는다" (내부 토큰 활용)

기존 방식은 "말을 텍스트로 변환 → 다시 음성으로 변환 → 제스처 생성"이라는 복잡한 과정을 거쳤습니다. MIBURI 는 말을 만들어내는 AI(모시, Moshi) 의 '생각 과정' 그 자체를 직접 읽어서 제스처를 만듭니다.

• 비유: 다른 사람이 글을 읽은 뒤 그 내용을 요약해서 전달하는 대신, 그 사람이 생각할 때 머릿속에서 떠오르는 이미지와 감정을 직접 공유받는 것과 같습니다. 그래서 훨씬 더 빠르고 정확한 반응이 가능합니다.

③ "신체 부위별 맞춤 코디네이터" (부위별 인코딩)

손, 얼굴, 몸통은 각각 다른 속도와 방식으로 움직입니다. MIBURI 는 이들을 따로따로 관리합니다.

• 비유: 한 명의 지휘자가 모든 악기를 통제하는 게 아니라, 얼굴 담당, 손 담당, 다리 담당으로 나뉜 작은 팀장들이 각각의 역할을 맡아 조화롭게 움직이게 합니다. 그래서 손가락 하나하나의 미세한 움직임까지 자연스럽습니다.

---

🎨 3. 어떻게 더 자연스러워졌을까? (학습의 비밀)

단순히 움직이기만 하면 기계적입니다. MIBURI 는 두 가지 추가적인 '스승'을 두어 더 인간답게 만들었습니다.

1. 다양성 훈련 (Contrastive Loss): 같은 말이라도 사람마다 제스처가 다르죠. MIBURI 는 "너무 똑같은 동작을 반복하지 마!"라고 학습시킵니다. 같은 "안녕하세요"라도 기분에 따라 다른 제스처를 만들 수 있게 합니다.
2. 듣기 vs 말하기 구분 (Voice Activation Loss): 사람이 말을 할 때는 활발히 움직이지만, 듣는 때는 조용히 고개를 끄덕입니다. MIBURI 는 말할 때와 들을 때의 상태를 명확히 구분해서, 듣는 동안은 불필요한 제스처를 하지 않도록 훈련합니다.

---

🏆 4. 결과: 무엇이 달라졌나요?

• 속도: 대화와 제스처 생성이 **동시 (Full-duplex)**에 일어납니다. 0.08 초마다 새로운 제스처를 만들어내서, 사용자가 느끼는 지연 시간은 거의 없습니다.
• 자연스러움: 실험 결과, 기존 기술들보다 훨씬 더 자연스럽고 상황에 맞는 제스처를 만들어냈습니다.
• 적용: 이 기술은 실시간 채팅, 가상 회의, 게임 캐릭터 등 실시간으로 사람과 소통하는 모든 디지털 캐릭터에 적용될 수 있습니다.

💡 요약

MIBURI는 "미래를 미리 알지 못해도, 지금 이 순간의 말과 감정을 읽어서 사람처럼 자연스럽게 손짓하고 표정 짓는 AI"를 만드는 기술입니다.

이전까지의 AI 가 대본을 외운 로봇이었다면, MIBURI 를 적용한 AI 는 즉흥 연극을 잘하는 배우가 되어, 우리와 더 따뜻하고 생동감 있는 대화를 나누게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

현재의 대규모 언어 모델 (LLM) 기반 대화형 에이전트는 언어적 이해 능력은 뛰어나지만, 인간과 자연스러운 상호작용을 위해 필수적인 **신체적 표현성 (Embodiment)**이 부족합니다. 기존 연구들은 다음과 같은 한계를 가지고 있습니다:

• 기존 규칙 기반/데이터 기반 방법: 동작이 경직되고 다양성이 부족하여 인간다운 상호작용에 부적합합니다.
• 기존 생성형 방법 (Diffusion, Masked Modeling 등): 자연스러운 제스처를 생성하지만, **미래의 음성 컨텍스트 (Future Context)**에 의존하거나 긴 실행 시간이 필요하여 실시간 (Real-time) 및 인과적 (Causal) 처리가 불가능합니다.
• 실시간 대화의 필요성: Cassell 등 [7]이 제시한 이상적인 대화 에이전트는 실시간으로 말과 동시에 표현력 있는 제스처를 생성해야 하지만, 기존 생성형 모델들은 지연 시간 (Latency) 문제로 이를 충족하지 못했습니다.

2. 방법론 (Methodology)

저자들은 MIBURI라는 새로운 온라인, 인과적 (Causal) 프레임워크를 제안합니다. 이는 실시간 대화와 동기화된 전신 제스처 및 표정을 생성하는 것을 목표로 합니다.

2.1. 핵심 아키텍처 및 데이터 흐름

• 기반 모델 (Moshi 활용): 기존 파이프라인처럼 텍스트를 음성으로 변환한 후 제스처를 생성하는 방식 대신, Moshi [12]라는 음성 - 텍스트 기반 모델의 **내부 토큰 스트림 (Internal Token Stream)**을 직접 활용합니다. 이를 통해 음성 및 텍스트의 의미적/음향적 컨텍스트를 지연 없이 제스처 생성에 주입합니다.
• 신체 부위 인지형 제스처 코덱 (Body-part aware Gesture Codecs):
  • 동작을 **얼굴 (Face), 상체 (Upper body), 하체 (Lower body)**로 분리하여 처리합니다.
  • 각 부위별로 Residual VQ-VAE를 사용하여 동작을 다중 레벨의 이산 토큰 (Discrete Tokens) 으로 인코딩합니다. 이는 미세한 운동학적 세부 사항 (Kinematic details) 을 보존하면서도 지연 시간을 낮추기 위해 짧은 시간 창 (2 프레임) 을 사용합니다.
• 2 차원 인과적 생성기 (2D Causal Generator):
  • 토큰 생성을 시간적 (Temporal) 차원과 운동학적 (Kinematic) 차원으로 분리하여 두 개의 트랜스포머로 처리합니다.
    1. Temporal Transformer: 과거 토큰을 기반으로 다음 시간 단계의 첫 번째 레벨 토큰을 예측 (시간적 역학 모델링).
    2. Kinematic Transformer: 예측된 시간적 컨텍스트와 과거의 운동학적 레벨을 기반으로 해당 시간 단계의 나머지 세부 토큰들을 예측 (부위별 세부 동작 모델링).
  • 이 구조는 단일 트랜스포머로 모든 차원을 처리할 때 발생하는 컨텍스트 윈도우 확장 문제를 해결하고 효율성을 높입니다.

2.2. 표현성 향상 기법 (Improving Expressiveness)

단순한 자기회귀 (Autoregressive) 생성은 평균적인 자세로 수렴하거나 (Mode Collapse) 정적인 동작을 생성할 수 있습니다. 이를 방지하기 위해 다음과 같은 보조 목적 함수 (Auxiliary Objectives) 를 도입했습니다:

• Contrastive InfoNCE Loss: 생성된 잠재 벡터 (Latent) 와 정답 (Ground Truth) 간의 유사성을 최대화하고, 배치 내 다른 샘플들과는 구별되도록 하여 제스처의 다양성과 표현력을 높입니다. (Gumbel-Softmax 를 사용하여 미분 가능하게 구현).
• Voice Activation Loss: 화자 (Speaking) 와 청자 (Listening) 상태를 이진 분류하도록 학습시켜, 듣는 동안에는 불필요한 제스처 (Phantom gestures) 가 나오지 않도록 하고, 말하는 동안에는 음성과 일치하는 표현적인 제스처를 생성하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임: LLM 기반 음성 - 텍스트 모델의 내부 토큰 스트림을 직접 활용하여 실시간, 인과적 제스처 합성을 수행하는 최초의 프레임워크를 제안했습니다.
2. 고효율 아키텍처: 시간적 및 운동학적 차원을 분리한 2 차원 트랜스포머와 신체 부위별 코덱을 설계하여, 표현성을 해치지 않으면서도 낮은 지연 시간을 달성했습니다.
3. 종합적 분석: 다양한 설계 선택 (음성 인코딩 방식, 아키텍처, 손실 함수 등) 에 대한 심층 분석을 통해 MIBURI 가 기존 최첨단 (SOTA) 방법들보다 우월함을 입증했습니다.

4. 실험 결과 (Results)

• 지각 평가 (Perceptual Evaluation): 사용자 연구에서 MIBURI 는 EMAGE, GestureLSM 등 기존 비인과적 (Non-causal) 베이스라인보다 **자연스러움 (Naturalness)**과 적절성 (Appropriateness) 측면에서 통계적으로 유의미하게 높은 선호도를 보였습니다.
• 정량적 평가 (Quantitative Evaluation):
  • 다중 화자 설정 (Multi-speaker): 23 명의 화자로 평가 시, FGD (Frechet Gesture Distance) 와 BeatAlign 점수에서 SOTA 를 기록했습니다. 특히 시드 시퀀스 (Seed sequence) 나 미래 컨텍스트 없이도 다양한 화자에 대해 잘 일반화되었습니다.
  • 단일 화자 설정: 비인과적 방법들과 유사한 성능을 보였으며, 기존 방법들을 인과적으로 변형한 것보다 훨씬 우수한 성능을 보였습니다.
• 지연 시간 (Latency): RTX 3090 기준 프레임당 36ms의 지연 시간을 달성하여 실시간 대화에 적합함을 입증했습니다. 이는 비인과적 확산 (Diffusion) 기반 방법들이 모든 컨텍스트를 생성할 때까지 기다려야 하는 것과 대조적입니다.

5. 의의 및 결론 (Significance & Conclusion)

MIBURI 는 **실시간 대화 에이전트 (ECAs)**의 발전에 중요한 이정표가 됩니다.

• 실시간 상호작용의 실현: 미래의 음성 정보를 필요로 하지 않는 완전한 인과적 (Causal) 구조를 통해, 인간과 자연스러운 대화 흐름을 유지하면서도 즉각적인 제스처 반응을 가능하게 합니다.
• 표현력의 극대화: 단순한 규칙 기반을 넘어, LLM 의 깊은 의미 이해와 결합된 표현력 있는 전신 제스처를 생성합니다.
• 미래 방향: 현재는 에이전트의 동작만 모델링하지만, 향후 상대방의 제스처를 인지하고 상호작용하는 양방향 (Dyadic) 시스템으로 확장할 수 있는 기반을 마련했습니다.

요약하자면, MIBURI 는 지연 시간, 인과성, 표현력이라는 세 가지 상충되는 요구사항을 동시에 충족시켜, 진정한 의미의 '몸을 가진' 대화형 인공지능을 구현하는 데 한 걸음 더 다가선 기술입니다.