Towards Seamless Interaction: Causal Turn-Level Modeling of Interactive 3D Conversational Head Dynamics

이 논문은 대화의 턴 간 인과적 상호작용을 모델링하여 기존 방법의 한계를 극복하고 3D 대화형 헤드 동역학을 더 자연스럽고 일관성 있게 생성하는 새로운 프레임워크인 TIMAR 을 제안합니다.

핵심

🎭 1. 기존 기술의 문제점: "외계인 같은 대화"

기존의 3D 대화 기술은 크게 두 가지 방식으로 나뉘었습니다.

1. 말하기 전용 (Talking-Head): 사용자가 말하면 아바타가 입만 딱딱 움직입니다. 하지만 상대방이 말을 할 때는 아바타가 멍하니 있거나, 기계적으로만 반응합니다.
2. 듣기 전용 (Listening-Head): 상대방이 말하면 아바타가 고개를 끄덕입니다. 하지만 정작 아바타가 말을 할 때는 그 반응이 끊겨버립니다.

비유하자면:

마치 한쪽 귀를 막고 대화하는 것과 같습니다.

• 내가 말할 때는 상대방이 내 말을 전혀 듣지 않는 것처럼 멍해 있고,
• 상대방이 말할 때만 갑자기 "아, 네!" 하고 고개를 끄덕이다가, 내가 다시 말하면 다시 멍해집니다.

이렇게 대화의 흐름이 끊기면, 아바타는 마치 정신 나간 로봇처럼 느껴져서 자연스럽지 않습니다.

---

🌊 2. TIMAR 의 핵심 아이디어: "물결처럼 이어지는 대화"

TIMAR 은 이 문제를 해결하기 위해 **"대화란 한 번에 끝나는 게 아니라, 서로 주고받는 물결 (Turn) 이다"**라고 생각했습니다.

• 전통적인 방식: 대화 전체를 한 번에 다 보고 (비 causal), 나중에 결과를 만들어냅니다. (예: 영화 촬영 후 편집)
• TIMAR 의 방식: 실시간으로 대화의 한 구절 (Turn) 이 끝날 때마다, 그 순간까지의 모든 맥락을 기억하고 다음 반응을 만들어냅니다.

창의적인 비유: "재즈 듀엣"

TIMAR 은 재즈 뮤지션과 같습니다.

• 상대방이 리듬을 타면 (말하면), TIMAR 은 그 리듬을 듣고 즉석에서 즉흥 연주를 합니다 (고개 끄덕임, 표정).
• 그리고 내가 리듬을 타면, 상대방이 내 연주를 듣고 다시 즉흥적으로 반응합니다.
• 이 과정이 끊임없이 이어지며, 과거의 리듬이 현재의 연주를 만들어냅니다.

TIMAR 은 이 **실시간 주고받는 리듬 (Turn-level Causal Modeling)**을 완벽하게 이해하고 따라가는 기술입니다.

---

🧩 3. TIMAR 이 어떻게 작동할까? (세 가지 비밀 무기)

TIMAR 은 세 가지 핵심 기술을 섞어서 작동합니다.

① "교차된 레이어" (Interleaved Multimodal Fusion)

• 비유: 양파 껍질 벗기기가 아니라, 스테이크와 소스를 섞는 것.
• 기존 기술은 "사용자 말"과 "아바타 표정"을 따로따로 처리했습니다. 하지만 TIMAR 은 사용자의 말, 아바타의 말, 사용자의 표정, 아바타의 표정을 한 번에 섞어서 (Interleaved) 처리합니다.
• 마치 요리할 때 재료를 따로 볶지 않고, 한 냄비에 섞어서 풍미를 극대화하는 것처럼, 상호작용의 맥락을 한 번에 파악합니다.

② "과거만 보는 안경" (Causal Attention)

• 비유: 미래를 보는 수정구슬은 없어요.
• 대화 중에는 아직 오지 않은 미래의 말을 알 수 없습니다. TIMAR 은 과거의 대화 내용만 보고 미래를 예측합니다.
• "이 사람이 지금 화난 걸까?"라고 판단할 때, 10 초 뒤의 말을 미리 보고 판단하는 게 아니라, 지금까지의 대화 흐름을 바탕으로 자연스럽게 반응합니다. 그래서 실시간 대화 (스트리밍) 가 가능합니다.

③ "확률적인 예술가" (Lightweight Diffusion Head)

• 비유: 정해진 춤 동작이 아니라, 즉흥 춤.
• 기계는 보통 "A 가 오면 B 를 한다"고 정해져 있습니다. 하지만 사람은 상황에 따라 같은 말에도 다양한 표정을 짓습니다. (예: "네"라고 할 때도 웃을 수도, 진지할 수도 있음)
• TIMAR 은 **확률 (Diffusion)**을 사용합니다. 마치 화가가 캔버스에 물감을 뿌리며 가장 자연스러운 표정을 찾아내는 것처럼, 매번 조금씩 다른, 하지만 자연스러운 표정을 만들어냅니다.

---

🏆 4. 결과는 어떨까?

실험 결과, TIMAR 은 기존 최고 기술 (DualTalk) 보다 15~30% 더 자연스러웠습니다.

• 사용자 평가: 사람들이 보기에 TIMAR 아바타가 훨씬 생동감 있고, 대화에 몰입감이 있었습니다.
• 강건성 (Robustness): 만약 상대방의 목소리가 끊기거나, 카메라가 흔들리는 등 오류가 발생해도 TIMAR 은 맥락을 기억하고 자연스럽게 이어갑니다. (기존 기술은 오류가 나면 아바타가 멍해지거나 엉뚱한 행동을 했습니다.)

---

💡 요약: 왜 TIMAR 이 중요한가요?

TIMAR 은 **"로봇이 사람처럼 대화하는 법"**을 배운 것입니다.

단순히 "말을 들으면 반응한다"는 수준을 넘어, 대화의 흐름 (Turn) 을 이해하고, 과거를 기억하며, 실시간으로 즉흥적으로 반응합니다. 앞으로 이 기술이 적용되면, 가상 비서나 로봇과 대화할 때 **"이건 로봇이네"**라는 생각이 들지 않고, 진짜 사람과 대화하는 것처럼 자연스럽고 따뜻한 소통이 가능해질 것입니다.

한 줄 요약:

"TIMAR 은 로봇이 대화의 리듬을 타고, 과거를 기억하며, 사람처럼 즉흥적으로 반응하게 만드는 '재즈 뮤지션' 같은 기술입니다."

기술 요약

1. 문제 정의 (Problem Statement)

기존의 3D 대화형 헤드 (Conversational Head) 생성 연구는 주로 말하기 (Talking) 와 듣기 (Listening) 를 별도의 독립적인 과정으로 취급하거나, 전체 대화 시퀀스를 비 causal(비인과적) 방식으로 모델링하는 경향이 있었습니다.

• 한계점:
  • 비연속성: 말하기 모델은 사용자 피드백 없이 생성되고, 듣기 모델은 화자 행동과 인과적 연결 없이 반응하여 생성됩니다.
  • 비실시간성: 전체 시퀀스를 한 번에 처리하는 방식 (예: DualTalk) 은 오프라인 합성에는 적합하지만, 실시간 스트리밍 환경이나 인과적 (causal) 인 대화 흐름을 반영하는 데 부적합합니다.
  • 시간적 불일치: 대화의 턴 (Turn) 단위로 쌓이는 상호작용의 역사와 비언어적 신호 (고개 끄덕임, 시선 이동 등) 의 연속성을 제대로 포착하지 못합니다.
• 목표: 화자와 청자의 상호작용을 인과적으로 연결된 턴 단위로 모델링하여, 실시간 스트리밍이 가능하면서도 자연스럽고 일관된 3D 대화형 헤드 동역학을 생성하는 것입니다.

2. 제안 방법론: TIMAR (Turn-level Interleaved Masked AutoRegression)

TIMAR 은 대화의 흐름을 교차된 (Interleaved) 오디오 - 비주얼 토큰 시퀀스로 표현하고, 이를 턴 단위 인과적 (Turn-level Causal) 으로 모델링하는 프레임워크입니다.

핵심 구성 요소:

1. 교차된 오디오 - 비주얼 컨텍스트 (Interleaved Audio-Visual Context):

   • 사용자 (User) 와 에이전트 (Agent) 의 음성 및 3D 헤드 모션을 공유 토큰 공간으로 인코딩합니다.
   • 대화의 턴 (Turn) 단위로 세그먼트를 나누고, 사용자/에이전트의 음성 및 헤드 토큰을 교차하여 배치합니다.
   • 미래 정보를 노출하지 않도록 토큰화 과정에서 엄격한 인과적 제약을 둡니다.

2. 턴 단위 인과적 멀티모달 퓨전 (Turn-Level Causal Multimodal Fusion):

   • TLCA (Turn-Level Causal Attention): 제안된 어텐션 메커니즘으로, 동일 턴 내에서는 모든 토큰 간 양방향 어텐션을 허용하여 정밀한 음성 - 운동 정렬을 달성합니다. 반면, 턴 간에서는 엄격한 인과적 (causal) 어텐션만 허용하여 과거의 대화 맥락만 참조하도록 설계되었습니다.
   • 이를 통해 모델은 단기적인 멀티모달 동기화와 장기적인 대화 의존성을 동시에 학습합니다.

3. 가벼운 확산 헤더 (Lightweight Diffusion Head):

   • 퓨전된 컨텍스트를 조건으로 하여, 마스킹된 에이전트의 3D 헤드 파라미터를 예측합니다.
   • 단순 회귀 (Regression) 가 아닌 확산 모델 (Diffusion Model) 을 사용하여 자연스러운 3D 얼굴 운동의 확률적 변동성 (Stochasticity) 과 다중 모드 (Multimodality) 특성을 포착합니다.
   • MLP 기반의 경량 구조로 설계되어 효율적인 추론을 가능하게 합니다.

4. 학습 및 샘플링 전략:

   • 마스킹 전략: 에이전트의 헤드 토큰 중 일부를 마스킹하고, 주변 컨텍스트 (사용자 및 에이전트의 과거 음성/모션) 를 기반으로 복원하는 방식으로 학습합니다.
   • 클래스프리 가이드 (CFG): 사용자 토큰을 임의로 마스킹하여 조건부 및 무조건부 생성 경로를 학습시켜, 추론 시 컨텍스트 의존성을 조절할 수 있게 합니다.
   • 스트리밍 생성: 이전 턴의 토큰을 버퍼에 저장하고, 새로운 턴이 들어올 때마다 autoregressive 방식으로 순차적으로 생성합니다.

3. 주요 기여 (Key Contributions)

1. 턴 단위 인과적 공식화 (Turn-level Causal Formulation): 대화 행동을 인과적으로 연결된 턴 예측 문제로 재정의하여, 엄격한 시간적 일관성을 보장하고 스트리밍 생성을 지원합니다.
2. 교차된 멀티모달 퓨전 (Interleaved Multimodal Fusion): 화자와 청자의 음성 및 3D 헤드 토큰을 교차된 컨텍스트로 인코딩하여, 턴 내 정렬과 턴 간 의존성을 인과적 제약 하에 학습합니다.
3. 확산 기반 생성 디코딩 (Diffusion-based Generative Decoding): 3D 헤드 운동을 연속적인 확률적 과정으로 모델링하는 경량 확산 헤더를 도입하여, 자연스러운 운동의 다양성과 시간적 일관성을 동시에 확보합니다.

4. 실험 결과 (Results)

DualTalk 벤치마크 및 OOD (Out-of-Distribution) 데이터셋에서 기존 SOTA 모델 (DualTalk, FaceFormer, CodeTalker 등) 과 비교 평가되었습니다.

• 정량적 성능:
  • DualTalk 대비 향상: 테스트 세트에서 15~30% 의 상대적 개선 (FD, P-FD, MSE 등 지표 감소) 을 보였습니다.
  • 스트리밍 성능: 이전 턴 (n=0, 3, 7) 을 컨텍스트로 사용할 때, DualTalk 보다 일관된 성능 향상을 보였으며, OOD 데이터에서도 일반화 능력이 뛰어났습니다.
  • 다양성 (SID): 기존 모델 대비 더 높은 운동 다양성을 유지하면서도 동기화 성능이 우수했습니다.
• 정성적 평가 (User Study):
  • 500 쌍의 A/B 테스트에서 참가자들은 TIMAR 을 운동 자연스러움, 표정 자연스러움, 상호작용 자연스러움, 립싱크 정확도 모든 항목에서 DualTalk 보다 선호했습니다.
  • 특히 컨텍스트가 증가할수록 (n=7) TIMAR 은 더 일관되고 맥락에 맞는 반응을 보였습니다.
• 강건성 (Robustness):
  • 사용자 헤드 추적 실패 (노이즈/프레임 손실) 시 DualTalk 보다 성능 저하가 적었습니다.
  • 에이전트 음성 입력이 차단되는 상황에서도 DualTalk 은 치명적인 성능 저하를 보인 반면, TIMAR 은 대화 컨텍스트를 활용하여 상대적으로 안정적인 성능을 유지했습니다.
• 효율성: 단일 NVIDIA A6000 GPU 에서 1 초당 25 프레임의 운동을 0.31 초 내에 생성하여 저지연 스트리밍이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

TIMAR 은 대화형 에이전트와 소셜 로봇 분야에서 중요한 전환점을 제시합니다.

• 실시간 상호작용의 실현: 기존 오프라인 중심의 모델링을 넘어, 실제 대화의 흐름을 실시간으로 반영하는 인과적 생성 모델을 성공적으로 구현했습니다.
• 자연스러운 비언어적 소통: 단순한 입 모양 합성을 넘어, 고개 끄덕임, 시선 이동 등 미세한 비언어적 신호를 화자와의 상호작용 맥락에 자연스럽게 통합했습니다.
• 확장성: 모델 크기를 키우는 것보다 인과적 구조와 확산 기반 디코딩을 통해 성능을 극대화할 수 있음을 보여주어, 효율적인 대화형 에이전트 개발에 새로운 방향을 제시합니다.

요약하자면, TIMAR 은 대화 턴 단위의 인과적 모델링과 확산 모델을 결합하여, 실시간으로 자연스럽고 일관된 3D 대화형 헤드 동역학을 생성하는 새로운 표준을 제시한 연구입니다.