1. 문제 정의 (Problem Statement)

기존의 대화 제스처 생성 (Co-speech Gesture Generation) 연구는 주로 단일 화자의 음성에 맞춰 한 명의 화자만 움직이는 데 초점을 맞추고 있습니다. 그러나 실제 인간 간의 대화 (이중 대화, Dyadic Conversation) 는 다음과 같은 복잡한 사회적 맥락과 상호작용 역학을 포함합니다.

• 사회적 맥락의 부재: 기존 모델들은 화자 간의 관계 (친구, 가족, 낯선 사람 등) 나 성격 특성 (성실성, 외향성 등) 이 제스처에 미치는 영향을 명시적으로 고려하지 않아, 생성된 동작이 일반적이거나 부자연스러워 보입니다.
• 상호작용 역학의 모델링 실패: 대화 중 두 사람이 동시에 말하거나, 말을 끊거나 (Interrupting), 경청하는 순간의 미세한 조율 (Coordination) 을 포착하지 못합니다. 특히 두 사람의 오디오 스트림이 중첩될 때, 어떤 오디오가 어떤 화자의 제스처를 유도하는지 모호성이 발생합니다.
• 반응적 움직임의 한계: 상대방의 제스처나 행동에 반응하여 자연스럽게 움직이는 능력이 부족합니다.

2. 제안 방법론: DyaDiT (Methodology)

저자들은 이러한 한계를 극복하기 위해 사회적 맥락을 인식하는 이중 대화 제스처 생성 모델인 DyaDiT를 제안했습니다. 이는 다중 모달 (Multi-modal) 확산 변환기 (Diffusion Transformer, DiT) 기반의 아키텍처입니다.

핵심 구성 요소

1. 입력 모달리티:

   • 이중 오디오 (Dyadic Audio): 화자 (Self) 와 상대방 (Other) 의 음성 스트림.
   • 사회적 컨텍스트 토큰: 관계 유형 (친구, 가족, 연인, 낯선 사람) 과 성격 점수 (Big Five 성격 특성).
   • 상대방의 제스처 (선택적): 상대방의 움직임 시퀀스를 입력받아 더 반응적이고 조율된 동작을 생성.
   • 시드 포즈 (Seed Pose): 초기 동작 상태.

2. 직교화 크로스 어텐션 (Orthogonalization Cross Attention, ORCA):

   • 문제: 대화 중 두 사람의 음성이 겹치면 (Overlap), 모델이 어떤 오디오가 어떤 제스처를 유발하는지 혼란을 겪음.
   • 해결: 두 오디오 스트림 간의 중복 요소를 제거하고 상호 보완적인 정보만 결합하는 모듈입니다.
     • Self 오디오에서 Other 오디오의 성분을 투영 (Projection) 하여 제거 (a_self_perp = a_self - Proj(a_other)) 합니다.
     • 이를 통해 각 화자의 고유한 음성 특징을 명확히 분리 (Disambiguate) 하여, 간섭이 줄어든 깨끗한 오디오 표현을 생성합니다.
     • 양방향 크로스 어텐션을 통해 화자와 청자의 반응적 신호를 모두 포착합니다.

3. 모션 사전 (Motion Dictionary, MD):

   • 학습된 직교 모션 기저 (Motion Bases) 집합을 사용하여 오디오 특징을 변조합니다.
   • 사용자가 특정 스타일 (성격이나 관계에 따른) 을 원할 때, 이 사전과 Classifier-Free Guidance (CFG) 를 결합하여 스타일 인식 (Style-aware) 제스처를 생성하거나, 조건을 제거하여 무조건적인 동작을 생성할 수 있습니다.

4. 모션 토크나이저 (Motion Tokenizer):

   • 연속적인 모션 데이터를 효율적으로 처리하기 위해 Residual VQ-VAE를 사용합니다.
   • 연속적인 포즈 시퀀스를 이산적인 잠재 토큰 (Latent Tokens) 으로 변환하여 확산 모델의 학습 효율성을 높이고 장기적인 의존성을 포착합니다.

5. 아키텍처 (DiT Backbone):

   • Denoising Diffusion Probabilistic Model (DDPM) 프레임워크를 따르며, Transformer 블록을 기반으로 합니다.
   • FiLM (Feature-wise Linear Modulation) 과 크로스 어텐션을 통해 사회적 속성 (관계, 성격) 과 오디오 정보를 잠재 공간에 주입합니다.

3. 주요 기여 (Key Contributions)

1. DyaDiT 모델 제안: 이중 대화 상황에서 사회적 맥락 (관계, 성격) 을 명시적으로 조건으로 삼아 자연스러운 제스처를 생성하는 최초의 확산 변환기 모델 중 하나입니다.
2. ORCA 모듈 개발: 중첩된 오디오 스트림 간의 간섭을 줄이고, 화자와 청자의 역할을 명확히 구분하여 제스처 생성의 정확도를 높이는 혁신적인 모듈을 도입했습니다.
3. 종합적인 평가: 기존 방법론 (ConvoFusion, Audio2PhotoReal) 대비 객관적 지표 (Fréchet Distance, 다양성) 와 사용자 선호도 연구 (A/B 테스트) 를 통해 모델의 우수성을 입증했습니다.

4. 실험 결과 (Results)

정량적 평가 (Quantitative Evaluation)

• 데이터셋: Seamless Interaction Dataset 의 자연스러운 대화 시나리오 (약 182 시간, 3,000 클립) 를 사용했습니다.
• 지표:
  • FD (Fréchet Distance): 생성된 동작의 현실성 (Realism) 측정. DyaDiT 는 기존 모델 대비 낮은 FD 값을 기록하여 더 현실적인 동작을 생성함을 보였습니다.
  • Diversity: 동작의 다양성. DyaDiT 는 높은 다양성을 유지하면서도 현실성을 잃지 않았습니다.
• Ablation Study: ORCA 모듈을 제거하거나 사회적 조건을 무작위로 설정했을 때 성능이 급격히 저하되어, 각 구성 요소의 중요성을 입증했습니다.

정성적 평가 및 사용자 연구 (User Study)

• 방법: 16 명의 참가자를 대상으로 DyaDiT, ConvoFusion, 그리고 Ground Truth(실제 데이터) 를 비교하는 A/B 테스트를 수행했습니다.
• 평가 항목: 전체 품질, 관계 일관성, 성격 일관성.
• 결과:
  • 전체 품질: 참가자의 **73.9%**가 DyaDiT 를 선호했습니다.
  • 관계/성격 일관성: 각각 69.8%, **66.7%**의 선호도를 보였습니다.
  • 놀랍게도 DyaDiT 는 실제 데이터 (Ground Truth) 보다도 약간 더 높은 선호도를 보였으며, 이는 확산 모델이 더 부드러운 동작을 생성하고 사회적 조건이 더 표현력 있는 제스처를 유도하기 때문으로 분석되었습니다.

5. 의의 및 의의 (Significance)

• 사회적으로 바람직한 디지털 인간 (Socially Favorable Synthetic Agents): 단순한 음성-동작 매칭을 넘어, 인간 관계와 성격에 기반한 자연스러운 상호작용을 구현함으로써 디지털 에이전트의 몰입감을 극대화했습니다.
• 상호작용 역학의 정교한 모델링: ORCA 모듈을 통해 복잡한 대화 상황 (중첩, 간섭, 경청) 에서도 각 화자의 역할을 명확히 구분하여 생성하는 기술적 진전을 이루었습니다.
• 미래 연구 방향: 이 연구는 사회적으로 인지된 양방향 에이전트 (Dual-agent) 생성 및 더 넓은 범위의 사회적 상호작용 모델링을 위한 중요한 발걸음이 되었습니다.

결론

DyaDiT 는 오디오, 사회적 맥락, 상대방의 동작을 통합적으로 고려하여, 기존 모델들이 놓쳤던 **사회적 적절성 (Social Appropriateness)**과 상호작용의 자연스러움을 혁신적으로 개선한 모델입니다. 이를 통해 디지털 인간과의 대화 경험을 더욱 인간적이고 신뢰할 수 있는 수준으로 끌어올렸습니다.