1. 문제 정의 (Problem Statement)

기존의 대화형 아바타 연구는 주로 말하기 (Speaking) 또는 듣기 (Listening) 중 한 가지 기능에만 집중하는 경향이 있었습니다.

• 현재의 한계:
  • 단방향성: 대부분의 시스템은 화자의 음성만 입력받아 입모양과 표정을 생성하거나, 반대로 청자의 반응만 생성합니다.
  • 듣기 동작의 경직성 (Stiffness): 화자의 음성을 듣고 반응하는 '듣기' 동작을 생성할 때, 기존 엔드 - 투 - 엔드 (End-to-End) 방식은 실패합니다. 화자의 음성은 화자의 입모양과 강하게 연관되지만, 청자의 얼굴 표정 (깜빡임, 고개 끄덕임 등) 은 화자의 음성과 직접적인 상관관계가 약합니다.
  • 결과: 모델이 청자의 움직임을 예측할 때, 불확실성을 피하기 위해 안전하고 정적인 (Static) 표정 (예: 눈도 안 깜빡이고 입도 다문 상태) 으로 수렴하여 자연스럽지 않은 '포커페이스' 현상이 발생합니다.
  • 기존 해결책의 결함: 이전 연구 (DualTalk 등) 는 화자의 얼굴 시퀀스를 먼저 생성한 후 청자의 움직임을 만들어내는 비엔드 - 투 - 엔드 방식을 사용했습니다. 이는 추가적인 처리 파이프라인을 필요로 하여 실시간 적용을 어렵게 만듭니다.

2. 제안 방법 (Methodology: UniLS)

저자들은 UniLS를 제안하며, 이는 **이중 트랙 오디오 (Dual-track audio)**만으로 화자와 청자의 움직임을 동시에 생성하는 최초의 엔드 - 투 - 엔드 프레임워크입니다. 핵심 아이디어는 듣기 동작을 '내부 운동 사전 (Internal Motion Prior)'과 '외부 오디오 단서 (External Audio Cues)'의 결합으로 재해석하고, 이를 학습하기 위해 2 단계 학습 패러다임을 도입한 것입니다.

가. 2 단계 학습 전략 (Two-Stage Training Paradigm)

1. 1 단계: 오디오 없는 생성기 학습 (Audio-free Generator Training)

   • 목적: 음성과 무관한 자연스러운 얼굴 움직임의 내부 사전 (Prior) 을 학습.
   • 데이터: 오디오가 없는 다양한 시나리오의 비디오 데이터 (뉴스, 인터뷰, 일상 대화 등) 를 사용.
   • 과정: 과거의 움직임과 스타일 임베딩 (Style Embedding) 만을 입력받아 다음 프레임의 움직임을 예측하는 오토레귀시브 (Autoregressive) 생성기를 학습합니다.
   • 효과: 모델이 깜빡임, 미세한 고개 움직임, 미묘한 표정 변화 등 자연스러운 '자발적 움직임'을 학습하게 됩니다.

2. 2 단계: 오디오 기반 미세 조정 (Audio-driven Finetuning)

   • 목적: 학습된 내부 사전에 외부 오디오 신호를 반영하여 말하기와 듣기 동작을 조절.
   • 데이터: 화자 A 와 화자 B 의 음성이 동기화된 대화 데이터.
   • 과정: 1 단계에서 학습된 모델의 백본 (Backbone) 은 고정하거나 LoRA 로 미세 조정하며, 크로스 어텐션 (Cross-Attention) 레이어를 추가합니다.
     • 한 어텐션 레이어는 화자 A 의 오디오 (말하기) 를 참조.
     • 다른 레이어는 화자 B 의 오디오 (듣기) 를 참조.
   • 효과: 모델은 내부적으로 학습된 자연스러운 움직임 패턴을 유지하면서, 상대방의 말에 반응하는 적절한 리듬과 표정을 생성합니다.

나. 기술적 세부 사항

• 모델 구조: FLAME 3D 얼굴 모델을 기반으로 하며, 다중 스케일 VQ Codec 을 사용하여 이산적인 (Discrete) 움직임 토큰을 생성합니다.
• 입력: 화자 A 와 B 의 오디오 스트림.
• 출력: 화자 A 와 B 의 FLAME 파라미터 (표정, 자세, 시선 등).

3. 주요 기여 (Key Contributions)

1. 최초의 엔드 - 투 - 엔드 통합 프레임워크: 오디오 입력만으로 화자와 청자의 자연스러운 상호작용을 실시간으로 생성하는 시스템을 최초로 구현했습니다.
2. 듣기 경직성 해결을 위한 2 단계 학습: 오디오 - 움직임 상관관계의 불균형을 해결하기 위해 '내부 운동 사전 학습'과 '오디오 기반 조절'을 분리하는 새로운 학습 패러다임을 제안했습니다.
3. 실시간 성능 달성: 추가적인 화자 얼굴 생성 단계 없이 오디오만으로 동작을 생성하므로, 실시간 대화 아바타 적용이 가능합니다.

4. 실험 결과 (Results)

Seamless Interaction 데이터셋을 기반으로 한 광범위한 평가에서 UniLS 는 기존 방법들을 압도했습니다.

• 정량적 평가 (Quantitative Results):
  • 말하기 정확도: 입술 동기화 (LVE), 전체 얼굴 정확도 (MHD) 등에서 SOTA(State-of-the-Art) 성능을 기록했습니다.
  • 듣기 품질: 기존 방법 대비 최대 44.1% 향상된 듣기 지표 (FDD, PDD, JDD, FID) 를 보였습니다. 이는 모델이 정적인 표정이 아닌 다양하고 자연스러운 청각 반응을 생성함을 의미합니다.
• 정성적 평가 (Qualitative Results):
  • 기존 방법 (DualTalk, ARTalk*) 은 듣기 중 표정이 경직되고 움직임이 적었으나, UniLS 는 자연스러운 눈 깜빡임, 고개 끄덕임, 미세 표정을 구현했습니다.
• 사용자 연구 (User Study):
  • 25 명의 참가자를 대상으로 한 평가에서, 모든 항목 (입술 동기화, 표정 자연스러움, 듣기 반응, 고개 자세) 에서 기존 방법 대비 압도적인 선호도 (듣기 반응의 경우 DualTalk 대비 91.35% 선호) 를 받았습니다.
• 실시간 성능:
  • RTX 5090 기준 560.6 FPS의 초고속 처리 속도를 달성하여 실시간 대화에 적합함을 입증했습니다.

5. 의의 및 결론 (Significance)

UniLS 는 대화형 디지털 휴먼 분야에서 중요한 전환점을 마련했습니다.

• 기술적 의의: '듣기' 동작이 단순히 오디오에 반응하는 것이 아니라, 내재된 자연스러운 움직임 패턴과 외부 자극의 조화임을 증명하고 이를 엔드 - 투 - 엔드 방식으로 구현했습니다.
• 실용적 가치: 실시간으로 작동하며 높은 충실도 (High-fidelity) 를 제공하는 솔루션을 제공함으로써, 인간과 AI 간의 보다 자연스럽고 몰입감 있는 상호작용을 가능하게 합니다.
• 한계 및 향후 과제: 현재는 의미론적 이해 (Semantic Understanding) 가 부족하여, 대화의 내용 (동의/부정) 에 따른 반응보다는 음향적 단서 (리듬, 강조) 에 기반한 반응만 생성합니다. 향후 의미론적 정보 통합 및 연속적인 장기 생성 모델 개발이 필요하다고 언급했습니다.

요약하자면, UniLS 는 오디오 기반 아바타의 '듣기' 문제를 근본적으로 해결하여, 말하고 듣는 것이 모두 자연스러운 차세대 대화형 AI 아바타의 표준을 제시한 연구입니다.