SARAH: Spatially Aware Real-time Agentic Humans

이 논문은 VR 및 디지털 인간 애플리케이션을 위해 사용자의 위치와 대화 음성을 실시간으로 분석하여 자연스러운 시선과 제스처를 포함한 공간 인식형 대화 에이전트 운동을 생성하는 'SARAH'라는 새로운 실시간 인과적 방법을 제안합니다.

핵심

이 논문은 **"SARAH"**이라는 이름의 새로운 기술을 소개합니다. 쉽게 말해, 가상 현실 (VR) 속의 인공지능 친구가 사용자의 움직임에 맞춰 자연스럽게 반응하며 대화하는 방법을 개발한 것입니다.

기존의 가상 인형들은 사용자가 주변을 돌아다니면 그 자리에서 멍하니 앞만 보고 있거나, 사용자를 따라다니는 게 아니라 오히려 멀어지는 등 어색한 행동을 했습니다. 이 논문은 그 문제를 해결했습니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. "눈을 맞추는 대화상대" (공간적 인식)

기존의 가상 친구들은 마치 무대 위에서 고정된 조명 아래 서 있는 배우처럼, 사용자가 무대 앞을 왔다 갔다 해도 시선을 주지 않았습니다.

하지만 SARAH 는 실제 카페에서 친구와 대화하는 사람처럼 행동합니다.

• 당신이 왼쪽으로 걸어가면, SARAH 는 고개를 돌려 당신을 바라봅니다.
• 당신이 다가오면, SARAH 는 자연스럽게 몸을 살짝 비틀며 대화에 집중합니다.
• 마치 눈을 맞추고 대화하는 사람처럼, 당신의 위치를 실시간으로 파악하고 반응합니다.

2. "미래를 알지 못하는 마법사" (실시간 처리)

대부분의 최신 AI 는 영화를 만들 때처럼 미래의 장면을 미리 보고 (비 causal) 움직임을 설계합니다. 하지만 VR 에서 대화할 때는 미래를 알 수 없습니다. 오직 '지금'과 '과거'만 있을 뿐이죠.

기존 기술들은 미래를 미리 보기 때문에 느리고, 실시간으로 대화할 때 끊김이 생겼습니다.
SARAH 는 즉흥 연극을 하는 마법사와 같습니다.

• 내일 무슨 일이 일어날지 모르지만, 지금 당신이 하는 말과 움직임을 듣고 즉시 반응합니다.
• 미래를 미리 볼 필요 없이, 순간순간의 흐름에 맞춰 300 초 (초당 300 프레임) 라는 매우 빠른 속도로 자연스럽게 움직입니다. 이는 기존 기술보다 3 배나 빠릅니다.

3. "눈맞춤 조절기" (사용자 맞춤 제어)

사람마다 눈맞춤을 하는 것을 좋아하는 정도가 다릅니다. 어떤 사람은 눈을 마주치는 것을 좋아하고, 어떤 사람은 조금 피하는 것을 선호하죠.

기존 기술은 AI 가 "어떻게 눈을 맞추는지"를 학습한 대로만 고정되어 있었습니다. 하지만 SARAH 는 사용자가 직접 눈맞춤 강도를 조절할 수 있는 리모컨을 제공합니다.

• **"눈을 더 마주쳐!"**라고 설정하면 AI 는 당신을 빤히 쳐다봅니다.
• **"조금 더 자연스럽게 피하게 해줘"**라고 설정하면, AI 는 대화하듯 시선을 왔다 갔다 합니다.
• AI 는 자연스러운 눈맞춤 패턴을 먼저 학습해 두었다가, 사용자가 원하는 대로 조절해 주는 것입니다.

---

💡 요약: 왜 이것이 중요한가요?

이 기술은 가상 현실 (VR) 에서 인공지능 친구가 진짜 사람처럼 느껴지게 만드는 핵심 열쇠입니다.

• 이전: 가상 친구가 당신을 보지 않고 앞만 응시하거나, 당신이 움직일 때 어색하게 제자리에 멈춰 있습니다.
• 이제 (SARAH): 당신이 돌아서면 친구도 고개를 돌리고, 당신이 말을 하면 손짓을 하며, 당신의 눈높이에 맞춰 자연스럽게 반응합니다.

이 연구는 Meta Reality Labs에서 개발되었으며, 앞으로 VR 게임, 원격 회의, 디지털 인간 서비스 등에서 더욱 생생하고 자연스러운 소통을 가능하게 할 것으로 기대됩니다. 마치 진짜 친구와 대화하듯, 공간감을 느끼며 실시간으로 반응하는 AI 시대가 열린 것입니다.

기술 요약

논문 요약: SARAH (Spatially Aware Real-time Agentic Humans)

1. 문제 정의 (Problem)

가상현실 (VR), 텔레프레즌스, 디지털 휴먼 애플리케이션에서 구현된 에이전트 (Embodied Agents) 는 단순히 말에 맞는 제스처를 취하는 것을 넘어, 사용자의 공간적 움직임에 반응하고 자연스러운 시선 (Gaze) 을 유지하며 대화에 참여해야 합니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있었습니다:

• 공간적 무감각 (Lack of Spatial Awareness): 대부분의 기존 모델은 화자 (Monadic) 만을 대상으로 하여, 사용자가 이동하거나 위치가 변할 때 에이전트가 이를 인지하고 반응하지 못했습니다.
• 비실시간성 및 인과적 제약: 최첨단 생성 모델들은 미래 프레임에 접근하는 비인과적 (Non-causal) 방식을 사용하거나, 추론 속도가 느려 실시간 스트리밍 VR 환경에 배포하기 어렵습니다.
• 제어 불가능한 시선: 사용자의 선호도나 사회적 상황에 따라 눈맞춤 (Eye contact) 강도를 조절할 수 있는 메커니즘이 부재했습니다.

이 논문은 실시간으로, 인과적 (Causal) 으로, 공간적 인식을 갖춘 대화형 에이전트의 전신 (Full-body) 3D 모션을 생성하는 첫 번째 방법을 제안합니다.

2. 방법론 (Methodology)

SARAH 는 사용자의 바닥 투영된 머리 궤적 (Head trajectory) 과 대화형 오디오 (Dyadic audio) 를 입력받아 에이전트의 3D 모션을 생성합니다. 주요 기술적 구성 요소는 다음과 같습니다.

가. 운동 표현 (Motion Representation)

• 기존의 국소 관절 회전 (Local joint rotations) 대신 완전한 유클리드 (Euclidean) 표현을 사용합니다.
• 각 관절을 3D 정이십면체 (Icosahedron) 로 인코딩하여 세계 좌표계상의 위치와 방향을 직접 예측합니다. 이는 훈련 안정성을 높이고 말단 효과기 (End-effector) 의 정밀한 제어를 가능하게 하여 발 미끄러짐 (Foot sliding) 을 방지합니다.

나. 인과적 트랜스포머 기반 VAE (Causal Transformer-based VAE)

• 실시간 스트리밍 추론을 위해 **교차 잠금 토큰 (Interleaved latent tokens)**을 가진 인과적 VAE 를 설계했습니다.
• 인코더와 디코더 모두 인과적 어텐션 (Causal attention) 을 사용하여 과거 프레임과 이전 잠재 토큰에만 의존합니다.
• 이는 미래 정보 없이도 시간적 일관성을 유지하며 실시간으로 모션을 생성할 수 있게 합니다.

다. 흐름 매칭 모델 (Flow Matching Model)

• 학습된 잠재 공간 (Latent space) 에서 모션을 생성하기 위해 Flow Matching 모델을 사용합니다.
• 조건부 입력으로 사용자의 궤적 ($p_y$) 과 에이전트/사용자의 오디오 ($a, b$) 를 활용합니다.
• Imputation(대체) 기법을 사용하여 과거 예측된 잠재 벡터를 기반으로 다음 프레임을 autoregressive 방식으로 생성하며, 모드 붕괴 (Mode collapse) 를 방지합니다.

라. 제어 가능한 시선 가이드 (Controllable Gaze Guidance)

• 학습 데이터에서 자연스러운 시선 행동 (강한 눈맞춤부터 의도적인 회피까지) 을 학습하되, 추론 시 **클래시퍼 프리 가이드 (Classifier-free guidance)**를 통해 시선 강도를 조절합니다.
• **시선 점수 (Gaze Score, $g$)**를 정의하여 (사용자를 향한 방향과 에이전트 시선 방향의 내적곱), 사용자가 $g$ 값을 조정함으로써 눈맞춤 강도를 실시간으로 제어할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 실시간 공간 인식 대화 모션 생성 시스템: 사용자의 이동에 반응하고 자연스러운 제스처를 생성하는 실시간 에이전트 시스템을 처음 제안했습니다.
2. 새로운 아키텍처: 인과적 트랜스포머 VAE 와 Flow Matching 을 결합하여, 미래 정보 없이도 300 FPS 이상의 속도로 고품질 모션을 생성합니다.
3. 유연한 시선 제어: 학습과 제어를 분리하여, 사용자가 추론 시 눈맞춤 강도를 조절할 수 있는 메커니즘을 도입했습니다.
4. Embody 3D 데이터셋 활용: 대화 중 공간적 근접성 (Proxemics) 을 포착한 최초의 대규모 데이터셋을 기반으로 훈련 및 평가를 수행했습니다.

4. 실험 결과 (Results)

Embody 3D 데이터셋을 기반으로 한 정량적 및 정성적 평가에서 SARAH 는 최첨단 (SOTA) 성능을 보였습니다.

• 성능 및 속도:

  • 300 FPS 이상의 추론 속도를 기록하여, 비인과적 기반선 (MDM, A2P) 보다 3 배 이상 빠릅니다.
  • FGD (Fréchet Gesture Distance): 1.28 로, 비인과적 모델들보다 우수한 모션 품질을 보입니다.
  • Head Angle (시선 정렬): 0.83 으로, 미래 정보를 가진 비인과적 모델 (0.81) 과 유사한 수준의 자연스러운 시선 정렬을 달성했습니다. 이는 인과적 학습으로도 공간적 반응이 가능함을 증명합니다.
  • Foot Slide: 0.01 로, 물리적 제약 위반이 거의 없습니다.

• 비교 분석:

  • 검색 기반 (NN) 방법: 데이터셋에 존재하는 모션만 복제하므로 FGD 는 낮지만, 새로운 상황에서의 공간적 정합성 (Gaze alignment) 이 낮았습니다.
  • 비인과적 모델 (MDM, A2P): 속도가 느리고 (90 FPS), 미래 정보를 필요로 하여 실시간 배포가 불가능합니다. 또한 제스처의 역동성 (Wrist Var) 이 낮았습니다.
  • 인과적 모델 (SHOW): 상체 모션에 특화되어 있어 전신 모션 시 발 미끄러짐이 심하고 공간적 인식이 부족했습니다.

• 시선 제어 효과:

  • 가이드 파라미터 ($g$) 를 조절하여 눈맞춤 강도를 0.0(회피) 에서 1.0(직시) 까지 조절할 수 있으며, $g=0.8$일 때 가장 자연스러운 모션 품질과 시선 정렬을 동시에 달성했습니다.

5. 의의 및 결론 (Significance)

SARAH 는 가상 에이전트가 사용자의 공간적 움직임에 실시간으로 반응하며 자연스러운 사회적 상호작용을 할 수 있는 토대를 마련했습니다.

• 실용성: VR 헤드셋과 같은 스트리밍 환경에 즉시 배포 가능한 실시간 속도를 달성했습니다.
• 사회적 상호작용의 진화: 단순한 제스처 생성을 넘어, 눈맞춤, 자세 변화, 사용자와의 거리 유지 등 인간적인 공간적 인식을 구현하여 몰입감 (Presence) 을 극대화합니다.
• 미래 전망: 이 연구는 다자간 대화 확장, 다양한 제스처 스타일 제어 등으로 이어질 수 있는 중요한 발판이 됩니다.

이 논문은 생성형 AI 기반의 디지털 휴먼이 단순한 시각적 요소를 넘어, 공간과 상황을 이해하고 반응하는 진정한 '에이전트'로 발전할 수 있음을 입증했습니다.