Prime and Reach: Synthesising Body Motion for Gaze-Primed Object Reach

1. 문제 정의 (Problem Definition)

기존의 텍스트 기반 인간 동작 생성 (Human Motion Generation) 연구는 텍스트 설명을 기반으로 다양한 동작을 생성하는 데 성공했으나, 자연스러운 인간 행동의 핵심 요소인 '시선 유도 (Gaze Priming)'와 '도달 (Reach)'의 순차적 관계를 모델링하는 데는 한계가 있었습니다.

• 현황: 대부분의 기존 연구는 합성 데이터나 실험실 환경의 제한된 데이터를 사용하며, 물체를 잡기 (Pick) 나 놓기 (Put) 전에 물체를 먼저 '발견'하거나 '주의를 기울이는' (Priming) 시선 행동과 이를 followed 하는 전신 동작을 통합적으로 생성하지 못했습니다.
• 핵심 문제: 인간은 물체를 잡기 전에 시각적 주의를 집중하여 (시선 유도) 물체의 위치를 파악한 후, 그 위치로 몸을 이동시키고 도달합니다. 이러한 예측적 (Anticipatory) 인 시선 - 운동 조절 (Visuomotor Coordination) 메커니즘을 모방하는 생성 모델은 부재했습니다. 또한, 안구 추적 (Eye-tracking) 과 전신 모션 (Full-body motion) 이 모두 포함된 대규모 데이터셋이 부족하여 이를 학습하기 어려웠습니다.

2. 방법론 (Methodology)

저자들은 Prime and Reach (P&R) 동작을 생성하기 위해 데이터 큐레이션, 모델 아키텍처, 학습 전략을 체계적으로 제안했습니다.

가. 데이터 큐레이션 (Data Curation)

• 데이터셋 구성: HD-EPIC, MoGaze, HOT3D, ADT, GIMO 등 5 개의 공개된 안구 추적 및 인간 - 객체 상호작용 데이터셋을 활용하여 총 23,700 개 (23.7K) 의 P&R 시퀀스를 자동 추출했습니다.
• 시선 유도 (Priming) 추출 알고리즘:
  • 물체 잡기/놓기 이벤트 ($t_e$) 가 발생하기 직전 시간 창 ($w=10$초) 내에서 사용자의 시선 (Gaze ray) 이 물체의 3D 위치 ($o_{3D}$) 와 교차하는 시점 ($t_p$) 을 찾습니다.
  • 슬랩 테스트 (Slab Test Method): 시선 레이와 물체의 3D 바운딩 박스 간의 교차를 정밀하게 계산하여 '시선 유도'가 발생한 순간을 식별합니다.
  • 시퀀스 구성: 각 시퀀스는 시선 유도 시작 시간 ($t_p$) 2 초 전부터 도달 시간 ($t_e$) 까지 포함하며, 전신 모션은 EgoAllo 모델을 사용하여 추정된 SMPL-H/SMPL-X 파라미터로 변환됩니다.

나. 모델 아키텍처 (Model Architecture)

• 조건부 확산 모델 (Goal-Conditioned Diffusion Model):
  • 기반: 텍스트 기반 동작 생성 모델 (MDM 등) 을 사전 학습 (Pre-training) 한 후, P&R 데이터로 파인튜닝합니다.
  • 입력 조건 (Conditions):
    1. 텍스트 프롬프트: 동작의 종류 (잡기/놓기) 를 설명.
    2. 초기 상태 (Initial State): 동작 시작 시의 포즈와 속도 (속도는 자연스러운 가속/감속을 위해 중요).
    3. 목표 (Goal): 두 가지 방식으로 조건부 학습 수행.
       • 목표 포즈 (Goal Pose): 최종 도달 시의 전체 몸 자세.
       • 목표 위치 (Object Location): 물체의 3D 좌표만 제공 (모델이 몸의 자세를 스스로 결정하도록 유도).
  • 조건 주입: 텍스트 조건과 목표 조건을 선형 결합하여 잠재 공간 (Latent space) 토큰으로 변환한 후, 트랜스포머 디코더의 크로스 어텐션 (Cross-attention) 블록에 주입합니다.

다. 추론 및 최적화 (Inference & Optimization)

• 잠재 노이즈 최적화 (Latent Noise Optimization): 생성된 동작의 품질을 높이기 위해, 목표 포즈나 위치 조건을 만족하도록 확산 과정의 초기 노이즈를 역전파 (Backpropagation) 를 통해 반복적으로 최적화합니다.
• 손실 함수: 재구성 손실 (Reconstruction loss) 과 관절 위치 손실 (Joint reconstruction loss) 을 함께 사용하며, 최적화 단계에서는 시작 포즈 오차, 목표 도달 오차, 그리고 동작의 부드러움을 위한 저크 (Jerk) 손실을 추가합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 P&R 데이터셋 및 벤치마크: 안구 추적 정보를 활용한 '시선 유도 - 도달' 동작을 포함하는 23.7K 개의 전신 모션 시퀀스를 최초로 큐레이션하고 공개했습니다.
2. 새로운 평가 지표 도입:
   • Prime Success (시선 유도 성공률): 생성된 동작이 도달하기 전에 물체를 의도적으로 시선으로 확인하는지 (머리 방향 벡터가 물체에 머무르고 감속하는지) 를 정량화하는 새로운 메트릭을 제안했습니다.
   • Reach Success (도달 성공률): 손목이 목표 지점에 도달하는지 확인하는 기존 메트릭을 적용했습니다.
3. 고성능 생성 모델: 목표 포즈 또는 물체 위치를 조건으로 하는 확산 기반 모델을 개발하여, 기존 베이스라인 (GMD, DNO, DartControl 등) 보다 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 비교: 5 개의 데이터셋에서 제안된 모델은 모든 메트릭에서 기존 방법들을 압도했습니다.
  • Prime Success: 목표 포즈 조건 시 이전 최상위 방법 대비 최대 18.2%p 향상, 물체 위치 조건 시 최대 19.5%p 향상.
  • Reach Success: 거의 완벽한 도달 성공률 (100% 에 근접) 을 기록했습니다.
  • Location Error: 목표 위치 오차가 다른 방법들에 비해 현저히 낮았습니다.
• 조건별 분석:
  • 목표 포즈 조건: 모델이 최종 자세까지 제어하므로 정밀도가 높습니다.
  • 물체 위치 조건: 모델이 물체 위치만 주어졌을 때, 자연스러운 시선 유도 동작을 스스로 학습하여 생성했습니다. 이는 모델이 '시선 유도'를 명시적 조건이 아닌 데이터에서 암묵적으로 학습했음을 의미합니다.
• 사전 학습의 효과: 대규모 자연스러운 인간 상호작용 데이터 (Nymeria) 로 사전 학습한 모델이 HumanML3D 기반 모델보다 P&R 태스크에서 더 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 인간 동작 생성 분야에서 시각적 주의 (Visual Attention) 와 운동 제어 (Motor Control) 의 통합을 성공적으로 구현한 첫 번째 사례입니다.

• 자연스러운 디지털 휴먼: 로봇 공학, 가상 현실 (VR), 게임 등에서의 디지털 휴먼이 단순히 물체로 이동하는 것을 넘어, 인간처럼 '먼저 보고, 그 후 잡는' 자연스러운 예측적 행동을 수행할 수 있게 합니다.
• 데이터의 중요성: 합성 데이터가 아닌, 실제 안구 추적과 전신 모션이 결합된 대규모 데이터의 큐레이션이 복잡한 인간 행동 모델링에 필수적임을 입증했습니다.
• 향후 전망: 현재는 손가락의 미세한 그립 (Grasp) 동작까지 포함하지는 않았으나, 이 프레임워크는 향후 손 - 물체 상호작용 (Hand-Object Interaction) 생성으로 확장될 수 있는 강력한 기반을 제공합니다.

요약하자면, 이 논문은 "시선으로 먼저 물체를 발견하고 (Priming), 그 후 전신으로 도달하는 (Reach)" 인간 고유의 행동을 데이터 기반 생성 모델로 구현하여, 더 자연스럽고 지능적인 인간 - 컴퓨터 상호작용 및 로봇 제어 기술의 새로운 지평을 열었습니다.