기술 요약: EgoTraj: 멀티모달 예측을 위한 실세계 1 인칭 인간 궤적 데이터셋

문제 제기

인간형 로봇, 웨어러블 센싱, 보조 내비게이션 응용 분야에서 1 인칭 (Egocentric) 관점에서 인간의 궤적을 정확하게 예측하는 것은 매우 중요합니다. 그러나 이 분야의 발전은 실세계 1 인칭 궤적 데이터셋의 부재로 인해 방해받고 있습니다. 기존 궤적 예측 연구는 대부분 조류의 눈 (Bird's-eye-view, BEV) 이나 정적 3 인칭 카메라 데이터셋 (예: ETH, UCY, nuScenes) 에 의존하는데, 이는 외부 움직임을 포착하지만 1 인칭 관점에서 인간이 어떻게 움직임을 지각하고, 계획하며, 시작하는지를 모델링하지 못합니다. 결과적으로 현재 예측 방법들은 운동 역사와 장면 맥락에 크게 의존하면서도 시선 (gaze) 과 같은 의도 관련 단서를 결여하고 있습니다. 더 나아가 기존 1 인칭 데이터셋은 규모가 제한적이거나 실내 환경에 국한되어 있거나, 단일 참가자로부터 수집되었거나, 의식적 예측에 필요한 동기화된 시선 및 6 자유도 (6DoF) 포즈 데이터가 부족합니다.

방법론 및 데이터셋 구축

이러한 한계를 해결하기 위해 저자들은 Meta Quest Pro (MQPro) 헤드셋을 사용하여 실세계 도시 환경에서 기록된 대규모 멀티모달 오픈 데이터셋인 EgoTraj를 소개합니다.

데이터 수집 프로토콜

• 하드웨어: 참가자들은 풀컬러 패스스루 (passthrough) 모드로 작동하는 MQPro 헤드셋을 착용했습니다. 이 장치는 패스스루 RGB 카메라, 두 개의 적외선 안구 추적 카메라, 네 개의 내부 추적 (inside-out) 카메라, 그리고 6 축 IMU 를 통합했습니다.
• 참가자: 데이터셋은 75 명의 고유한 참가자(연령 18~38 세, 성별 균형, 14 개 국적) 로 구성됩니다. 각 참가자는 정확히 한 번의 녹화 세션을 기여했습니다.
• 환경: 데이터는 보도, 횡단보도, 붐비는 거리 등 다양한 도시 환경에서 야외에서 수집되었습니다. 프로토콜은 출발지 - 목적지 쌍을 정의하기 위해 일곱 개의 사전 정의된 야외 웨이포인트 (랜드마크) 를 활용하여, 참가자들이 자연스러운 내비게이션과 자발적인 상호작용을 장려하도록 자체 경로를 선택할 수 있게 했습니다.
• 기간: 데이터셋은 75 개의 시퀀스로 구성되어 있으며, 동기화된 데이터 총 10.7 시간, 115 만 개의 RGB 프레임을 포함합니다.
• 개인정보 보호: 모든 녹화는 EgoBlur를 사용하여 얼굴과 차량 번호판을 자동으로 감지하고 흐리게 처리했습니다.

멀티모달 동기화

데이터셋은 30 Hz로 동기화된 실제 지상 (ground truth) 을 제공하며, 다음을 포함합니다:

1. 6DoF 헤드 포즈: 위치 (x, y, z) 및 방향 (쿼터니언) 과 선형 및 각속도.
2. 3D 시선 벡터: 프레임별 양안 시선 원점 및 방향 벡터.
3. 1 인칭 RGB 비디오: 30 fps 로 H.264 인코딩된 비디오.
4. 장면 주석: Qwen2.5-VL-7B를 사용한 비전 - 언어 모델 (VLM) 파이프라인을 통해 생성된 고수준 맥락 설명. 이러한 주석은 환경 맥락, 교통 활동, 시선 고정 대상, 그리고 추론된 단기 이동 의도를 다룹니다.

데이터 처리

맞춤형 파이프라인이 50 Hz 로 작동하는 시선/포즈 센서 스트림과 30 Hz 비디오 타임라인을 장치 타임스탬프를 사용하여 정렬했습니다. 시간적 일관성을 보장하기 위해 보간 기법 (위치에 대한 선형 보간, 회전에 대한 SLERP) 이 적용되었습니다. 최종 데이터셋은 흐리게 처리된 프레임과 함께 HDF5 형식으로 패키징되었습니다.

주요 기여

1. EgoTraj 데이터셋: 75 명의 참가자가 실 도시 교통을 항해하는 동안 동기화된 6DoF 헤드 포즈, 프레임별 3D 시선 벡터, 1 인칭 RGB 비디오, 그리고 장면 주석을 공동으로 제공하는 최초의 대규모 1 인칭 궤적 데이터셋.
2. 벤치마크 및 평가 프로토콜: 저자들은 1 인칭 궤적 예측을 위한 표준화된 벤치마크를 수립하여, 홀드아웃 테스트 분할에서 여러 최첨단 모델을 평가했습니다.
3. 멀티모달 분석: 제거 실험 (ablation studies) 을 통해 저자들은 현실적인 조건에서 궤적 예측에 대한 시선, 사회적 상호작용, 그리고 장면 맥락의 구체적인 기여도를 분석했습니다.

실험 결과

정량적 평가

저자들은 운동학 모델 (일정 속도, 선형 외삽) 과 학습된 모델 (M_Transformer, CXA-Transformer, EgoCast) 을 포함한 여러 기준 모델을 평가했습니다.

• 성능: 적응된 EgoCast모델이 평균 변위 오차 (ADE) 0.16m 및 최종 변위 오차 (FDE) 0.28m로 최고의 궤적 예측 성능을 달성했습니다.
• 헤드 회전: CXA-Transformer가 가장 낮은 헤드 회전 오차 (0.69) 를 달성하여, 그 계단식 교차 주의 (cascaded cross-attention) 메커니즘이 방향 역학을 더 잘 포착함을 시사합니다.
• 기준 비교: 학습된 시간 모델은 회전 예측 및 비선형 운동 처리에서 특히 단순한 운동학 외삽보다 일관되게 우수한 성능을 보였습니다.

제거 실험 (Ablation Studies)

CXA-Transformer 아키텍처를 사용하여 저자들은 다양한 입력 모달리티의 영향을 분석했습니다:

• 시선과 장면: 장면 분할 (S) 을 추가하면 ADE 가 0.19 에서 0.16 으로 감소했습니다. 시선 (G) 을 통합하면 0.15 로 추가로 감소하여, 시각적 주의가 운동학적 단서 이상의 예측 신호를 제공함을 나타냅니다.
• 사회적 맥락: 사회적 표현 중 전체 신체 포즈 (P) 가 중심점 (C) 및 바운딩 박스 (B) 보다 우수하여, 세밀한 운동 단서가 사회적 상호작용 모델링에 더 유익함을 시사합니다.
• 전체 멀티모달: 자기 운동, 포즈, 장면, 그리고 시선의 조합 (Y + P + S + G) 이 전체적으로 가장 좋은 성능 (ADE: 0.12, FDE: 0.23, 헤드 회전 오차: 0.58) 을 달성했습니다.

일반화

모델들은 "웨이포인트 홀드아웃 (Waypoint Held-Out)"(보이지 않는 출발지 - 목적지 쌍) 과 "낯선 (Unfamiliar)"(해당 지역에 익숙하지 않은 참가자) 과 같은 더 엄격한 분할에서 테스트되었습니다. 전체 멀티모달 구성은 이러한 분할 전반에 걸쳐 강력한 성능 (ADE 약 0.14) 을 유지하여, 모델이 특정 템플릿에 과적합되는 것이 아니라 새로운 경로와 참가자에게 일반화됨을 나타냅니다.

정성적 발견

• 능동적 전환 (Active Transitions): 관찰 마지막 0.5 초 내에 회전이 시작되는 "능동적 전환" 구간에서 멀티모달 모델은 운동만 있는 기준 모델보다 실제 지표를 훨씬 더 잘 추적했습니다. 이는 시선이 1~2 초 전에 운동 행동을 예측한다는 가설을 지지합니다.
• 실패 사례: 시스템은 짧은 시간의 자기 운동 역사에서 예측 신호가 약한 교차로에서의 급격한 급회전 (예: 약 90°) 에서 어려움을 겪었으며, 이는 강력한 예측 단서 없이는 결정론적 예측의 어려움을 강조합니다.

중요성 및 주장

이 논문은 EgoTraj가 실세계 멀티모달 1 인칭 데이터의 가용성에서 중요한 격차를 메운다고 주장합니다. 동기화된 시선, 포즈, 그리고 장면 데이터를 제공함으로써, 이 데이터셋은 의식적 궤적 예측 연구를 가능하게 합니다. 결과는 다음을 보여줍니다:

1. **시각적 주의 (시선)**는 특히 회전 및 방향 변경에 대해 운동에 선행하는 중요한 예측 신호입니다.
2. 멀티모달 퓨전(자기 운동, 사회적 맥락, 장면 구조, 그리고 시선의 결합) 은 복잡한 도시 환경에서 운동만 있는 기준 모델보다 훨씬 우수한 성능을 발휘합니다.
3. 이 데이터셋은 AR 기반 지각, 시각 장애인을 위한 보조 내비게이션, 그리고 사회적 준수를 갖춘 로봇 내비게이션과 같은 하위 응용 분야를 지원합니다.

저자들은 1 인칭 궤적 예측 및 내비게이션 의도에 대한 비전 - 언어 이해에 대한 향후 연구를 촉진하기 위해 데이터셋, 코드, 그리고 동기화된 스트림을 검사하기 위한 대화형 도구인 EgoViz 대시보드를 공개합니다.