기술 요약: MAP-MONO-EGO

문제 정의

단안 시점 중심 (egocentric) 인간 자세 추정은 보편적인 활동 모니터링 및 AR/VR 애플리케이션을 위한 핵심 구성 요소입니다. 그러나 기존 방법들은 두 가지 주요 한계에 직면해 있습니다:

1. 글로벌 일관성 부재: 현재 접근 방식들은 일반적으로 사용자의 시작 위치에서 초기화된 국부 좌표계 내의 상대적 운동을 복원합니다. 이들은 전역 지도 내에서의 착용자의 절대 위치를 고려하거나 주변 환경 구조와의 기하학적 일관성을 유지하지 못합니다.
2. 단안 드리프트 및 스케일 모호성: 단안 비전의 고유한 스케일 모호성과 모션 블러가 결합되면 시간이 지남에 따라 심각한 병진 드리프트가 발생합니다. 특수한 다중 센서 하드웨어 (예: Aria Glass) 는 이러한 문제를 완화할 수 있지만, 이러한 하드웨어에 대한 의존성은 소비자 등급의 경량 웨어러블 장치의 확장성을 제한합니다.

방법론

저자들은 사전 스캔된 3D 포인트 클라우드를 기하학적 사전 지식으로 활용하여 단안 시점 중심 카메라만으로 전역적으로 일관된 인간 자세 추정을 달성하도록 설계된 Map-Mono-Ego 프레임워크를 제안합니다. 이 프레임워크는 세 가지 명확한 단계로 운영됩니다:

1. 합성 데이터베이스를 통한 위치 추정

스캔된 환경 내에서 초기 카메라 포즈를 추정하기 위해 시스템은 **계층적 위치 추정 (HLoc)**을 사용합니다.

• 합성 데이터베이스 구축: 사전 스캔된 3D 포인트 클라우드 ($P_{scan}$) 에서 합성 데이터베이스 ($D$) 가 생성됩니다. 이는 HPS 의 프로토콜을 따르며, 정답 포즈와 3D 대응점을 가진 $N$개의 합성 뷰를 렌더링하는 과정을 포함합니다.
• 시각적 위치 추정: 입력 비디오 프레임은 각 프레임에 대한 초기 카메라 포즈 ($\hat{P}^{loc}_t$) 를 얻기 위해 이 데이터베이스에 대한 쿼리로 처리됩니다.

2. 아웃라이어 기반 필터링을 통한 궤적 정제

모션 블러나 텍스처가 없는 영역으로 인해 원시 포즈에는 종종 아웃라이어가 포함됩니다. 프레임워크는 다음을 통해 궤적을 정제합니다:

• 아웃라이어 필터링: 상위 40 개 데이터베이스 후보에 대한 매칭에서 파생된 PnP 인라이어 (inlier) 수 및 비율을 기반으로 포즈가 필터링됩니다. 특정 임계값을 초과하는 포즈만 신뢰할 수 있는 앵커 ($K$) 로 유지됩니다.
• SLAM 기반 보간: 신뢰할 수 있는 앵커 간의 전체 궤적을 재구성하기 위해 시스템은 DROID-SLAM에 의해 추정된 연속 궤적 (국부 좌표 프레임 내) 을 전역 앵커와 정렬합니다.
• 드리프트 완화: 유사성 변환 ($S$) 이 구간의 시작을 정렬하고, 잔차 변환 ($E$) 이 끝을 정렬합니다. 시간 의존적 인자가 리 대수 (Lie algebra) 보간을 사용하여 이 잔차를 구간에 걸쳐 분배하여, 궤적이 경계 제약을 만족하면서도 국부 기하학적 구조를 유지하도록 보장합니다.

3. 확산 기반 인간 자세 추정

정제된 전역 카메라 궤적은 인간 운동 시퀀스 ($X$) 를 예측하기 위해 Transformer 기반 확산 모델 (UniEgoMotion 에서 적응됨) 을 조건부로 사용합니다.

• 입력: 모델은 정규화된 정제된 궤적과 DINOv2 이미지 특징을 입력받습니다.
• 출력: SMPL-X 운동 시퀀스, 루트 회전/병진, 국부 관절 각도 및 신체 형태를 예측합니다.
• 적응: 이전 연구들이 헤드 마운트 장치를 대상으로 한 것과 달리, 이 모델은 넥 마운트 카메라 궤적을 조건으로 받도록 재학습되었습니다.

주요 기여

1. Map-Mono-Ego 프레임워크: 사전 스캔된 3D 포인트 클라우드와 같은 환경 기하학을 사전 지식으로 활용하여 특수한 다중 센서 하드웨어 없이 단안 시점 중심 카메라로부터 전역적으로 일관된 인간 자세를 추정하는 새로운 시스템.
2. 강건한 궤적 추적 알고리즘: 환경 사전 지식을 통합하기 위해 인라이어 기반 필터링과 함께 HLoc 및 SLAM(DROID-SLAM) 을 융합한 하이브리드 접근 방식으로, 단안 드리프트를 효과적으로 완화하고 미터 스케일 궤적을 복원합니다.
3. AIST-Living 데이터셋: 스캔된 환경에서 시점 중심 비디오와 정답 운동 데이터를 짝지어, 전역 인간 배치 및 상호작용을 평가하도록 특별히 설계된 새로운 벤치마크 데이터셋.

실험 결과

이 방법은 AIST-Living 데이터셋(152 개 시퀀스, 8 초 지속 시간, 10 FPS) 에서 평가되었으며, 학습 기반 스케일 추정만을 사용하는 단안 비전에 의존하는 최첨단 베이스라인 (EgoEgo) 과 비교되었습니다.

• 정량적 성능: Map-Mono-Ego 는 모든 지표에서 베이스라인을 크게 능가했습니다.
  • 병진 오차 ($T_{neck}$): 577.3 mm(베이스라인) 에서 279.7 mm로 감소.
  • MPJPE(평균 관절 위치 오차): 623.0 mm 에서 347.5 mm로 감소.
  • MPJPE-Rigid: 351.0 mm 에서 201.3 mm로 개선.
  • 의미적 유사성 (SS): 0.76 에서 0.82로 증가하여 더 나은 지각적 운동 품질을 나타냄.
  • 발 미끄러짐 (FS): 16.0 mm 에서 11.4 mm로 감소.
• 정성적 분석: 시각적 비교는 베이스라인이 심한 병진 드리프트와 비자연스러운 상호작용 (예: 진공 청소기나 전자레인지와 같은 물체와 관련하여 공중 부양하거나 높이가 잘못됨) 으로 고통받았음을 보여주었습니다. 반면, Map-Mono-Ego 는 정밀한 전역 운동과 환경과의 사실적인 상호작용을 성공적으로 재구성했습니다.
• 애블레이션 연구: 궤적 정제 단계 (단계 2) 를 제거하면 추정이 실패하여 오차가 $10^4$ mm 를 초과했으며, 이는 안정적인 전역 자세 추정을 위한 인라이어 기반 필터링과 SLAM 보간의 필요성을 확인시켜 주었습니다.

중요성 및 주장

이 논문은 Map-Mono-Ego 가 현재 시점 중심 자세 추정에서의 중요한 간극을 해결한다고 주장합니다: 경량 상용 단안 카메라만을 사용하여 전역 공간 일관성과 미터 스케일을 유지할 수 없다는 점입니다.

사전 스캔된 3D 지도를 기하학적 사전 지식으로 활용함으로써, 이 프레임워크는 값비싼 특수 하드웨어 없이 통제된 환경 (예: 공장, 사무실, 가정) 에서 실용적이고 장기적인 활동 모니터링을 가능하게 합니다. 저자들은 그들의 접근 방식이 상대적 운동에 의존하거나 드리프트에 직면하는 최첨단 베이스라인을 크게 능가하는 실세계 모니터링 작업에 대한 맵 기반 추정의 유용성을 입증한다고 주장합니다. 이 연구는 인간 - 물체 상호작용에서의 물리적 타당성을 더욱 향상시키기 위해 3D 장면 기하학을 명시적으로 운동 추론 과정에 직접 통합하는 것이 향후 개선 사항이 될 수 있음을 시사합니다.