💻 computer science

VIMCAN: Visual-Inertial 3D Human Pose Estimation with Hybrid Mamba-Cross-Attention Network

본 논문은 기존 Transformer 기반 방법들을 능가하는 실시간 고정밀 시각-관성 3D 인간 자세 추정을 달성하기 위해 Mamba 의 효율적인 시간적 모델링과 Cross-Attention 의 공간적 추론을 결합한 하이브리드 아키텍처인 VIMCAN 을 제안합니다.

원저자: Zepeng Yang, Junxuan Bai, Hao Li, Ju Dai, Junjun Pan, Yongfeng Yin, Bin Li

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zepeng Yang, Junxuan Bai, Hao Li, Ju Dai, Junjun Pan, Yongfeng Yin, Bin Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

사람이 3 차원 공간에서 어떻게 움직이는지 정확히 파악하기 위해 그들의 비디오를 관찰만 해보라고 상상해 보세요. 이는 손을 직접 보지 않고도 그림자 인형의 모양을 추측하는 것과 같습니다. 윤곽은 볼 수 있지만, 손가락이 얼마나 깊숙이 들어갔는지, 혹은 팔이 앞으로 구부러졌는지 뒤로 구부러졌는지 확신할 수 없습니다. 이것이 컴퓨터가 직면하는 '깊이 모호성' 문제입니다.

이를 해결하기 위해 연구자들은 보통 사람의 몸에 부착된 센서 (IMU) 와 같이 움직임을 직접 감지하는 두 번째 '감각'을 추가합니다. 하지만 비디오 (눈) 와 센서 (촉각) 를 결합하는 것은 까다롭습니다. 현재 가장 우수한 방법들은 Transformer라는 강력한 AI 도구를 사용하는데, 이는 책의 모든 페이지를 읽어 이야기를 이해하는 초지능 사서와 같습니다. 문제는 책이 길다면 (긴 비디오 시퀀스) 이 사서가 압도당한다는 점입니다. 너무 많은 메모리와 시간이 소요되어 일반 컴퓨터에서 실시간으로 실행하는 것이 불가능해집니다.

이제 양 (Yang) 과 동료들이 제안한 새로운 시스템 VIMCAN이 등장합니다. VIMCAN을 "사람의 몸이 어디에 있는가?"라는 사건을 해결하기 위해 두 가지 다른 전문가를 결합한 하이브리드 탐정 팀으로 생각하세요.

두 명의 전문가

빠른 주자 (Mamba):
이 논문은 Mamba라는 새로운 AI 아키텍처를 소개합니다. 긴 복도를 질주하며 가장 중요한 것들을 기억하고, 한 걸음을 뗄 때마다 복도 전체를 다시 읽을 필요 없이 달리는 주자를 상상해 보세요. Mamba 는 긴 데이터 시퀀스를 처리할 때 놀라울 정도로 빠르고 효율적입니다. 그러나 논문은 이 주자가 공간에서 객체들이 서로 어떻게 관련되는지 이해하기 위해 한 번에 방 전체를 바라보는 데는 다소 서툴다고 지적합니다.
공간 탐정 (Cross-Attention):
이는 기존의 'Transformer' 스타일 전문가입니다. 그들은 전체 장면을 살펴보고 왼손이 오른발과 어떻게 관련되는지, 혹은 비디오 프레임이 센서 판독값과 어떻게 연결되는지 파악하는 데 탁월합니다. 하지만 그들은 연료를 많이 태우는 거대한 트럭처럼 느리고 무겁습니다.

VIMCAN 솔루션: 완벽한 팀워크

VIMCAN 은 Visual-Inertial Mamba-Cross-Attention Network입니다. 이 두 전문가가 함께 일하도록 허용하기 때문에 '하이브리드'입니다:

팀워크: VIMCAN 은 **빠른 주자 (Mamba)**를 사용하여 시간 경과에 따른 긴 비디오 및 센서 데이터 스트림을 신속하게 처리합니다. 이는 '언제'와 '얼마나 빠른가'를 효율적으로 처리합니다.
융합: 그런 다음, 카메라 뷰와 몸체 센서 간의 복잡한 관계를 파악하기 위해 **공간 탐정 (Cross-Attention)**에게 지휘봉을 넘깁니다. 이를 통해 컴퓨터가 2D 비디오 픽셀이 3D 센서 움직임과 정확히 어떻게 매칭되는지 알 수 있습니다.

실제 작동 방식

이 시스템은 두 가지 입력을 받습니다:

비주얼 키포인트: 사람의 관절 (어깨, 팔꿈치, 무릎) 이 어디에 있는지 보여주는 비디오의 점 목록.
IMU 데이터: 몸통과 팔다리에 있는 착용형 센서 (작은 자이로스코프 등) 로부터의 데이터로, 이 데이터는 해당 신체 부위가 어떻게 회전하는지 시스템에 알려줍니다.

VIMCAN 은 신체 부위 (예: '왼팔' 또는 '몸통') 를 그룹화하고 데이터를 읽기 위해 특수한 스캔 방법을 사용합니다. 무작위로 스캔하는 것이 아니라, 정확히 어떤 신체 부위를 어떤 순서로 살펴봐야 하는지 아는 스카우트 팀을 가진 것과 같습니다.

결과: 빠르고, 가볍고, 정확함

이 논문은 VIMCAN 이 이전 방법들에 비해 주요한 업그레이드라고 주장합니다:

정확도: 3D 포즈를 매우 높은 정밀도로 예측합니다. 한 테스트 데이터셋 (TotalCapture) 에서 평균 17.2 밀리미터만 벗어났습니다. 더 어렵고 현실적인 데이터셋 (3DPW) 에서는 45.3 mm만 벗어났습니다. 이는 종종 더 느리거나 정확도가 낮았던 이전의 최선 방법들을 능가합니다.
속도 및 효율성: 이것이 큰 승리입니다. Mamba 를 사용하므로 VIMCAN 은 슈퍼컴퓨터가 필요하지 않습니다. 표준 노트북이나 소비자용 그래픽 카드에서 초당 60 프레임 이상으로 실행할 수 있습니다.
메모리: 이 논문은 비디오가 길어질수록 (터지기 전까지 풍선이 팽창하듯) 이전 방법들 (GCN-Transformer 등) 이 막대한 양의 메모리가 필요하다는 그래프를 포함하고 있습니다. 반면 VIMCAN 의 메모리 사용량은 평평하고 낮게 유지됩니다. 걷는 거리가 아무리 많아도 무거워지지 않는 배낭과 같습니다.
유연성: 비디오 클립이 정확히 10 초 또는 20 초여야 하는 이전 시스템과 달리, VIMCAN 은 즉시 임의 길이의 비디오를 처리할 수 있습니다.

결론

저자들은 지능과 속도 사이의 트레이드오프를 해결하기 위해 VIMCAN 을 구축했습니다. 효율적인 'Mamba' 엔진과 강력한 'Cross-Attention' 두뇌를 혼합함으로써, 그들은 대부분의 사람들이 이미 소유하고 있는 하드웨어를 사용하여 실시간으로 높은 정확도로 3D 인간 움직임을 추적할 수 있는 시스템을 만들었습니다.

이 논문은 시스템이 센서가 올바르게 보정되어 있어야 함 (콘서트 전에 악기를 조율하는 것과 같음) 에 의존하지만, 모션 캡처 및 인간 - 컴퓨터 상호작용과 같은 응용 분야에서 이전 어떤 것보다 속도, 메모리, 정확도의 더 나은 균형을 제공하며 중요한 진전을 이루었다고 결론 내립니다.

기술 요약: VIMCAN

문제 정의

딥러닝이 멀티모달 3D 인간 자세 추정 (HPE) 을 크게 발전시켰음에도 불구하고, 최첨단 파이프라인은 두 가지 중요한 한계에 직면해 있습니다:

깊이 모호성: 비전 기반 방법은 문제의 본질적으로 잘 정의되지 않은 (ill-posed) 특성으로 인해 2D 키포인트를 3D 자세로 정확하게 들어 올리는 데 어려움을 겪습니다.
계산 비효율성: 현재 고성능 모델은 트랜스포머 아키텍처에 크게 의존합니다. 시퀀스 길이 ( $L$ ) 에 대한 자기 주의 (self-attention) 메커니즘의 이차 복잡도 ( $O(L^2)$ ) 는 막대한 메모리 사용량과 계산 비용을 초래하여, 특히 리소스가 제한된 장치에서 긴 시퀀스의 실시간 처리를 비현실적으로 만듭니다.

Mamba 아키텍처는 선형 복잡도 ( $O(L)$ ) 와 효율적인 시퀀스 모델링을 제공하지만, 현재 정밀한 멀티모달 융합에 필요한 복잡한 공간적 의존성을 포착하는 데 있어 주의 기반 방법보다 뒤처져 있습니다.

방법론

저자들은 RGB 키포인트와 웨어러블 IMU 데이터를 통합하여 효율성, 정확성, 견고성 사이의 균형을 맞추도록 설계된 하이브리드 아키텍처인 VIMCAN(Visual-Inertial Mamba-Cross-Attention Network) 을 제안합니다.

1. 하이브리드 아키텍처

VIMCAN 은 두 가지 명확한 메커니즘의 강점을 결합합니다:

Mamba (STMamba): 효율적인 시간적 모델링 및 시퀀스 처리에 사용됩니다. 네트워크는 시각 및 관성 특징을 독립적으로 처리하기 위해 Spatio-Temporal Mamba (STMamba) 모듈을 사용합니다.
- 골격 인식 STMamba: 운동학적 사전 지식을 통합하기 위해 부모 - 자식 관절 관계에 따라 키포인트를 재배열하여 시각 특징 ( $F^V$ ) 을 처리합니다.
- 부위 인식 STMamba: 특정 신체 부위 (예: 몸통, 팔다리) 로부터의 관성 특징 ( $F^I_g$ ) 을 처리하며, 공간 및 시간 차원 전반에 걸쳐 정보를 집계하기 위해 양방향 시공간 선택적 스캔 (SS2D) 을 활용합니다.
크로스 어텐션 (Cross-Attention): 멀티모달 융합의 백본으로 사용됩니다. Mamba 가 시간적 역학을 효율적으로 처리하는 동안, 크로스 어텐션은 시각 및 관성 토큰 간의 정교한 교차 모달 공간적 의존성을 포착하여 순수 Mamba 의 공간적 추론 한계를 해결합니다.

2. 특징 추출 및 융합

입력: 시스템은 $J=17$ 개의 2D 키포인트와 $I=6$ 개의 IMU 단위 쿼터니언을 입력받습니다.
그룹화: IMU 는 운동학적 사전 지식을 기반으로 5 개의 해부학적 그룹 (몸통, 왼쪽/오른쪽 팔, 왼쪽/오른쪽 다리) 으로 분할됩니다.
융합 과정:
1. 특징은 선형 계층을 통해 공통 임베딩 차원으로 들어 올려집니다.
2. 독립적인 STMamba 모듈이 시공간 특징을 추출합니다.
3. 크로스 어텐션 모듈: 시각 특징이 쿼리 ( $Q$ ) 로 작용하는 반면, 관성 특징은 키 ( $K$ ) 와 값 ( $V$ ) 으로 사용됩니다. 이를 통해 모델은 특정 시각 관절에 대한 관련 관성 데이터에 동적으로 주의를 기울일 수 있습니다.
4. 융합된 특징은 자세 회귀 전에 골격 인식 STMamba 레이어의 스택을 통해 글로벌 모델링을 거칩니다.

3. 학습 전략

가변 길이 추론: 고정 길이 입력을 요구하는 기존 접근법과 달리, VIMCAN 은 패딩이나 마스킹 없이 가변 길이 시퀀스를 네이티브로 지원합니다.
손실 함수: 다음으로 구성된 복합 손실 함수가 사용됩니다:
- 평균 관절 위치 오차 (MPJPE).
- 스케일 드리프트를 보정하기 위한 정규화된 MPJPE (N-MPJPE).
- 시간적 부드러움을 위한 평균 관절 속도 오차 (MPJVE).
- 급격한 변동을 억제하기 위한 시간적 일관성 (TC) 손실.

주요 기여

새로운 하이브리드 아키텍처: VIMCAN 은 Mamba 를 비전 - 관성 멀티모달 3D HPE 에 적용한 최초의 연구로, Mamba 의 선형 시간 시퀀스 처리와 크로스 어텐션의 강력한 공간 융합 능력을 성공적으로 결합했습니다.
효율성 및 확장성: 이 아키텍처는 소비자 등급 하드웨어에서 실시간 추론 (>60 FPS) 을 달성하면서 가변 길이 시퀀스를 지원하여 트랜스포머의 이차 복잡도 병목 현상을 극복했습니다.
최첨단 성능: 이 방법은 깊이 모호성과 계산 복잡성을 동시에 해결하여 기존 트랜스포머 기반 및 기타 최첨단 접근법보다 우수한 성능을 발휘합니다.

실험 결과

저자들은 TotalCapture 및 3DPW 데이터셋에서 VIMCAN 을 평가했습니다.

TotalCapture:
- 6 개의 IMU 와 MediaPipe 2D 검출을 사용하여 VIMCAN 은 MPJPE 33.2 mm 및 P-MPJPE 25.7 mm를 달성하여 이전 GCN-트랜스포머 하이브리드보다 우수한 성능을 보였습니다.
- 정답 (Ground-Truth) 2D 키포인트를 사용할 때, VIMCAN 은 MPJPE 17.2 mm 및 P-MPJPE 13.8 mm에 도달하여 이전 최고 기록 (Wang 등) 보다 MPJPE 에서 11.4 mm 더 높은 성능을 기록했습니다.
- 효율성: VIMCAN 은 GCN-트랜스포머 기준 대비 메모리 풋프린트가 단 **29%**만 필요하면서도 1.3 배 더 높은 처리량을 제공했습니다.
3DPW:
- VIMCAN 은 MPJPE 45.3 mm를 달성하여 이전 방법들 (예: Wang 등의 53.9 mm, Liu 등의 60.3 mm) 보다 우수한 성능을 보였습니다.
애블레이션 연구:
- 크로스 어텐션 모듈을 제거하고 크로스 Mamba 로 대체한 경우 성능이 크게 저하되었습니다 (MPJPE 17.2 mm 대 24.3 mm). 이는 공간 융합을 위한 어텐션의 필요성을 입증합니다.
- 해부학적 그룹화와 골격 인식 스캔이 정확도에 필수적임이 입증되었습니다.

중요성 및 주장

이 논문은 VIMCAN 이 효율적인 멀티모달 3D HPE 를 위한 새로운 벤치마크를 수립한다고 주장합니다. Mamba 의 효율성과 크로스 어텐션의 공간적 추론 사이의 격차를 해소함으로써, 이 방법은 다음을 가능하게 합니다:

소비자 하드웨어에서 긴 시퀀스의 실시간 처리 (60 FPS 초과).
보인 및 보지 않은 피험자 시나리오 모두에서 우수한 정확성.
효과적인 비전 - 관성 융합을 통한 깊이 모호성에 대한 견고성.

저자들은 VIMCAN 이 RNN, CNN 및 트랜스포머 기반 이전 모델들보다 정확성과 효율성의 우월한 균형을 제공하여 모션 캡처, 재활, 인간 - 컴퓨터 상호작용의 실시간 응용에 매우 적합하다고 결론지었습니다. 한 가지 지적된 제한 사항은 엄격한 센서 보정에 대한 의존성이며, 향후 연구는 적응형 정렬 기법을 통해 이를 해결하는 것을 목표로 합니다.