Beyond Static Frames: Temporal Aggregate-and-Restore Vision Transformer for Human Pose Estimation

이 논문은 비디오 시퀀스의 시간적 일관성을 활용하여 정적 프레임 기반의 한계를 극복하고, 관절 중심 시간 집계 (JTA) 와 글로벌 복원 어텐션 (GRA) 메커니즘을 도입한 TAR-ViTPose 를 제안함으로써 인간 자세 추정 성능과 실시간 처리 속도를 동시에 향상시켰습니다.

핵심

1. 기존 기술의 문제: "사진만 보는 눈먼 카메라"

기존의 최신 기술 (ViTPose) 은 마치 매우 똑똑한 사진 분석가와 같습니다.

• 장점: 한 장의 사진만 봐도 사람의 손가락 위치를 아주 정확히 찾아냅니다.
• 단점: 하지만 이 분석가는 시간의 흐름을 전혀 모릅니다.
  • 만약 사람이 빠르게 달려가서 사진이 흐릿하게 나오거나 (모션 블러), 다른 사람에 가려서 손이 안 보이면 (가림 현상), 이 분석가는 당황해서 엉뚱한 곳을 가리키거나 실수합니다.
  • 마치 한 장의 사진만 보고 "어제 뭐 먹었는지"를 추측하라고 하는 것과 비슷합니다. 정보가 부족하니까 틀릴 수밖에 없죠.

2. 새로운 해결책: "과거와 미래를 함께 보는 시간 여행자"

저희가 제안한 TAR-ViTPose는 이 분석가에게 '시간 여행' 능력을 선물해 줍니다.

• 핵심 아이디어: 현재 프레임 (사진) 만 보는 게 아니라, 그 바로 앞과 바로 뒤의 사진들까지 함께 보고 결론을 내립니다.
• 비유: 사람이 넘어질 때, 현재 순간의 사진만 보면 "왜 넘어졌지?"라고 헤맬 수 있지만, 넘어지기 직전의 사진과 넘어진 직후의 사진을 함께 보면 "아, 미끄러졌구나!"라고 바로 알 수 있습니다.

이 기술은 크게 두 가지 단계로 작동합니다.

① 단계 1: "관찰자" (JTA - Joint-centric Temporal Aggregation)

• 상황: 사람의 '손목'이라는 관절을 찾아야 할 때, 다른 관절 (예: 무릎) 이 움직이는 건 신경 쓰지 않습니다.
• 작동 방식: 각 관절 (손목, 발목 등) 마다 전담 관찰자를 배치합니다.
  • 이 관찰자들은 "내 손목만 집중해서 봐!"라고 명령받습니다.
  • 그리고 이전 프레임과 다음 프레임에서 내 손목이 어디 있었는지, 어떻게 움직였는지만 집중해서 모읍니다.
  • 비유: 마치 특정 인물을 쫓는 스토커처럼, 다른 사람들은 무시하고 오직 '손목'이라는 대상만 과거와 미래의 모든 장면에서 찾아내어 정보를 모으는 것입니다.
  • 중요한 점: 이때 '마스크 (가림막)' 기술을 써서, 관찰자가 손목이 아닌 배경이나 다른 사람한테 시선을 빼앗기지 않게 막아줍니다.

② 단계 2: "보고서 작성" (GRA - Global Restoring Attention)

• 상황: 관찰자들이 정보를 모았으니, 이제 현재 프레임의 '주인공'에게 그 정보를 전달해야 합니다.
• 작동 방식: 모은 정보 (과거/미래의 손목 위치) 를 현재 프레임의 데이터에 다시 섞어줍니다 (복원).
  • 이렇게 하면 현재 프레임의 데이터가 "아, 내가 지금 흐릿하게 보이지만, 바로 전에는 여기 있었고, 바로 다음엔 저기로 갈 거야"라는 완벽한 맥락을 갖게 됩니다.
  • 비유: 현재 흐릿한 사진을 보다가, 옆에 있는 선명한 과거/미래 사진을 붙여넣어 흐릿한 부분을 완벽하게 복원하는 것과 같습니다.

3. 왜 이 기술이 대단한가요?

1. 정확도 대폭 상승: 기존 기술보다 2.3% 이상 더 정확해졌습니다. 특히 손목이나 발목처럼 움직임이 빠르거나 가려지기 쉬운 부위에서 큰 차이를 보입니다.
2. 빠른 속도: 복잡한 계산을 하더라도 **초당 413 프레임 (FPS)**을 처리할 수 있습니다. 이는 기존 기술들보다 훨씬 빠릅니다.
   • 비유: 복잡한 미로를 풀 때, 단순히 한 번만 보는 게 아니라 주변을 훑어보고 과거의 경험을 떠올리면, 더 빠르고 정확하게 길을 찾을 수 있는 것과 같습니다.
3. 간단한 구조: 기존에 복잡한 장치를 추가하지 않고, 기존 기술의 '몸통' (ViT) 을 그대로 쓰면서 **플러그인 (Plug-and-play)**처럼 시간 기능을 추가했습니다.

4. 한 줄 요약

"TAR-ViTPose 는 사람의 자세를 분석할 때, '현재' 사진만 보는 게 아니라 '과거'와 '미래' 사진까지 함께 보고 각 관절별로 정보를 모아서, 흐릿하거나 가려진 상황에서도 눈이 멀지 않고 정확하게 자세를 찾아내는 똑똑한 기술입니다."

이 기술은 스포츠 분석, 게임 캐릭터의 움직임, 재활 치료 등 사람의 움직임을 정밀하게 파악해야 하는 모든 분야에서 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 제기 (Problem)

• 현재의 한계: 최근 비전 트랜스포머 (ViT) 기반의 2D 인간 자세 추정 (HPE) 모델 (예: ViTPose) 은 정적 이미지에서 최첨단 성능을 보이지만, 프레임 간 시간적 일관성 (Temporal Coherence) 을 무시하고 각 프레임을 독립적으로 처리합니다.
• 발생하는 문제: 비디오 시퀀스에서는 모션 블러 (motion blur), 가림 (occlusion), 초점 흐림 (defocus) 등 동적인 환경에서 예측이 불안정해지거나 실패할 수 있습니다.
• 기존 비디오 기반 방법의 결함: 기존 비디오 기반 HPE 방법들은 주로 CNN 아키텍처를 사용하거나, ViTPose 를 단일 프레임 특징 추출기로만 사용한 후 별도의 복잡한 모듈 (Transformer 또는 Mamba 기반 퓨전 모듈 등) 을 추가하여 다중 프레임을 융합합니다. 이는 파이프라인을 복잡하게 만들고 추론 비용을 증가시키며, ViTPose 의 간결한 구조를 훼손합니다.

2. 제안 방법론: TAR-ViTPose

저자들은 TAR-ViTPose (Temporal Aggregate-and-Restore Vision Transformer) 를 제안하여, ViTPose 의 원래 구조를 유지하면서 시간적 모델링을 '플러그 앤 플레이 (plug-and-play)' 방식으로 통합했습니다.

핵심 아키텍처

1. 입력: 현재 프레임 $X(t)$ 와 인접한 $T$ 개의 이전/이후 프레임으로 구성된 비디오 클립을 입력받습니다.
2. ViT 인코더: 모든 프레임을 ViT 인코더를 통해 잠재 특징 (Latent Features) 으로 변환합니다.
3. JTA (Joint-centric Temporal Aggregation, 관절 중심 시간적 집계):
   • 목적: 프레임 간 관절 (Keypoint) 특징을 정확하게 정렬하고 집계합니다.
   • 메커니즘: 각 관절에 학습 가능한 쿼리 토큰 (Query Token) 을 할당합니다.
   • Mask-aware Attention: 디코더에서 생성된 열지도 (Heatmap) 를 기반으로 각 관절의 위치를 나타내는 스페이스 마스크를 생성합니다. 이를 통해 쿼리 토큰이 해당 관절의 영역에만 집중하도록 하여, 불필요한 배경이나 다른 관절의 간섭을 차단합니다.
   • 작동: 인접 프레임의 특징 토큰과 쿼리 토큰 간 크로스 어텐션을 수행하여 시간적으로 정렬된 관절별 특징을 추출합니다.
4. GRA (Global Restoring Attention, 글로벌 복원 어텐션):
   • 목적: JTA 를 통해 집계된 시간적 특징을 현재 프레임의 특징 토큰 시퀀스로 다시 주입합니다.
   • 메커니즘: 집계된 시간적 특징 ($\tilde{Q}$) 을 키 (Key) 와 값 (Value) 으로, 현재 프레임의 특징을 쿼리 (Query) 로 사용하여 크로스 어텐션을 수행합니다.
   • 효과: 시간적 맥락을 강화하면서도 전역적 컨텍스트 (Global Context) 를 보존하여 정밀한 키 포인트 위치 추정을 가능하게 합니다.
5. 디코더: 기존 ViTPose 의 경량 디코더를 그대로 사용하여 최종 열지도를 생성합니다.

3. 주요 기여 (Key Contributions)

1. TAR-ViTPose 프레임워크: ViTPose 의 단순한 구조와 경량 디코딩 파이프라인을 유지하면서, 시간적 모델링을 직접 통합한 새로운 아키텍처를 제안했습니다.
2. JTA 및 GRA 모듈:
   • JTA: 학습 가능한 쿼리 토큰과 마스크 인식 어텐션을 통해 프레임 간 관절별 특징을 정확하게 정렬하고 집계합니다.
   • GRA: 집계된 시간적 정보를 현재 프레임의 전역 특징으로 복원하여 정밀한 위치 추정을 돕습니다.
3. 성능 및 효율성: 단일 프레임 베이스라인 대비 큰 성능 향상을 이루면서도, 기존 비디오 기반 방법들보다 높은 프레임 속도 (FPS) 를 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: PoseTrack2017, PoseTrack2018, PoseTrack21 등 3 개의 주요 비디오 HPE 벤치마크에서 평가되었습니다.
• ViTPose 베이스라인 대비 향상:
  • PoseTrack2017 검증 세트에서 ViT-B 백본을 사용할 때 기존 ViTPose 대비 +2.3 mAP 향상 (81.7 → 84.0 mAP).
  • 특히 가림이나 모션 블러가 심한 손목, 발목과 같은 어려운 관절에서 성능 향상이 두드러졌습니다.
• 최첨단 (SOTA) 방법 대비 우위:
  • PoseTrack2017 에서 기존 SOTA 방법 (DSTA, Poseidon 등) 을 능가하는 86.8 mAP (ViT-H 백본) 을 기록했습니다.
  • Ground-truth 박스를 사용한 경우 90.3 mAP를 달성하여 Poseidon (88.9 mAP) 보다 1.4 mAP 높았습니다.
• 실시간 성능 (FPS):
  • ViT-S 백본 사용 시 413 FPS를 달성하여 기존 방법들 (PoseWarper 52 FPS, DCPose 128 FPS 등) 보다 월등히 빠른 속도를 보여주었습니다.
  • ViT-H 백본 사용 시에도 DSTA (25 FPS) 보다 높은 28 FPS를 기록하며 정확도와 속도의 균형을 입증했습니다.

5. 의의 및 결론 (Significance)

• 간결성과 성능의 조화: 복잡한 퓨전 모듈 없이 ViT 의 본래 구조를 유지하면서 비디오 기반 HPE 의 성능 한계를 확장했습니다.
• 시간적 일관성의 중요성 입증: 정적 이미지 모델이 가진 시간적 무관함의 한계를 해결하여, 모션 블러나 가림과 같은 실제 환경의 난제에 대한 강인함을 크게 향상시켰습니다.
• 실용성: 높은 추론 속도와 뛰어난 정확도를 동시에 제공하여, 실시간 인간 중심 애플리케이션 (HCI, 행동 분석, 모션 캡처 등) 에 적용 가능한 강력한 솔루션을 제시했습니다.

이 논문은 정적 이미지용 ViT 아키텍처를 비디오 시퀀스에 효과적으로 확장하기 위한 새로운 패러다임을 제시하며, 단순하면서도 효율적인 시간적 모델링의 중요성을 강조합니다.