🤖 AI

HSTGFormer: Hyper Spatial-Temporal Graph Transformer for 3D Human Pose Estimation

본 논문은 국소적 결합 의존성과 관절별 시간적 패턴을 포착하기 위해 하이퍼 시공간 그래프(Hyper Spatial-Temporal Graph)와 적응형 이중 스케일 시간 그래프(Adaptive Dual-Scale Temporal Graph)를 통해 시공간적 추론을 통합하는 그래프 강화 트랜스포머 프레임워크인 HSTGFormer를 제안하며, 이를 통해 3D 인간 포즈 추정에서 높은 정확도와 효율성을 달성한다.

원저자: Ruochen Li, Shuang Chen, Wenke E, Farshad Arvin, Amir Atapour-Abarghouei

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Ruochen Li, Shuang Chen, Wenke E, Farshad Arvin, Amir Atapour-Abarghouei

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 일반적인 영상을 보고 사람이 어떻게 움직이는지 컴퓨터에게 가르치려 한다고 상상해 보세요. 이것은 컴퓨터 비전 분야에서 "3D 인간 포즈 추정(3D human pose estimation)"이라 불리는 거대한 도전 과제입니다. 마치 평면적인 2D 영화만을 가지고 컴퓨터 안에 3D 인형을 만들려고 노력하는 것과 같습니다. 컴퓨터는 사람이 몸을 돌리거나, 팔을 등 뒤로 숨기거나, 빠르게 움직일 때조차 모든 팔꿈치, 무릎, 어깨가 3차원 공간의 어디에 있는지 추측해야 합니다.

이를 위해 컴퓨터는 흔히 "트랜스포머(Transformer)"라고 불리는 스마트한 소프트웨어를 사용합니다. 트랜스포머는 문장 전체(이 경우에는 비디오 클립 전체)를 한꺼번에 보며 단어들(또는 신체 부위들)이 서로 어떻게 연관되어 있는지 이해하는 매우 주의 깊은 학생이라고 생각하면 됩니다. 보통 이 학생들은 먼저 신체의 형태를 파악하고(공간적 추론), 그 다음에 어떻게 움직이는지(시간적 추론)를 파악하려고 합니다. 즉, 두 가지 작업을 차례대로 수행하는 방식입니다. 하지만 이는 마치 지도를 먼저 외운 다음에 운전을 배우려는 학생처럼, 이 단계적인 접근 방식은 시간이 흐름에 따라 신체 부위들이 함께 어떻게 움직이는지에 대한 세부적인 디테일을 놓치게 만들 수 있습니다.

새로운 접근 방식: 시간 여행을 하는 탐정 팀

이 논문에서 연구진은 HSTGFormer라는 새로운 시스템을 소개합니다. 연구진은 신체의 형태와 움직임을 별개의 작업으로 취급하는 대신, 처음부터 이 둘을 하나로 섞기로 결정했습니다. 그들은 "하이퍼 공간-시간 그래프(Hyper Spatial-Temporal Graph)"를 구축했는데, 이는 아주 멋진 표현으로, 모든 신체 부위가 현재 프레임 내의 이웃뿐만 아니라 바로 전과 후의 프레임에 있는 이웃들과도 연결된 지도를 만들었다는 뜻입니다 무릎이 굽혀지는 것은 단순한 형태의 변화가 아니라, 몇 번의 순간에 걸쳐 엉덩이 및 발과 밀접하게 연결된 움직임이라는 것을 컴퓨터가 이해할 수 있도록 말이죠.

예를 들어, 당신이 춤을 추는 모습을 보고 있다고 상상해 보세요. 만약 당신이 딱 한 순간의 특정 시점에서 무용수의 발만 본다면, 그가 점프하려 한다는 것을 놓칠 수도 있습니다. 만약 점프하는 모습만 본다면, 그가 어떻게 준비했는지를 놓칠 수도 있습니다. HSTGFormer는 무용수의 발과 그 옆에 서 있는 사람들의 발을 동시에 보면서, 동시에 과거와 미래의 몇 초를 내다보는 탐정 팀처럼 행동합니다. 이를 통해 컴퓨터는 무릎이 굽혀지는 것이 단순한 형태의 변화가 아니라, 힙과 발에 긴밀하게 연결되어 몇 번의 순간 동안 일어나는 움직임임을 이해할 수 있습니다.

두 가지 도구 세트

이것이 작동하게 만들기 위해, 연구진은 시스템에 두 가지 특별한 도구를 주었습니다.

로컬 이웃 스카우트 (HSTG): 이 도구는 특정 관절(예: 팔꿈치)을 바라보며 질문합니다. "지금 나의 친구는 누구인가, 그리고 아주 짧은 순간 전에는 나의 친구가 누구였는가?" 이 도구는 관절을 중심으로 신체 구조와 직전/직후의 시간을 포함하는 작은 로컬 버블(bubble)을 형성합니다. 이는 컴퓨터가 손이 휘둘러질 때 어깨가 따라 움직이는 것과 같이, 빠르고 연결된 움직임을 놓치지 않고 포착하도록 도와줍니다.
시간 여행 분석가 (ADST-SG): 어떤 신체 부위는 빠르게 움직이고(예: 흔드는 손), 어떤 부위는 느리게 움직입니다(예: 서 있는 몸통). 이 도구는 두 개의 서로 다른 "시간 창(time windows)"을 사용합니다. 한 창은 빠른 움직임을 포착하기 위해 아주 최근의 과거를 보고, 다른 창은 느리고 꾸준한 변화를 이해하기 위해 더 먼 과거를 봅니다. 이는 마치 최근 몇 초를 면밀히 관찰하는 조수와 지난 1분간의 상황을 계속 지켜보는 조수가 각각 있고, 그들의 기록을 결합하는 것과 같습니다.

스마트한 믹서 (Smart Mixer)

시스템은 단순히 어떤 도구가 더 나은지 추측하는 것이 아니라, 이들을 완벽하게 섞는 법을 학습합니다. 매 순간 모든 관절에 대해, 시스템은 "로컬 스카우트"와 "시간 여행 분석가" 중 무엇을 더 신뢰할지 결정합니다. 만약 어떤 관절이 복잡하게 뒤틀리고 있다면 로컬 연결에 더 의존할 수 있습니다. 만약 어떤 관절이 자세를 유지하고 있다면 더 긴 시간의 이력에 더 의존할 수 있습니다. 이 "적응형 융합(adaptive fusion)"은 컴퓨터가 상황에 맞는 적절한 양의 정보를 사용하도록 보장합니다.

연구 결과

연구진은 두 가지 유명한 데이터셋을 통해 시스템을 테스트했습니다. 하나는 통제된 스튜디오에서 움직이는 사람들을 담은 Human3.6M이고, 다른 하나는 다양한 배경과 조명이 있는 혼란스러운 실제 환경에서의 움직임을 담은 MPI-INF-3DHP입니다.

결과는 HSTGFormer가 자신의 임무를 매우 잘 수행하고 있음을 보여줍니다. Human3.6M 데이터셋에서 이 시스템은 37.9 mm의 오차율(MPJPE)과 31.5 mm의 프로크루스테스 정렬 오차(P-MPJPE)를 달밀했습니다. 이 수치들은 보고된 것 중 최고 수준이며, 이는 시스템이 만드는 3D 인형이 실제 인간의 움직임과 매우 흡사함을 의미합니다. 더욱 인상적인 점은, 이 시스템이 다른 최고 성능의 방법들보다 더 적은 컴퓨터 자원(파라미터 및 계산량)을 사용하면서도 이 성과를 냈다는 것입니다. 예를 들어, 유사한 시스템인 TCPFormer와 비교했을 때, 이들의 방식은 비슷한 혹은 더 나은 정확도를 얻으면서도 프레임당 계산량을 46.5%나 적게 사용했습니다.

더 어려운 "인 더 와일드(in-the-wild)" 환경인 MPI-INF-3DHP 데이터셋에서도 시스템은 강력한 성능을 유지하며 오차를 14.0 mm로 줄였고, AUC 지표에서 89.3이라는 높은 점수를 기록했습니다. 이는 시스템이 폐쇄(occlusion, 신체 부위가 다른 것에 의해 가려짐)나 빠른 움직임과 같은 까다로운 상황을 처리할 수 있을 만큼 견고하다는 것을 시사합니다.

이것이 중요한 이유

이 논문은 "형태"와 "시간"을 분리하는 대신, 이를 하나의 연결된 그래프로 다룸으로써 컴퓨터가 훨씬 더 자연스럽게 인간의 움직임을 이해할 수 있다고 주장합니다. 연구진은 이러한 접근 방식이 "앉기"나 "강아지와 함께 걷기"와 같은 복잡한 동작을 기존 방식보다 더 잘 처리한다는 것을 보여주었습니다. 심지어 연구진은 인간만을 학습한 시스템이 로봇과 벌의 포즈까지 추측해내는 흥미로운 예비 사례를 보여주었는데, 이는 이 방식의 사고가 인간뿐만 아니라 모든 종류의 움직이는 사물을 이해하는 데 유용할 수 있음을 시사합니다.

요약하자면, HSTGFormer는 인간의 움직임을 진정으로 이해하려면 신체 부위와 그 움직임의 이력을 한꺼번에, 하나의 연결된 정보망으로서 바라봐야 한다는 것을 보여줍니다.

기술 요약: HSTGFormer

문제 정의

단안 3D 인간 포즈 추정(HPE)은 2D 이미지로부터 정확한 3D 관절 좌표를 복원하는 것을 목표로 한다. 트랜스포머 기반 방식들은 공간적 및 시간적 의존성을 모델링함으로써 강력한 성능을 달 eine 성해 왔으나, 기존의 접근 방식들은 일반적으로 공간적 추론과 시간적 추론을 별개의 전파 단계로 구성한다. 이러한 방식들에서 공간적 특징은 개별 프레임 내에서 추출된 후 시간적 모듈로 전달된다. 이 순차적인 과정은 시간적 모델링 이전에 프레임 수준의 구조적 정보를 압축하여, 인간의 움직임에 내재된 통합된 시공간적 상호 의존성(예: 인접한 타임스텝 간의 무릎과 발의 결합된 움직임)을 약화시킬 가능성이 있다. 또한, 많은 기존 방법론들은 고정된 시간적 척도나 밀집된 어텐션 메커니즘에 의존하며, 이는 다양한 관절 역학(예: 빠르게 움직이는 말단 부위 vs 안정적인 몸통)을 모델링하기에 불충분할 수 있으며 높은 계산 비용을 초래한다.

방법론

저자들은 HSTGFormer를 제안한다. 이는 그래프가 강화된 트랜스포머 프레임워크로, 시공간적 추론을 관절-시간 노드에 대한 국소적 결합 그래프 집계(localized coupled graph aggregation)로 재구성한다. 이 아키텍처는 두 개의 상호 보완적인 그래프 기반 브랜치와 융합 메커니즘으로 구성된다.

1. 하이퍼 시공간 그래프 (Hyper Spatial-Temporal Graph, HSTG)

HSTG는 디커플링된 시공간 모델링의 한계를 해결하기 위해, 프레임별 스켈레톤 그래프를 **국소적 시간 이웃(localised temporal neighbourhoods)**으로 확장한다.

그래프 구축: 공간적 차원과 시간적 차원을 별개로 취급하는 대신, HSTG는 각 "에고 노드"(특정 시간의 특정 관절) 주변에 국소적 시공간 수용 영역을 정의한다. 이는 스켈레톤 인접 행렬( $A_{spa}$ )과 시간 밴드 인접 행렬( $A_{tem}$ )의 크로네커 곱(Kronecker product)을 사용하여 서포트 행렬을 구축한다.
인수 분해된 그래프 어텐션 (Factorised Graph Attention): 밀집된 $(T \times J) \times (T \times J)$ 어텐션 맵을 구축하는 데 드는 계산 비용을 피하기 위해, HSTG는 인수 분해된 접근 방식을 채택한다. 먼저 각 프레임 내에서 스켈레톤 제약이 있는 공간 어텐션을 적용한 다음, 풍부해진 특징 위에서 국소적 시간 어텐션을 수행한다. 이를 통해 밀집된 글로벌 그래프를 구축하지 않고도 해부학적 사전 지식을 보존하면서 국소적 움직임의 연속성을 포착한다.

2. 적응형 이중 척도 시간 그래프 (Adaptive Dual-Scale Temporal Graph, ADSTG)

서로 다른 관절이 서로 다른 시간적 맥락을 필요로 한다는 점(예: 빠르게 움직이는 말단 부위는 단거리 단서를 필요로 하는 반면, 안정적인 관절은 장거리 맥락으로부터 이득을 얻음)을 인식하여, ADSTG는 적응형 시간 의존성을 모델링한다.

동적 그래프 구축: ADSTG는 상호 보완적인 두 가지 시간 창, 즉 단거리 및 장거리 창에 대해 동적 그래프를 구축한다. 각 관절-시간 노드에 대해 시간적 후보들과의 내적 유사도를 계산하고, 가장 유사한 상위- $k$ 개의 후보를 유지하여 희소하고 내용 적응적인(content-adaptive) 시간 인접성을 형성한다.
이중 척도 전파: 이 모듈은 단거리 및 장거리 동적 그래프 모두에 시간적 그래프 합성곱 네트워크(GCN)를 적용한다.
관절 인식 융합: 각 관절의 스켈레톤 차수(degree)에 기반한 경량 토폴로지 인식 게이트를 통해 단거리 및 장거리 시간 표현을 적응적으로 융합한다.

3. 적응형 노드 단위 융합 (Adaptive Node-wise Fusion)

맥락 인식 융합 모듈은 HSTG와 ADSTG의 출력을 통합한다.

이 모듈은 토큰 특징을 프레임 수준의 맥락(관절들에 대해 평균화됨) 및 관절 수준의 맥락(시간에 대해 평균화됨)과 결합하여 각 관절-시간 노드에 대한 노드 단위 가중치를 예측한다.
경량 다층 퍼셉트론(MLP)과 소프트맥스(Softmax) 층을 사용하여 각 브랜치의 기여도를 결정함으로써, 모델이 특정 움직임 맥락에 따라 국소적 결합 추론과 적응형 시간 의존성 모델링 사이의 균형을 맞출 수 있도록 한다.
하나의 경로가 융합 과정에서 지배적이지 않도록 손실 함수에 부하 분산 정규화 항(load-balancing regularisation term)을 추가한다.

주요 기여

HSTGFormer 프레임워크: 시공간 모델링을 단순한 순차적 '공간 후 시간' 패러다임을 넘어, 움직임의 연속성과 구조적 의존성을 더 잘 포착할 수 있도록 재구성한 새로운 그래프 기반 트랜스포머 프레임워크를 제 제안한다.
하이퍼 시공간 그래프 (HSTG): 스켈레톤 그래프를 국소적 시간 이웃으로 확장하여, 인간의 골격 사전 지식을 보존하면서 국소적 움직임의 연속성을 구조적으로 모델링할 수 있게 하는 구조를 제공한다.
적응형 이중 척도 시간 그래프 (ADSTG): 상호 보완적인 단거리 및 장거리 창에 대해 동적 시간 그래프를 구축하고 융합함으로써, 관절별 적응형 시간 의존성 모델링을 가능하게 한다.
효율성 및 정확도: 제안된 방법은 경량 노드 단위 융합 메커니즘을 사용하여 보완적인 그래프 표현을 통합함으로써 높은 계산 효율성과 함께 강력한 정확도를 달성한다.

실험 결과

저자들은 Human3.6M 및 MPI-INF-3DHP라는 두 가지 표준 벤치마크에서 HSTGFormer를 평가하였다.

Human3.6M: 이 방법은 P-MPJPE 31.5 mm 및 MPJPE 37.9 mm를 달성하였다. 이는 동일한 백본 인코더를 공유하는 비교 가능한 방법들(예: MotionAGFormer-L 및 TCPFormer)보다 유의미한 개선을 보여준다. 특히, HSTGFormer는 TCPFormer와 비교했을 때 59.5% 적은 파라미터와 46.5% 낮은 MACs/frame으로 이러한 결과를 달성하였다.
MPI-INF-3DHP: 이 방법은 다양한 실내외 환경에서 우수한 일반화 능력을 입증하였으며, AUC 89.3 및 MPJPE 14.0 mm를 기록하며 TCPFormer와 MotionAGFormer-L을 능가하는 최고의 전반적 성능을 보여주었다.
절제 연구 (Ablation Studies): 실험을 통해 HSTG와 ADSTG가 모두 성능에 크게 기여함을 확인하였다. 두 모듈 중 하나를 제거하거나 적응형 노드 단위 융합을 고정 가중치로 대체할 경우 측정 가능한 성능 저하가 발생하였다. 또한, 인수 분해된 그래프 어텐션이 구조화된 관절 의존성을 모델링하는 데 있어 인수 분해된 MLP나 GCN보다 더 효과적임을 강조하였다.
정성적 분석: 시각화 결과, HSTGFormer는 도전적인 관절 꺾임 및 자기 가림(self-occlusion) 상황에서도 더 구조적으로 일관된 포즈를 생성함을 보여주었다. 상관 가중치 분석은 모델이 인접한 타임스텝의 해부학적으로 관련된 관절들에 주목하고 있음을 확인시켜 주었으며, 이는 결합된 시공간 추론을 검증한다.

의의 및 주장

본 논문은 HSTGFormer가 시공간적 추론을 별개의 단계가 아닌 통합되고 결합된 프로세스로 취급함으로써 기존 방법론들의 근본적인 한계를 해결한다고 주장한다. 스켈레톤 그래프를 국소적 시간 이웃으로 확장함으로써, 프레임워크는 순차적 처리 과정에서 흔히 소실되는 국소적 구조적 움직임 정보를 보존한다.

저자들은 자신들의 접근 방식이 유리한 **정확도-효율성 트레이드오프(accuracy-efficiency trade-off)**를 달성한다고 강조한다. 이 방법은 단순히 모델 용량을 늘리거나 대규모 사전 학습에 의존하는 것이 아니라, 명시적인 골격 사전 지식과 그래프 기반 추론을 활용하여 복잡한 의존성을 더 효율적으로 포착한다.

또한, 본 논문은 휴머노이드 로봇 및 벌(bee)에 대한 예비 제로샷 시각화를 언급하며, 그래프 강화 시공간 추론 메커니즘이 인간 포즈 추정을 넘어 다른 관절 구조를 모델링하는 데에도 적용 가능성이 있음을 시사한다. 다만, 이는 정량적 검증이라기보다 예시로서 제시되었다.