💻 computer science

T-MOR: Learning Motion-Aware Skeleton Representations for Human Action Recognition

본 논문은 새로운 대규모 PoseCap-1M 데이터셋과 다중 모달 대조 학습을 활용하여 스켈레톤 시퀀스를 비디오 및 언어 표현과 정렬함으로써, 경량화된 스켈레톤 전용 추론을 통해 우수하고 일반화 가능한 인간 행동 인식 성능을 달성하는 동작 인식 프레임워크인 T-MOR을 제안한다.

원저자: Di Yang, Mahmoud Ali, Quan Kong, Gianpiero Francesca, Francois Bremond

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Di Yang, Mahmoud Ali, Quan Kong, Gianpiero Francesca, Francois Bremond

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 "테니스를 치는 것"이나 "가구를 먼지떨이로 터는 것"과 같은 인간의 행동을 이해하도록 가르치려 한다고 상상해 보십시오.

현재 대부분의 AI 모델은 카메라를 든 관광객과 같습니다. 그들은 비디오를 보고 옷의 색상, 배경 풍경, 또는 테니스 라켓의 모양처럼 사물이 어떻게 '보이는지'를 바탕으로 무슨 일이 일어나고 있는지 추측합니다. 조명이 바뀌거나 사람이 다른 옷을 입으면 로봇은 혼란에 빠집니다.

다른 모델들은 졸라맨 화가와 같습니다. 그들은 오직 골격(관절과 뼈)만을 보고 몸이 어떻게 움직이는지를 봅니다. 이는 지저한 배경을 무시할 수 있다는 장점이 있지만, 이러한 모델들은 모든 동작을 매번 처음부터 새로 배워야 합니다. 만약 본 적 없는 새로운 동작을 보여주면, 그들은 길을 잃고 맙니다.

T-MOR은 이 두 세계의 장점을 모두 취하려는 새로운 프레임워크입니다. 이것을 수백만 개의 비디오를 보고 수백만 권의 책을 읽었지만, 동작을 이해하기 위해서는 무용수의 골격만을 필요로 하는 무용 강사라고 생각하십시오.

이것이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

1. "슈퍼 선생님" (멀티모달 학습)

학습 단계에서 T-MOR은 세 명의 서로 다른 선생님이 있는 교실에 앉아 있는 학생과 같습니다.

시각 선생님: 사람들의 행동이 담긴 영상을 보여줍니다.
언어 선생님: 해당 동작에 대한 설명(예: "사람이 가구의 먼지를 털고 있다")을 읽어줍니다.
모션 선생님: 골격 데이터(관절의 실제 움직임)를 보여줍니다.

목표는 움직임(골격), 영상의 모습, 그리고 동작을 설명하는 단어가 모두 같은 의미를 지니도록 모델을 가르치는 것입니다. 이를 위해 "대조 학습(contrastive learning)"이라는 기술을 사용하는데, 이는 마치 "짝 맞추기 게임"과 같습니다. 모델은 "이 골격의 움직임은 이 비디오 클립 및 이 텍스트 설명과 일치한다"라고 말하는 법을 배웁니다.

2. "그룹 만들기 게임" (클러스터 가이드 학습)

이 논문의 영리한 기법 중 하나는 실수를 처리하는 방식입니다. 뒤섞인 사진 더미를 분류한다고 상상해 보십시오. 단순히 무작위로 사진을 뽑아 비교하다 보면, 우연히 같은 동작의 사진 두 장을 뽑고도 서로 다르다고 생각하는 실수(거짓 부정, false negative)를 할 수 있습니다.

T-MOR은 "그룹화" 전략을 사용합니다. 비교하기 전에, 움직임을 클러스터(사진을 폴더별로 정리하는 것과 같음)로 조직화합니다. 그런 다음 같은 폴더 안의 움직임은 "친구"(양성 쌍)로, 서로 다른 폴더의 움직임은 "낯선 사람"(부정 쌍)으로 비교합니다. 이는 모델이 무작위 노이즈에 혼란을 느끼지 않고 인간 움직임의 진정한 구조를 이해하도록 돕습니다.

3. "새로운 도서관" (PoseCap-1M)

이 모델을 가르치기 위해 저자들은 비디오, 텍스트, 골격을 동시에 결합한 거대한 데이터 라이브러리가 필요하다는 것을 깨달았습니다. 그렇게 큰 규모의 데이터를 찾을 수 없었기에, 그들은 직접 PoseCap-1M을 구축했습니다.

이것은 100만 개 이상의 항목이 들어있는 도서관과 같습니다.
모든 항목에는 비디오 클립, 그에 대응하는 골격 데이터, 그리고 텍스트 설명이 포함되어 있습니다.
이 방대한 데이터셋을 통해 모델은 특정 사례를 암기하는 것이 아니라, 인간이 어떻게 움직이는지에 대한 일반적인 규칙을 학습할 수 있습니다.

4. "경량화된 성능" (추론)

이 부분은 실제 사용을 위해 가장 중요한 부분입니다. 모델은 이 모든 비디오와 텍스트로부터 학습을 마친 후, 더 이상 그것들을 필요로 하지 않습니다.

학습(Training): 비디오와 텍스트 데이터를 사용하여 학습합니다.
테스트/추론(Inference): 오직 골격만을 필요로 합니다.

이는 수천 가지 요리를 맛보고 레시피를 읽으며 요리를 배운 셰프가, 이제는 원래의 레시피 북이나 시식 메뉴 없이도 재료 목록(골격)만 보고 완벽한 요리를 만들어내는 것과 같습니다. 이 덕분에 모델은 매우 빠르고 효율적이며, 전력이 제한된 기기에서도 사용하기 적합합니다.

무엇을 발견했는가?

저자들은 여러 실제 환경의 과제를 통해 T-MOR을 테스트했습니다.

동작 인식: 배경이 지저롭거나 조명이 나쁜 상황에서도 이전 방식들보다 "테니스를 치는 것"이나 "먼지를 터는 것"과 같은 동작을 더 잘 식별해 냈습니다.
타이밍 감지: 긴 비디오 속에서 동작이 정확히 언제 시작되고 끝나는지 알려줄 수 있었습니다.
"제로샷(Zero-Shot)"의 마법: 이것이 가장 인상적인 부분입니다. 저자들은 모델에게 한 번도 본 적 없는 동작(예: 학습하지 않은 특정 게임을 하는 것)을 인식하도록 요청했습니다. 모델은 언어와 영상을 통해 움직임의 '개념'을 배웠기 때문에, 동작의 이름만 읽고 골격을 봄으로써 그 동작을 추측할 수 있었습니다. 모델은 해당 동작을 위해 특별히 훈련된 모델만큼이나, 혹은 그보다 더 뛰어난 성능을 보였습니다.

요 요약

요약하자면, T-MOR은 비디오를 공부하고 텍스트를 읽음으로써 인간의 움직임을 이해하는 법을 배우지만, 실제로 일을 수행할 때는 졸라맨 형태의 골격만을 필요로 하는 시스템입니다. 거대한 새로운 데이터셋과 스마트한 "그룹화" 전략을 사용하여, 이 모델은 정확하고 빠르며, 한 번도 접해보지 못한 새로운 동작까지 이해할 수 있는 능력을 갖추게 됩니다.

기술 요약: T-MOR

문제 정의

CLIP과 같은 시각-언어 모델(Vision-Language Models, VLMs)은 시각적 이해 측면에서 성공을 거두었으나, 주로 외형 수준의 감독(appearance-level supervision)에 의존하며 인간의 움직임에 대한 명시적인 모델링이 부족하다는 한계가 있다. 이러한 한계는 동작이 시간적으로 구조화되고 물리적으로 근거가 있는 신체 움직임에 의해 정의되는 정밀한 인간 중심 행동 인식 작업에서 효과를 저해한다. 반대로, 기존의 스켈레톤 기반 방법들은 대개 폐쇄형 집합(closed-set) 환경에서 작동하므로, 광범이한 재학습 없이 새로운 동작이나 작업으로 전이하기 어렵다. 본 연구가 다루는 핵심 과제는 대규모 시맨틱 감독(비디오 및 텍스트로부터)을 활용하여, 전이 가능하고 물리적으로 근거가 있으며 시간적으로 일관된 인간 움직임 표현을 학습하면서도 추론 시에는 견고하고 가볍게 유지되는 방법을 찾는 것이다.

방법론

저자들은 비디오와 언어 감독을 통해 스켈레톤 시퀀스로부터 전이 가능한 동작 표현을 학습하도록 설계된 동작 인식 프레임워크인 T-MOR(Transferable skeleton MOtion Representation)을 제안한다.

1. 아키텍처 및 특징 추출

핵심 표현: 이 프레임워크는 추론을 위한 주요 입력값으로 스켈레톤 시퀀스( $s_k$ )를 사용한다. 동작 인코더( $E_M$ )는 공간적 관절 관계와 시간적 진화를 포착하기 위해 트랜스포머(Transformer)와 TCN을 결합한 하이브리드 아키텍처인 UNIK를 기반으로 한다.
다중 모달 정렬: 사전 학습 단계에서 T-MOR은 동작 임베딩( $E_M(s_k)$ $E_{M} (s_{k})$ )을 다음 요소들과 정렬한다:
- 시각 임베딩 ( $E_V(v)$ ): 동결된(frozen) ViCLIP 비디오 인코더를 사용하여 RGB 비디오 프레임에서 추출된다.
- 텍스트 임베딩 ( $E_T(a)$ ): 동결된 ViCLIP 텍스트 인코더를 사용하여 동작 설명으로부터 추출된다.
추론 효율성: 비디오 및 텍로 인코더는 사전 학습 후 동결되거나 폐기된다. 추론 시에는 경량화된 스켈레톤 인코더만을 사용하므로 자원이 제한된 시나리오에 적합하다.

2. 클러스터 가이드 다중 모달 대조 학습 (Cluster-Guided Multi-modal Contrastive Learning)

T-MOR은 메모리 뱅크에서의 무작위 샘플링으로 인한 거짓 음성(false negatives) 문제를 완화하기 위해, 양성 및 음성 샘플 선택을 정교화하는 클러스터 가이드 대조 메커니즘을 적용한 2단계 학습 전략을 채택한다.

클러스터링: 매 에포크(epoch)가 끝난 후, 동작 임베딩은 DBSCAN을 사용하여 클러스터링된다. 동일한 클러스터 내의 샘와는 양성 쌍(positive pairs)으로 취급되며, 다른 클러스터에 속한 샘플은 음성 쌍(negatives)으로 간주된다.
자기 지도 사전 학습 (Motion-Video): 모델은 동작-동작 쌍과 동작-비디오 쌍을 정렬하기 위해 손실 함수( $L_{self} = L_{mm} + L_{mv}$ )를 최적화하며, 이때 동작 주석(annotation)을 사용하지 않는다. 이를 통해 시각적 움직임 단서와 정렬된 전이 가능한 스켈레톤 인코더를 학습한다.
지도 정렬 (Motion-Text): 두 번째 단계에서는 동작 표현을 언어 시맨틱스( $L_{mt}$ )와 정렬하여 제로샷 전이(zero-shot transfer)를 가능하게 한다. 전체 지도 목적 함수는 $L_{sup} = L_{mm} + L_{mv} + L_{mt}$ 이다.
손실 공식화: 대조 손실(contrastive loss)은 온도 스케일링(temperature scaling)이 적용된 코사인 유사도를 사용하여, 동작 임베딩이 여러 모달리티에 걸쳐 시맨틱하게 응집되면서도 변별력 있는 매니폴드(manifold)를 형성하도록 유도한다.

3. PoseCap-1M 데이터셋

대규모 사전 학습을 지원하기 위해 저자들은 비디오, 스켈레톤, 텍스트의 동기화된 삼중항(triplets)이 100만 개 이상 포함된 새로운 데이터셋인 PoseCap-1M을 구축하였다. 이 데이터셋은 다양한 인간 활동을 다루며, 기존 공개 데이터셋에 존재하는 대규모 다중 모달 스켈레톤 리소스의 부족 문제를 해결한다.

주요 기여

T-MOR 프레임워크: 클러스터 가이드 다중 모달 대조 학습을 통해 동작 임베딩을 시각 및 언어 임베딩과 정렬함으로써 전이 가능한 스켈레톤 표현을 학습하는 새로운 프레임워크를 제안한다.
PoseCap-1M 데이터셋: 스켈레톤 기반 모델의 다중 모달 사전 학습을 촉진하기 위해 동작-비디오-텍스트 삼중항을 제공하는 대규모 액션 데이터셋을 제공한다.
성능 및 일반화: 선형 프로빙(linear probing) 및 미세 조정(fine-tuning) 설정 하에서 Toyota Smarthome, UAV-Human, Penn Action, TSU, Charades 벤치마크를 통해 T-MOR의 성능을 입증하였다.

실험 결과

저자들은 선형 프로빙 및 미세 조정 설정을 통해 Toyota Smarthome, UAV-Human, Penn Action, TSU, Charades를 포함한 여러 벤치마크에서 T-MOR을 평가하였다.

행동 분류 (Action Classification): T-MOR은 기존의 최첨단(SoTA) 스켈레톤 기반 방법들을 일관되게 능가했다. 예를 들어, Penn Action 데이터셋에서 T-MOR은 (V+M+T 사전 학습을 통한 미세 조정 시) 97.3%의 이전 SoTA 및 처음부터 학습된 UNIK 백본의 29.8%와 비교하여 **97.8%**의 Top-1 정확도를 달성했다.
행동 탐지 (Action Detection): T-TSU 및 Charades 데이터셋에서 T-MOR은 상당한 이득을 보였다. TSU에서의 미세 조정 시, T-MOR은 **38.3%**의 CS 정확도를 달여, 이전 SoTA인 SD-TCN(31.2%)을 넘어섰다.
제로샷 전이 (Zero-Shot Transfer): T-MOR은 제로샷 설정에서 강력한 일반화 능력을 보여주었다. Smarthome 데이터셋에서 T-MOR은 동작 전용 입력만으로 **21.9%**의 정확도를 달성하였으며, 이는 시각-언어 특징으로 학습된 기존 스켈레톤 모델들을 능가하고 비디오-언어 파운데이션 모델들과 경쟁할 만한 수준이다.
3D 전이: 또한 프레임워크는 PKU-MMD 데이터셋에서 IoU 0.1 기준 94.3% mAP를 달성하며 3D 행동 탐지로의 강력한 전이성을 보여주었다.

의의 및 주장

본 논문은 T-MOR이 대규모 시맨틱 감독과 물리적으로 근거가 있는 동작 모델링 사이의 간극을 성공적으로 메웠다고 주장한다. 훈련 중에는 비디오와 언어 데이터를 활용하지만 추론 시에는 스켈레톤 입력만을 사용함으로써, 이 프레임워크는 계산 자원이 제한된 실제 환경을 위한 실용적인 솔루션을 제공한다.

저자들은 **동작 중심 및 체화된 표현(embodied representations)**이 전이 가능한 행동 이해에 필수적임을 강조한다. 결과에 따르면, 대규모 비디오 데이터는 사전 학습 단계에서 명시적인 행동 레이블이 없더라도 다운스트림 스켈레톤 기반 작업에 큰 도움을 줄 수 있다. 또한, 제안된 방식은 동작 특징을 시각-언어 특징과 결합하거나(또는 제로샷 설정에서 동작만을 사용하는 것) 하는 것이 도전적이고 정밀한 행동 인식 시나리오에서 더 강력한 일반화로 이어진다는 것을 입증한다. 본 연구는 동작 인식 모델로서의 체화된 표현이 향후 인간 행동 이해의 핵심 방향임을 제시한다.