Skeleton-to-Image Encoding: Enabling Skeleton Representation Learning via Vision-Pretrained Models

이 논문은 3D 인간 골격 데이터를 시맨틱에 기반한 이미지 형식으로 변환하는 'S2I' 인코딩을 제안하여, 대규모 사전 훈련된 비전 모델의 강력한 능력을 자기지도 학습을 통한 골격 표현 학습에 성공적으로 적용하고 이질적인 데이터 소스를 통합하는 새로운 패러다임을 제시합니다.

핵심

1. 문제점: "서로 다른 언어를 쓰는 두 친구"

과거에 컴퓨터가 사람의 움직임을 분석할 때, 주로 **3D 뼈대 데이터 (스케줄)**를 사용했습니다.

• 뼈대 데이터: 사람의 관절 (어깨, 팔꿈치, 무릎 등) 좌표만 나열된 숫자 덩어리입니다. (예: "어깨 좌표는 (10, 20, 5) 이고, 팔꿈치는 (15, 25, 6) 이다.")
• 한계: 이 데이터는 매우 희박하고 (Sparse) 숫자만 나열되어 있어서, 컴퓨터가 이해하기엔 마치 점만 찍힌 도면과 같습니다.

반면, 최근 AI 는 **이미지 (사진)**를 엄청나게 잘 봅니다. 수억 장의 사진을 보고 "이건 고양이야, 저건 자동차야"를 배운 거대 AI 들이 있습니다.

• 문제: 이 똑똑한 이미지 AI 에게 뼈대 데이터 (점 도면) 를 바로 주면, 언어가 달라서 전혀 이해하지 못합니다. 마치 한국어 책을 영어로 번역 없이 읽으려 하는 것과 비슷하죠.

또한, 뼈대 데이터는 출처마다 관절의 개수가 다릅니다. 어떤 건 25 개, 어떤 건 20 개, 어떤 건 13 개입니다. 이걸 맞추려면 매번 데이터를 다듬고 (다운샘플링) 정보를 잃어버리는 수고를 해야 했습니다.

2. 해결책: "뼈대를 그림으로 변신시키다 (S2I)"

이 논문은 **"뼈대 데이터를 이미지 AI 가 이해할 수 있는 '그림'으로 바꿔주자"**고 제안합니다. 이를 **S2I (Skeleton-to-Image Encoding)**라고 부릅니다.

🎨 비유: "레고 블록을 그림으로 그리기"

1. 부위 나누기 (Partitioning):
   사람의 몸을 5 개의 큰 부위로 나눕니다. (몸통, 왼쪽 팔, 오른쪽 팔, 왼쪽 다리, 오른쪽 다리).

   • 비유: 레고로 만든 인형을 팔, 다리, 몸통으로 조립해 놓은 것처럼 부위별로 정리하는 거예요.

2. 순서 정하기 (Reordering):
   각 부위 안의 관절들을 위에서 아래로 정렬합니다. (예: 왼쪽 팔은 어깨 → 팔꿈치 → 손목 → 손 순서).

   • 비유: 그림을 그릴 때 머릿속으로 인체의 구조를 정리하는 것과 같습니다.

3. 그림으로 변환 (Mapping):
   여기서 가장 마법 같은 일이 일어납니다.

   • 뼈대의 **X, Y, Z 좌표 (3 차원 공간)**를 그림의 빨강 (R), 초록 (G), 파랑 (B) 색상 채널로 바꿉니다.
   • 비유: "관절의 위치"라는 숫자 정보를 "색깔"이라는 시각 정보로 바꾸는 거예요. 움직이는 뼈대 데이터를 마치 움직이는 애니메이션 프레임처럼 2D 이미지로 만들어냅니다.

4. 크기 맞추기 (Resizing):
   이렇게 만든 이미지를 AI 가 좋아하는 표준 크기 (224x224 픽셀) 로 늘려줍니다.

3. 결과: "이미지 AI 가 뼈대 분석의 대가가 되다"

이제 이 "변신한 뼈대 이미지"를 기존에 수억 장의 사진을 보고 훈련된 **거대 AI (Vision Pretrained Models)**에게 줍니다.

• 기존 방식: 뼈대 데이터에 맞춰서 새로운 AI 모델을 처음부터 만들어야 했습니다. (데이터가 적어서 배우기 힘들고, 다른 데이터셋에 적용하기 어려움)
• 이 논문의 방식: 이미 이미지 분석을 잘하는 AI를 가져와서, 우리가 만든 "뼈대 그림"을 보여주면 됩니다.
  • 비유: 이미 **요리 실력이 뛰어난 셰프 (이미지 AI)**에게, 우리가 새로운 재료를 그림으로 그려서 보여주면, 그 셰프는 자신의 뛰어난 요리 실력으로 그 재료를 어떻게 다룰지 금방 알아챕니다.

4. 왜 이것이 혁신적인가요?

1. 정보를 잃지 않음: 뼈대 데이터를 무작정 줄이거나 (다운샘플링) 맞추지 않아도 됩니다. 원래 데이터의 구조를 그림으로 완벽하게 보존합니다.
2. 어떤 데이터든 가능: 관절이 25 개인 데이터든, 13 개인 데이터든, 모두 같은 방식으로 그림으로 바꾸면 AI 는 똑같이 처리할 수 있습니다. (보편적인 학습 가능)
3. 성능 향상: 수백만 장의 사진으로 훈련된 AI 의 지식을 뼈대 분석에 그대로 가져와서, 적은 데이터로도 훨씬 더 똑똑하게 움직임을 인식할 수 있게 됩니다.

📝 한 줄 요약

**"사람의 움직임을 나타내는 '숫자 나열 (뼈대)'을, AI 가 잘 보는 '그림'으로 변신시켜서, 이미 수억 장의 사진을 본 똑똑한 AI 에게 가르쳐서, 어떤 형태의 뼈대 데이터든 완벽하게 분석하게 만든 방법"**입니다.

이 방법은 앞으로 로봇이 사람의 행동을 이해하거나, 의료 분야에서 환자의 보행 분석을 할 때 훨씬 더 쉽고 정확하게 적용될 수 있을 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 데이터 포맷의 불일치: 최근 대규모 사전 학습된 비전 모델 (Vision Transformers, MAE 등) 은 이미지 기반 작업에서 뛰어난 성능을 보이지만, 3D 인간 골격 (Skeleton) 데이터에 직접 적용하는 것은 근본적인 데이터 형식의 차이로 인해 어렵습니다. 이미지는 밀집된 (dense) 2D 픽셀 데이터인 반면, 골격은 희소 (sparse) 한 3D 좌표 (관절 좌표) 시퀀스입니다.
• 데이터의 부족: 대규모로 레이블이 지정된 골격 데이터셋이 부족하여, 골격 전용 모델을 대규모로 사전 학습 (Pre-training) 하는 것이 제한적입니다.
• 구조적 이질성 (Structural Heterogeneity): 기존 골격 기반 방법론들은 특정 데이터셋에 맞춰 고정된 관절 수와 구조를 가정합니다. 따라서 서로 다른 관절 구성 (예: 25 관절 vs 13 관절) 을 가진 데이터셋 간의 전이 학습이나 통합 학습이 어렵습니다.
• 다중 모달리티 통합의 어려움: RGB, 깊이 (Depth) 등 다른 모달리티와 골격을 결합한 다중 모달 동작 인식에서, 골격 데이터를 별도의 모델 브랜치 없이 비전 모델과 자연스럽게 통합하는 방법이 부재했습니다.

2. 제안 방법론: Skeleton-to-Image Encoding (S2I)

저자들은 골격 데이터를 비전 모델이 처리할 수 있는 이미지 형식으로 변환하는 새로운 표현 기법인 Skeleton-to-Image Encoding (S2I) 을 제안합니다.

• 핵심 아이디어: 3D 골격 시퀀스를 비전 모델 (ViT, MAE 등) 의 입력으로 호환되는 "이미지 같은 (image-like)" 데이터로 재구성합니다.
• 구체적인 변환 과정:
  1. 의미론적 분할 (Semantic Partitioning): 골격의 관절을 신체 부위 (Torso, Left Arm, Right Arm, Left Leg, Right Leg) 5 개로 의미론적으로 분할합니다.
  2. 정렬 (Reordering): 각 부위 내에서 관절을 신체 구조 (Kinematic chain) 에 따라 상하 (Top-down) 순서로 재배열합니다. 이는 구조적 일관성을 유지합니다.
  3. RGB 채널 매핑: 3D 좌표 $(x, y, z)$ 를 이미지의 RGB 채널에 직접 매핑합니다.
  4. 시공간 스택 (Spatio-temporal Stacking): 시간 차원 ($T$ 프레임) 을 이미지 공간에 스택하여 전체 시퀀스를 하나의 2D 이미지처럼 표현합니다.
  5. 리사이징 (Resizing): 생성된 표현을 비전 모델의 표준 입력 크기 (예: $224 \times 224$) 로 선형 보간 (Linear Interpolation) 하여 조정합니다.
• 모델 적용: 이렇게 변환된 데이터를 사용하여 MAE (Masked Autoencoders) 나 DiffMAE 와 같은 강력한 비전 사전 학습 모델을 골격 데이터에 대해 자기 지도 학습 (Self-supervised learning) 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 파이프라인 제안: 이미지와 골격 시퀀스 간의 모달리티 간극을 해소하기 위해, 비전 사전 학습 모델과 가중치를 골격 표현 학습에 직접 활용하는 새로운 파이프라인을 제시했습니다.
2. S2I (Skeleton-to-Image Encoding) 도입: 희소한 3D 골격 데이터를 비전 모델 호환형 이미지 입력으로 변환하는 통일된 표현 방법을 제안했습니다. 이는 특정 관절 정의에 의존하지 않아 다양한 골격 포맷에 강건합니다.
3. 이질적 데이터 통합 및 범용 학습: 서로 다른 관절 수와 구조를 가진 여러 데이터셋 (NTU, PKU, Toyota 등) 을 통합하여 범용 골격 사전 학습 (Universal Skeleton Pretraining) 을 수행할 수 있음을 증명했습니다. 이는 기존 방법론이 해결하지 못했던 포맷 간 전이 학습 (Cross-format Transfer Learning) 을 가능하게 합니다.

4. 실험 결과 (Results)

저자들은 NTU-60, NTU-120, PKU-MMD, NW-UCLA, Toyota 등 5 개의 벤치마크 데이터셋에서 광범위한 실험을 수행했습니다.

• 자기 지도 학습 (Self-Supervised Learning):
  • S2I 를 통해 MAE 와 DiffMAE 를 골격 데이터로 사전 학습한 후, 선형 프로빙 (Linear Probing) 및 파인튜닝 (Fine-tuning) 을 수행했습니다.
  • ImageNet 에서 사전 학습된 가중치를 활용함으로써, 처음부터 학습하는 (Scratch) 모델보다 성능이 크게 향상됨을 확인했습니다.
  • NTU-60 (C-sub): 83.1% (S2I), 85.8% (3-stream fusion) 의 정확도를 기록하여 기존 SOTA 방법론들과 경쟁력 있는 성능을 보였습니다.
• 전이 학습 및 일반화 (Transfer Learning & Generalization):
  • 크로스-포맷 전이 학습: 25 관절 (NTU) 에서 13 관절 (Toyota) 또는 20 관절 (NW-UCLA) 로의 전이 학습에서 기존 방법론 (관절 다운샘플링 등) 보다 우수한 성능을 보였습니다. 이는 S2I 가 구조적 손실 없이 다양한 포맷을 처리함을 의미합니다.
  • 범용 사전 학습: 여러 데이터셋을 합쳐 사전 학습한 모델이 개별 데이터셋 학습보다 모든 타겟 데이터셋에서 더 높은 성능을 보였습니다 (예: PKU-II 에서 +5.3% 향상).
• 마스크 전략: 무작위 마스크 (Random Masking) 가 75% 비율에서 가장 좋은 성능을 보였으며, DiffMAE 가 MAE 보다 일관되게 우수한 성능을 나타냈습니다.

5. 의의 및 결론 (Significance)

• 모달리티 간 장벽 해소: 골격 데이터를 이미지로 변환함으로써, 수백만 장의 이미지로 학습된 거대 비전 모델의 풍부한 지식을 골격 분석 분야로 성공적으로 이전 (Transfer) 할 수 있음을 증명했습니다.
• 확장성과 범용성: 특정 데이터셋에 종속되지 않는 통일된 표현 방식을 통해, 다양한 소스의 이질적인 골격 데이터를 통합하여 학습할 수 있는 기반을 마련했습니다. 이는 데이터 부족 문제를 완화하고 모델의 일반화 능력을 극대화합니다.
• 미래 전망: 이 방법은 RGB 비디오, 깊이 정보 등 다른 모달리티와의 결합을 통한 다중 모달 동작 인식 연구로 자연스럽게 확장될 수 있으며, 향후 더 큰 비전 모델 (VLM 등) 과의 결합 가능성을 열어줍니다.

요약하자면, 이 논문은 골격 데이터를 이미지로 변환하는 S2I 기법을 통해 대규모 비전 사전 학습 모델을 골격 인식에 적용함으로써, 데이터 부족과 포맷 이질성 문제를 해결하고 성능과 일반화 능력을 획기적으로 개선한 혁신적인 연구입니다.