기술 요약: Superman: 인간 동작 인지 및 생성을 위한 스켈레톤과 비전의 통합

1. 문제 정의

현재 인간 동작 분석 분야는 심각한 파편화 양상을 보이고 있습니다. 기존의 패러다임은 서로 겹치지 않는 두 개의 별개 진영으로 나뉩니다:

• 인지 모델 (Perception Models): 이러한 모델들(예: MotionBERT, SiC)은 원시 비디오로부터 동작을 이해하는 데 탁 excellence하지만, 새로운 타당한 동작 시퀀스를 생성하는 능력 없이 주로 텍스트 설명이나 정적인 2D/3D 포즈를 출력하는 데 국한됩니다.
• 생성 모델 (Generation Models): 이러한 모델들(예: MotionGPT, MotionGPT3)은 텍스트나 추상적인 입력을 통해 동작 시퀀스를 생성할 수 있지만, 원시 시각적 입력(비디오)을 인지하거나 처리하는 능력이 부족한 경우가 많습니다. 또한, 많은 생성형 멀티모달 거대 언어 모델(MLLM)은 밀집된 파라메트릭 모델(SMPL 등)을 사용하는 단일 프레임의 정적 포즈에 제한되어 있어, 시간적 역동성을 포착하지 못합니다.

또한, 기존의 동작 어휘(motion vocabularies)는 오직 스켈레톤 데이터만을 기반으로 구축되어 시각적 도메인과의 연결이 끊어져 있습니다. 이러한 "읽기 전용(read-only)" 대 "쓰기 전용(write-only)"의 이분법은 연구자들이 본질적으로 상호 연결된 작업들을 수행함에도 불구하고 서로 다른 아키텍처를 사용하게 만들며, 모델이 인지와 생성 사이의 시너지 관계를 활용하는 것을 방해합니다.

2. 방법론

저자들은 인간 동작 분석을 조건부 시퀀스 생성 문제로 재정의하는 통합된 멀티태스크, 멀티모달 생성 프레임워크인 Superman을 제안합니다. 이 프레임워크는 두 가지 주요 단계로 구성됩니다:

A. 비전 가이드 동작 토크나이저 (VGMT)

이 접근 방식의 핵심은 교차 모달 동작 어휘를 생성하는 새로운 토크나이저입니다. 이전 연구들이 스켈레톤에만 의존했던 것과 달리, VGMT는 시각적 외형과 3D 스켈레톤 기하학을 융합하도록 설계된 벡터 양자화 변이형 오토인코더(VQ-VAE) 아키텍처를 기반으로 구축되었습니다.

• 이중 스트림 인코딩 (Dual-Stream Encoding):
  • 비전 스트림 (Visual Stream): 비전 백본(예: HRNet)과 비주얼-스켈레톤 어텐션 (VSA) 모듈을 사용하여 비디오 프레임으로부터 포즈 중심의 시각적 특징을 추출합니다. VSA는 투영된 2D 관절 위치를 기반으로 샘플링 오프셋과 가중치를 예측하여 특징을 적응적으로 집계함으로써 폐쇄(occlusion)에 대한 강건성을 높입니다.
  • 스켈레톤 스트림 (Skeletal Stream): 관절-시간 그리드 상에서 경량 2D 컨볼루션을 통해 3D 포즈 시퀀스를 처리함으로써 고유한 동작 기하학을 포착합니다.
• 하이브리드 코드북 양자화 (Hybrid Codebook Quantization): 시스템은 각 토큰이 쌍을 이룬 시각적 및 기하학적 프로토타입으로 구성된 바이모달 엔티티인 하이브리드 코드북을 채택합니다. 각 시간 윈도우에 대해, 융합된 시각 및 스켈레톤 특징과 코드북 프로토타입 사이의 결합 유클리드 거리를 최소화함으로써 토큰 인덱스가 선택됩니다. 이는 양자화 과정이 외형과 기하학 모두에 근거하도록 보장합니다.
• 학습 (Training): 토크나이저는 재구성 손실(reconstruction loss)과 모달리티별 커밋먼트 손실(modality-wise commitment losses)을 결합한 VQ 목적 함수와 함께 엔드투엔드로 학습됩니다.

B. MLLM을 이용한 통합 멀티태스크 모델링

단일 디코더 전용 멀티모달 거대 언어 모델(구체적으로 Qwen2.5-VL-7B)이 중앙 시퀀스 프로세서 역할을 합니다.

• 동작 인식 미세 조정 (Motion-Aware Fine-Tuning, MAFT): 선택적인 경량 모듈이 MLLM의 비주얼 스트림에 스켈레톤 기하학을 주입합니다. 이는 크로스 어텐션을 통해 그리드 토큰(쿼리)을 포즈 토큰(키/값)과 융합함으로써 ViT 특징을 VSA 블록을 통해 강화합니다.
• 작업 통합 (Task Unification): MLLM은 표준 자기회귀적 교차 엔트로피 손실을 사용하여 다양한 태스크별 포맷이 혼합된 데이터로 공동 학습됩니다. 모델은 조건부 입력을 변경하여 세 가지 별개의 작업을 수행합니다:
  1. 3D 포즈 추정 (Pose Estimation, PE): 비디오 클립을 포즈 토큰 시퀀스로 변환합니다.
  2. 동작 예측 (Motion Prediction, MP): 과거 시퀀스가 주어졌을 때 미래의 포즈 토큰을 자기회귀적으로 예측합니다.
  3. 동작 인비트위닝 (Motion In-betweening, MIB): 시작 및 종료 키프레임 사이의 중간 토큰을 생성합니다.

3. 주요 기여

1. 통합 프레임워크: 하나의 MLLM을 활용하여 멀티태스크, 멀티모달 인간 동작 분석을 수행하는 단일 생성 프레임워크를 제안함으로써, 동작 인지와 생성 사이의 간극을 효과적으로 메웠습니다.
2. 비전 가이드 동작 토크나이저: 견고한 교차 모달 포즈 어휘를 생성하는 새로운 토크나이저를 도입했습니다. 토큰이 바이모달 엔티티(쌍을 이룬 시각 및 기하학적 프로토타입)인 하이브리드 코드북을 설계함으로써, 양자화 과정이 비디오 외형과 3D 스켈레톤 기하학에 의해 동시에 가이드되도록 했습니다.
3. 최첨단 성능 (State-of-the-Art Performance): 이 통합된 방법이 다양한 작업(PE, MP, MIB)에서 최첨단 또는 경쟁력 있는 성능을 달성함을 입증하여, 풍부한 결합 표현을 학습하는 것의 효용성을 검증했습니다.

4. 실험 결과

프레임워크는 주로 Human3.6M과 미학습 데이터셋인 3DPW를 포함한 표준 벤치마크에서 평가되었습니다.

• Human3.6M 성능: Superman은 세 가지 작업 모두에서 최첨단 결과를 달성했습니다.
  • 포즈 추정: N-MPJPE 측면에서 전통적인 멀티태스크 모델(예: Human-in-Context)보다 11.97%, LLM/MLLM 기반 방법(예: PoseLLaVA)보다 10.91% 더 우수한 성능을 보였습니다.
  • 동작 예측 및 인비트위닝: 기존 모델 및 LLM 기반 베이스라인 모델들과 비교하여 가장 낮은 평균 관절 위치 오차(MPJPE)를 기록했습니다.
• 일반화 (Generalization): Human3.6M만으로 학습되었음에도 불구하고, Superman은 3DPW 데이터셋에서 뛰어난 제로샷 일반화 능력을 보여주었으며, 동작 예측 및 인비트위닝 작업 모두에서 모든 베이스라인 모델을 크게 앞질렀습니다.
• 효율성: 대규모 Qwen2.5-VL-7B가 자원 소비를 주도하지만, 새로 도입된 구성 요소(MAFT 및 VSA)는 전체 계산 비용의 0.03% 미만을 차지하여 높은 확장성을 보여줍니다.
• 절제 연구 (Ablation Studies):
  • 토크나이저: 비전과 기하학으로부터의 공동 학습이 필수적임을 입증했습니다. 비전 전용 모델은 실패했으며, 스켈레톤 전용 베이스라인은 융합 구성에 의해 크게 뒤처졌습니다.
  • 학습 전략: 통합 멀티태스크 학습 전략이 단일 작업에 특화된 모델보다 일관되게 우수한 성능을 보였으며, 이는 긍정적인 지식 전이(knowledge transfer)를 나타냅니다.
  • 확장성 (Scaling): 모델 크기(3B에서 7B로)와 코드북 용량을 늘릴수록 오차율이 일관되게 감소하여, 프레임워크의 확장성을 확인했습니다.

5. 의의

본 논문은 Superman이 생성적 동작 분석을 위한 더 효율적이고 확장 가능한 경로를 제시한다고 주장합니다. 동작을 보편적인 언어로 개념화하고 이를 시각적 및 기하학적 모달리티에 근거하게 함으로써, 이 연구는 현재의 파편화된 인간 동작 분석 생태계에 도전합니다. 이는 단일 모델이 포즈 추정을 위한 전체 비디오부터 예측을 위한 스켈레톤 시퀀스에 이르기까지 멀티모달 입력을 유연하게 처리하고, 일관되고 구조화된 3D 동작을 생성함으로써, 일관된 아키텍처 내에서 동작의 "읽기"와 "쓰기"를 통합할 수 있음을 보여줍니다.