기술 요약: FiGMo – 언어 모델을 이용한 미세한 수준의 인간 동작 이해

문제 정의

인간의 동작을 미세한 시간적 정밀도로 이해하는 것은 인간 중심의 AI 시스템(인간-로봇 상호작용, 재활 모니터링, 스포츠 코칭 등)을 구축하는 데 있어 중요한 단계입니다. 최근 대규모 언어 모델(LLM)의 발전으로 멀티모달 추론 능력이 확장되었으나, 기존 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 비디오 중심의 한계: 대부분의 방법은 가공되지 않은 비디오 입력을 사용하므로 계산 비용이 많이 들고, 공격적인 시간적 서브샘플링(temporal subsampling)이 필요하며(이 과정에서 빠르거나 미세한 역동성이 가려짐), 신원 및 배경 정보로 인한 개인정보 보호 문제를 야기합니다.
2. 시간적 접지(Temporal Grounding)의 상실: 기존의 골격 기반 LLM들은 동작을 이산적인 토큰(예: VQ-VAE를 통한)으로 압축하거나 명시적인 타임스탬프 없이 포즈 시퀀스를 결합합니다. 이는 동작 클립을 하나의 원자적 단위로 취급하여, 모델이 특정 동작의 정확한 타이밍, 지속 시간, 리듬을 추론하는 것을 방해합니다.
3. 데이터 제약: 많은 선행 연구들이 깨끗하고 통제된 3D 모션 캡처(MoCap) 데이터에만 의존하여, 단안 비디오에서 추출된 노이즈가 있는 2D 포즈 디텍터를 사용하는 실제 환경에서의 적용 가능성을 제한합니다.

방법론

저자들은 FiGMo(Fine-Grained Motion)를 제안합니다. 이는 인간의 동작을 시간적으로 접지된 골격 포즈의 시퀀스로 명시적으로 모델링하는 LLM 기반 프레임워크입니다.

1. 통합 포즈 인코더 (Unified Pose Encoder)

2D와 3D 입력을 모두 견고하게 처리하기 위해, 저자들은 MotionBERT의 모션 인코더를 변형하여 사용합니다.

• 아키텍처: 인코더는 연속적인 동작이 아닌 개별 정적 포즈를 인코딩하기 위해 공간 트랜스포머 블록(spatial transformer blocks)만을 유지합니다.
• 사전 학습: 인코더는 손상된 입력(가산 노이즈 및 무작위 관절 마스킹)으로부터 3D 포즈를 재구성하도록 사전 학습됩니다. 이 인코더는 검출된 2D 포즈, 3D MoCap 데이터, 그리고 3D 시퀀스의 2D 투영 데이터가 혼합된 데이터셋으로 학습됩니다. 이를 통해 노이즈가 있는 2D 검출값과 깨끗한 3D 데이터를 일관되게 처리할 수 있는 통합 인코더를 생성합니다.

2. 시간적 접지를 갖춘 멀티모달 LLM 구조

핵심 혁신은 동작을 LLM에 표현하는 방식에 있습니다:

• 포즈 번역기 (Pose Translator): 경량화된 2계층 MLP가 포즈 임베딩을 LLM의 시맨틱 공간으로 투영합니다.
• 명시적 타임스탬핑 (Explicit Timestamping): 포즈를 단순히 결합하는 대신, FiGMo는 각 포즈 임베딩을 특정 타임스탬프 토큰과 결합합니다 (예: Time: 0.00s <pose>, Time: 0.03s <pose>). 이를 통해 LLM은 포즈 수준에서 동작의 순서, 지속 시간, 리듬을 추론할 수 있습니다.
• 선택적 비디오 컨텍스트: 이 아키텍처는 동작 표현 공간을 제한하지 않으면서 맥락적 단서를 제공하기 위해 시각적 인코더를 통한 선택적 비디오 입력을 지원합니다.

3. 다양한 감독 전략 (Diverse Supervision Strategy)

저자들은 네 가지 모듈을 아우르는 다양한 학습 혼합물을 구성하여 서로 다른 감독 수준의 필요성을 조사합니다:

• 포즈 수준 감독 (Pose-Level Supervision): PoseScript 및 PoseFix 데이터셋에서 유도된 포즈 캡셔닝(PS-short, PS-fine)과 포즈 질의응답(PS-QA, PF-fine)을 포함합니다. 이러한 작업은 정적인 신체 구성과 공간적 관계에 집중합니다.
• 모션 수준 감독 (Motion-Level Supervision): 모션 캡셔닝(BABEL-cap)과 모션 질의응답(HML3D-QA, BABEL-QA, FTM-QA)을 포함합니다. 특히 FTM-QA 모듈은 미세한 시간적 추론(지속 시간, 시작/종료 시간, 순서)을 감독하기 위해 설계되었습니다.
• 학습 스케줄: 저자들은 단일 단계 학습 방식과 단계적 커리큘럼(Pose $\to$ Motion)을 비교합니다. 단계적 접근 방식은 복잡한 시간적 추론을 다루기 전에 정렬을 확립하기 위해 포즈 수준의 작업을 먼저 도입합니다.

주요 기여

1. FiGMo 아키텍처: 동작을 타임스탬프가 찍힌 골격 포즈의 시퀀스로 명시적으로 표현하여, 동작의 순서, 지속 시간 및 리듬에 대한 미세한 추론을 가능하게 하는 LLM 기반 방법입니다.
2. 통합 2D/3D 인코더: 혼합 및 손상된 데이터로 사전 학습된 포즈 인코더를 통해, 실용적인 2D 검출값과 3D MoCap 시퀀스 모두에서 작동할 수 있는 모델을 제공합니다.
3. 감독 분석: 다양한 포즈 및 모션 수준의 감독이 성능 향상의 주요 동력인 반면, 단계적 학습은 부차적인 이점을 제공한다는 점을 보여주는 절제 실험(ablation study)을 수행했습니다. 결정적으로, 포즈 수준의 감독이 다운스트림 모션 이해에 필수적임을 입증했습니다.
4. 최첨단 성능 (SOTA): 이 방법은 여러 벤치마크에서 최고 성능을 달립다. 특히 2D 전용 변형 모델이 기존의 3D 기반 방법들을 능가한다는 주목할 만한 결과를 얻었습니다.

실험 결과

FiGMo는 다섯 가지 벤치마크(BABEL-QA, HuMMan-QA, CompMo, NTU-RGB+D, QEVD-Coach)에서 평가되었습니다.

• BABEL-QA (Motion QA): FiGMo (3D)는 0.758의 전체 정확도를 달성하여 기존 SOTA 모델인 HuMoCon (0.711)을 앞질렀습니다. 놀랍게도, FiG-Mo (2D) 변형 모델은 2D 골격 입력만을 사용했음에도 0.750을 기록하여 모든 이전 3D 기반 방법들을 능가했습니다. 이러한 이득은 시간적 필터링 쿼리("전", "후", "사이")에서 특히 두드러졌습니다.
• HuMMan-QA: 이 방법은 모든 지표에서 최고의 성능을 보였습니다 (전체: 3D 기준 0.824, 2D 기준 0.792). 이는 BABEL을 넘어선 강력한 일반화 능력을 입증합니다.
• CompMo (Dense Captioning): FiGMo는 캡셔닝 지표(예: CIDEr: 456.95 vs. 134.44)와 시간적 국소화(tIoU: 98.44 vs. 77.94) 모두에서 UniMotion 및 DEMO를 크게 압도했습니다. 이는 명시적 타임스탬프 접지의 효과를 입증합니다.
• NTU-RGB+D 120 (One-Shot Action Recognition): 2D 모션 입력만을 사용하여 FiGMo는 **69.2%**의 정확도를 달성하여 이전 방법들을 능가했습니다. 비디오를 보조 양식으로 추가했을 때 이 수치는 **77.4%**로 상승했습니다.
• QEVD-Coach (Exercise Feedback): 모션 기반 모델은 운동 실행에 대한 피드백을 제공하는 데 있어 비디오 전용 LLM보다 우수한 성능을 보였으며, 이는 명시적 골격 표현의 효용성을 강조합니다.

의의 및 주장

본 논문은 명시적 시간적 인코딩과 다양한 감독이 미세한 수준의 인간 동작 이해의 핵심이라고 주장합니다.

• 개인정보 보호 및 효율성: 생생한 비디오 대신 골격 포즈에 의존함으로써, FiGMo는 재활과 같은 민감한 애플리케이션이나 에지 디바이스에 적합한 개인정보 보호 및 계산 효율적인 대안을 제공합니다.
• 입력 양식에 대한 강건성: 2D 전용 변형 모델이 3D 기반 베이스라인을 능가했다는 사실은, 적절한 감독과 강건한 인코더가 뒷받침된다면 미세한 추론을 위해 고정밀 3D MoCap이 반드시 필수적인 것은 아니라는 기존의 가설에 도전합니다.
• 감독 계층 구조: 본 연구는 포즈 수준의 이해가 효과적인 모션 수준 추론의 전제 조건임을 확립하며, 이는 향후 모션-LLM이 궁극적인 목표가 시간적 추론이라 할지라도 정적 포즈 작업을 포함해야 함을 시사합니다.

저자들은 자신의 방법이 중요한 진전이지만, 향후 연구에서는 장면 및 객체 컨텍스트를 통합하는 방향을 탐구할 수 있다고 결론짓습니다. 골격 포즈만으로는 객체와의 상호작용이나 3D 장면 레이아웃에 대한 정보를 누락하기 때문입니다.