Encoder-Free Human Motion Understanding via Structured Motion Descriptions

1. 문제 정의 (Problem)

기존의 인간 운동 이해 (Human Motion Understanding) 작업, 즉 운동에 대한 질문 답변 (Motion QA) 과 운동 캡션 생성 (Motion Captioning) 은 대부분 인코더 기반 (Encoder-based) 패러다임을 따릅니다.

• 기존 접근법의 한계: 관절 위치 시퀀스를 LLM 의 임베딩 공간으로 매핑하기 위해 학습된 운동 인코더 (VQ-VAE, VAE, 선형 투영 등) 와 복잡한 다단계 정렬 (Alignment) 훈련이 필요합니다.
• 구체적인 문제점:
  1. 교차 모달 표현의 제약: 운동 데이터와 언어 간의 정렬은 학습에 의존하며, 특정 LLM 백본에 종속적입니다.
  2. 해석 불가능성: 학습된 운동 토큰은 인간이 읽을 수 없으며, 모델이 어떤 운동 특징에 기반하여 판단했는지 해석하기 어렵습니다.
  3. 유연성 부족: 새로운 LLM 을 적용하려면 운동 인코더와 정렬 모듈을 다시 학습해야 합니다.

저자들은 LLM 이 이미 방대한 자연어 데이터로 사전 훈련되어 있어 인체 부위, 공간 방향, 운동 의미론에 대한 풍부한 지식을 보유하고 있다는 점에 착안하여, 운동 데이터를 텍스트로 직접 변환하여 LLM 의 사전 지식을 직접 활용할 수 있는 새로운 접근법을 제안합니다.

2. 방법론 (Methodology)

제안된 방법은 **구조화된 운동 설명 (Structured Motion Description, SMD)**을 생성하는 규칙 기반 (Rule-based) 및 결정론적 (Deterministic) 파이프라인과 이를 입력으로 받는 LLM 의 **LoRA 미세 조정 (Fine-tuning)**으로 구성됩니다. 학습된 운동 인코더나 정렬 모듈은 전혀 사용되지 않습니다.

A. 구조화된 운동 설명 (SMD) 생성 (Stage 1: 학습 없음)

관절 위치 시퀀스를 생체역학적 (Biomechanical) 규칙에 따라 구조화된 자연어 텍스트로 변환합니다.

1. 관절 각도 계산: SMPL 키펀트 (22 개 관절) 를 기반으로 생체역학적 관례에 따라 26 개의 주요 관절 각도 (예: 고관절 굴곡, 무릎 굴곡 등) 를 계산합니다.
2. 전역 궤적 설명: 골반 (Pelvis) 의 세계 좌표계 궤적을 기반으로 이동 거리, 높이 변화, 몸 회전 (Yaw) 등을 시간 구간별로 분할하여 설명합니다.
3. 관절 각도 설명: 각 관절의 각도 시계열 데이터를 평활화 (Smoothing) 하고 피크 - 밸리 (Peak-valley) 검출을 통해 '증가', '감소', '유지', '반복'과 같은 동작 패턴으로 요약합니다.
4. 텍스트 조립: 메타 정보, 전역 궤적, 관절 각도 설명을 계층적으로 구조화하여 하나의 긴 텍스트 문자열로 만듭니다.
   • 예시: "Left Hip Flexion (raising thigh): increases 3° → 81° [0.0s–0.9s]..."

B. LLM 미세 조정 (Stage 2: LoRA)

생성된 SMD 텍스트를 프롬프트로 사용하여 LLM 을 미세 조정합니다.

• 입력: 시스템 지시어 + SMD 텍스트 + 질문 (QA 의 경우) 또는 캡션 생성 요청.
• 학습: LLM 의 가중치는 고정 (Frozen) 하고, LoRA (Low-Rank Adaptation) 파라미터만 학습합니다.
• 작업:
  • Motion QA: 다중 선택형 질문에 대한 정답 텍스트 생성.
  • Motion Captioning: 운동 내용을 요약하는 자연어 문장 생성.

3. 주요 기여 (Key Contributions)

1. 인코더 없는 (Encoder-Free) 아키텍처: 학습된 운동 인코더나 복잡한 정렬 모듈 없이, 규칙 기반 텍스트 변환만으로 SOTA(최고 성능) 를 달성했습니다.
2. LLM-중립적 유연성 (LLM-agnostic Flexibility): 동일한 SMD 텍스트 입력을 사용하여 6 개의 모델 계열, 8 개의 서로 다른 LLM(3B~14B 파라미터) 에 대해 경량 LoRA 어댑터만 재학습하면 됩니다. 운동 인코더를 다시 학습할 필요가 없습니다.
3. 내재적 해석 가능성 (Built-in Interpretability): 운동 표현이 인간이 읽을 수 있는 텍스트이므로, LLM 의 어텐션 (Attention) 맵을 분석하여 모델이 생성 과정에서 어떤 관절이나 궤적 구간을 참고했는지 직접적으로 파악할 수 있습니다.
4. 성능 향상: 기존 인코더 기반 방법론을 모두 능가하는 성능을 기록했습니다.

4. 실험 결과 (Results)

실험은 Motion QA (BABEL-QA, HuMMan-QA) 와 Motion Captioning (HumanML3D) 벤치마크에서 수행되었습니다.

• Motion QA 성능:

  • BABEL-QA: 66.7% 정확도 (이전 SOTA 인 IMoRe 대비 6.6%p 향상).
  • HuMMan-QA: 90.1% 정확도 (이전 SOTA 대비 14.9%p 향상).
  • 통제 실험: 동일한 Qwen2.5-7B 백본을 사용하더라도, SMD 를 사용한 모델은 VAE 기반 인코더 (MotionGPT3-Qwen) 보다 훨씬 높은 성능을 보였습니다 (HuMMan-QA 에서 90.1% vs 22.0%). 이는 학습된 인코더의 도메인 민감성 문제를 해결했음을 시사합니다.

• Motion Captioning 성능:

  • HumanML3D: R@1(0.584), CIDEr(53.16) 등 모든 주요 지표에서 기존 방법 (MotionGPT3, MG-MotionLLM 등) 을 상회했습니다.
  • 특히 CIDEr 점수는 31% 상대적 개선을 보이며, 생성된 캡션이 인간 어노테이션과 의미론적으로 더 잘 일치함을 입증했습니다.

• 백본 이식성:

  • 8 개의 다양한 LLM 에서 일관된 성능을 보였으며, 새로운 백본으로 전환 시 학습 비용이 매우 낮았습니다 (LoRA 만 학습, 약 2~8 GPU 시간).

• Zero-shot 성능:

  • 미세 조정 없이도 LLM 은 SMD 텍스트를 부분적으로 이해하여 무작위 추측보다 훨씬 높은 성능을 보였으나, LoRA 미세 조정을 통해 의미론적 매핑과 간결한 캡션 스타일을 학습해야 함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 인간 운동 이해 분야에서 학습된 인코더의 의존성을 탈피하고, LLM 의 선천적인 언어 및 세계 지식을 직접 활용하는 새로운 패러다임을 제시했습니다.

• 실용적 가치: 다양한 LLM 모델에 쉽게 적용 가능하며, 해석 가능한 분석이 가능하여 의료, 로봇 공학, 애니메이션 등 다양한 분야에서 신뢰할 수 있는 운동 분석 도구로 활용될 수 있습니다.
• 한계 및 향후 과제: 텍스트 길이가 길어 추론 지연 (Latency) 이 증가할 수 있으며, 손가락 등 미세한 관절까지 포함하는 정교한 생체역학 규칙 설계가 필요합니다. 또한, 운동 생성 (Generation) 작업으로의 확장은 향후 과제로 남았습니다.

요약하자면, SMD는 복잡한 신경망 인코더 대신 규칙 기반 텍스트 변환을 통해 LLM 의 능력을 최대한 끌어올린 혁신적인 접근법으로, 운동 이해 작업의 새로운 기준 (SOTA) 을 제시했습니다.