KPM-Bench: A Kinematic Parsing Motion Benchmark for Fine-grained Motion-centric Video Understanding

이 논문은 정밀한 운동 이해를 위한 자동 주석 파이프라인과 KPM-Bench 데이터셋을 구축하고, 언어 기반의 MoPE 알고리즘을 통해 할루시네이션을 정량적으로 평가 및 완화하여 운동 중심 비디오 캡셔닝의 신뢰성을 높이는 방법을 제시합니다.

핵심

1. 문제점: AI 는 '요약본'만 읽고 '상세본'을 못 쓴다

지금까지의 AI(비디오 설명 모델) 는 영화를 볼 때 줄거리 요약만 해줍니다.

• 기존 AI: "여자가 춤을 추고 있어요. 팔을 흔들고 다리를 움직였어요." (너무 막연함)
• 실제 상황: 여자는 왼쪽 팔을 천천히 들어 올리다가, 갑자기 오른쪽 무릎을 구부리고, 발끝으로 리듬을 타며 회전합니다.

기존 AI 는 이런 **세부적인 움직임 (Kinematics)**을 놓치거나, 없는 동작을 지어내는 환각 (Hallucination) 현상이 심했습니다. 마치 "그 사람이 춤을 추다가 갑자기 공중제비를 돌았다"라고 거짓말을 하는 것과 비슷합니다.

2. 해결책 1: KPM-Bench (움직임의 '해부학' 교재)

연구팀은 AI 가 움직임을 제대로 배우게 하려고 새로운 **'교재 (KPM-Bench)'**를 만들었습니다. 이 교재는 단순히 사람이 무엇을 하는지 글로 쓰는 게 아니라, 물리학과 해부학을 결합했습니다.

• 비유: 춤추는 사람을 '로봇'처럼 분석하다
  이 연구는 비디오 속 사람을 마치 정밀한 로봇처럼 봅니다.
  1. 뼈대 추적 (Pose Estimation): 비디오 속 사람의 관절 위치를 3D 로 쫓아갑니다.
  2. 물리 계산 (Kinematic Calculation): "팔이 얼마나 빠른 속도로 움직였는지", "무릎이 몇 도 구부러졌는지", "리듬감 (진동수) 은 어떤지"를 수학 공식으로 계산합니다.
  3. 언어 변환 (Linguistic Parsing): 이 계산된 숫자들을 다시 자연스러운 문장으로 바꿔줍니다. "팔이 빠르게 움직였다"가 아니라 "왼팔이 0.5 초 동안 30 도 상승했다"는 식으로요.

이 과정을 통해 AI 는 단순한 관찰자가 아니라, 움직임을 정밀하게 측정하는 과학자가 됩니다.

3. 해결책 2: MoPE (AI 의 '사실 확인' 검사관)

AI 가 만든 설명이 사실과 다른지 (환각) 확인하는 새로운 기술인 MoPE를 도입했습니다.

• 비유: AI 가 쓴 에세이를 '감수'하는 편집자
  AI 가 "여자가 공중제비를 돌았다"라고 썼을 때, MoPE 는 이 문장을 문법과 의미 분석을 통해 뜯어봅니다.

  • "공중제비"라는 동작이 비디오의 물리 데이터 (뼈대 위치) 에 존재하는가?
  • 동작의 순서가 맞는가? (예: 먼저 손을 들었어야 하는데, 발을 먼저 뻗었다고?)

  만약 사실이 아니면, AI 가 다시 쓰게 합니다. 마치 엄격한 편집자가 "이 부분은 사실이 아니니 고쳐라"라고 지적하는 것과 같습니다.

4. 해결책 3: GRPO (AI 를 '훈련'시키는 보상 시스템)

AI 를 더 똑똑하게 만들기 위해 GRPO라는 훈련 방식을 썼습니다.

• 비유: 요리사에게 '맛있는 음식'만 주는 훈련
  AI 가 비디오를 설명할 때, 정확한 움직임을 묘사하면 점수를 주고, **거짓말 (환각)**을 하면 점수를 뺍니다.

  • "왼팔을 올렸다" (O) → 점수 UP
  • "공중제비 돌았다" (X, 실제로는 안 돌았음) → 점수 DOWN

  이 과정을 반복하며 AI 는 사실에 기반한 정확한 설명을 하도록 훈련됩니다.

5. 결론: 왜 이것이 중요한가?

이 연구는 단순히 "비디오 설명"을 잘하는 것을 넘어, AI 가 인간의 움직임을 이해하는 수준을 한 단계 끌어올렸습니다.

• 실제 활용:
  • 스포츠 분석: 운동선수의 자세를 AI 가 정밀하게 분석해 코칭해 줄 수 있습니다.
  • 재활 치료: 환자가 물리 치료 동작을 정확히 하고 있는지 AI 가 실시간으로 체크해 줄 수 있습니다.
  • 로봇 공학: 로봇이 인간의 미세한 제스처를 이해하고 자연스럽게 반응할 수 있게 됩니다.

한 줄 요약:

이 논문은 AI 에게 **"움직임을 단순히 보는 것이 아니라, 물리 법칙으로 계산하고, 사실 확인을 거친 뒤, 해부학자처럼 정밀하게 설명하는 능력"**을 가르쳐주었습니다. 이제 AI 는 비디오 속 춤의 리듬과 관절의 미세한 움직임까지 놓치지 않고 설명할 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 비전 - 언어 모델 (VLM) 의 발전으로 비디오 캡셔닝 성능이 크게 향상되었으나, 세밀한 동작 (Fine-grained motion) 설명과 할루시네이션 (Hallucination) 문제에서 여전히 한계를 보입니다.

• 세밀한 동작 설명의 부재: 기존 모델들은 배경, 등장인물, 큰 흐름의 움직임은 잘 포착하지만, 팔다리의 구체적인 움직임, 관절의 각도 변화, 시간적 순서 등 신체 부위 수준 (Limb-level) 의 정교한 동작 분석을 수행하는 데 어려움을 겪습니다. 복잡한 동작이 단순한 요약으로 축소되는 경향이 있습니다.
• 할루시네이션 (Hallucination): 비디오에 존재하지 않는 동작을 생성하거나, 동작의 시간적 순서를 뒤섞거나, 방향을 잘못 묘사하는 등 사실과 다른 정보를 포함하는 경우가 빈번합니다. 이는 운동 중심 (Motion-centric) 비디오 이해의 신뢰성을 크게 떨어뜨립니다.
• 데이터의 한계: 기존에 존재하는 정밀한 동작 데이터셋 (예: MotionBench) 은 수동 주석에 의존하여 비용이 많이 들고 규모가 작아, 대규모 학습에 한계가 있습니다.

2. 제안 방법론 (Methodology)

저자들은 두 가지 핵심 문제를 해결하기 위해 자동화 주석 파이프라인과 할루시네이션 완화 전략을 제안합니다.

A. KPM-Bench 구축을 위한 자동화 주석 파이프라인

수동 주석의 한계를 극복하고 정밀한 동작 데이터를 대규모로 생성하기 위해 운동학 (Kinematics) 기반 계산과 언어적 파싱을 결합한 파이프라인을 개발했습니다.

1. 운동학 계산 (Kinematic Motion Computation):
   • 포즈 추정: RTMPose3D 를 사용하여 비디오 프레임별 3D 전체 신체 포즈 (133 개 관절점) 를 추출합니다.
   • 시간 영역 분석: 각 관절점의 속도 ($v_k$) 와 질량 중심 속도를 계산하고, 관절 각도 ($\eta$) 와 각속도 ($\omega$) 를 도출합니다.
   • 주파수 영역 분석: FFT(Fast Fourier Transform) 를 적용하여 운동 신호의 에너지, 고주파 성분 비율, 표준 편차 등을 계산하여 동작의 강도 (격렬함 vs 세심함) 와 리듬을 정량화합니다.
2. 언어적 파싱 표현 (PaMoR - Parsing-based Motion Representation):
   • Case Grammar 와 Motion Event Theory 에 영감을 받아, 동작을 **개인 수준 (Individual), 사지 수준 (Limb), 말단 수준 (Distal)**으로 계층화합니다.
   • 8 가지 핵심 속성 (동사, 주체, 객체, 크기, 방향, 주체/객체 수식어 등) 을 구조화된 튜플 (PaMoR-Tuple) 로 정의합니다.
3. 자동 생성 프로세스:
   • 추출된 운동학 수치 데이터와 비디오 프레임을 GPT-4.1 에 입력하여 PaMoR 형식의 구조화된 주석을 생성한 후, 이를 다시 자연어 밀집 캡션 (Dense Caption) 으로 변환합니다.

B. 할루시네이션 평가 및 완화 (MoPE & GRPO)

• MoPE (Motion Parsing and Extraction) 알고리즘: 생성된 텍스트 캡션에서 구체적인 동작 속성과 시간적 순서를 추출하기 위해 **AMR (Abstract Meaning Representation)**과 **의존 구문 분석 (Dependency Parsing)**을 결합한 알고리즘을 제안합니다. 이를 통해 텍스트에서 실제 동작 요소 (동사, 주체, 방향, 순서) 를 정밀하게 추출합니다.
• GRPO 기반 미세 조정 (Post-training):
  • MoPE 를 활용하여 생성된 캡션과 참조 캡션 간의 동작 정확도, 순서 정확도, 방향 일치도를 계산하는 보상 함수를 설계합니다.
  • 이 보상 함수를 GRPO (Group Relative Policy Optimization) 프레임워크에 통합하여 모델을 미세 조정함으로써, 할루시네이션을 체계적으로 줄이고 사실성을 높입니다.
• 새로운 평가 지표: 외부 LLM/VLM 에 의존하지 않고 MoPE 기반의 Mo-Hall 지표를 도입하여 동작 관련 할루시네이션을 정밀하게 측정합니다.

3. 주요 기여 (Key Contributions)

1. KPM-Bench (Kinematic Parsing Motion Benchmark) 공개:
   • KPM-Cap: 75,000 개의 비디오 - 캡션 쌍으로 구성되며, 복잡한 동작을 신체 부위 수준으로 세밀하게 기술합니다. (초당 22.21 단어의 높은 주석 밀도)
   • KPM-QA: 38,000 개의 질문 - 답변 쌍으로, 동작 속성, 상호작용, 시간적 순서 등 다양한 관점에서 동작 이해 능력을 평가합니다.
   • KPM-HA: 할루시네이션을 평가하기 위해 특별히 설계된 215 개의 비디오 세트로, 다양한 동작 유형을 포함합니다.
2. MoPE 알고리즘 및 할루시네이션 평가 지표: 텍스트 기반의 정밀한 동작 속성 추출 알고리즘과 이를 활용한 독립적인 할루시네이션 측정 지표를 최초로 제안했습니다.
3. GRPO 통합 미세 조정 전략: MoPE 기반 보상 함수를 통해 VLM 의 할루시네이션을 효과적으로 억제하면서도 일반 언어 생성 품질을 유지하는 방법을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: KPM-Bench 에서 제안된 모델 (KPM) 은 GPT-4.1, Gemini-2.5 Pro 등 최상위 상용 VLM 과 오픈소스 모델 (Tarsier2-Recap, InternVideo-2.5 등) 보다 **전반적인 정확도 (94.05%)**와 동작 세부 묘사 능력에서 압도적인 우위를 보였습니다.
• 할루시네이션 감소: MoPE 를 적용한 모델은 할루시네이션 지표 (Mo-Hall, GPT-Hall) 에서 기존 모델 대비 현저히 낮은 오류율을 기록했습니다. 특히 Tarsier2-Recap 은 할루시네이션이 적지만 복잡한 동작 묘사 능력이 부족했으나, KPM 은 높은 정확도와 낮은 할루시네이션을 동시에 달성했습니다.
• 일반화 능력: MVBench, FAVOR, MotionBench 등 다른 벤치마크에서도 우수한 성능을 보여, 제안된 방법론이 다양한 비디오 이해 작업에 효과적으로 적용 가능함을 입증했습니다.
• Ablation Study: 3D 포즈 추정과 운동학 계산의 각 구성 요소 (속도, 각도, FFT 등) 가 캡션 품질에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 캡셔닝 분야에서 정량적인 운동학 데이터와 구조화된 언어적 표현을 결합하여, 기존에 해결되지 않았던 "세밀한 동작 묘사"와 "할루시네이션" 문제를 동시에 해결하는 새로운 패러다임을 제시합니다.

• 기술적 의의: 단순한 텍스트 생성을 넘어 물리적 운동 원리를 계산하여 언어로 변환하는 자동화 파이프라인을 구축함으로써, 대규모 고품질 운동 중심 데이터셋 구축의 새로운 표준을 제시했습니다.
• 응용 가능성: 스포츠 분석, 물리 치료 및 재활 모니터링, 인간 - 로봇 상호작용 (HRI) 등 정밀한 동작 이해가 필수적인 분야에서 직접적으로 활용될 수 있습니다.
• 향후 방향: 현재는 인간 동작에 특화되어 있으나, 이를 동물 행동이나 비강체 객체 운동 등으로 확장하는 것이 향후 중요한 과제로 남았습니다.

요약하자면, KPM-Bench는 비디오 이해 모델이 단순히 "무엇이 일어나는지"가 아니라 **"어떻게 움직이는지"**를 정밀하게 이해하고 설명할 수 있도록 하는 핵심적인 벤치마크이자 방법론을 제공합니다.