기술 요약: NextMotionQA

문제 정의

인간의 동작 이해를 신뢰성 있게 평가하는 것은 Embodied AI, 로보틱스 및 애니메이션 발전에 있어 매우 중요합니다. 그러나 기존 벤치마크들은 다음과 같은 세 가지 상호 연관된 약점을 가지고 있습니다:

1. 조밀하지 못한 의미론적 입도(Coarse Semantic Granularity): 모델이 정확히 어디에서 실패하는지(예: 신체 부위나 방향을 혼동하는 경우) 진단할 수 있는 구체성이 부족합니다.
2. 차별화되지 않은 난이도(Undifferentiated Difficulty): 벤치마크들이 일반적으로 평면적인 난이도 지형을 제시하며, 복잡도에 따른 과업 계층화를 수행하지 못합니다.
3. 제한된 주석 품질(Limited Annotation Quality): 기존 데이터셋(예: HumanMotionQA)에 대한 파일럿 연구 결과, 도메인 전문가 간의 일치도가 낮으며(만장일치 합의 34.3%), 평균 인간 정확도(52.9%)가 전문 모델과 비슷하거나 오히려 더 낮게 나타났습니다. 이는 보고된 모델의 정확도가 실제 능력이 아닌 레이블 노이즈를 반영하고 있을 가능성을 시사합니다.

또한, 시각-언어 모델(VLM)이 텍스트-투-모션(T2M) 생성의 평가자로 점점 더 많이 사용되고 있지만, 이들의 평가 신뢰도가 이해 작업에서의 성능과 유사하게 미세한 수준의 부위별 정밀 조사(part-level scrutiny) 하에서도 유지되는지는 여전히 불분명합니다.

방법론: NextMotionQA 벤치마크

이러한 격차를 해결하기 위해 저자들은 1,307개의 전문가 검증 인스턴스로 구성된 포괄적인 벤치마크인 NextMotionQA를 소개합니다. 이 벤치마크는 3×3×3 매트릭스로 구조화되어 있습니다:

• 세 가지 과업 형식:
  1. 객관식 QA (T1): 신체 부위, 방향 또는 동작의 인식을 탐색하는 다중 선택 질문.
  2. 비디오 캡셔닝 (T2): 모델이 개방형 어휘(open vocabulary) 내에서 축 관련 속성을 드러내도록 요구하는 자유 형식의 기술.
  3. 미세한 오류 수정 (T3): 모델이 손상된 캡션을 식별하고 의미적으로 올바른 재작성을 제공해야 함.
• 세 가지 의미론적 축:
  1. 신체 부위 (A1): 어떤 부위가 동작을 실행하는가.
  2. 방향 (A2): 이동 방향 (예: 전진, 측면).
  3. 동작 (A3): 동작의 의미론적 성격.
• 세 가지 난이도 단계:
  • 쉬움 (Easy): 단일 동작, 수식어 없음.
  • 중간 (Medium): 두 개의 인접한 동작과 빠른 전환.
  • 어려움 (Hard): 세 개 이상의 동작 또는 수식어(방향, 속도, 방식, 미세한 신체 부위)의 존재.

구축 파이프라인

데이터셋은 프런티어 VLM(Qwen3.6-Plus)을 사용한 후 인간 전문가의 검증을 거치는 준자동화된 2단계 파이프라인을 통해 구축됩니다:

1. 1단계 (메타데이터 조건부 초안 작성): VLM은 비디오를 보지 않고 BABEL 동작 레이블과 HumanML3D 캡션을 기반으로 후보 항목의 초안을 작성하여, 초안이 기호적 레이블에 근거하도록 보장합니다.
2. 2단계 (비디오 조건부 정교화): VLM은 메타데이터와 시각적 실재 사이의 불일치를 수정하기 위해 렌더링된 비디오를 대조하며 초안을 검토합니다.
3. 전문가 검증: 세 명의 동작 도메인 전문가가 독립적으로 항목을 판단합니다. 세 명 모두 동의하는 경우에만 항목이 수락되며, 그렇지 않으면 수정되거나 거부됩니다. 이 과정은 파일럿 연구에서 확인된 네 가지 실패 모드(신체 부위 입도 충돌, 모호한 공간 프레임, 시간적 범위 불일치, 복합 동작 지배)를 제거하기 위해 엄격한 거부 규칙을 적용합니다.

VLM-as-a-Judge 프로토콜

보완적인 평가로서, 저자들은 테스트된 VLM을 T2M 생성을 위한 평가자로 재활용합니다. 그들은 세 가지 복잡도 수준에 걸쳐 VLM의 등급과 인간 전문가의 등급 간의 정렬(alignment)을 평가합니다:

• V1: 단일 동작 프롬프트 (인식 수준).
• V2: 복합 및 연속 동작.
• V3: 부위별 해상도를 요구하는 미세하고 시간적으로 분절된 동작.

주요 결과

1. NextMotionQA에서의 VLM 성능

저자들은 12개의 대표적인 VLM(오픈 소스 및 폐쇄형 소스)을 평가했습니다.

• 전반적인 순위: 프런티어 폐쇄형 모델이 선두를 달립니다 (Gemini-3.1-Flash: 58.44, Qwen3.6-Plus: 54.85). 가장 강력한 오픈 소스 모델인 Qwen3.5-27B는 49.75를 기록했습니다.
• 과업 간 격차: 과업 복잡도가 증가함에 따라 성능이 크게 저하됩니다.
  • T1 (인식): 가장 높은 점수 (예: Qwen3.6-Plus: 64.07 Jaccard).
  • T2 (캡셔닝): 보편적인 병목 구간입니다. 상위 모델들이 약 43.53을 기록합니다. 개방형 어휘 생산은 폐쇄형 집합 선택보다 엄격하게 더 어렵습니다.
  • T3 (수정): 성능이 더욱 떨어집니다. 모델들은 오류를 식별할 수 있음에도 불구하고 충실한 수정을 생성하는 데 어려움을 겪습니다.
• 의미론적 약점: **방향 (A2)**은 모든 모델 제품군에서 공통적인 취약 축이며, 방향 점수가 신체 부위나 동작 점수보다 현저히 낮은 V자형 성능 곡선을 보입니다.
• 스케일링 효과: 스케일링은 일반적으로 도움이 되지만 (예: Qwen3.5 0.8B에서 27B로), 단조롭지는 않습니다. 특히 InternVL3.5-14B가 T1에서 더 작은 4B 및 8B 변체보다 성능이 낮게 나타나는데, 이는 파라미터 수가 동작 역량을 보장하는 것은 아님을 나타냅니다.

2. VLM-as-a-Judge 신뢰성

본 연구는 특정 영역에서 "VLM-as-a-judge" 패러다임을 검증하는 동시에 그 한계를 강조합니다:

• 조성 기준 (V1): 인간 전문가와 강한 정렬을 보입니다 (Cohen's $\kappa = 0.70$). VLM은 단일 동작 생성의 시스템 수준 랭킹에 신뢰할 수 있습니다.
• 미세한 기준 (V3): 부위별 판단에서 정렬이 붕괴됩니다 (Cohen's $\kappa = 0.10$). 이 수준에서 VLM의 시스템 수준 상관관계는 인간의 선호도와 반대로 바뀝니다 ($r = -0.146$). 이는 미세한 편집에 대해 VLM이 인간의 선호도와 역상관 관계가 됨을 나타냅니다.
• 진단: V3에서의 실패는 메인 벤치마크에서 발견된 이해의 격차와 일치합니다. VLM은 신체 부위 정체성과 시간적 국지화(temporal localization)의 결합된 해상도 문제를 겪습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 진단적 벤치마크: NextMotionQA는 명시적인 난이도 계층화와 다축 추론을 갖춘 최초의 통합 벤치마크를 제공하여, 총계 점수를 넘어 모델의 실패 지점(예: 방향 vs 신체 부위)을 국지화합니다.
2. 역량 격차 규명: 평가는 모든 형식에서 압도적인 시스템이 없음을 밝혀냈습니다. 특히, 개방형 어휘 기술과 미세한 수정은 여전히 중요한 병목 구간이며, 이동 방향은 현재 VLM의 보편적인 약점입니다.
3. 판단 패러다임의 한계: 본 연구는 VLM이 조색(coarse) T2M 평가에는 효과적인 심판이지만, 미세한 부위 수준의 평가에는 현재 적합하지 않다는 것을 입증했습니다. 이는 VLM-as-a-judge 프로토콜의 작동 범위를 명확히 하고, 향후 발전을 위해 카메라 프레임 그라운딩, 시간적 국지화, 그리고 부위 인식 사전 학습이 필수적인 전제 조건임을 식별합니다.

저자들은 신뢰할 수 있는 인간 동작 이해를 위해서는 단일 과업 평가를 넘어서야 하며, 현재의 VLM은 조색 영역에서는 강력하지만 미세한 동작 비평에 필요한 구체적인 그라운딩이 부족하다고 결론짓습니다.