Can Vision Language Models Judge Action Quality? An Empirical Evaluation

1. 문제 정의 (Problem)

동작 품질 평가 (Action Quality Assessment, AQA) 는 물리 치료, 스포츠 코칭, 경기 심판 등 다양한 분야에서 중요한 역할을 합니다. 기존 AQA 연구는 주로 점수 회귀 (Regression) 나 분류 문제로 접근해 왔으나, 최근에는 설명 가능한 텍스트 피드백 생성이 강조되고 있습니다.

비전 언어 모델 (VLMs) 은 이미지와 비디오를 기반으로 텍스트를 생성할 수 있는 강력한 능력을 갖추고 있으며, 사전 지식을 바탕으로 새로운 작업에 대한 일반화 능력을 가지고 있어 AQA 에 유망한 도구로 여겨집니다. 그러나 기존 VLM 이 실제 AQA 작업에서 얼마나 신뢰할 수 있는지, 그리고 다양한 인간 동작과 작업에 걸쳐 얼마나 정확한지에 대한 체계적인 실증적 평가는 부재했습니다. 본 논문은 "기성 (Off-the-shelf) VLM 이 다양한 인간 활동에서 동작의 질을 신뢰할 수 있게 평가할 수 있는가?"라는 핵심 질문에 답하기 위해 수행되었습니다.

2. 방법론 (Methodology)

2.1. 데이터셋 및 작업

논문은 5 가지 주요 데이터셋과 4 가지 작업 유형을 사용하여 광범위한 평가를 수행했습니다.

• 데이터셋:
  • LLM-FMS: 기능성 운동 스크린 (Functional Movement Screen) 의 7 가지 운동에 대한 키프레임 기반 데이터.
  • EgoExo-Fitness: 12 가지 운동 유형에 대한 자전 (Egocentric) 및 타전 (Exocentric) 비디오.
  • Fitness-AQA: 바벨 로우, 오버헤드 프레스, 스쿼트 등 3 가지 운동의 폼 오류 탐지.
  • FineFS: 피겨 스케이팅 경기 비디오 (GOE 점수: -5~5).
  • MTL-AQA: 다이빙 경기 비디오 (실행 점수: 0~10).
• 작업 유형: 시각적 질문 응답 (VQA), 기술적 키포인트 검증, 오류 탐지, 동작 품질 점수 회귀.

2.2. 평가 모델

최신 SOTA(State-of-the-Art) VLM 3 개 계열의 다양한 모델을 평가했습니다.

• Gemini 3: Gemini 3.1 Pro Preview (고급 사고 모드).
• Qwen3-VL: 지시형 (Instruct) 및 추론형 (Thinking) 모델 (235B 파라미터).
• InternVL3.5: 플래그십 모델 (241B 파라미터, 표준 및 사고 모드).

2.3. 실험 설정

• 전처리: 원본 RGB, 크롭 (Cropped), 스켈레톤 오버레이 (Skeleton overlays), 스켈레톤 전용 (Skeleton-only) 렌더링 등 3 가지 시각적 전처리 방법을 적용하여 모델 성능 변화를 분석했습니다.
• 프롬프트 엔지니어링: 시각적 그라운딩 (Visual Grounding), 2 단계 관찰 (Two-step observation), 기술 가이드라인 (Guidelines), 구조화된 추론 (Structured Reasoning), 인-컨텍스트 학습 (In-Context Learning, ICL) 등 7 가지 전략을 적용했습니다.
• 편향 분석: 프롬프트의 언어적 뉘앙스 (긍정적 vs 부정적 가이드라인) 가 예측에 미치는 영향을 측정하고, 이를 완화하기 위해 대조적 (Contrastive) 작업 (두 샘플 중 더 나은 실행 선택) 으로 재구성하여 평가했습니다.

3. 주요 결과 (Key Results)

3.1. 베이스라인 성능

• 무작위 추측 수준: 대부분의 모델은 다양한 데이터셋과 작업에서 무작위 추측 (Random Guess) 보다 약간 높은 수준에 그쳤습니다.
  • 분류 작업: 균형 정확도 (Balanced Accuracy) 가 0.5(무작위) 근처에 머물렀습니다.
  • 회귀 작업: 스피어만 순위 상관관계 (Spearman correlation) 는 양수였으나 매우 약했습니다.
• 모델 간 차이: Gemini 3.1 Pro 가 이미지 기반 데이터 (LLM-FMS) 에서 상대적으로 나은 성능을 보였으나, 비디오 기반 데이터에서는 일관된 우위를 보이지 않았습니다.

3.2. 전처리 및 프롬프트 전략의 효과

• 스켈레톤 정보: 스켈레톤 오버레이나 스켈레톤 전용 렌더링은 성능을 일관되게 향상시키지 못했습니다. 오히려 스켈레톤 전용 입력은 회귀 작업에서 상관관계를 거의 0 으로 떨어뜨렸습니다.
• 프롬프트 엔지니어링:
  • 시각적 그라운딩이나 구조화된 추론 (Chain-of-Thought) 은 큰 개선을 가져오지 못했습니다.
  • 인-컨텍스트 학습 (ICL): 이미지 데이터 (LLM-FMS) 와 회귀 작업 (FineFS) 에서 일관된 중등도 이상의 개선을 보였으나, 비디오 데이터의 긴 컨텍스트 길이로 인해 적용에 한계가 있었습니다.

3.3. 발견된 체계적 편향 (Systematic Biases)

VLM 은 두 가지 심각한 편향을 보였습니다.

1. 정확성 편향 (Correctness Bias): 시각적 증거와 관계없이 동작이 '올바르게 수행되었다'고 예측하는 경향이 강했습니다. 이는 모델이 동작이 어떻게 보여야 하는지에 대한 사전 지식에 의존하기 때문입니다.
2. 언어적 민감도 (Linguistic Sensitivity): 프롬프트의 문장 뉘앙스 (긍정적 vs 부정적 가이드라인) 에 따라 예측이 크게 변했습니다. 이는 모델이 시각적 분석보다 언어적 단서에 더 의존하고 있음을 시사합니다.

3.4. 대조적 작업 (Contrastive Tasks) 의 결과

편향을 완화하기 위해 두 샘플 중 더 나은 것을 선택하는 대조적 작업으로 재구성했습니다.

• 결과: 편향을 줄였음에도 불구하고 모델의 성능은 여전히 무작위 수준에 가까웠습니다.
• 의미: 이는 모델의 낮은 성능이 단순히 편향 때문이 아니라, 미세한 동작의 질을 평가하는 근본적인 능력의 부재 때문임을 시사합니다. 단, 점수 차이가 큰 샘플 간 비교에서는 성능이 향상되어, 모델이 극단적인 차이에는 어느 정도 반응할 수 있음을 보여주었습니다.

4. 주요 기여 (Key Contributions)

1. 포괄적인 벤치마크 설정: 다양한 도메인 (피트니스, 피겨스케이팅, 다이빙) 과 작업 유형을 아우르는 VLM 기반 AQA 에 대한 최초의 대규모 실증적 평가를 수행했습니다.
2. 성능 한계 규명: 최신 SOTA VLM 모델조차도 AQA 작업에서 신뢰할 수 있는 성능을 내지 못하며, 무작위 추측 수준에 머무른다는 사실을 입증했습니다.
3. 실패 모드 분석: VLM 이 AQA 에서 실패하는 두 가지 핵심 원인 (시각적 증거 무시 및 언어적 편향) 을 규명하고, 이를 완화하려는 시도조차 근본적인 한계를 극복하지 못함을 보였습니다.
4. 미래 연구 방향 제시: 단순한 프롬프트 엔지니어링이나 전처리만으로는 해결되지 않으며, 도메인 특화 데이터에 대한 파인튜닝이나 모델 아키텍처의 근본적인 개선이 필요함을 강조했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 VLM 이 AQA 분야에 적용될 수 있다는 기대감에 대해 냉정하고 엄격한 현실 점검을 제공합니다.

• 실용적 함의: 현재 시점의 기성 VLM 을 물리 치료나 스포츠 코칭과 같은 고신뢰도 실세계 환경에 바로 배포하는 것은 위험할 수 있음을 경고합니다.
• 연구 방향 전환: 단순한 텍스트 생성이나 점수 예측을 넘어, 미세한 운동 역학 (Kinematics) 을 이해하고 시각적 증거에 기반한 추론을 수행할 수 있는 모델 개발이 필요함을 시사합니다.
• 기준점 확립: 향후 VLM 기반 AQA 연구의 기준 (Baseline) 을 확립하고, 모델이 해결해야 할 실패 모드 (Failure Modes) 를 명확히 제시하여 연구 커뮤니티에 중요한 길잡이가 됩니다.

결론적으로, VLM 은 AQA 에 있어 잠재력은 있으나, 현재 기술 수준에서는 미세한 동작 품질을 평가하는 데 근본적인 한계가 있으며, 이를 극복하기 위한 상당한 기술적 발전이 필요함을 결론지었습니다.