당신이 친구가 비디오를 보며 새로운 댄스 동작을 배우려고 노력하는 모습을 지켜보고 있다고 상상해 보세요. 당신은 친구가 동작을 제대로 하고 있는지 틀리게 하고 있는지 쉽게 알 수 있습니다. 하지만 왜 무릎이 잘못된 방향으로 굽혀졌는지, 혹은 왜 리듬이 어긋났는지를 정확하게 설명하려면 예리한 눈과 구체적인 지식이 필요합니다. 이것이 바로 **동작 품질 평가(Action Quality Assessment, AQA)**의 핵심입니다. 컴퓨터는 단순히 어떤 동작이 일어나는지(예: "점핑 잭!") 인식하는 데는 매우 능숙해졌지만, 그 동작이 '얼마나 잘' 수행되고 있는지를 판단하는 데는 역사적으로 어려움을 겪어왔습니다. 최근에는 **멀티모달 거대 언어 모델(Multimodal Large Language Model, MLLM)**이라는 새로운 유형의 초지능형 컴퓨터 두뇌가 등장했습니다. 이 모델들은 영상을 보고 텍스트를 읽을 수 있어, 단순히 "잘했어"라고 말하는 수준을 넘어 당신의 자세를 비평할 수 있는 개인 코치 역할을 할 가능성을 보여줍니다. 하지만 여기서 중요한 질문이 생깁니다. 이 AI 코치들이 정말로 우리를 도울 준비가 되어 있을까요, 아니면 그저 추측하고 있는 것뿐일까요?

이것이 바로 FitAQA라는 논문이 밝히고자 하는 바입니다. 연구진은 스포츠 과학 전문가들과 협력하여 AI의 코칭 기술을 테스트하기 위한 거대한 "체육 수업"을 구축했습니다. 그들은 단순히 AI에게 점수를 달라고 요청한 것이 아니라, 30가지의 다양한 맨몸 운동(푸시업, 스쿼트 등)에 대한 상세한 체크리스트를 만들고, "올바른 자세"를 정렬(alignment), 대칭(symmetry), 안정성(stability), 협응력(coordination), 템포(tempo), 완결성(completeness)이라는 6가지 특정 카테고리로 세분화했습니다. 그런 다음 AI에게 2,219개의 영상과 5,500개 이상의 질문을 던졌습니다. 결과는 다소 냉혹한 현실을 보여주었습니다. 이 AI 모델들은 매우 인상적이긴 하지만, 운동을 안전하고 효과적으로 만드는 아주 작고 결정적인 디테일을 포착하는 데는 현재 매우 형편없었습니다. 모델들은 오류를 완전히 놓치거나, 영상의 어느 시점에서 실수가 발생했는지조차 파st하지 못했습니다. 이 연구는 문제가 AI가 피트니스 규칙을 모르는 데 있는 것이 아니라, 그 규칙을 적용할 만큼 시각적 증거를 명확하게 '보는' 데 어려움을 겪고 있다는 점을 시사합니다.

위대한 AI 체육관 테스트

현재 AI의 비디오 이해 능력을 물리 교과서를 모두 읽었지만 공이 튀어 오르는 것을 실제로 본 적은 없는 학생이라고 생각해보세요. 그들은 이론은 알지만, 공이 어디에 떨어질지는 예측하지 못합니다. 논문의 저자들은 AI가 정말로 피트니스 코치가 될 수 있는지 테스트하려면, 단순히 최종 점수를 맞추는 것에 대한 테스트가 아니라는 점을 깨달았습니다. 그들은 다음과 같은 질문을 던지는 테스트가 필요했습니다. "오류를 보았는가?", "그것이 오류라는 것을 아는가?", 그리고 "정확히 언제 발생했는가?"

이를 위해 그들은 거대한 디지털 체육관과 같은 벤치마크(표준 테스트)인 FitAQA를 만들었습니다. 단순히 한 가지 유형의 운동만 보는 대신, 점핑 잭과 같은 전신 유산소 운동부터 리버스 크런치와 같은 코어 근력 운동까지 30가지의 다양한 동작을 다루었습니다. 하지만 진짜 마법은 실수들을 정리하는 방식에 있었습니다. 모든 운동마다 별도의 오류 목록을 만드는 대신(이는 매우 혼란스러울 것입니다), 그들은 인간 전문가들과 협력하여 **통합된 "오료 분류 체계(Error Taxonomy)"**를 만들었습니다.

거의 모든 운동에 적용되는 '실수의 사전'을 상상해 보세요. 스쿼트를 하든 푸시업을 하든, 오류는 다음 6가지 범주 중 하나에 속합니다:

• 정렬(Alignment): 관절이 올바르게 정렬되어 있는가?
• 대칭(Symmetry): 왼쪽과 오른쪽이 동일하게 움직이고 있는가?
• 안정성(Stability): 몸이 통제할 수 없이 흔들리거나 떨리고 있는가?
• 협응력(Coordination): 팔과 다리가 조화롭게 함께 움직이고 있는가?
• 템포(Tempo): 리듬이 너무 빠르거나 느린가?
• 완결성(Completeness): 전체 가동 범위를 다 사용했는가, 아니면 중간에 끊었는가?

그들은 이 카테고리 전반에 걸쳐 나타나는 38가지의 구체적인 반복 오류 유형을 찾아냈습니다. 예를 들어, "전방 머리 자세(Forward Head Posture)"나 "불충분한 가동 범위(Insufficient Range of Motion)" 등이 있습니다. 이를 통해 그들은 AI가 단순히 "무릎이 안 좋은 스쿼트는 나쁘다"라고 암기하는 것이 아니라, 다양한 운동에서 이러한 특정 패턴을 포착하는 능력을 테스트할 수 있었습니다.

테스트의 세 가지 단계

연구진은 단순히 AI에게 최종 성적을 매기라고 요구하지 않았습니다. 그들은 난이도가 높아지는 비디오 게임처럼 과업을 세 단계로 나누었습니다.

1. 지각 (눈 - Perception): AI에게 영상을 보여주고 "엉덩이에 어떤 일이 일어나고 있습니까?"라고 묻습니다. AI는 "엉덩이가 선 아래에 머물러 있다" 또는 "엉덩이가 선 위로 올라갔다"와 같이 중립적인 묘사 중에서 선택해야 합니다. 이는 AI가 신체 부위가 올바르게 움직이는 것을 실제로 '보고' 있는지 테스트합니다.
2. 판단 (두뇌 - Judgement): 일단 AI가 움직임을 '보면', "이 엉덩이 움직임이 올바른가?"라고 질문합니다. 이는 본 데 것에 피트니스 규칙에 대한 지식을 결합하는 과정입니다.
3. 시간적 근거 설정 (스톱워치 - Temporal Grounding): 이것이 가장 어려운 단계입니다. AI에게 "이 30초짜리 영상에서 정확히 언제 사람이 엉덩이를 충분히 높이 들지 못했습니까?"라고 묻습니다. AI는 오류가 발생한 특정 초를 지목해야 합니다.

결과: AI는 아직 서툰 코치이다 (현재로서는)

연구진이 (GPT-5.5, Gemini 및 다양한 오픈 소스 모델을 포함한) 가장 진보된 AI 모델들을 사용하여 테스트를 실행했을 때, 결과는 놀라웠습니다. AI 모델들은 일반적으로 무작위로 찍는 수준보다 아주 조금 더 나은 성적을 보였습니다.

• 눈이 약하다: 모델들은 지각(Perception) 과제에서 크게 고전했습니다. 최고의 모델조차 시각적 디테일을 약 54% 정도만 정확히 맞혔습니다. 이는 AI가 무릎이 너무 굽었는지 혹은 등이 곧은지를 제대로 구분하지 못한다는 것을 의미합니다.
• 두뇌가 혼란스럽다: AI가 디테일을 잘 보지 못했기 때문에, 판단(Judgement) 또한 좋지 않았습니다. 모델들은 지나치게 낙관적인 경향을 보였으며, 오류가 있음에도 불구하고 운동이 "올바르다"라고 답하는 경우가 많았습니다.
• 스톱워치가 고장 났다: 시간적 근거 설정(Temporal Grounding) 과제에서 모델들은 오류가 발생한 순간을 짚어내는 데 매우 형편없었습니다. 모델들은 종종 영상 전체가 오류라고 답하거나, 오류를 완전히 놓치곤 했습니다.

가장 흥서로운 발견은 "대조 실험"에서 나왔습니다. 연구진은 이렇게 물었습니다. 만약 우리가 AI에게 본 것을 정확히 알려준 뒤, 그것을 판단하게 한다면 어떻게 될까?

연구진이 AI에게 올바른 시각적 묘사(지각 답변)를 제공한 뒤 "판단"을 내리게 하자, AI의 성능은 급격히 치솟았습니다. 예를 들어, 한 모델의 오류 포착 능력은 낮은 점수에서 94% 이상의 정확도로 뛰어올랐습니다. 이는 AI가 이미 피트니스 규칙을 알고 있으며 추론도 잘하지만, 시각적 증거를 명확하게 '볼' 수 없기 때문에 실패하고 있다는 것을 시사합니다. 마치 유능한 코치가 선수의 자세를 볼 수 없도록 너무 어두운 선글라스를 쓰고 있는 것과 같습니다.

결론

이 논문은 멀티모달 거대 언어 모델이 일반적인 영상 내용을 이해하는 데는 강력한 도구이지만, 아직 신뢰할 수 있는 피트니스 코사가 될 준비는 되지 않았다고 결론짓습니다. 모델들은 인간의 움직임과 관련된 미세하고 질적인 디테일을 감지하는 데 어려움을 겪으며, 실수가 언제 발생하는지 정확하게 찾아내지 못합니다. 저자들은 우리가 AI에게 운동 자세를 교정하도록 믿기 전에, 시각적 지각(Visual Perception) 문제를 먼저 해결해야 한다고 제안합니다. 즉, AI가 인간 전문가만큼 명확하게 자세와 동작의 미세한 디테일을 볼 수 있도록 가르쳐야 한다는 것입니다. 그때까지는 실제 인간 트레이너의 도움을 받는 것이 가장 좋을 것입니다.