Biomechanics-Guided Standard Action Modeling and Lightweight ST-GCN for Interpretable Phase-Based Action Quality Assessment

당신이 친구가 로봇에게 농구하는 법을 가르치는 모습을 지켜보고 있다고 상상해 보세요. 만약 당신이 로봇에게 단순히 "너 슛 놓쳤어"라고만 말한다면, 로봇은 아무것도 배우지 못할 것입니다. 하지만 "팔꿈치가 너무 낮았고, 무릎을 충분히 굽히지 않았으며, 너무 일찍 손을 뗐어"라고 말한다면, 로봇은 실제로 경기를 개선할 수 있습니다. 이것이 바로 **동작 품질 평가(Action Quality Assessment, AQA)**라고 불리는 분야의 핵심입니다. 오랫동안 컴퓨터는 '무엇(what)'이 일어나는지(예: "점프" 또는 "달리기")를 인식하는 데는 뛰어났지만, 그 동작이 '얼마나 잘(how well)' 수행되었는지를 설명하는 데는 어려움을 겪어 왔습니다. 전통적인 방식들은 공상 과학 영화 세트장처럼 보일 정도로 비싸고 부피가 큰 카메라와 센서를 필요로 하며, 이로 인해 일반적인 학교 체육관에서는 사용하기가 불가능했습니다. 연구자들이 해결하려고 노력 중인 큰 질문은 이것입니다: 단순한 휴대폰 영상이나 표준 카메라만으로도 점수를 매길 뿐만 아니라, 별도의 실험실 장비 없이도 정확히 어디서 동작이 잘못되었는지 설명할 수 있을까?

이 논문은 단순한 영상을 사용하여 제자리 멀리뛰기(폭발적인 힘을 테스트하는 고전적인 시험)를 채점하도록 설계된 영리하고 새로운 시스템을 소개합니다. 캐피탈 노멀 대학교(Capital Normal University) 팀이 이끄는 연구진은 동작을 아주 작은 기계적 부분들로 나누어 분석하는 디지털 "코치"를 구축했습니다. 연구진은 단순히 최종 점프 거리만을 보는 대신, 운동선수를 생체 역학적인 탐정처럼 관찰했습니다. 그들은 전문가의 지식을 바탕으로 한 '표준 템플릿'을 만들었는데, 이는 이상적인 점프의 완벽한 '유령' 역할을 합니다. 그런 다음, 경량 AI 모델(ST-GCN이라는 종류의 '두뇌')을 사용하여 실제 선수의 영상을 이 완벽한 유령과 비교했습니다. 그 결과는 단순한 숫자가 아닙니다. "도약 각도가 너무 낮았습니다" 또는 "착지할 때 무릎을 충분히 굽히지 않았습니다"와 같이 상세한 성적표를 제공합니다. 연구진은 200명을 대상으로 이 시스템을 테스트했으며, 그들의 AI가 인간 전문가와 일치하는 수준의 정확도로 점수를 매기면서도 훨씬 적은 컴퓨팅 파워를 사용하여 일반 컴퓨터에서도 구동 가능함을 발견했습니다.

디지털 코치와 완벽한 유령

제자리 멀리뛰기를 준비, 웅크리기, 위로 폭발하기, 공중 비행, 안전하게 착지하기라는 다섯 가지의 뚜렷한 동작이 포함된 복잡한 춤이라고 생각해보세요. 과거에 코치가 이를 채점하려면 영상을 프레임 단위로 돌려보며 각도를 추측하고 메모를 작성해야 했습니다. 이는 느린 작업이며, 두 명의 코치가 서로 다른 의견을 가질 수도 있습니다.

논문의 저자들은 지치지 않고 스스로와 의견 충돌이 없는 디지털 코치를 만들기로 결정했습니다. 먼저, 컴퓨터가 보는 법을 가르쳐야 했습니다. 그들은 200명의 참가자(남성 100명, 여성 100명)가 점프하는 영상을 촬영한 후, MMPose라는 도구를 사용하여 영상 속 인물의 "골격(skeleton)"을 찾아냈습니다. 이는 마치 모든 프레임마다 사람 위에 졸라맨을 그리는 것과 같습니다. 그다음, VideoPose3D라는 또 다른 도구를 사용하여 이 졸라맨을 3D 공간으로 들어 올려, 컴퓨터가 평면적인 그림이 아닌 깊이감을 이해할 수 있도록 했습니다.

하지만 골격을 보는 것만으로는 충분하지 않습니다. 컴퓨터는 무엇이 '좋은' 점프인지 알아야 합니다. 그래서 연구팀은 표준 동작 템플l을 구축했습니다. 이것을 "완벽한 유령" 점프라고 상상해 보세요. 이 유령은 몸은 없지만 일련의 규칙을 가지고 있습니다: "무릎은 80~100도 사이로 굽혀져야 한다", "도약 각도는 19도에서 40도 사이여야 한다", "착지는 부드러워야 한다" 등입니다. 이 유령은 과학적 연구와 실제 스포츠 전문가의 지식을 결합하여 만들어졌습니다.

가벼운 두뇌

이제 주인공이 등장할 차례입니다: 경량 ST-GCN입니다. AI의 세계에서 "GCN"은 그래프 합성곱 네트워크(Graph Convolutional Network)를 의미하며, 이는 신체 부위들이 어떻게 연결되어 있는지(예: 엉덩이가 움직일 때 무릎이 어떻게 움직이는지)를 이해하는 컴퓨터의 두뇌를 뜻하는 멋진 표현입니다. 보통 이러한 두뇌는 거대하고 무거우며 느려서 강력한 슈퍼컴퓨터를 필요로 합니다.

연구진은 일반 컴퓨터, 어쩌면 학교 체육관에 있는 노트북에서도 실행될 수 있는 것을 원했습니다. 그래서 그들은 경량화된 버전을 만들었습니다. 거대하고 복잡한 도서관을 하나의 완벽하게 정리된 노트로 축소하는 것을 상상해 보세요. 그들은 불필요한 부분을 잘라내고, 한 번에 너무 많은 것을 보려고 하는 '주의 집중 메커니즘(attention mechanisms)'을 제거하고 구조를 단순화했습니다.

그 결과는 놀라울 정도로 작은 모델입니다. 이 모델은 단 0.48백만 개의 파라미터(두뇌의 '메모리')를 가지고 있으며, 2.7 GFLOPs의 연산 능력을 요구합니다. 이를 비교해 보자면, 표준적인 고성능 버전의 두뇌는 3.10백만 개의 파라미터와 16.4 GFLOPs가 필요합니다. 이 새로운 모델은 약 84.5% 더 작고 훨씬 빠릅니다. 고성능 컴퓨터에서는 단 18.2 밀리초 만에, 일반 CPU에서는 64.3 밀리초 만에 점프를 분석할 수 있습니다. 이는 선수가 아직 공중에 떠 있는 동안 코치가 조언을 외치는 것처럼 거의 즉각적으로 피드백을 줄 수 있을 만큼 빠른 속도입니다.

어떻게 채점하고 설명하는가

여기서 마법이 일어납니다. 시스템은 단순히 전체 점프를 보고 추측하는 것이 아니라, 점프를 세 가지 주요 채점 구역으로 나눕니다: 도약(Take-off), 비행(Flight), 착지(Landing).

1. 도약 구역: 여기에는 준비, 웅크리기, 폭발이 포함됩니다. AI는 선수가 무릎을 충분히 굽혔는지, 팔을 올바르게 휘둘렀는지 확인합니다.
2. 비행 구역: 공중에 떠 있는 시간입니다. AI는 신체가 안정적으로 유지되었는지, 다리가 적절하게 뒤로 당겨졌는지 확인합니다.
3. 착지 구역: 충격 단계입니다. AI는 무릎이 충격을 완화하기 위해 굽혀졌는지, 몸의 균형이 유지되었는지 확인합니다.

AI는 각 구역에 대한 점수를 부여한 다음 이를 합쳐 전체 점수를 냅니다. 하지만 가장 좋은 부분은 피드백입니다. 만약 "도약" 점수가 낮다면, 시스템은 "완벽한 유령" 템플릿을 보고 "무엇이 달랐는가?"를 묻습니다.

• 무릎을 충분히 굽히지 않았다면? -> 피드백: "지면 박차 부족(Insufficient push-off)."
• 점프가 너무 낮게 형성되었다면? -> 피드백: "낮은 도약 각도(Low take-off angle)."
• 팔이 가만히 있었다면? -> 피드백: "팔 스윙 부족(Insufficient arm swing)."

결과: 효과가 있는가?

연구팀은 이 디지털 코치를 세 명의 인간 전문가와 비교 테스트했습니다. 결과는 인상적이었습니다. AI의 점수는 인간 전문가와 0.94의 상관관계(1.0이 완벽한 일치를 의미함)를 보였습니다. 오차 측면에서 AI는 평균적으로 단 0.12점(RMSE)의 차이를 보였는데, 이는 인간 전문가의 0.33점 및 다른 컴퓨터 방식의 0.26점과 비교했을 때 매우 낮은 수치입니다.

이 논문은 이 방식이 특히 일관성이 높았던 도약 단계에서 탁월하다고 제안합니다. 비행 및 착지 단계는 신체가 매우 빠르게 움직이고 카메라가 찰나의 순간에 관절을 놓칠 수 있기 때문에 완벽하게 판단하기가 약간 더 어려웠습니다. 그러나 이러한 미세한 문제에도 불구하고, 이 시스템은 전통적인 컴퓨터 방식보다 더 정확했으며 인간 전문가만큼 우수했습니다.

또한 연구진은 이 "단계별 분할(split-phase)" 방식(세 부분을 각각 채점하는 방식)을 전체 점프를 한꺼번에 보는 방식과 비교했습니다. 단계별 분할 방식이 압도적으로 승리했습니다. 이는 수학 시험을 채점할 때 최종 결과만 보는 것이 아니라, 덧셈, 곱셈, 그리고 최종 답을 각각 따로 체크하는 것과 같습니다. 이 접근 방식은 전체 점수만 보았을 때 숨겨졌을 법한 작은 실수들을 AI가 포착할 수 있도록 도와주었습니다.

결론

이 논문은 전문적인 수준의 피드백을 받기 위해 값비싼 실험실이 필요하지 않다는 것을 시사합니다. "완벽한 유령" 템플릿과 작고 빠른 AI 두뇌를 결합함으로써, 우리는 단순한 영상을 상세한 코칭 세션으로 바꿀 수 있습니다. 이 시스템은 빠르고 정확하며, 무엇보다도 **해석 가능(interpretable)**합니다. 즉, 단순히 점수가 얼마인지가 아니라 왜 그런 점수를 받았는지를 알려줍니다.

저자들은 이것이 실제 인간 코치나 첨단 센서가 있는 실험실을 대체하는 것이 아님을 분명히 하고 있습니다. 이는 자원이 제한적인 학교나 기초 스포츠 훈련을 위한 도구입니다. 또한 테스트 그룹이 주로 젊은 성인들로 구성되었으므로, 어린이들이나 노년층 운동선수들을 대상으로 추가적인 테스트가 필요할 수 있음을 인정합니다. 하지만 현재로서는, 약간의 영리한 공학 기술을 결합하면 컴퓨터가 점프를 관찰하고, 물리학을 이해하며, 당신에게 하이파이브를 건네거나 다시 해보라고 부드럽게 격려할 수 있다는 것을 보여주었습니다.