Learning human joint torques from pixels

농구 선수가 덩크를 하는 모습을 슬로 모션 비디오로 보고 있다고 상상해 보십시오. 육안으로는 순수한 운동적 우아함으로 보입니다. 하지만 생체 역학자에게 그 단 한 순간은 보이지 않는 힘들이 휘몰아치는 혼돈의 폭풍입니다. 선수의 몸 안에서는 근육이 작은 엔진처럼 작동하고 있으며, 관절은 엄청난 압력 아래 경첩처럼 움직이고 있습니다. 과학자들은 이러한 관절을 움직이게 만드는 뒤틀림 힘을 "토크(torque)"라고 부릅니다. 수십 년 동안, 정확히 어느 정도의 토크가 작용하는지 알아내는 것은 마치 자동차 배기 가스만 보고 엔진의 마력을 추측하려는 것과 같았습니다. 돌아가는 기어를 볼 수 없기 때문에, 사람의 피부 곳에 센서를 붙이거나, 거대한 카메라가 있는 실험실에 가두거나, 혹은 그 사람인 척 연기할 로봇을 만들어야만 했습니다. 이러한 방법들은 정확하지만, 번거롭고 비용이 많이 들며, 누군가가 공원에서 축구를 하거나 거실에서 춤을 추는 동안에는 사용하는 것이 불가능합니다. 큰 질문은 항상 이것이었습니다. "단순한 영상을 보고 움직임 속에 숨겨진 물리학을 즉각적으로 알 수 있을까?"

이 논문은 "그렇다, 할 수 있다"라고 말하며, 이를 증enc하기 위한 도구들을 구축했습니다. 연구진은 실제 사람들이 움직이는 63,369개의 동기화된 비디오 프레임이 담긴 거대한 라이브러리인 VID라는 새로운 대규모 데이터셋을 만들었습니다. 하지만 이것은 단순한 영상 모음이 아닙니다. 모든 프레임마다 '비밀 치트 시트'가 함께 따라오는 "슈퍼 라이브러리"입니다. 영상과 함께, 그들은 고급 물리 소프트웨어를 사용하여 계산된, 관절이 얼마나 빨리 움직이고 얼마나 많은 토크를 생성하는지에 대한 정확한 수학적 데이터를 보유하고 있습니다. 그런 다음 그들은 VID-Network라고 명명한 특별한 AI를 훈련시켜, 비디오 프레임을 보고 사람의 모습과 그 내부의 보이지 않는 힘 사이의 연결 고리를 학습하게 했습니다. 결과는 인상적이었습니다. AI는 표준 카메라의 픽셀로부터 직접 이러한 관절 토크를 예측하는 법을 배웠으며, 기존의 가장 뛰어난 방식들보다 거의 40% 더 높은 성능을 보였습니다. 이는 마치 AI가 센서나 로봇의 도움 없이도, 단지 춤추는 모습을 관찰함으로써 "근육 수학(muscle math)"을 읽는 법을 배운 것과 같습니다.

보이지 않는 엔진실

이것이 왜 그렇게 중요한 일인지 이해하기 위해, 문제를 나누어 살펴보겠습니다. 인간의 움직임은 뼈, 근육, 그리고 중력 사이의 복잡한 춤입니다. 당신이 공을 찰 때, 무릎은 단순히 굽혀지는 것이 아니라, 중력과 자신의 체중을 극복하기 위해 특정한 양의 뒤틀림 힘, 즉 토크를 생성해야 합니다. 과거에 과학자들이 이 수치를 알고 싶었다면, 그들은 사람을 "실험실 케이지" 안에 넣어야 했습니다. 그들은 근육의 전기 신호를 읽기 위해 피부에 센서를 붙이고, 사람이 얼마나 세게 밀어내는지 측정하는 특수 바닥 위에 사람을 배치하며, 관절에 붙은 작은 마커들을 추적하기 위해 카메라로 주변을 에워쌌습니다. 이것은 마치 자동차 엔진이 어떻게 작동하는지 이해하기 위해 엔진을 분해하여 모든 볼트를 측정하고 테스트 트랙에서 주행시켜야 하는 것과 같습니다. 효과는 있지만, 고속도로를 달리는 동안에는 할 수 없는 일입니다.

다른 과학자들은 비디오 게임과 시뮬레이션을 사용하는 대안적인 접근 방식을 시도했습니다. 그들은 컴퓨터에게 디지털 로봇이 움직이는 것을 보고 힘을 추측하도록 가르쳤습니다. 하지만 함정이 있습니다. 비디오 게임 속의 로봇은 실제 인간과 똑같이 움직이지 않습니다. 그들은 너무 완벽하고, 너무 매끄러우며, 실제 살과 뼈가 가진 미세한 흔들림이나 불완전함이 부족합니다. 이는 마치 레이싱 게임만 플레이하면서 실제 자동차 운전을 배우려는 것과 같습니다. 규칙은 알 수 있겠지만, 도로가 울퉁불퉁해질 때 스티어링 휠이 어떤 느낌인지 알 수는 없을 것입니다.

새로운 "슈퍼 뷰어(Super-Viewer)"

이 논문의 저자들은 실험실 케이지와 비디오 게임 로봇을 건너뛰기로 했습니다. 대신, 그들은 혼란스러운 현실 세계와 정밀한 물리학의 세계 사이에 다리를 놓았습니다. 그들의 첫 번째 단계는 VID 데이터셋을 만드는 것이었습니다. 그들은 실제 사람들이 움직이는 기존의 오픈 소스 데이터를 가져와서 이를 동기화하는 힘든 작업을 수행했습니다. 사람이 점프하는 영상과 물리 계산이 담긴 별도의 스프레드시트를 가져와서, 영상의 모든 프레임이 계산의 정확한 찰나와 일치하도록 정교하게 맞추는 과정을 상상해 보십시오. 그들은 높이, 무게, 그리고 관절의 정확한 토크 값을 포함한 6만 3천 개 이상의 실제 인간 프레임을 확보했습니다. 이 데이터셋은 AI가 공부할 "교과서"가 됩니다.

다음으로, 그들은 "슈퍼 뷰어"가 되도록 설계된 스마트 컴퓨터 프로그램인 VID-Network를 구축했습니다. 이 네트워크는 탐정 팀처럼 함께 작동하는 세 가지 주요 부분으로 구성됩니다:

1. 포즈 탐정(The Pose Detective): 먼저, 이미지를 보고 사람의 관절이 3D 공간의 정확히 어디에 있는지 파악합니다. 이는 마치 AI가 비디오 위에 머릿속으로 졸라맨 형태의 해골을 그리는 것과 같습니다.
2. 마커 추적기(The Marker Tracker): 그다음, 눈에 보이지 않더라도 특정 신체 지점(예: 근육이 부착되는 지점)이 어디에 있을지 예측합니다. 이는 AI가 신체 구조를 더 잘 이해하도록 돕습니다.
3. 시간 여행자(The Time Traveler): 마지막으로, 이 모델은 멈춰 있는 사진 한 장만을 보는 것이 아닙니다. 만화책을 넘기는 것처럼 일련의 프레임들을 살펴보고, 시간이 흐름에 따라 신체가 어떻게 움직이는지 이해합니다. 이 모델은 움직임의 과거, 현재, 미래를 연결하여 힘을 추측하기 위해 (스마트 챗봇을 구동하는 것과 같은 종류의 기술인) 특별한 "트랜스포머(Transformer)" 뇌를 사용합니다.

결과: 보이지 않는 것을 보다

그들이 이 새로운 AI를 테스트했을 때, 결과는 게임 체인저였습니다. 그들은 VID-Network를 현재 사용 가능한 두 가지 최고의 방법, 즉 물리 법칙과 센서를 혼합하여 사용하는 방식과 로봇 시뮬레이션에 의존하는 방식과 비교했습니다. 기존 방식들은 평균 약 2.93 및 2.92 단위(N·m/kg으로 측정)의 오차를 냈습니다. 그러나 새로운 VID-Network는 그 오차를 1.7612 N·m/kg까지 낮추었습니다. 이는 39.81%의 개선입니다.

이 논문은 이 새로운 방법이 거의 모든 면에서 더 뛰어나다는 것을 보여줍니다. 사람이 걷든, 스쿼트를 하든, 점프를 하든, AI는 기존 방식보다 더 정확하게 힘을 예측했습니다. 특히 "요추 신전(lumbar extension, 허리 굽히기)"과 같이 까다로운 움직임에서 정확도가 크게 향상되었습니다. 유일하게 약간 실수를 했던 부분은 특정 걷기 패턴이었는데, 이는 시뮬레이션 기반 방식이 해당 특정 동작에 대해 매우 정교해졌기 때문에 발생한 것으로 보입니다. 하지만 전반적으로 실제 이미지 접근 방식이 승리했습니다.

이것이 왜 중요한가

이 논문의 가장 흥兴奋적인 부분은 단순히 숫자가 더 좋아졌다는 것이 아니라, AI가 오직 실제 이미지만을 사용하여 이 일을 해냈다는 점입니다. 이 모델은 센서, 힘 측정판, 또는 로봇 시뮬레이션이 필요하지 않았습니다. AI는 표준 비디오 속에서 보이지 않는 물리학을 보는 법을 배웠습니다. 저자들은 이것이 실제 인간 데이터를 사용하여 이러한 종류의 "비전 기반 역역학(vision-based inverse dynamics)"에 대한 벤치마크를 성공적으로 구축한 첫 사례라고 제안합니다.

이는 우리가 카메라를 비추는 것만으로도 운동선수의 움직임을 분석하거나, 환자의 회복 과정을 살피거나, 야외에서 사람들의 보행을 분석할 수 있는 미래의 문을 열어줍니다. 비록 이 논문이 아직 해결해야 할 과제들(예: 본 적 없는 사람에게도 잘 작동하는지 확인하거나, 통제되지 않은 환경에서의 처리 등)이 남아 있다고 언급하고 있지만, 단순한 영상을 통해 인간의 움직임을 읽어내는 꿈이 더 이상 환상이 아니라는 것을 입증했습니다. 그것은 이제 현실이며, 실제 세상에서 테스트될 준비가 되어 있습니다.