컴퓨터 비전 분야에서 인간의 움직임을 이해하도록 기계를 가르치는 것은 단순히 얼굴을 인식하거나 사물을 식별하는 것을 훨씬 뛰어넘는 도전 과제입니다. 카메라는 사람이 어떻게 보이는지는 쉽게 포착할 수 있지만, 그들이 무엇을 하고 있는지를 이해하려면 신체의 복잡하고 변화하는 기하학적 구조를 해석해야 합니다. 수십 년 동안 연구자들은 색상과 질감을 포착하는 비디오 카메라에 의존해 왔으나, 이러한 시각적 세부 사항은 취약합니다. 어둠 속에서는 사라지고, 군중 뒤로 숨어버리며, 카메라 각도가 바뀌면 왜곡됩니다. 이를 해결하기 위해 과학자들은 인간의 몸을 막대기 인형처럼 일련의 연결된 점 또는 관절로 축소하여 표현한 디지털 형태인 스켈레톤(skeleton) 데이터로 눈을 돌렸습니다. 이 접근 방식은 방해되는 배경을 제거하고 순수하게 동작의 역학에 집중함으로써, 단순한 손 흔들기부터 복잡한 무술 동작에 이르기까지 다양한 동작을 분석할 수 있는 견고한 방법을 제공합니다. 핵심적인 어려움은 컴퓨터에게 이 점들 사이의 관계를 보는 법을 가르치는 데 있습니다. 인간의 몸은 평면적인 이미지가 아니라 어깨의 움직임이 팔꿈치에 영향을 주고, 이것이 다시 손에 영향을 미치는 네트워크입니다. 초기 방법들은 이러한 연결을 고정된 것으로 취급하여 관절 사이의 거리가 결코 변하지 않는다고 가정했지만, 인간의 움직임은 유동적이고 맥락 의존적입니다. 보다 최근의 발전은 컴퓨터가 특정 동작이 수행될 때마다 각 관절의 '중요도'를 조정하며 이러한 연결을 동적으로 학습할 수 있게 해주었지만, 시스템이 한 순간에서 다음 순간으로 넘어가는 미묘하고 빠른 변화를 얼마나 잘 포착할 수 있는지에 대해서는 여전히 격차가 존재했습니다.

서남교통대학교(Southwest Jiaotong University)의 연구팀은 움직임의 이야기를 더 명확하게 읽도록 설계된 새로운 시스템을 통해 이러한 잔존하는 격차를 해결했습니다. 그들은 STME-GCN이라고 불리는 네트워크를 개발했는데, 이는 이전 모델들의 두 가지 구체적인 약점, 즉 어떤 신체 부위들이 서로 연관되어 있는지 결정하는 방식과 프레임 사이의 속도 및 강도를 추적하는 방식에 초점을 맞추어 컴퓨터가 스켈레톤 데이터를 분석하는 능력을 향상시켰습니다. 연구진은 기존의 방법들이 움직임의 세부 사항을 너무 일찍 매끄럽게 만들어 버려, 시간이 지남에 따라 관절의 위치를 평균화함으로써 하나의 동작을 다른 동작과 구별 짓는 날카롭고 찰나적인 신호들을 놓친다는 것을 발견했습니다. 예를 들어, 손의 평균적인 위치만 본다면 빠른 박수와 느린 손 비비기는 비슷해 보일 수 있지만, 손 사이의 거리 변화를 빠르게 관찰한다면 두 동작은 완전히 다르게 느껴집니다. 이를 해결하기 위해, 새로운 시스템은 시간의 더 풍부한 단서를 사용하여 관절 간의 연결을 정교화하는 방법과, 네트워크가 스스로 알아서 파악하기를 기대하는 대신 모멘트 간의 차이를 명시적으로 계산하는 병렬 경로를 도입했습니다.

이 연구의 첫 번째 주요 혁신은 신체 관절을 위한 더 똑똑한 지도 제작자 역할을 하는 모듈입니다. 이전 시스템에서는 컴퓨터가 어떤 관절들이 서로 통신해야 하는지 결정하려고 할 때, 종종 전체 움직임 시퀀스 동안 해당 관절들의 평균 위치를 살펴보곤 했습니다. 이는 대화의 내용을 이해하기 위해 화자의 목소리의 평균 볼륨만을 읽으려는 것과 같습니다. 그러면 대화의 휴지(pause), 강조, 그리고 리듬을 놓치게 됩니다. 새로운 시스템은 이 단순한 평균값을 다층적인 시간 묘사로 대체합니다. 이 시스템은 동작의 전반적인 상태, 단기 움직임의 강도, 그리고 동작이 서로 다른 단계들을 거치며 어떻게 진화하는지를 살펴봅니다. 이러한 상세한 시간적 단서들을 의사 결정 과정에 입력함으로써, 시스템은 매 동작마다 고유하고 동적인 관계 지도를 생성할 수 있습니다. 컴퓨터가 누군가 박수를 치는 것을 볼 때는 손 사이의 연결을 강화하고, 글씨를 쓰는 것을 볼 때는 손목과 팔꿈치의 관계에 집중합니다. 이를 통해 네트워크는 단순히 보고 있는 동작에 맞춰 자신의 내부 구조를 적응시-킬 수 있으며, 천편일률적인 접근 방식에 의존하지 않게 됩니다.

두 번째 혁신은 움직임을 직접적으로 다룹니다. 첫 번째 모듈이 연결의 지도를 개선한다면, 두 번째 모듈은 컴퓨터가 실제 속도와 변화에 주의를 기울이도록 보장합니다. 전통적인 방법은 정적인 포즈의 시퀀스를 관찰함으로써 네트워크가 이러한 변화를 암묵적으로 학습하기를 기대하는데, 이는 느리고 부정확할 수 있습니다. 연구진은 연속된 프레임 사이의 차이를 명시적으로 계산하는 전용 경로를 추가했습니다. 영상 속에서 사람을 보는 것과 동시에, 각 관절이 이전 초와 비교하여 정확히 얼마나 움직였는지를 보여주는 두 번째 스트림을 함께 보는 장면을 상상해 보십시오. 시스템은 이 명시적인 차이 데이터를, 특히 움직임의 세부 사항이 가장 명확한 초기 레이어에서 사용하여 신체의 가장 활발한 부분을 강조합니다. 이러한 "포즈-모션(pose-motion)" 협업을 통해 네트워크는 최종 형태는 비슷하지만 실행 방식이 다른 동작들, 예를 들어 박수의 리드미컬한 접근과 분리, 그리고 손을 비비는 지속적이고 작은 규모의 마찰을 구분할 수 있습니다.

연구진은 수백 명의 서로 다른 사람들이 수행한 수천 개의 기록된 동작을 포함하는 세 가지 주요 데이터셋을 통해 이 새로운 시스템을 테스트했습니다. 결과에 따르면, 이 두 가지 개선 사항을 결합함으로써 시스템은 더 적은 계산 자원을 사용하면서도 높은 수준의 동작 인식 정확도를 달est했습니다. 114,000개 이상의 시퀀스를 포함하는 가장 큰 데이터셋에서, 시스템은 표준 테스트 프로토콜을 사용할 때 90.0%의 경우에서 동작을 정확히 식별했습니다. 56,880개의 시퀀스가 포함된 또 다른 데이터셋에서는 92.6%의 정확도에 도달했습니다. 이 수치들이 중요한 이유는 엄청난 양의 추가적인 복잡성을 더하거나 컴퓨터가 여러 개의 별도 비디오 스트림을 처리하도록 요구하지 않고도 달성되었다는 점 때문입니다. 시스템은 관절 간의 관계를 정교화하고 모멘트 사이의 변화를 명시적으로 모델링함으로써 인간의 움직임의 본질을 더 효과적으로 포착할 수 있음을 입증했습니다.

연구에는 또한 시스템이 무엇을 학습하고 있는지 보여주는 시각적 분석도 포함되었습니다. 연구진이 네트워크에 의해 생성된 내부 지도를 살펴보았을 때, 관절 간의 연결이 동작에 따라 변하는 것을 확인했습니다. 박수치는 동작의 경우 시스템은 손을 강력하게 연결했고, 전화 통화의 경우 손과 귀에 집중했습니다. 이는 시스템이 고정된 규칙 세트를 적용하는 것이 아니라 실시간으로 이해를 조정하고 있음을 확인시켜 주었습니다. 또한, 새로운 모션 강화 모듈이 있는 경우와 없는 경우의 시스템을 비교했을 때, 연구진은 개선된 버전이 동작이 가장 역동적인 특정 관절과 순간에 주의를 집중한다는 것을 관찰했습니다. 시스템은 모든 것에 똑같이 반응하는 것이 아니라, 정지된 상태를 무시하고 움직임에 집중하는 법을 배웠으며, 박수의 날카롭고 주기적인 움직임과 손을 비비는 지속적이고 부드러운 움직임을 구분해 냈습니다.

이 연구는 더 나은 동작 인식의 열쇠가 단순히 신체를 보는 것이 아니라, 시간에 따른 움직임의 이야기를 이해하는 데 있음을 시사합니다. 단순한 평균값에서 벗어나 모멘트 사이의 차이를 명시적으로 모델링함으로써, 연구진은 효율적이면서도 매우 정확한 시스템을 만들어냈습니다. 이 결과는 향후 이 분야의 발전이 유사한 전략, 즉 의사 결정을 위해 사용되는 데이터를 풍부하게 하고 분석 과정에서 움직임의 찰나적인 세부 사항이 손실되지 않도록 보장하는 전략에 달려 있을 수 있음을 나타냅니다. 이 시스템은 스켈레톤 데이터에 특화된 도구이며, 저자들은 이 시스템이 아직 사람이 들고 있는 물체나 표준 관절 지점을 넘어서는 미세한 손 동작까지는 고려하지 못한다고 언급했습니다. 그러나 모델의 효율성과 높은 인식 성능 사이의 균형을 성공적으로 맞춤으로써, 이 접근 방식은 기계가 인간 활동의 미묘한 차이에 더 민감하게 반응하도록 만드는 유망한 방향을 제시합니다.