Stack Transformer Based Spatial-Temporal Attention Model for Dynamic Sign Language and Fingerspelling Recognition

전 세계 수백만 명의 사람들에게 의사소통 능력은 당연한 것이 아닙니다. 청각 장애가 장벽을 만들 때, 수어는 손의 모양, 몸의 움직임, 그리고 얼굴 표정으로부터 의미를 구축하는 시각-공간적 언어로서 필수적인 가교가 됩니다. 수십 년 동안 연구자들은 이 언어를 이해할 수 있는 컴퓨터를 구축하여, 농인 공동체와 청인 공동체 사이의 원활한 번역을 실현하고자 노력해 왔습니다. 과제는 데이터의 복잡성에 있습니다. 하나의 수어는 단순히 손의 정지된 사진이 아니라, 상체 전체를 포함하는 유동적인 움직임의 연속이기 때문입니다. 기계에게 이 언어를 가르치려는 초기 시도들은 비디오를 포착하기 위해 카메라에 의존했지만, 최근 가장 유망한 접근 방식들은 스켈레톤(골격) 자체, 즉 인간의 움직임을 정의하는 관절과 뼈의 보이지 않는 지도에 집중해 왔습니다. 배경을 제거하고 신체의 기하학적 구조에만 집중함으로써, 과학자들은 조명 변화나 개인정보 보호 문제에 강한 시스템을 만들고자 희망했습니다. 그러나 이러한 골격 지도를 해석하는 도구들은 한계에 부딪혔습니다. 기존의 도구들은 신체 부위가 어떻게 연결되는지에 대한 고정된 규칙에 의존해 왔으며, 손은 손목에만, 손목은 팔꿈치에만 연결되어 있다고 가정했습니다. 이러한 경직된 구조는 단순한 움직임에는 잘 작동하지만, 손이 머리와 상호작용하거나 전신이 조화롭고 복잡하게 움직여야 하는 수어를 처리할 때는 어려움을 겪습니다.

일본 아이즈 대학교의 연구진은 한국과 방글라데시의 동료들과 함께 이 문제를 해결하기 위한 새로운 방법을 제안했습니다. 그들은 컴퓨터가 신체의 연결 방식에 대한 미리 그려진 지도를 따르도록 강요하는 대신, 전체적인 그림을 한 번에 볼 수 있도록 학습하는 시스템을 구축했습니다. 그들은 자신들의 창조물을 '스택드 시공간 주의 집중 네트워크(Stacked Spatio-Temporal Attention Network)'라고 부릅니다. 단일 프레임의 비디오를 보는 것이 아니라, 움직임의 전체 시퀀스를 관찰하는 동시에, 신체에서 얼마나 떨어져 있든 상관없이 모든 관절이 서로 어떻게 관계를 맺는지 동시에 고려하는 시스템을 상상해 보십시오. 이 접근 방식은 기존의 경직된 규칙을 버리고, 관계를 동적으로 계산하는 유연한 방법을 채택했습니다. 연구진은 이 새로운 아키텍처를 세 가지 별개의 데이터 세트, 즉 대규모 미국 수어 단어 모음과 일본어 및 한국어 지문자(알파벳)를 다루는 두 개의 작은 데이터 세트에서 테스트했습니다. 결과는 놀라웠습니다. 일본어와 한국어 지문자 테스트에서 새로운 모델은 거의 완벽한 정확도를 달야, 거의 매번 수어를 정확하게 식별해 냈습니다. 더욱 중요한 것은, 대규모 미국 수어 데이터 세트에서 이 모델이 거대하고 복잡한 사전 학습 기술을 사용한 모델들을 포함하여, 오직 스켈레톤 데이터만을 사용하는 다른 모든 방법들을 능가했다는 점입니다.

이 성공의 비결은 모델이 정보를 처리하는 방식에 있습니다. 전통적인 시스템은 종종 신체를 사슬처럼 취급하여, 정보가 한 관절에서 다음 관절로 전달되어야 하므로 손과 머리를 연결하는 데 많은 단계가 필요합니다. 그러나 새로운 모델은 모든 관절을 동시에 바라보고 어떤 관절들이 함께 작동하고 있는지 즉각적으로 이해할 수 있는 메커니즘을 사용합니다. 이는 매 순간 두 단계로 이루어집니다. 먼저, 단일 프레임 내에서 관절 간의 공간적 관계를 분석하여 포즈의 형태를 이해합니다. 그다음, 그 형태를 이전과 이후의 형태들과 연결하는 시간적 관계를 분석합니다. 이를 통해 컴퓨터는 고정된 지도 없이도 수어의 미묘하고 조화로운 역동성을 파악할 수 있습니다. 연구진은 이 시스템을 처음부터(from scratch) 학습시켰는데, 이는 일반적인 개념을 배우기 위해 수백만 개의 다른 이미지나 비디오를 입력하지 않았음을 의미합니다. 그들은 단순히 수어 데이터를 보여주었을 뿐이며, 모델은 스스로 패턴을 학습했습니다. 이는 매우 중요한 차이점으로, 이 모델이 거대한 계산 비용이 드는 사전 학습 없이도 복잡한 과업을 수행할 수 있는 매우 효율적인 모델임을 시사합니다.

연구는 미국 수어 데이터 세트의 21,000개 이상의 비디오와 일본어 및 한국어 세트의 수백 개의 비디오를 대상으로 엄격하게 진행되었습니다. 연구진은 모델이 단순히 훈련 비디오 속의 특정 인물들을 암기하는 것이 아니도록 주의를 기울였습니다؛ 그들은 데이터를 분리하여 모델이 한 번도 본 적 없는 사람들을 대상으로 테스트하도록 했습니다. 일본어 지문자 테스트에서 모델은 99.34%의 최고 정확도에 도달했으며, 한국어 테스트에서는 95.16%에 도달했습니다. 더 큰 규모의 미국 수어 데이터 세트에서는 가장 흔한 100개 수어에 대해 82.95%의 최고 정확도를 달성하며, 더 복잡한 학습 방법을 사용했던 기존 시스템들의 기록을 경신했습니다. 연구진은 다른 시스템들이 유사한 수준의 성능에 도달하기 위해 관련 없는 데이터로 수천 시간의 사전 학습을 요구하는 경우가 많은 반면, 자신들의 모델은 수어 데이터로부터 직접 학습함으로써 이러한 결과를 얻었다고 언급했습니다. 이는 이 아키텍처가 자연스럽게 해당 과업에 적합하며, 인간 움직임의 복잡한 춤을 놀라운 명확성으로 포착하고 있음을 나타냅니다.

물론 이 연구가 달성한 성과에는 경계가 있습니다. 연구진은 스켈레톤 데이터에만 집중했으므로, 이 시스템은 피부색, 의복 또는 배경을 보지 않습니다. 이는 개인정보를 보호하고 다양한 환경에서 시스템이 작동하도록 하기 위한 의도적인 선택이지만, 모델이 전체 비디오를 보는 인간 관찰자가 볼 수 있는 미세한 뉘uls(nuances)를 포착하지 못할 수도 있음을 의미합니다. 또한, 이 연구는 연속적인 대화의 흐름보다는 개별적인 수어(단어 또는 글자)에 초점을 맞추었습니다. 모델이 이러한 개별 단위들을 높은 정밀도로 인식할 수 있음을 입증했지만, 흐르는 듯한 전체 대화를 이해하는 단계로 나아가는 것은 향-후의 과제로 남아 있습니다. 저자들은 또한 손이 움직이지 않는 순수하게 정적인 수어의 경우, 단일 프레임을 보는 더 단순한 시스템이 더 빠를 수 있지만, 자신들의 모델 역시 단순한 접근 방식들보다 정확도 면에서 우수한 성과를 냈다고 인정했습니다.

이 연구의 함의는 단순히 인식률을 높이는 것을 넘어섭니다. 유연한 주의 집중 기반 시스템이 거대한 사전 학습 없이도 경직된 그래프 기반 모델을 능가할 수 있음을 입증함으로써, 연구진은 기계가 인간의 움직임을 이해하는 방식에 대한 새로운 길을 열었습니다. 이는 복잡하고 역동적인 동작을 이해하는 핵심은 그것을 고정된 구조에 강제로 맞추는 것이 아니라, 시스템이 스스로 연결 고리를 발견하도록 허용하는 데 있다는 것을 시사합니다. 분야가 발전함에 따라, 다음 단계는 이 효율적인 스켈레톤 기반 접근 방식을 비디오와 같은 다른 데이터 소스와 결래하여 더욱 강력한 통신 도구를 만드는 것이 될 것입니다. 현재로서는, 이 연구는 우리가 기계에게 전체적인 그림을 보도록 허용할 때, 기계가 이전에는 도달할 수 없었던 명확성으로 손의 언어를 이해할 수 있다는 중요한 증거로 남아 있습니다.