UniCon-Former: Unified Convolution Transformer is All You Need for Hand Gesture Recognition

당신이 로봇에게 사람의 손동작, 예를 들어 안녕이라고 흔드는 동작이나 "정지"를 의미하는 수어 등을 이해하도록 가르치려 한다고 상상해 보세요. 이것은 컴퓨터에게 매우 까다로운 작업입니다. 왜냐하면 컴퓨터는 두 가지를 동시에 보아야 하기 때문입니다. 바로 당신의 손가락이 가진 아주 작고 구체적인 디테일(지역적 특징, local features)과 당신의 팔 전체가 시간에 따라 어떻게 움직이는지에 대한 큰 그림(전역적 문맥, global context)입니다. 오랫동안 컴퓨터는 이 두 가지를 해결하기 위해 서로 다른 두 가지 도구를 사용해 왔습니다. CNN(Convolutional Neural Network)이라고 불리는 도구는 지문 하나는 기가 막히게 찾아낼 수 있는 초정밀 탐정과 같았지만, 전체 이야기를 이해하라고 하면 길을 잃곤 했습니다. 반면, 트랜스포머(Transformer)는 소설의 모든 복선을 연결할 수 있는 위대한 이야기꾼 같았지만, 책의 모든 글자를 하나하나 다 보려고 하면 과부하가 걸려 느려졌습니다. 연구자들은 날카로운 탐정이면서 동시에 뛰어난 이야기꾼인 로봇을 만들기 위해 노력해 왔지만, 이 둘을 결합하는 것은 종종 로봇을 너무 무겁고 느리게 만들어 실용성을 떨어뜨리곤 했습니다.

여기서 "UniCon-Former"의 이야기가 시작됩니다. 저자인 말리카 가르그(Mallika Garg), 데바시스 고쉬(Debashis Ghosh), 피아리 모한 프라단(Pyari Mohan Pradhan)은 수학 계산에 매몰되지 않으면서도 역동적인 손동작—시간에 따라 일어나는 움직임—을 인식할 수 있는 더 똑똑하고 가벼운 로봇을 만들고자 했습니다. 그들은 단순히 두 도구를 억지로 합친 것이 아니라, 두 도구가 하나의 통합된 팀으로서 작동하게 하는 새로운 방법을 발명했습니다. 영리한 "피라미드" 구조를 사용하여, 그들은 시스템이 세부 사항을 확대해서 보고 큰 그림을 보기 위해 축소하는 과정을 거치도록 만들었으며, 이 과정에서 이전 모델들보다 더 적은 자원을 사용했습니다. 그들의 연구는 이 새로운 접근 방식이 제스처 제어 게임, 가상 현실, 그리고 수어 번역을 훨씬 더 빠르고 정확하게 만들 수 있음을 시사하며, 단순한 손 흔들기를 이해하기 위해 반드시 거대한 뇌가 필요한 것은 아님을 증명합니다.

문제점: 탐정 대 이야기꾼

왜 저자들이 UniCon-Former를 만들었는지 이해하려면, 컴퓨터 비전 세계의 두 주인공을 살펴봐야 합니다.

먼저, **CNN(합성곱 신경망)**이 있습니다. 이것을 돋보기를 든 탐정이라고 생각하세요. CNN은 이미지의 작은 영역을 보고 "여기에 엄지가 있고, 저기에 손가락 마디가 있다"라고 말하는 데 탁월합니다. 국소적인 디테일을 포착하는 데 능숙하죠. 하지만 그 돋보기의 범위는 제한적입니다. 화면 전체에서 손이 어떻게 움직이는지, 혹은 몇 초 동안 제스처가 어떻게 변하는지를 이해하는 데는 어려움을 겪습니다. 이는 용의자의 신발은 식별할 수 있지만, 용의자가 한 시간 전에 어디에 있었는지는 말하지 못하는 탐정과 같습니다.

다음은 **트랜스포머(Transformer)**입니다. 이 모델은 위대한 이야기꾼입니다. '셀프 어텐션(self-attention)'이라는 메커니즘을 사용하여 입력 시퀀스의 모든 부분(예: 비디오의 모든 프레임)을 살펴보고 그것들이 서로 어떻게 연관되어 있는지 파악합니다. 트랜스포머는 프레임 1에서 손이 위로 움직이는 것이 프레임 10에서 손이 아래로 움직이는 것과 연결되어 있다는 것을 쉽게 이해할 수 있습니다. 하지만 함정이 있습니다. 이야기꾼이 되는 데는 비용이 많이 듭니다. 모든 정보 조각을 다른 모든 조각과 연결하기 위해서는 엄청난 양의 수학 계산을 수행해야 합니다. 이는 경기장에 있는 모든 사람을 다른 모든 사람에게 일일이 소개하려는 것과 같습니다. 그 노력이 너무 커져서 컴퓨터는 느려지고 에너지를 너무 많이 쓰게 됩니다.

저자들은 트랜스포머가 강력하지만 "높은 중복성(high redundancy)" 문제를 겪고 있다고 주장합니다. 그들은 필요하지 않은 것들을 너무 많이 비교하여 시간과 전력을 낭비한다고 설명합니다. 반면 CNN은 효율적이지만 큰 그림을 놓칩니다. 목표는 이러한 단점 없이 두 세계의 장점을 모두 갖춘 모델을 구축하는 것이었습니다.

해결책: 집중의 피라미드

저자들은 UniCon-Former(Unified Convolution Transformer)라는 새로운 모델을 제안합니다. 트랜스포머가 비디오 전체와 씨름하게 만드는 대신, 그들은 "피라미드" 구조를 도입했습니다.

산의 모습을 보고 있다고 상상해 보세요. 산 정상에서 산의 모든 바위를 보려고 하면 압도당할 것입니다. 하지만 밑바닥에서 시작해 올라간다면, 근처에 있는 바위의 디테일에 집중할 수 있고, 그다음에는 절벽의 형상을 보기 위해 뒤로 물러나며, 마지막으로 산맥 전체를 보기 위해 정점에 도절 수 있습니다. UniCon-Former는 비디오 프레임을 가지고 정확히 이 작업을 수행합니다.

마법이 일어나는 과정은 다음과 같습니다:

1. 설정: 손동작 비디오는 먼저 기본적인 특징을 얻기 위해 표준 CNN(ResNet-18)에 의해 처리됩니다.
2. 피라미드: 모델은 여러 단계로 나뉩니다. 각 단계의 시작 부분에서 모델은 데이터를 축소하기 위한 특별한 "컨볼루션 블록(C-Block)"을 사용합니다. 이는 고해 resolution 사진을 다음 단계로 넘기기 전에 약간 압축하는 것과 같습니다. 이를 통해 데이터가 네트워크 깊숙이 들어갈수록 더 작고 집중되는 피라미드 형태를 만듭니다.
3. 혼합: 데이터가 연결 고리를 찾는 트랜스포머의 "어텐션" 부분에 들어가기 전에, 이 C-Block을 통과합니다. 이 블록은 "뎁스와이즈 세퍼러블 컨볼루션(depthwise separable convolution)"을 사용하는데, 이는 국소적인 디테일을 먼저 살펴봄으로써 이미지를 효율적으로 처리하는 세련된 방식입니다.
4. 결과: 각 단계에서 데이터를 축소함으로써, 모델은 다양한 스케일(scale)에서 특징을 학습합니다. 즉, 초기에는 손가락의 미세한 디테일을 배우고, 나중에는 팔의 넓은 움직임을 배웁니다. 이를 통해 트랜스포머는 너무 많은 데이터에 압도되지 않고도 점들을 연결하는 자신의 임무를 수행할 수 있습니다.

저자들은 이 접근 방식이 모델이 "멀티스케일 특징(multiscale features)"을 학습하는 데 도움이 된다고 설명합니다. 손은 크기와 모양이 다양하고, 제스처는 빠르거나 느릴 수 있기 때문에, 다양한 줌 레벨에서 그림을 볼 수 있는 능력이 매우 중요합니다. 또한 피라미드 구조는 계산 비용을 줄여주어, 모델을 일반적인 트랜스포머보다 더 가볍고 빠르게 만듭니다.

실험: 손을 테스트하다

그들의 아이디어가 효과가 있는지 확인하기 위해, 팀은 두 가지 유명한 데이터셋인 NVGesture와 Briareo를 사용하여 테스트를 진행했습니다. 이 데이터셋들은 다양한 유형의 카메라로 촬영된 사람들의 손동작 영상을 포함하고 있습니다. 어떤 카메라는 색상(RGB)만 보고, 어떤 것은 깊이(거리)를 보고, 어떤 것은 적외선(열)을 보고, 또 어떤 것은 "옵티컬 플로우(픽셀의 움직임)"를 봅니다.

연구진은 이 영상들로 모델을 훈련시켰으며, 이를 "바닐라(표준)" 트랜스포머 및 다양한 CNN 기반 모델들과 비교했습니다. 그들은 "레이트 퓨전(late fusion, 후기 결합)" 기술을 사용했는데, 이는 각 유형의 카메라 데이터를 별도로 훈련시킨 다음 최종 추측을 결합하여 최선의 답을 얻는 방식을 의미합니다.

결과는 어떠했나요?
결과는 매우 유망했습니다. NVGesture 데이터셋에서 UniCon-Former는 거의 모든 카테고리에서 표준 트랜스포머를 이겼습니다.

• 색상 이미지만 보았을 때, **81.67%**의 정확도를 달성하여 표준 트랜스포머의 **76.50%**를 앞질렀습니다.
• 깊이 이미지의 경우, 트랜스포머의 **83.00%**에 비해 **85.27%**를 기록했습니다.
• 여러 유형의 데이터를 결합했을 때(색상, 깊이, 적외선 등), 모델은 더욱 발전하여 **87.97%**의 정확도에 도달했습니다.

Briareo 데이터셋에서의 결과는 더욱 인상적이었습니다.

• 적외선 이미지만 사용했을 때, 모델은 **97.92%**의 정확도에 도달한 반면, 표준 트랜스포머는 **95.10%**를 기록했습니다.
• **색상, 적외선, 플로(flow)**를 결합했을 때는 **98.61%**에 도달했으며, 이는 기록된 가장 높은 점수였습니다.

저자들은 모델이 다중 모드(multimodal) 데이터를 사용할 때 특히 잘 작동한다는 점에 주목했습니다. 그들은 "노멀(normals)"이나 "옵티컬 플로" 같은 더 많은 유형의 입력을 추가하는 것이 일반적으로 정확도를 높인다는 것을 관찰했으며, 이는 모델이 제스처를 이해하기 위해 사용 가능한 모든 정보를 효과적으로 활용할 수 있음을 시사합니다.

효율성: 적은 것으로 더 많은 것을 하다

가장 중요한 발견 중 하나는 단순히 정확도에 관한 것이 아니라 효율성에 관한 것이었습니다. 저자들은 "파라미터(AI의 뇌세포)"와 "MACs(수학적 연산량)"를 기준으로 모델을 비교했습니다.

• UniCon-Former는 1,958만 개의 파라미터를 가지며 60.25 Giga MACs가 필요합니다.
• 비교 대상인 표준 트랜스포머는 2,430만 개의 파라미터와 62.92 Giga MACs를 사용합니다.
• NAS1과 같은 다른 강력한 모델들은 9,390만 개의 파라미터를 가집니다.

이는 UniCon-Former가 더 정확할 뿐만 아니라 더 작고 계산 비용도 적게 든다는 것을 의미합니다. 이는 마치 경쟁 모델보다 연비가 좋으면서도 더 빠른 자동차를 만드는 것과 같습니다. 저자들은 이러한 효율성이 이 모델을 컴퓨팅 파워가 제한적일 수 있는 실제 응용 분야에 적합하게 만든다고 제안합니다.

요약

이 논문은 UniCon-Former가 CNN과 트랜스포머의 강점을 통합하는 성공적인 시도라고 결론짓습니다. 데이터를 다양한 스케일로 처리하는 피라미드 구조를 만듦으로써, 모델은 국소적인 디테일과 전역적인 문맥을 모두 효율적으로 학습할 수 있습니다. 실험 결과는 이 접근 방식이 더 적은 자원으로 기존 방법들을 능가하는 최첨단(state-of-the-art) 결과를 이끌어낸다는 것을 보여줍니다.

저자들은 NVGesture와 Briareo 데이터셋을 바탕으로 한 결과에 자신감을 표하면서도, 이를 최종적이고 불변하는 해결책이라기보다는 강력한 검증 과정으로 제시합니다. 그들은 자신들의 모델이 복잡성과 성능 사이에서 더 나은 절충안을 제공한다고 강조하며, 제스처 인식을 더 빠르고, 저렴하고, 정확하게 만들 수 있는 새로운 길을 제시하고 있습니다.