당신의 스마트워치나 피트니스 트래커가 손목 위에 앉아 있는 작고 관찰력이 뛰어난 탐정이라고 상상해 보세요. 이 탐정의 임무는 당신의 몸이 만드는 아주 작은 떨림, 부딪힘, 그리고 흔들림을 감지하여 당신이 무엇을 하고 있는지 알아내는 것입니다. 이 과학 분야를 인간 활동 인식(Human Activity Recognition, HAR)이라고 부릅니다. 이 임무를 수행하기 위해, 탐정은 당신의 움직임을 24시간 내내 하나의 길고 흐릿한 스트림으로 보는 대신, 마치 일련의 빠른 스냅샷을 찍는 것처럼 "윈도우(window)"라고 불리는 작고 한 입 크기의 조각들로 나눕니다. 오랫동안 이 탐정은 각 스냅샷을 완전히 독립적으로 바라보며, "이것은 걷기인가? 달리기인가?"라고 물었습니다. 즉, 바로 전이나 다음 스냅샷에서 무슨 일이 일어났는지 기억하지 못했습니다. 이 때문에 탐정은 다소 서툴렀으며, 당신이 한 활동에서 다른 활동으로 전환하는 중간 단계에 있을 때 자주 혼란을 겪었습니다. 연구자들이 씨름해 온 큰 질문은 이것입니다: 어떻게 하면 우리 탐정이 이 스냅샷들을 연결하여, 단지 고립된 사진들이 아니라 전체적인 이야기를 이해하도록 가르칠 수 있을까?

여기에 Marius Bock과 그의 팀이 제안한 새롭고 영리한 아키텍처인 DeepConvContext가 등장하여 이 "점 잇기(connect-the-dots)" 문제를 해결하려고 합니다. 모든 시간 윈도우를 낯선 존재로 취급하는 대신, 이 새로운 방식은 윈도우들을 도미노처럼 하나의 시퀀스로 조직하여, 모델이 하나의 움직임이 어떻게 다음 움직임으로 이어지는지 학습할 수 있도록 합니다. 연구진은 학습 과정을 두 부분으로 나누면 시스템이 훨씬 더 똑똑해진다는 것을 발견했습니다. 하나는 단일 윈도우 내부의 세부 사항을 연구하는 부분이고, 다른 하나는 그 윈도우들이 서로 어떻게 연관되는지를 연구하는 부분입니다. 이 접근 방식은 6개의 데이터셋에 걸친 테스트에서 평균적으로 정확도를 5% 향상시켰으며, 활동의 타임라인을 이전 방식보다 훨씬 더 매끄럽고 덜 "튀게(jumpy)" 만들었습니다. 로봇이 인간의 움직임을 이해하기 위해서는 현재를 바라보는 것만큼이나 지난 몇 초간의 과거를 기억하는 것이 중요하다는 사실이 밝혀졌습니다.

탐정의 새로운 훈련 방식

수십 년 동안 컴퓨터에게 인간의 움직임을 인식하도록 가르치는 표준적인 방법은 마치 "스냅(Snap)" 게임과 비슷했습니다. 센서 데이터(가속도계의 흔들림 등)의 연속적인 스트림을 가져와서 겹치는 윈도우들로 자릅니다. 컴퓨터는 하나의 윈도우를 보고 활동을 추측한 다음, 다음 윈데우를 보기 위해 즉시 그것을 잊어버립니다. 이것이 "슬라이딩 윈도우(sliding window)" 방식입니다. 단순한 작업에는 효과적이지만, 여기에는 중대한 결함이 있습니다. 바로 파편화된 타임라인을 만든다는 점입니다. 예를 들어 당신이 의자에서 일어나는 중이라면, 컴퓨터는 "앉아 있음" 윈도우를 본 다음 "서 있음" 윈도우를 보게 되는데, 그 중간 과정에서 연속적인 흐 흐름을 보지 못하기 때문에 혼란을 겪을 수 있습니다.

이 논문의 저자들은 이러한 모델을 훈련시키는 기존 방식이 마치 문장을 전혀 보지 못한 채 단어 하나하나를 읽으며 언어를 배우려는 것과 같다고 주장합니다. 그들은 다른 분야, 특히 컴퓨터 비전(AI가 영상을 보고 동작을 찾는 분야)에서 이 문제를 어떻게 다루는지 살펴보았습니다. 영상 분석에서 AI 모델은 종가 "로컬(local)" 특징(지금 일어나고 있는 일)과 "글로벌(global)" 컨텍스트(앞뒤로 일어난 일)를 구분하여 처리합니다. 연구팀은 이 아이디어를 웨어러블 센서에 도입하기로 결정했습니다.

그들은 DeepConvContext라는 두 단계로 이루어진 탐정을 소개했습니다.

1. 로컬 탐정 (Intra-window): 먼저, 시스템은 기존 모델들과 마찬가지로 단일 데이터 윈도우를 살펴봅니다. 이는 특정 시간 슬라이스 내부의 세부 사항을 파악하기 위해 특수한 신경망(합성곱 신경망(CNN)과 LSTM의 혼합)을 사용합니다. 시스템은 해당 윈도우에서 일어난 일을 설명하는 짧은 메모와 같은 "특징 벡터(feature vector)"라는 요약을 생성합니다.
2. 스토리텔러 (Inter-window): 이것이 마법 같은 부분입니다. 이 시스템은 그 메모를 그냥 버리는 대신, 일련의 메모들을 두 번째의 더 큰 뇌(또 다른 LSTM)에 입력합니다. 이 두 번째 뇌는 메모의 사슬을 살펴보고 흐름을 이해합니다. 이 뇌는 "좋아, 지난 메모는 '걷기'라고 했고, 현재 메모는 '서 있음'이라고 하니, 지금이 멈추는 순간이겠구나"라고 판단합니다.

예전 기술들이 제대로 작동하지 않았던 이유

이전에는 일부 연구자들이 CausalBatch라는 방법을 사용하여 이 "망각" 문제를 해결하려 했습니다. 이것은 탐정에게 한 묶음의 윈도우를 보여주며 "다음 묶음과 연결될 수 있도록 이전 묶음의 은닉 상태(hidden state)를 기억하라"고 말하는 것과 같았습니다. 이 논문의 저자들은 이 접근 방식이 다소 맞지 않는다고 주장합니다. 이는 마치 학생에게 문단들이 서로 연결된 에세이를 쓰라고 하면서, 선생님은 오직 각 문단이 단독으로 얼마나 잘 작성되었는지만 보고 성적을 매기는 것과 같습니다. 모델은 장기적인 연결을 학습하도록 요구받지만, 학습 신호(피드백)는 단기적인 패턴에 대해서만 알려주기 때문입니다.

DeepConvContext는 학습 데이터 자체를 변경함으로써 이를 해결합니다. 윈도우를 무작위로 섞는 대신, 사람의 타임라인에서 연속적인 윈도우 시퀀스를 가져와서 그 전체 시퀀스를 하나의 학습 배치(batch)로 취급합니다. 이를 통해 모델이 윈도우들을 연결하는 법을 배울 때, 실제로 연속적인 이야기를 보고 학습할 수 있게 됩니다.

결과: 더 매끄러운 이야기, 더 적은 실수

연구팀은 이 새로운 아키텍처를 걷기, 달리기와 같은 단순한 작업부터 "앉았다 일어나기" 전환 및 실험실 기반 활동과 같은 복잡한 작업에 이르기까지 6개의 널리 사용되는 데이터셋에서 테스트했습니다. 그들은 DeepConvContext를 표준 DeepConvLSTM, CausalBatch 방식, 그리고 "Shallow" 버전의 모델과 비교했습니다.

결과는 유망했습니다. DeepConvContext는 표준 방식들에 비해 평균적으로 5% 향상된 F1-score(정확도 척도)를 보였습니다. 특정 사례에서는 개선 폭이 **21%**에 달하기도 했습니다. 더 중요한 것은, DeepConvContext가 훨씬 더 일관된 타임라인을 생성했다는 점입니다. 연구진은 예측된 활동 구간이 실제 구간과 얼마나 잘 일치하는지를 확인하는 지표인 mAP(mean Average Precision)를 사용하여 이를 측정했습니다. DeepConvContext는 Shallow DeepConvLSTM보다 최대 18포인트 더 높은 점수를 기록했습니다.

시각적으로 보면, 기존 모델들은 사람이 단순히 하나의 매끄러운 활동을 하고 있음에도 불구하고 순식간에 "걷기", 다시 "달리기", 다시 "걷기"라고 예측하는 "깜빡임(flickering)" 현상을 보이는 경우가 많았습니다. 반면, DeepConvContext는 활동을 깨끗하고 견고한 블록 형태로 생성하여, 전환 과정을 정확히 식별하고 "아무것도 없음(NULL)" 윈도우를 활동으로 잘못 분류하는 혼란을 피했습니다.

비밀 재료: LSTM vs. 화려한 신기술

AI의 세계에는 "트랜스포머(Transformer)"나 "어텐션(Attention)" 메커니즘처럼, 거리와 상관없이 시퀀스의 어떤 부분이든 즉각적으로 볼 수 있게 해주는 화려한 도구들에 대한 열풍이 있습니다. 많은 연구자가 이러한 도구들이 항상 더 나을 것이라고 가정합니다. 그러나 저자들은 두 번째 "스토리텔러" 뇌를 이러한 어텐션 기반 모델로 교체하는 실험을 진행했습니다.

놀랍게도, 결과는 오래된 순차적 방식인 LSTM(Long Short-Term Memory) 네트워크가 실제로 더 성능이 좋다는 것을 시사했습니다. LSTM은 어텐션 기반 모델보다 F1-score에서 최대 5% 더 높은 성능을 보였습니다. 저자들은 인간의 움직임은 자연스럽게 순차적이고 질서 정연하기 때문에(발을 들여놓기 전에 먼저 들어 올려야 함), LSTM의 "로컬(local)" 편향이 어텐션 메커니즘의 "글로벌(global)" 관점보다 이 문제에 더 적합하다고 제안합니다. 어텐션 메커니즘은 때때로 시퀀스의 잘못된 부분에 주의를 빼앗길 수 있기 때문입니다.

속도와 효율성

새롭고 복잡한 모델에 대한 흔한 걱정은 시계나 휴대폰에서 실시간으로 사용하기에 너무 느리지 않을까 하는 점입니다. 저자들은 이를 면밀히 점검했습니다. DeepConvContext는 더 많은 파라미터(CausalBatch 방식보다 약 3배 더 많음)를 가지고 있음에도 불구하고, 거의 동일한 속도로 데이터를 처리합니다. 이 모델은 배치당 0.96 ms(밀리초)의 지연 시간을 달 기록했는데, 이는 기존의 더 단순한 방식들과 대등한 수준입니다. 이는 새로운 "슈퍼 탐정"이 당신을 기다리게 하지 않으며, 여전히 실시간으로 당신의 활동을 예측할 수 있음을 의미합니다.

이것이 미래에 갖는 의미

이 논문은 Deep-ConvContext가 "슬라이딩 윈도우" 문제를 해결하는 데 있어 견고한 진전이라고 결론짓습니다. 로컬 세부 사항 학습과 글로벌 컨텍스트 학습을 분리하고, 섞인 조각이 아닌 연속적인 시퀀스로 학습함으로써, 모델은 인간의 움직임에 대해 더 나은 이야기를 들려줄 수 있게 됩니다.

저자들은 자신들이 온라인 예측(실시간)에 집중했지만, 이 방식이 오프라인 분석에도 적용될 수 있다고 언급했습니다. 또한 이 접근 방식이 특정 유형의 센서에만 국한되지 않고 TinyHAR 또는 Attend-and-Discriminate와 같은 다른 모델에도 적응될 수 있다고 덧붙였습니다. 그러나 연구진은 결과가 강력하긴 하지만, 커뮤니티가 다양한 시나리오에서 이러한 아이디어들을 계속해서 테스트해야 한다고 조언하며 신중한 태도를 유지했습니다. 궁극적으로, 그들은 이 다중 척도(multi-scale) 접근 방식이 표준적인 도구가 되어, 우리의 디지털 탐정들이 우리가 무엇을 하고 있는지뿐만 아니라, 어떻게 매끄러운 전환을 통해 움직이고 있는지까지 이해하도록 돕기를 희망합니다.