SmartADAPT-Net: Decision-Level Adaptation for Free-Living Smartwatch-Based Activities of Daily Living Recognition

일상생활은 양치질, 설거지, 주방으로 걷기, 또는 바닥 닦기와 같은 작고 종종 반복적인 움직임의 연속입니다. 의사와 간병인에게 이러한 "일상생활 동작(activities of daily living)"을 추적하는 것은 매우 중요합니다. 이러한 과업을 독립적으로 수행할 수 있는 능력은 그 사람의 건강과 안전을 나타내는 주요 지표입니다. 전통적으로 이를 측정하는 방식은 사람들에게 무엇을 했는지 기억해 내라고 묻거나, 간호사가 특정 시간에 관찰하는 것에 의존합니다. 이러한 방법들은 불완전합니다. 인간의 기억력은 오류가 생기기 쉽고, 특정 순간의 관찰은 하루 전체의 리듬을 놓치기 때문입니다. 누군가가 어떻게 기능하고 있는지에 대한 진정한 모습을 파악하기 위해서는, 침해적이지 않으면서도 지속적으로 관찰할 수 있는 방법이 필요합니다. 여기서 스마트워치가 등장합니다. 손목에 착용하는 이 기기는 움직임의 미세한 변화를 감지할 수 있는 센서를 탑재하고 있어, 한 개인의 일상적인 루틴을 들여다볼 수 있는 잠재적인 창을 제공합니다. 하지만 문제가 하나 있습니다. 조용하고 통제된 실험실에서 이러한 움직임을 인식하도록 훈련된 컴퓨터 프로그램은, 동일한 사람이 자신의 집이라는 무질서하고 예측 불가능한 현실 속에서 시계를 착용했을 때 실패하는 경우가 많다는 점입니다.

퀸 마가렛 대학교(Queen Margaret University)와 에든버러 네이피어 대학교(Edinburgh Napier University)의 연구진은 이 구체적인 문제를 해결하기 위해 나섰습니다. 그들은 스마트워치 시스템이 처음부터 완전히 다시 훈련될 필요 없이, 사용되는 과정에서부터 사람의 일상 활동을 학습할 수 있는지 질문을 던졌습니다. 그들은 두 가지 뚜로 다른 단계로 작동하도록 설계된 'SmartADAPT-Net'이라는 시스템을 개발했습니다. 첫째, 이 시스템은 많은 다양한 사람으로부터 실험실에서 학습된 규칙 세트인 일반적인 "인구 집단(population)" 모델을 사용하여 현재 어떤 활동이 일어나고 있는지에 대한 초기 추측을 수행합니다. 둘째, 사용자가 시계의 추측을 확인하거나 수정할 때만 해당 사용자의 특성에 맞춰 서서히 학습합니다. 목표는 이 2단계 접근 방식이 실험실에서 훈련된 로봇과 현실 세계에서 도움이 되는 개인 맞춤형 비서 사이의 간극을 메울 수 있는지 확인하는 것이었습니다.

연구진은 먼저 시뮬레이션된 가정 환경에서 시스템의 토대를 구축하는 것으로 시작했습니다. 30명의 자원봉사자가 양치질, 바닥 닦기 또는 진공청소기 돌리기, 물건 선반에 올리기, 걷기, 설거지, 세수와 같은 6가지 흔한 과업을 수행했습니다. 그들은 애플 워치를 착용하여 손목의 움직임을 기록했습니다. 연구팀은 이 데이터를 사용하여 컴퓨터 모델이 이러한 움직임의 패턴을 인식하도록 가르쳤습니다. 이 초기 모델은 "동결(frozen)"되었습니다. 즉, 모델의 핵심 두뇌는 고정되어 나중에 변하지 않는다는 의미입니다. 그러나 연구진은 "복잡성 인지 변조(complexity-aware modulation)"라는 영리한 조정 계층을 추가했습니다. 이 기능은 움직임이 얼마나 혼란스럽거나 불규칙한지를 살펴봅니다. 예를 들어, 걷기는 보통 리드미컬하지만, 설거지는 더 불규칙할 수 있습니다. 이 복잡성을 측정함으로써, 시스템은 사용자 개인을 알기도 전에 초기 추측을 신속하고 똑똑하게 조정하여 정확도를 높일 수 있었습니다.

진정한 테스트는 17명의 새로운 그룹을 대상으로 실제 가정에서 20일 동안 이 시스템을 배치했을 때 이루어졌습니다. 참가자들은 시계를 착용하고 6가지 대상 활동 중 하나를 수행할 때마다 기록을 시작했습니다. 시스템은 이 사람들을 사전에 알지 못했습니다. 시계가 예측을 내놓으면, 사용자는 그것이 맞는지 확인하거나 목록에서 올바른 활동을 선택하도록 요청받았습니다. 이 피드백이 핵심이었습니다. 시스템은 시계의 배터리와 프로세서에 부담을 줄 수 있는 메인 두뇌를 재훈련하는 대신, 해당 사용자의 움직임이 어떻게 보이는지에 대한 요약본인 압축된 "프로토타입(prototypes)"을 저장했습니다. 사용자가 활동을 더 많이 확인함에 따라, 시스템은 일반적인 인구 집단의 지식과 특정 사용자의 습관을 결합하여 최종 결정을 서서히 조정했습니다.

결과는 명확하고 강력한 진전을 보여주었습니다. 시스템이 초기 동결된 두뇌에만 의존했을 때, 활동을 맞춘 확률은 약 62퍼센트였습니다. 현실 세계가 통제된 실험보다 더 무질서하다는 점을 고려하면 이러한 하락은 예상된 결과였습니다. 그러나 시스템이 복잡성 인지 조정을 적용하는 순간, 정확도는 78퍼센트로 급증했습니다. 이 향상은 사용자로부터의 개인 데이터 없이도 즉각적으로 일어났습니다. 사용자들이 20일 동안 활동을 계속 확인함에 따라 시스템의 개인화가 작동했고, 최종 정확도는 89퍼센트까지 올라갔습니다. 이는 스마트한 즉각적 교정과 느리고 꾸준한 학습 과정을 결합함으로써, 시스템이 초기 실수를 극복하고 매우 신뢰할 수 있는 수준에 도달했음을 의미합니다.

모든 활동이 똑같이 마스터하기 쉬운 것은 아니었습니다. 걷기와 바닥 닦기는 처음부터 높은 정확도로 인식되었습니다. 반면, 세수는 가장 어려운 과업으로 남았습니다. 20일간의 개인화를 거친 후에도 시스템은 이 과업에 대해 여전히 어려움을 겪었으며, 약 7로 79퍼센트의 정확도만을 보였습니다. 연구진은 시스템이 많은 초기 오류를 수정할 수 있었음에도 불구하고, 세수와 다른 움직임 사이의 혼동이 지속된다는 것을 발견했습니다. 이는 손목 센서가 팔의 움직임을 추적하는 데는 탁월하지만, 매우 유사한 손 동작을 구별하는 데 필요한 미세한 디테일이 부족할 수 있음을 시사합니다. 그럼에도 불구하고, 이 시스템은 방대한 데이터나 복잡한 재훈련 과정 없이도 사용자로부터 학습할 수 있음을 입증했습니다.

연구는 또한 이 접근 방식이 일상적인 사용에 실용적임을 확인했습니다. 사용자의 특정 습관을 기억하는 데 필요한 메모리를 포함한 전체 시스템은 시계에서 매우 적은 공간, 즉 작은 사진 파일 정도의 크기만을 차지했습니다. 또한 결정 내리는 데 0.1초도 걸리지 않을 만큼 빠르게 실행되었으며, 추가적인 배터리 소모도 시간당 약 3.5퍼센트로 미미했습니다. 이러한 효율성은 장기적인 건강 모니터링을 위해 필수적입니다. 몇 시간 만에 시계의 배터리를 소모하는 시스템은 장기적인 용도로는 쓸모가 없기 때문입니다.

연구진은 결과의 한계점을 주의 깊게 언급했습니다. 시스템을 테스트하는 데 사용된 "정답"은 사용자가 시계의 추측을 본 후에 확인하는 방식이었습니다. 이는 시스템이 독립적인 관찰자가 아닌, 사용자의 자신감이나 편향에 의해 영향을 받았을 수 있음을 의미합니다. 또한, 이 연구는 사용자가 수동으로 시작하는 6가지 특정 활동에 초점을 맞추었으며, 하루 종일 사람을 지켜보며 자동으로 무엇을 하고 있는지 알아내는 시스템은 아닙니다. 또한 시스템은 가르쳐진 6가지 종류의 활동 외에 새로운 유형의 활동을 학습하려고 시도하지 않았습니다.

그럼에도 불구하고, 핵심적인 발견은 매우 중요합니다. 이는 웨어러블 기기가 일반적인 인간의 움직임에 대한 이해에서 시작하여, 단순한 '인간 참여형(human-in-the-loop)' 피드백을 통해 개인의 독특한 스타일로 적응할 수 있음을 보여줍니다. 이 시스템은 몇 주간의 데이터를 기다리며 빈 도화지 상태로 있을 필요도 없고, 경직되고 변경 불가능한 프로그램일 필요도 없습니다. 즉각적이고 스마트한 조정과 느리고 개인적인 학습을 분리함으로써, 이 시스템은 스마트워치가 단순히 센서에 머무는 것이 아니라 현실 세계에서 건강을 모니터링하는 진정으로 적응 가능한 동반자가 될 수 있는 길을 제시합니다. 이 연구는 웨어러블 헬스 모니터링의 미래가 컴퓨터를 고립된 상태에서 더 똑똑하게 만드는 것이 아니라, 기기가 한 번에 하나의 확인된 활동을 통해 사람으로부터 배우는 파트너십을 만드는 데 있음을 시사합니다.