Activity Recognition from Smart Insole Sensor Data Using a Circular Dilated CNN

이 논문은 스마트 인솔의 다중 모달 센서 데이터를 처리하여 4 가지 활동 (서기, 걷기, 앉기, 발끝 발뒤꿈치) 을 86.42% 의 정확도로 분류하는 원형 확장 컨볼루션 신경망 (CDCNN) 기반 시스템을 제안하고, 이를 임베디드 환경의 실시간 추론에 적용 가능함을 입증합니다.

핵심

이 논문은 우리가 신발에 숨겨진 '스마트 인솔 (Smart Insole)'을 통해 사람의 움직임을 어떻게 알아내는지, 그리고 그 데이터를 분석하는 새로운 인공지능 방법을 소개합니다. 마치 신발이 사람의 걸음걸이를 읽어내는 '제 2 의 뇌'가 되는 과정을 설명하는 이야기라고 할 수 있죠.

이 내용을 일상적인 언어와 재미있는 비유로 풀어서 설명해 드릴게요.

1. 스마트 인솔: 신발 안의 '감각 신경'

우리가 신는 신발 안창에 압력 센서 (발바닥이 어디에 얼마나 힘을 주는지), 가속도계 (신발이 얼마나 빨리 움직이는지), 자이로스코프 (신발이 어떻게 회전하는지) 가 달려 있다고 상상해 보세요.

이것은 마치 우리가 신발을 신었을 때, 신발이 우리 발의 모든 미세한 움직임을 감지하는 수천 개의 작은 눈과 귀를 가진 것과 같습니다. 이 데이터들을 모으면 사람이 서 있는지, 걷고 있는지, 앉아 있는지, 아니면 발을 붙여서 균형을 잡고 있는지 (탠덤 자세) 알 수 있습니다.

2. 문제: 데이터를 어떻게 읽을 것인가?

기존에는 이 방대한 데이터를 분석할 때, 전문가들이 직접 "이 부분은 중요해, 저 부분은 무시해"라고 규칙을 정하거나 (수작업), 복잡한 수학적 공식을 사용했습니다. 하지만 요즘은 딥러닝 (Deep Learning) 이라는 인공지능이 직접 데이터를 배우는 시대가 왔습니다.

하지만 여기서 한 가지 고민이 생깁니다.

• 기존 방법: 데이터를 다 잘게 부수어서 (평평하게 펴서) 분석하면, 시간의 흐름에 따른 '리듬'이나 '순서'가 사라질 수 있습니다.
• 이 논문의 아이디어: "데이터를 잘게 부수지 말고, 시간의 흐름을 자연스럽게 감싸서 읽어야 해!"

3. 해결책: '원형 확장 CNN (CDCNN)'이라는 새로운 독서법

저자들은 CDCNN이라는 새로운 인공지능 모델을 만들었습니다. 이걸 이해하기 위해 두 가지 비유를 써볼게요.

• 비유 1: 원형의 고리 (Circular Padding)
  보통 데이터를 읽을 때 시작과 끝이 끊어지면 정보가 부족해집니다. 마치 책을 읽다가 마지막 페이지를 넘기면 내용이 끊기는 것처럼요. 이 모델은 데이터를 고리 모양 (원형) 으로 연결해 둡니다. 마지막 페이지를 넘기면 다시 첫 페이지로 돌아와서 연결되게 만드는 거죠. 이렇게 하면 활동이 시작되거나 끝날 때의 정보가 잘리거나 왜곡되지 않습니다.

• 비유 2: 망원경과 돋보기의 조화 (Dilated Convolution)
  이 모델은 두 가지 시야를 동시에 가집니다.

  1. 돋보기 (짧은 시간): 발이 땅에 닿는 순간 같은 아주 짧은 순간의 변화를 자세히 봅니다.
  2. 망원경 (긴 시간): 몇 걸음 걷는 전체적인 리듬이나 보폭 같은 긴 흐름도 한눈에 봅니다.
     보통의 인공지능은 이 두 가지를 동시에 보기 어렵거나, 너무 많은 계산이 필요하지만, 이 모델은 적은 계산량으로 두 시야를 모두 확보합니다. 그래서 신발 안에 들어가는 작은 칩에서도 실시간으로 작동할 수 있습니다.

4. 실험 결과: 인공지능 vs 전통적인 방법

연구진은 14,000 개 이상의 걸음걸이 데이터를 가지고 실험을 했습니다. 중요한 점은 누군가의 데이터로 학습하고, 완전히 다른 사람의 데이터로 테스트했다는 것입니다. (누군가에게 익숙한 패턴을 다른 사람에게도 적용할 수 있는지 확인한 거죠.)

• 결과: 이 새로운 모델 (CDCNN) 은 86.42% 의 정확도로 사람의 활동을 맞췄습니다.
• 비교: 기존의 유명한 방법 (XGBoost 라는 트리 기반 모델) 은 87.83% 로 조금 더 높았습니다.
  • 왜 차이가 났을까요? 기존 방법은 데이터를 모두 잘게 부수어서 모든 관계를 다 볼 수 있었기 때문입니다. 하지만 CDCNN 은 시간의 흐름 (리듬) 을 더 잘 보존하고, 신발 안에 넣을 수 있을 정도로 가볍고 빠르다는 장점이 있습니다.

5. 어떤 센서가 가장 중요할까?

연구진은 "어떤 센서가 가장 큰 역할을 했을까?"를 분석했습니다.

• 결과: 놀랍게도 압력 센서 (발바닥의 힘) 보다는 가속도계와 자이로스코프 (움직임과 회전) 가 더 중요한 역할을 했습니다.
• 비유: 사람이 걷거나 앉을 때, 발바닥이 바닥을 누르는 힘도 중요하지만, 몸이 어떻게 흔들리고 회전하는지가 그 활동을 구분하는 더 큰 힌트가 된다는 뜻입니다. 물론 발바닥의 압력 패턴도 균형 잡는 데 필수적이지만요.

6. 결론: 왜 이 연구가 중요할까?

이 연구는 단순히 "걸음걸이를 맞춘다"는 것을 넘어, 실제 생활에 바로 쓸 수 있는 기술을 보여줍니다.

1. 실시간 작동: 계산이 가볍기 때문에 신발 안에 작은 컴퓨터를 넣어도 즉시 반응할 수 있습니다.
2. 개인 맞춤: 특정 사람만 아는 게 아니라, 새로운 사람도 처음부터 잘 인식할 수 있습니다.
3. 응용 분야:
   • 노인: 넘어질 위험이 있는 균형을 잡지 못하는 순간을 미리 감지.
   • 운동선수: 운동 자세를 분석하고 교정.
   • 재활: 환자가 걷는 패턴을 꾸준히 모니터링.

한 줄 요약:
이 논문은 "신발 속에 숨겨진 센서들이 보내는 복잡한 신호를, 시간의 흐름을 잃지 않고 가볍고 빠르게 읽어내는 새로운 인공지능을 개발했다"는 이야기입니다. 마치 신발이 우리 발걸음의 리듬을 이해하고, 우리가 어디에 있는지, 어떻게 움직이는지 알아챌 수 있게 해주는 마법 같은 기술이죠.

기술 요약

논문 요약: 원형 확장 컨볼루션 신경망 (CDCNN) 을 활용한 스마트 인솔 기반 활동 인식

1. 문제 정의 (Problem)

스마트 인솔 (Smart Insole) 은 압력 센서, 가속도계, 자이로스코프를 통합하여 인간의 보행, 균형, 자세를 비침습적으로 모니터링할 수 있는 잠재력을 가지고 있습니다. 그러나 기존 연구들은 다음과 같은 한계가 존재했습니다:

• 특성 공학 의존: 전통적인 머신러닝 (SVM, 랜덤 포레스트 등) 을 사용하려면 수동으로 설계된 시간/주파수 도메인 특징이 필요했습니다.
• 모달리티 분리: 압력 데이터와 관성 (IMU) 데이터를 독립적으로 처리하거나, 하나의 모달리티에만 집중하여 모든 채널의 정보를 통합적으로 활용하는 데 한계가 있었습니다.
• 시각/레이더의 제약: 카메라 기반 시스템은 사생활 침해와 조명 조건에 의존하며, 레이더는 고정된 인프라와 복잡한 신호 처리가 필요합니다.
• 실시간 임베디드 배포: 기존 딥러닝 모델 (RNN 등) 은 계산 비용이 높아 스마트 인솔 내부의 제한된 하드웨어에서 실시간 추론이 어려울 수 있습니다.

이 논문은 이러한 문제들을 해결하기 위해 원시 다중 모달 (Multi-modal) 인솔 신호에서 직접 엔드 - 투 - 엔드 (End-to-End) 학습을 수행하고, 압력 및 관성 데이터를 통합하여 실시간으로 활동 (서 있기, 걷기, 앉기, 발끝을 붙인 자세) 을 분류하는 시스템을 제안합니다.

2. 방법론 (Methodology)

2.1 데이터셋 및 전처리

• 데이터 소스: 14,748 개의 레이블이 지정된 윈도우로 구성된 'STEP-Insole' 데이터셋을 사용했습니다.
• 센서 구성: 각 프레임당 24 개의 특징을 포함합니다.
  • 압력 센서: 18 개 (pressure_0 ~ 17)
  • 가속도계: 3 축 (x, y, z)
  • 자이로스코프: 3 축 (x, y, z)
• 입력 형식: 160 프레임 (시간 단계) 의 윈도우로 구성되며, 배치 크기를 $N$, 프레임을 $T=160$, 채널을 $F=24$로 $(N, 160, 24)$ 형태로 재구성합니다.
• 평가 방식: 주체 독립적 (Subject-independent) 평가를 위해 학습, 검증, 테스트 세트를 서로 다른 피험자 (Subject) 로 완전히 분리하여 일반화 성능을 검증했습니다.

2.2 제안 모델: 원형 확장 컨볼루션 신경망 (CDCNN)
기존 CNN 이나 RNN 의 단점을 보완하기 위해 설계된 아키텍처입니다.

• 확장 컨볼루션 (Dilated Convolution): 깊이에 따라 $d=2^i$ (1, 2, 4, 8) 의 확장 계수를 사용하여 시간적 수용 영역 (Receptive Field) 을 지수적으로 확장합니다. 이를 통해 짧은 시간의 발 접촉 패턴과 긴 시간의 보행 패턴을 모두 포착하면서도 파라미터 수를 줄입니다.
• 원형 패딩 (Circular Padding): 시퀀스의 시작과 끝에서 발생하는 경계 아티팩트를 방지하여 활동이 윈도우 경계와 완벽하게 정렬되지 않아도 정보를 손실하지 않도록 합니다.
• 구조:
  1. 4 개의 확장 컨볼루션 블록 (각각 64 개의 히든 채널, 커널 크기 3, 드롭아웃 0.2 적용).
  2. 시간 차원에 대한 전역 평균 풀링 (Global Average Pooling) 을 통해 64 차원의 컴팩트한 표현 생성.
  3. 선형 분류기 (Fully Connected Layer) 를 통해 4 개의 활동 클래스로 분류.
• 장점: RNN 기반 모델보다 병렬 처리가 가능하여 추론 지연 시간이 낮으며, 임베디드 하드웨어 배포에 적합합니다.

2.3 특징 중요도 분석

• 순열 특징 중요도 (Permutation Feature Importance): 테스트 세트에서 특정 센서 채널의 값을 무작위로 섞었을 때 정확도가 얼마나 떨어지는지 측정하여 각 센서의 기여도를 정량화했습니다.

3. 주요 결과 (Results)

• 분류 성능:
  • 제안된 CDCNN 모델은 주체 독립적 테스트 세트에서 **86.42%**의 정확도를 달성했습니다.
  • 비교 대상인 XGBoost 모델 (평탄화된 데이터 학습) 은 **87.83%**의 정확도로 약간 더 높은 성능을 보였습니다. 이는 XGBoost 가 평탄화된 벡터 내의 비선형 상호작용을 잘 포착하기 때문으로 분석됩니다.
  • 그럼에도 불구하고 CDCNN 은 시퀀스 구조를 직접 처리하며, 가변 길이 윈도우나 온라인 스트리밍으로의 확장이 용이하다는 장점이 있습니다.
• 특징 중요도 분석:
  • **관성 센서 (가속도계, 자이로스코프)**가 개별 압력 센서보다 일관되게 높은 중요도를 보였습니다. 이는 운동 역학이 활동 구분에 핵심적인 정보를 제공함을 의미합니다.
  • 압력 센서 중에서는 뒤꿈치 (Heel) 와 발가락 (Toe) 영역이 상대적으로 높은 중요도를 가졌습니다.
  • XGBoost 와 CDCNN 모두 유사한 특징 중요도 순위를 보였으나, 트리 기반 모델은 일부 압력 채널에 더 높은 가중치를 두는 경향이 있었습니다.
• 수렴 속도: CDCNN 은 몇 에포크 내에 검증 정확도 80% 이상으로 빠르게 수렴했습니다.

4. 주요 기여 (Key Contributions)

1. 통합 다중 모달 학습: 스마트 인솔의 압력 및 관성 데이터를 분리하지 않고, 원시 시계열 데이터로 직접 통합하여 학습하는 CDCNN 아키텍처를 제안했습니다.
2. 효율적인 아키텍처 설계: 원형 패딩과 확장 컨볼루션을 결합하여 시간적 의존성을 유지하면서 경계 문제를 해결하고, 임베디드 장치에 적합한 낮은 지연 시간의 모델을 구현했습니다.
3. 주체 독립적 일반화 검증: 학습과 테스트 데이터셋을 완전히 다른 피험자로 분리하여, 새로운 사용자에게 대한 모델의 일반화 능력을 엄격하게 평가했습니다.
4. 해석 가능성 제공: 순열 특징 중요도 분석을 통해 어떤 센서 채널이 분류 성능에 기여하는지 정량적으로 규명했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 스마트 인솔 기반 활동 인식 분야에서 딥러닝의 효율적인 적용 가능성을 입증했습니다. 비록 XGBoost 대비 정확도가 미세하게 낮았지만, CDCNN 은 다음과 같은 실용적 가치를 제공합니다:

• 실시간 임베디드 배포: 낮은 계산 비용과 병렬 처리 가능성으로 인해 스마트 인솔 내부 칩셋에서 실시간 추론이 가능합니다.
• 프라이버시 보호: 카메라나 레이더와 달리 사생활을 침해하지 않고 일상적인 신발에 자연스럽게 통합됩니다.
• 확장성: 가변 길이 입력이나 실시간 스트리밍 데이터 처리에 유연하게 대응할 수 있는 구조를 가집니다.

향후 연구로는 더 미세한 활동 (계단 오르기/내리기, 회전 등) 인식, 경량화 모델 최적화, 그리고 라벨 노이즈에 대한 강건성 향상을 위한 시계열 평활화 기법 도입 등이 필요하다고 결론지었습니다.