기술 요약: IZSafe – 실시간 소방관 동작 인식을 위한 온바디(On-Body) 딥러 Learning

문제 정의

화재 보호 및 위기 관리 분야의 기존 인공지능 시스템은 주로 화재 탐지, 확산 예측, 로봇 지원과 같은 거시적 수준의 과업을 다룹니다. 이러한 시스템은 미시적 수준의 상황 인식, 즉 개별 소방관의 실시간 활동 및 운영 상태를 모니터링하는 능력이 부족합니다. 특히 연기, 어둠, 좁은 공간, 그리고 신체적으로 힘든 조건이 특징인 환경에서 개별 움직임을 모니터링하는 것은 매우 까다로운 과제입니다. 또한, 기존 솔루션들은 실험실 환경이나 고전적 머신러닝, 또는 무거운 에지 컴퓨팅 장치에 의존하는 경우가 많아, 지속적인 데이터 스트리밍 없이 자원이 제한된 웨어러블 하드웨어에서 직접 작동하는 견고하고 지연 시간이 낮은 임베디드 딥러닝 솔루션을 제공하지 못합니다.

방법론

데이터셋 수집 및 준비

본 연구는 체육관, 계단, 그리고 연장 및 수직 사다리가 있는 소방차 근처 구역이라는 세 가지 실제적인 환경에서 112명의 전문 남성 소방관이 수행한 33가지 표준화된 동작으로부터 수집된 데이터셋을 활용했습니다.

• 센서: 데이터는 허리 유닛(산소통 캐리어) 및 초기 단계의 부츠 유닛에 통합된 관성 측정 장치(IMU)와 지자기 센서(MAG)를 사용하여 200 Hz로 캡처되었습니다.
• 전처리: 원시 데이터는 장치 좌표계에서 신체 좌표계로 변환 과정을 거쳤습니다. 세그멘테이션 파이프라인은 자동 분할(부츠 센서 신호 기반)과 수동 비디오 검증을 결합하여 303개의 완전한 운동 동작을 라벨링했습니다.
• 클래스 병합: 특정 동작 간의 높은 유사성(예: 서로 다른 사다리 각도)을 해결하기 위해, 33개의 원래 동작을 16개의 더 넓은 범주(예: "앞으로 걷기", "계단 오르기", "공중 사다리 오르기")로 병합했습니다.
• 센서 구성: 초기 개발에는 세그멘테이션을 위해 부츠 센서를 사용했으나, 최종 배포 모델은 실용적인 실현 가능성을 보장하기 위해 오직 허리 유닛(가속도계 및 자이로스코프)만을 사용하며, 이를 통해 유선 부츠 센서와 신뢰할 수 없는 무선 부츠 데이터 전송 문제를 제거했습니다.

모델 아키텍처 및 학습

시스템의 핵심은 순차적 관성 데이터를 위해 설계된 컴팩트한 LSTM(Long Short-Term Memory) 순환 신경망입니다.

• 아키텍 architecture: 모델은 TimeDistributed LSTM 레이어, Flatten 레이어, ReLU 활성화 함수가 적용된 Dense 레이어, Dropout 레이어(0.2), 그리고 Softmax 활성화 함수가 적용된 출력 Dense 레이어로 구성됩니다.
• 제약 사항: 아키텍처는 ARM Cortex-M4 마이크로컨트롤러에서 실행되도록 명시적으로 설계되었습니다. 이러한 제약을 충족하기 위해 저자들은 Transformer나 BiLSTM과 같은 복잡한 아키텍처를 피하고 단방향 LSTM을 선택했습니다.
• 양자화 전략: 많은 TinyML 접근 방식과 달리, 최종 구현에서는 모델 크기가 마이크로컨트롤러의 메모리 및 프로세싱 한계 내에 충분히 들어왔기 때문에 양자화나 프루닝(pruning) 없이 32비트 부동 소수점 표현을 유지했습니다.
• 지자기 센서 처리: 두 가지 구성이 테스트되었습니다: 지자기 데이터를 포함한 구성과 포함하지 않은 구성입니다. 최종 배포 구성은 방향성 및 자기 간섭에 대한 의존도를 줄이기 위해 지자기 센서를 제외하였으며, 이는 실질적인 견고함을 높이기 위해 오프라인 정확도의 약간의 트레이드오프를 수용한 결과입니다.

추론 시스템

시스템은 세 가지 주요 구성 요소로 이루어진 임베디드 파이프라인에서 작동합니다:

1. 인터럽트 서비스 루틴 (ISR): 센서 데이터를 수집하고, 샘플을 평균화(12개 샘플)하며, 호핑 윈도우(1200 ms)를 관리합니다.
2. 메인 루프: 평균화된 윈도우에 대해 AI 모델 추론을 실행하고, 노이즈를 줄이기 위해 10개의 결과값을 평균화하며, 확률 임계값(40%)을 적용하여 동작을 "알려진 동작" 또는 "알 수 없는 동작"으로 분류합니다.
3. 동작 전송 태스크: 가장 빈번하게 인식된 동작을 전송 간격(3초) 동안 집계하여 무선 네트워크를 통해 명령 인터페이스로 전송합니다.

주요 결과

모델 성능

• IMU/MAG 모델 (16개 클래스): 테스트 세트에서 93.85%의 정확도와 0.94의 가중 F1-스코어를 달려냈습니다.
• 지자기 센서 미포함 모델 (16개 클래스): 85.22%의 정확도와 0.852의 가중 F1-스코어를 달성했습니다. 이 구성은 방향 및 자기적 견고함을 보장하기 위해 배포용으로 선택되었습니다.
• 혼동 분석 (Confusion Analysis): 모델은 걷기, 기어가기, 계단 이동 동작에서 높은 정확도를 보였습니다. 혼동은 주로 유사한 사다리 동작(예: 수직 사다리 vs 개입용 사다리) 및 특정 사다리 각도 사이에서 관찰되었습니다.

시스템 수준 성능

시간적 집계(temporal aggregation)를 구현하고 구분이 어려운 사다리 클래스(예: "개입용 사다리 오르기"와 "공중 사다리 오르기" 병합)를 병합한 후, 전체 추론 시스템은 95.47%의 가중 인식 성공률을 달성했습니다.

• 지연 시간 (Latency): ARM Cortex-M4에서의 추론 시간은 약 52 ms입니다.
• 반응 시간: 동작 변화를 감지하는 유효 반응 시간은 약 1.2초(1200 ms)입니다.
• 초기화 시간: 시스템 초기화 시간은 약 2.4초입니다.

배포 검증

시스템은 실제 소방관 훈련 중에 검증되었습니다. 인식된 동작은 무선으로 전송되어 데이터베이스에 저장되었으며, 태블릿 인터페이스를 통해 지휘관에게 시각화되었습니다. 시스템은 소방관의 위치와 활동을 실시간으로 성공적으로 추적하며, 노이즈가 많은 실제 환경에서도 안정성을 입증했습니다.

의의 및 기여

본 논문은 IZSafe를 일반적인 인간 활동 인식(HAR) 아키텍처의 획기적인 발전이라기보다, 여러 별개의 연구 분야를 기능적이고 운영 가능한 시스템으로 성공적으로 통합한 배포 지향적 기여로 포지셔닝합니다.

1. 미시적 수준의 상황 인식: 본 시스템은 화재 현장 및 확산 예측 시스템을 보완하며, 실시간 개별 활동 데이터를 제공함으로써 기존의 거시적 모니터링 범위를 확장합니다.
2. 임베디드 딥러닝: 원시 데이터를 원격 서버나 강력한 에지 장치(예: Raspberry Pi)로 지속적으로 스트리밍할 필요 없이, 저전력 ARM Cortex-M4 마이크로컨트롤러에서 직접 순환 LSTM 모델을 실행하는 것이 가능하다는 것을 보여줍니다.
3. 최소한의 센서 구성: 본 솔루션은 단일 허리 장착 유닛(가속도계 및 자이로스코프)만을 사용하여 높은 인식률을 달성함으로써, 멀티 센서 슈트나 부츠 센서의 복잡성과 케이블링 문제를 피했습니다.
4. 실용적 트레이드오프: 본 연구는 분류의 상세함, 견고함, 그리고 지연 시간 사이의 성공적인 트레이드오프를 강조합니다. 지자기 센서를 제거하고 구분이 어려운 클래스를 병합함으로써, 시스템은 이론적 최대 정확도보다 운영 안정성과 견고함을 우선시했습니다.
5. 실제 환경 검증: 오프라인 평가나 시뮬레이션 환경에 국한된 많은 HAR 연구와 달리, IZSafe는 112명의 전문 소방관으로부터 데이터를 수집하여 훈련되었으며, 실제 대응 장비를 갖춘 현실적인 훈련 시나리오에서 검증되었습니다.

저자들은 데이터셋의 다양성(남성 전용, 단일 조직) 및 향후 이상 징후 탐지(anomaly detection)의 필요성 등 한계점이 존재하지만, IZSafe는 웨어러블 마이크로컨트롤러 상의 딥러닝을 통한 미시적 수준의 상황 인식이 기술적으로 가능하며 긴급 대응에 실질적으로 유용하다는 것을 증명한다고 결론지었습니다.