Edge-Efficient Two-Stream Multimodal Architecture for Non-Intrusive Bathroom Fall Detection

1. 문제 정의 (Problem)

• 배경: 독거 노인의 욕실 낙상은 치명적인 안전 위험이며, 습기, 단단한 표면, 좁은 공간으로 인해 가장 위험한 환경입니다.
• 기존 기술의 한계:
  • 카메라/마이크: 사생활 침해 우려로 욕실 사용이 제한됨.
  • 웨어러블: 습한 환경에서 신뢰성 저하 및 착용 거부 문제.
  • 단일 센서 (레이더/진동):
    • mmWave 레이더: 물방울 반사나 다중 경로 간섭으로 인한 오경보 (물건 떨어뜨림 등) 발생.
    • 진동 센서: 충격 단계만 관측하며, 비인간적 충격 (물건 낙하) 과 인간 낙상을 구분하기 어려움.
  • 기존 멀티모달 융합: 단순한 특징 연결 (early concatenation) 또는 결정 수준 평균화를 사용하여, '운동 패턴'과 '충격' 사이의 인과 관계를 명시적으로 모델링하지 못함. 또한, 시간 동기화 오차 (timing drift) 와 에지 장치의 지연/에너지 제약 문제를 해결하지 못함.

2. 제안 방법론 (Methodology)

저자들은 레이더 (mmWave) 와 바닥 진동 (Floor Vibration) 데이터를 융합하는 양방향 (Two-Stream) 아키텍처를 제안하며, 저전력 에지 디바이스 (Raspberry Pi 4B) 에서 실시간 실행이 가능하도록 설계되었습니다.

A. 데이터 전처리 및 동기화

• 동기화: 레이더와 진동 센서의 시간 지연 ($\Delta\tau$) 을 GCC-PHAT 알고리즘을 통해 추정하고, 선형 함수로 보정하여 클록 드리프트를 해결합니다.
• 특징 추출:
  • 레이더: 거리 - 도플러 맵에서 배경을 제거하고 적응형 노이즈 임계값을 적용한 후, 운동 벡터 ($\bar{r}, |\dot{r}|, \sigma_r, \sigma_{\dot{r}}, E_t$) 로 요약합니다.
  • 진동: 3 축 진동 데이터를 스칼라 엔벨로프로 변환하고 웨이블릿 축소 및 Hampel 필터로 노이즈를 제거합니다.

B. 양방향 신경망 아키텍처

1. 운동 - Mamba 브랜치 (Motion-Mamba Branch, 레이더 처리):

   • LSK1D 블록: 다양한 커널 크기 (3, 7, 11) 와 확장 (dilation) 을 사용하여 짧은 전이 현상과 느린 접근 운동을 포착합니다.
   • Mamba2Block1D: 선형 시간 복잡도의 상태 공간 모델 (State-Space Model) 을 사용하여 수 초 간의 장기적인 운동 패턴 (낙하 전의 몸체 붕괴 등) 을 효율적으로 모델링합니다.
   • Switch-MoE (Mixture of Experts): 시간 어댑터로 사용되어 다양한 운동 체제에 특화된 전문가 네트워크를 선택합니다.

2. 충격 - Griffin 브랜치 (Impact-Griffin Branch, 진동 처리):

   • LSK1D 프론트엔드: 충격 시작점과 초기 링잉 (ringing) 주기를 포착하도록 설계된 다중 경로 구조를 가집니다.
   • Griffin 블록: 게이트된 장기 메모리 (GLRU) 를 사용하여 저진폭 운동에는 느리게 반응하지만 충격 시에는 빠르게 반응하도록 설계되었습니다.
   • 채널 간 어텐션: 바닥의 강성이나 거리 차이로 인한 축별 스케일 변화에 민감하지 않도록 공분산 정규화를 적용하여 축 간 일관된 패턴을 강조합니다.

3. 교차 조건부 융합 (Cross-Conditioned Fusion):

   • 교차 조건부 상호작용: 레이더 특징이 진동 활동으로 지지될 때만 강화되도록 로컬 어텐션을 적용합니다.
   • 저랭크 이차적 결합 (Low-Rank Bilinear Interaction): 운동 토큰과 충격 토큰의 곱셈적 구조를 보존하면서 파라미터 수를 줄여 물체 낙하와 같은 오경보를 억제합니다.
   • Fusion Switch-MoE: 최종 융합 규칙을 적응화하여 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 아키텍처: 레이더의 '붕괴 (collapse)'와 진동의 '충격 (impact)' 사이의 인과 관계를 명시적으로 모델링하고, 시간 정렬 오차와 객체 낙하 혼란 요인을 해결하는 Alignment-Aware Two-Stream 아키텍처를 제안했습니다.
2. 새로운 벤치마크 데이터셋: 샤워기 가동 중 8 가지 시나리오 (낙하, 물건 떨어뜨림, 걷기, 정지 등) 를 포함한 3 시간 이상의 동기화된 mmWave 레이더 및 3 축 진동 데이터를 구축했습니다. 프레임 단위 주석과 주제 독립적 (Subject-independent) 분할을 제공합니다.
3. 에지 최적화: Raspberry Pi 4B 와 같은 저전력 하드웨어에서 실시간 추론이 가능하도록 설계되었으며, 지연 시간과 에너지 소비를 대폭 줄였습니다.

4. 실험 결과 (Results)

• 데이터셋: 8 가지 시나리오, 3 시간 이상, 11 만 개 이상의 레이더 프레임 및 310 만 개의 진동 샘플 포함.
• 성능 (테스트 세트):
  • 정확도 (Accuracy): 96.1%
  • 정밀도 (Precision): 94.8%
  • 재현율 (Recall): 88.0%
  • Macro F1 점수: 91.1%
  • AUC: 0.968
• 비교 우위 (최강 베이스라인 대비):
  • 정확도: 2.0%p 향상 (94.1% → 96.1%)
  • 낙상 재현율: 1.3%p 향상 (86.7% → 88.0%)
  • 지연 시간 (Latency): 35.9ms → 15.8ms (약 56% 감소)
  • 에너지 소비: 2.56 초 윈도우당 14,200 mJ → 10,750 mJ (약 24% 감소)
• 강건성: 시간 오정렬 (±150ms) 및 모달리티 드롭아웃 (30%) 시에도 재현율이 84% 이상 유지됨.

5. 의의 및 결론 (Significance)

이 논문은 욕실 낙상 감지 분야에서 사생활을 보호하면서도 높은 정확도와 낮은 지연 시간을 동시에 달성할 수 있는 실용적인 솔루션을 제시했습니다.

• 기술적 혁신: 단순한 센서 융합을 넘어, 레이더의 운동 정보와 진동의 충격 정보를 인과적으로 연결하고 에지 환경에 최적화된 경량화 모델 (Mamba, Griffin, MoE) 을 적용했습니다.
• 실용성: Raspberry Pi 4B 와 같은 저사양 하드웨어에서도 실시간으로 작동 가능하여, 실제 독거 노인 가정의 욕실 모니터링 시스템으로 상용화 가능성이 높습니다.
• 기반 마련: 공개된 동기화된 멀티모달 데이터셋은 향후 욕실 환경의 낙상 감지 연구에 중요한 벤치마크 역할을 할 것입니다.