Suicide Risk Assessment from AI-powered Video Surveillance: An Interpretable Framework for Prevention in Metro Stations

기술적 요약: AI 기반 비디오 감시를 통한 자살 위험 평가

문제 정의
본 논문은 지하철 역사에서 연속적인 감시 비디오를 활용한 자살 위험 평가 (SRA) 의 과제를 다룹니다. 기존 비전 기반 시스템은 종종 단순한 시각적 단서 (예: 안전 울타리 횡단) 나 지속적인 인간 관찰에 의존하는데, 이러한 방법들은 효과적인 예방을 위해 사건을 너무 늦게 감지하거나 인간의 피로로 인해 고충을 겪곤 합니다. 핵심 문제는 고립된 사건 감지나 직접적인 의도 추론을 넘어선 것입니다. 대신 저자들은 SRA 를 개별 승객의 행동, 공간적 맥락, 그리고 시간적 역동성을 공동 추론 (joint reasoning) 하는 과제로 정의합니다. 목표는 자살 의도에 대한 임상적 진단을 내리는 것이 아니라, 관찰 가능한 행동 및 공간적 단서의 축적을 기반으로 각 승객에 대해 시간 가변적인 위험 점수를 평가하는 것입니다.

방법론: SRA-프레임워크
저자들은 시간 경과에 따른 증거를 집계하여 자살 위험을 평가하도록 설계된 최초의 해석 가능한 파이프라인인 SRA-프레임워크를 제안합니다. 이 프레임워크는 다섯 개의 순차적 모듈로 구성된 통합 파이프라인을 통해 작동합니다:

1. 인간 탐지, 추적 및 포즈 추정:

   • '사람' 클래스를 식별하기 위해 사전 훈련된 YOLOx 탐지기를 사용합니다.
   • 이미지 공간에서 다중 객체 추적을 위해 ByteTrack을 활용합니다.
   • 바운딩 박스 내에서 2D 신체 키포인트를 추출하기 위해 HRNet을 적용합니다.
   • 호모그래피 행렬 (homography matrix) 을 사용하여 추적된 위치를 플랫폼 기준 좌표계로 투영하여 시간 전반에 걸친 일관된 공간 분석을 가능하게 합니다.

2. 인간 활동 인식:

   • ARMM 데이터셋으로 사전 훈련된 스키넷 기반 시공간 행동 인식 모델인 SSTAR를 활용합니다.
   • 구체적으로 세 가지 승객 행동을 감지합니다: 'LookTunnel'(터널 응시), 'Walk'(보행), 'Stand'(정지).
   • 이러한 라벨들은 공간적 맥락과 지속 시간에 따라 가중치가 부여됩니다.

3. 플랫폼 의미론 및 구역 구성:

   • 전문가 자문을 기반으로 플랫폼을 관련 공간 구역으로 분할하기 위해 의미론적 분할을 위한 YOLOv8n을 사용합니다:
     • 구역 A (벽 근접): 플랫폼 벽 근처.
     • 구역 B (노란선 근접): 전환 안전 구역.
     • 구역 C (원단 구역): 터널/가장자리와 바로 인접한 지역.
   • 이 기하학적 모델링은 벽과 노란선 사이의 왕복 이동과 같은 특정 패턴의 감지를 가능하게 합니다.

4. 위치 위험 히트맵 생성:

   • 2D 궤적 점들의 밀도 집계 및 가우시안 평활화를 통해 개별 히트맵을 생성합니다.
   • 위험군으로 알려진 개인들의 궤적을 평균화하여 글로벌 위치 위험 히트맵 ($H(x,y)$) 으로 집계합니다. 이는 공유된 공간적 패턴과 지속적인 환경적 요인을 포착합니다.

5. 자살 위험 평가 (추론):

   • 시간 창 $W_t$ 동안 각 개인 $p$에 대해 여덟 가지 해석 가능한 위험 지표를 추출합니다:
     1. 위치 위험 점수 ($PR_p$)
     2. 노란선 위 보행/정지 ($Cr_p$)
     3. 노란선 횡단 횟수 ($NCr_p$)
     4. 노란선 체류 시간 ($TY_p$)
     5. 노란선 위 최장 연속 구간 ($LY_p$)
     6. 벽과 노란선 사이의 왕복 횟수 ($BF_p$)
     7. 터널 응시 행동 ($LT_p$)
     8. 원단 구역 진입 ($E_p$)
   • 이러한 지표들은 XGBoost 지도 학습 모델에 입력되는 특징 벡터를 형성하여 연속적인 위험 점수 $R_p \in [0, 1]$를 출력합니다.

주요 기여

1. SRA 의 형식화: 본 연구는 의도를 예측하거나 개인을 라벨링하는 것이 아니라, 축적된 행동 및 공간적 증거에 기반하여 위험 수준을 평가하는 고유한 계산 작업으로서 SRA 를 정의합니다.
2. 해석 가능한 파이프라인: 저자들은 외모 단서나 개인 속성에 의존하지 않고 추적, 활동 인식, 의미론적 분할, 그리고 위험 모델링을 통합하여 연속적이고 개인 수준의 평가를 생성하는 최초의 엔드 - 투 - 엔드 프레임워크를 소개합니다.
3. 학제 간 연구 결과와의 정렬: 위험 지표는 이전의 심리학적 및 행동 연구 (예: Mishara 등) 에서 명시적으로 도출되어, 시스템이 반복적인 배회 및 플랫폼 가장자리 근처의 장기간 체류와 같은 확립된 패턴을 반영하도록 보장합니다.
4. 실제 환경 평가: 이 프레임워크는 캐나다 지하철 시스템의 윤리적으로 승인된 실제 감시 데이터를 기반으로 평가되었으며, 정량적 성능 지표와 정성적 해석 가능성 분석을 모두 제공합니다.

실험 결과
본 프레임워크는 66 개의 '위험군' 비디오 기록 (시도 전) 과 56 개의 '대조군' 기록으로 구성된 데이터셋에서 평가되었으며, 256 개의 개별 인스턴스 (66 개 위험군, 190 개 대조군) 를 산출했습니다.

• 성능: 완전 자동 구성은 ROC-AUC 83.2% ($\pm 0.095$) 를 달성했습니다.
• 민감도/특이도: 조기 감지를 선호하도록 선택된 0.2 의 고정 임계값에서, 시스템은 **63.1%**의 민감도와 **90.2%**의 특이도를 달성했습니다.
• 상한선 분석: 탐지/추적 및 활동 인식 모듈이 정답 (ground-truth) 주석으로 대체되었을 때, ROC-AUC 는 각각 **91.9%**와 **89.3%**로 향상되어 초기 지각 모듈의 오류가 성능 격차에 크게 기여함을 나타냈습니다.
• 해석 가능성: 특징 중요도 분석 (XGBoost 및 SHAP 값을 통해) 은 노란선과의 직접적 상호작용 (횡단, 체류 시간, 왕복 이동) 과 관련된 지표가 가장 지배적인 예측 요인이었음을 확인시켰으며, 이는 이전 행동 연구와 부합합니다.

의의 및 주장
본 논문은 AI 기반 감시와 학제 간 자살 예방 연구 사이의 간극을 해소하는 데 그 주요 의의가 있다고 주장합니다. SRA 를 맥락 인식형 장기 위험 평가 문제로 형식화함으로써, 이 프레임워크는 단순한 이상 탐지나 침입 경고를 넘어섭니다. 저자들은 이 시스템이 해석 가능하도록 설계되어, "블랙박스" 예측에 의존하는 대신 인간 운영자가 위험 점수가 높은 이유 (예: 특정 공간적 패턴과 시간적 지속성 때문) 를 이해할 수 있도록 한다고 강조합니다. 이 접근법은 윤리적 제약을 준수하면서 심리적 상태의 추론이나 개인 속성의 사용을 피하고, 실시간 모니터링에서 인간 운영자를 지원하기 위한 것을 목표로 합니다. 이 연구는 자살 위험 평가의 복잡성을 부각시키고, 사회적 이익을 위한 해석 가능한 AI 시스템 개발을 위한 새로운 방향을 제시합니다.