기술 요약: 일관된 응급실 예측을 위한 계층적 시공간 트랜스포머 (Hierarchical Spatio-Temporal Transformer)

1. 문제 정의

응급실(ED)은 예측 불가능한 환자 수요, 계절적 급증, 비응급 방문 등으로 인해 지속적인 압박을 받고 있습니다. 효과적인 계획 수립을 위해서는 다양한 의사결정 수준에서의 정확한 예측이 필요합니다: 병원은 인력 배치를 위한 국소적 추정치가 필요하고, 지역 단위는 유닛 간 조율을 위한 예측이 필요하며, 국가 기관은 시스템 전반의 투영치가 필요합니다.

기존의 접근 방식은 일반적으로 단일 수준(예: 개별 병원 또는 지역)에서 응급실 수요를 예측하며, 병원이 지역으로 집계되고 지역이 국가 시스템으로 집계되는 고유한 계층 구조를 무시합니다. 이러한 고립은 병원 수준의 예측 합계가 지역 또는 국가 예측과 일치하지 않는 **불일치한 예측(incoherent predictions)**을 초래합니다. 또한, 데이터 가용성은 수준에 따라 **이질적(heterogeneous)**입니다. 병원 데이터는 운영 세부 사항을 포착하는 반면, 지역 및 국가 수준은 더 넓은 환경 및 인구 신호를 제공합니다. 기존의 딥러닝 모델은 이러한 계층적 의존성과 이질적인 공변량(covariates)을 공동으로 모델링하는 데 종종 실패합니다.

2. 방법론: HierSTT

저자들은 계층적 일관성을 보장하면서 병원, 지역, 국가 수준에서 응급실 수요를 공동으로 예측하도록 설계된 딥러닝 프레임워크인 HierSTT(Hierarchical Spatio-Temporal Transformer)를 제안합니다.

아키텍처

이 모델은 상위 수준의 표현이 하위 수준의 예측을 가이드하는 하향식(top-down) 아키텍처를 채택합니다:

• 국가 수준(National Level): **Temporal Fusion Transformer (TFT)**를 사용하여 모델링됩니다. 이 구성 요소는 멀티 헤드 셀프 어텐션(multi-head self-attention)을 갖춘 LSTM 기반 인코더-디코더를 사용하여 글로벌 시간 패턴과 이질적 공변량(예: 사망률, 국가적 수요)을 포착합니다.
• 지역 및 병원 수준(Regional and Hospital Levels): 시공간 트랜스포머(Spatio-Temporal Transformer) 인코더-디코더 모듈을 사용하여 모델링됩니다. 이 구성 요소는 다수의 상호작용하는 엔티티(5개 지역, 81개 병원)를 처리합니다.
  • 인코더(Encoder): 각 엔티티 내의 패턴(42일간의 이력)을 학습하는 *시간적 셀프 어텐션(temporal self-attention)*과 각 타임 스텝에서의 엔티티 간 상관관계를 학습하는 *공간적 셀프 어텐션(spatial self-attention)*을 교대로 수행합니다.
  • 디코더(Decoder): 28일의 예측 기간을 생성합니다. 결정적으로, 이 디코더는 상위 수준의 예측값(국가 예측가 지역 디코딩을 조건화하고, 지역 예측이 병원 디코딩을 조건화함)을 크로스 어텐션(cross-attention) 메커니즘을 통해 추가 입력으로 포함합니다. 이를 통해 하위 수준의 추정치가 글로벌 신호에 따라 조건화될 수 있습니다.

학습 목표

출력을 강제로 제약하지 않으면서 일관성을 강제하기 위해, 저자들은 다음과 같은 **일관성 인식 손실 함수(coherence-aware loss function)**를 도입합니다:
$$\mathcal{L} = (1 - \alpha)(\mathcal{L}^{(n)} + \mathcal{L}^{(r)} + \mathcal{L}^{(h)}) + \alpha \mathcal{L}_{coh}$$

• $\mathcal{L}^{(\cdot)}$는 각 수준에 대한 직접적인 예측 손실(Smooth L1)을 나타냅니다.
• $\mathcal{L}_{coh}$는 하위 수준 예측의 집계값과 상위 수준 예측 간의 불일치에 대해 페널티를 부여하는 일관성 손실입니다(예: 병원 예측의 합 vs 지역 예측).
• $\alpha$는 정확도와 일관성 사이의 균형을 맞춥니다.

데이터셋

본 연구는 다음을 포함하는 새로운 포르투갈 전국 응급실 데이터셋을 소개합니다:

• 81개 병원이 **5개 지역 보건 행정 구역(RHA)**으로 그룹화됨.
• 시간 범위: 2021년 1월 1일부터 2024년 4월 20일까지 (COVID-19 이상치를 완화하기 위해 2021년 초반 데이터 제외).
• 이질적 공변량(Heterogeneous Covariates):
  • 병원: 트리아지(triage) 단계, 대기 시간, 접근 경로, 개방/폐쇄 상태.
  • 지역: 집계된 수요, 대기 질(AQI), 기온.
  • 국가: 시스템 전체 수요, 사망률.

3. 주요 기여

1. 계층적 프레임워크: 단일 엔드 투 엔드(end-to-end) 모델 내에서 세 가지 집계 수준(병원, 지역, 국가)에 걸쳐 수요를 동시에 예측하는 트랜스포머 기반 프레임워크를 제공합니다.
2. 일관성 인식 학습: 사후 조정(post-hoc reconciliation) 방식에서 벗어나 학습 과정 중에 수준 간 일관성을 강제하는 새로운 손실 함수를 도입했습니다.
3. 새로운 데이터셋: 각 행정 수준에 특화된 이질적 공변량을 포함하는 포르투갈 응급실 활동에 대한 포괄적인 실제 데이터셋을 구축했습니다.

4. 실험 결과

실험은 42일간의 과거 데이터를 사용하여 28일의 예측 기간에 대해 수행되었습니다. HierSTT는 통계적 베이스라인(ARIMA, ETS), 비계층적 딥러닝 모델(LSTM, Transformer, TFT, N-BEATS), 그리고 계층적 조정 방법(Top-Down, Bottom-Up, Middle-Out)과 비교되었습니다.

• 예측 정확도:

  • HierSTT는 최상의 비계층적 딥러닝 베이스라인 대비 평균 **가중 절대 백분율 오차(WAPE)**를 32% 감소시켰습니다.
  • 지역 수준에서, 최상의 비계층적 베이스라인 대비 MAE를 약 38%, RMSE를 약 27% 감소시켰습니다.
  • 병원 수준에서, N-BEATS 대비 MAE를 약 8% 개선했습니다.
  • 국가 수준에서는 단독 TFT와 대등한 성능을 달져, 공동 학습이 상위 수준의 정확도를 저하시지 않음을 입증했습니다.

• 계층적 일관성:

  • HierSTT는 모든 비조정(non-reconciliation) 모델 중 가장 낮은 **계층적 집계 오차(HAgE)**를 달성했으며, ARIMA 대비 예측 측면의 일관성을 약 13% 향상시켰습니다.
  • 대수적으로 일관성을 강제하여(종종 정확도를 희생하는) 조정 방법들과 달리, HierSTT는 정확하면서도 거의 일관된 예측을 생성하도록 학습되었습니다.
  • 사후 조정 베이스라인보다 Ground-Truth HAgE에서 더 우수한 성능을 보였으며, 이는 HierSTT의 하위 수준 예측이 사후 조정에 의존하는 방법들보다 관측된 상위 수준 값에 더 가깝게 집계됨을 나타냅니다.

5. 의의 및 주장

본 논문은 기존 방법들이 계층 구조를 무시하거나 학습 과정 중의 교차 수준 의존성을 학습하지 못하는 사후 조정에 의존한다는 점에서 발생하는 응급실 예측의 핵심적인 격차를 HierSTT가 해결한다고 주장합니다.

• 공동 최적화: 시간적 역학, 이질적 공변량, 계층적 의존성을 공동으로 모델링함으로써, HierSTT는 예측 정확도와 일관성 사이의 탁월한 균형을 달 achieves 합니다.
• 운영적 관련성: 이 프레임워크는 국소적 인력 계획(병원 수준)이 지역 및 국가적 자원 배분 전략과 일치하도록 보장함으로써 다수준 의사결정을 지원합니다.
• 강건성: 모델은 무작위 시드(random seed)에 대해 안정성을 보여주며, 병원 폐쇄와 같은 운영 변수를 포함한 실제 의료 데이터의 이질성을 효과적으로 처리합니다.

저자들은 효과적인 계층적 예측을 위해서는 계층적 제약을 사후 처리 단계로 취급하는 것이 아니라 학습 과정에 직접 통합해야 하며, HierSTT의 성능 향상이 이 원칙을 검증한다고 결론짓습니다.