Why Do Self-Harm Prediction Models Struggle to Generalise? Lexical and Semantic Variations in Emergency Department Triage Notes

기술 요약: 자해 예측을 위한 응급실 트리아지(Triage) 기록의 어휘적 및 의미적 변이

문제 정의
자연어 처리(NLP) 모델은 단일 병원 응급실(ED) 트리아지 기록 내에서 자해 사례를 탐지하는 데 있어 강력한 성능을 입증해 왔으나, 서로 다른 기관 간의 일반화 문제는 여전히 중요한 과제로 남아 있다. 이전 연구(예: Rozova et al., 2022)는 훈련 데이터와 동일한 분포를 공유하는 테스트 세트에서 높은 성능 지표(예: AUPRC 0.85)를 달 achievement했다. 그러나 로열 멜버른 병원(RMH)의 데이터로 훈련된 모델을 농촌 지역 사회를 지원하는 지역 병원인 라트롭 지역 보건소(LRH)에 적용했을 때, 성능이 저하되었다(AUPRC가 0.85에서 0.78로 하락). 이러한 임상 텍스트의 교차 사이트 일반화 격분에 기여하는 구체적인 어휘적, 의미적, 구조적 요인은 아직 충분히 탐구되지 않았다.

연구 방법론
본 연구는 2012년부터 2017년 사이에 수집된 RMH와 LRH의 응급실 트리아지 기록을 대상으로 비교 코퍼스 분석을 수행하였다. 데이터셋은 심리학 전문가들에 의해 양성(자해) 또는 음성(대조군)으로 수동 주석(annotation)이 달렸다. 분석은 세 가지 주요 차원에 초점을 맞추었다:

1. 어휘적 특성: 구조적 차이를 식별하기 위해 문자 수 및 문장 수에 대한 기술 통계량을 계산하였다.
2. 특징 중요도 및 분포:
   • 특징 선택: 카이제곱 검정(대상과의 상관관계)과 XGBoost(예측 기여도)를 사용하여 각 병원에서 독립적으로 중요한 특징(unigram, bigram, trigram)을 식별하였다. 최종적인 "중요 특징" 세트는 두 방법 모두에 의해 선택된 특징들의 교집합으로 정의되었다.
   • 비교 분석: 연구는 공유된 특징들에 대해 통계적 연관성(Chi-Square)과 예측 중요도(XGBoost 순위)를 비교하였다. 또한, 사이트 간 문서 수준의 값 분포를 비교하기 위해 공유된 어휘집을 사용한 TF-IDF 표현을 계산하였다.
   • 종단적 분석: 특징의 존재가 시간에 따라 얼마나 일관되게 나타나는지 평가하기 위해 매년 특징 선택을 반복하였다.
3. 토픽 모델링: 'all-mpnet-base-v2' 문장 임베딩을 사용하여 각 데이터셋의 양성(자해) 클래스에 BERTopic을 적용하였다. 토픽 유사도는 코사인 유사도를 사용하여 계산되었으며, 고유한 토픽을 식별하기 위해 민감도 분석을 통해 0.75의 임계값을 설정하였다. 어휘적 중첩을 비교하기 위해 자카드 유사도(Jaccard similarity)도 사용되었다.

주요 결과

• 어휘 및 특징 변이: 핵심 주제(약물 중독, 자해)는 일관되었으나, 어휘적 표현은 크게 달랐다.
  • 공유된 특징: 두 병원 간에 공유되는 특징의 부분 집합(예: "self harm", "od", "suicide attempt")만이 존재했다. 이러한 공유된 용어들에 대해서도, 통계적 연관성과 예측 중요도 순위가 RMH와 LRH 간에 달랐다.
  • 분포 변화: 사이트 수준의 평균 TF-IDF 벡터 간 코사인 유사도는 유니그램(unigram)의 경우 적절했으나(0.822), 바이그램(bigram, 0.628)과 트리그램(trigram, 0.473)에서는 크게 떨어졌다. 대부분의 공유된 특징은 TF-IDF 분포에서 통계적으로 유의미한 차이를 보였다($p < .001$).
  • 고유 특징: LRH 기록에는 경찰 개입과 관련된 용어(예: "with police", "section 351")가 더 많이 포함되어 있었던 반면, RMH 기록에는 사회적 및 심리적 스트레스 요인(예: "relationship breakdown", "social stressors")에 관한 용어가 더 많았다.
• 종단적 일관성: 두 데이터셋 모두에서 모든 연도에 걸쳐 일관되게 나타난 작은 핵심 특징들(유니그램 20개, 바이그램 9개, 트리그램 2개)은 주로 약물 과다 복용 및 자해 행위와 관련되어 있었다. 그러나 특정 약물 및 정신 질환과 관련된 특징은 사이트 간에 높은 가변성을 보였다.
• 의미적 vs 어휘적 불일치: BERTopic은 LRH에서 30개, RMH에서 74개의 토픽을 식별했다. 문서 간 평균 의미적 유사도는 0.46이었고, 토픽 표현 유사도는 0.68로 나타나 높은 주제적 일관성을 보였다. 그러나 낮은 자카드 유사도는 병원들이 유사한 주제를 다루더라도 사용하는 구체적인 어휘는 다르다는 점을 드러냈다. 특히, RMH에서는 10개의 고유 토픽(정신과적 복잡성 및 특정 약물 과다 복용 관련)이 식별된 반면, 0.75 임계값에서 LRH의 고유 토픽은 발견되지 않았다.

의의 및 기여
본 논문은 모델의 일반화 성능 저하가 자해 양상의 근본적인 차이보다는 문서화 스타일과 환자 인구 통계의 기관별 차이에 의해 발생한다는 경험적 증거를 제공한다.

• 일반화 실패의 진단: 본 연구는 단일 사이트 데이터로 훈련된 모델이 자해 위험의 안정적인 지표보다는 사이트 특유의 문서화 패턴(예: 특정 약어, 경찰 개입 표시, 또는 사회적 스트레스 요인 표현 방식)에 부주의하게 의존할 수 있음을 보여준다.
• 주제적 일관성 vs 어휘적 가변성: 연구 결과는 자해의 의미적 주제(약물 과다 복용, 자해 등)는 기관 간에 일관되지만, 그 주제의 어휘적 구현은 크게 다르다는 결정적인 차이를 강조한다.
• 개선 경로: 저자들은 모델의 교차 병원 전이 가능성을 높이기 위한 향후 노력은 어휘적 가변성을 줄이기 위해 텍스트를 정규화하는 데 집중해야 한다고 제안한다. 제안된 전략은 다음과 같다:
  • 어휘적 의미론(lexical semantics)을 예측 특징으로 포함할 것.
  • 알파뉴메릭 조합(예: 약물 용량)을 상위 수준의 특징으로 표준화할 것.
  • 문법 및 어휘적 불일치를 완화하기 위해 트리아지 기록을 표준화된 형식으로 정규화할 것.

한계점
저자들은 본 연구가 두 곳의 호주 병원에 국한되어 있어 결과의 광범위한 일반화에 제약이 있음을 명시하였다. 데이터셋 크기의 차이와 잠재적인 주석 불일치가 특징 표현에 영향을 미칠 수 있다. 또한, 해석력을 위해 TF-IDF와 BERTopic을 사용하였는데, 이것이 문맥 임베딩 모델 및 대규모 언어 모델(LLM)에 미치는 영향은 여전히 미결 과제로 남아 있다. 다만 저자들은 표면적인 어휘 차이를 더 잘 일반화할 수 있는 능력을 갖춘 모델이 이 이식성 격차를 부분적으로 완화할 수 있을 것이라고 가설을 세웠다. 본 연구의 모델들은 임상적 의사결정이 아닌 공중 보건 감시를 목적으로 설계되었음을 강조한다.