Reconsidering the case against risk prediction in self-harm: routinely collected health data distinguishes groups at higher and lower risk of adverse outcomes following paracetamol overdose

탐정의 딜레마: 데이터는 폭풍이 몰아치기 전의 징조를 볼 수 있는가?

당신이 갑작스럽고 위험한 폭풍을 예측하려는 기상 예보관이라고 상상해 보십시오. 의학의 세계, 특히 사람들이 스스로를 해치기 위해 파라세타몰(흔한 진통제)을 과다 복용하여 병원을 찾았을 때, 미래의 자살이나 재입원을 예측할 수 있는지에 대해 큰 논쟁이 있습니다. 오랫동안 영국의 공식적인 규칙은 "예측하려고 시도하지 마라"였습니다. 그 이유는 의사들이 매일 수집하는 데이터(나이, 과거 의료 방문 기록, 처방 목록 등)가 너무 노이즈가 심하고 쓸모없어서 누가 위험에 처해 있는지 알려주기에는 부족하다는 생각이었습니다. 그것은 마치 구름의 흐릿한 사진 한 장을 보고 날씨를 추측하려는 것과 같았습니다. 전문가들은 그 사진에 유용한 정보를 제공할 만큼의 세부 사항이 부족하다고 말했습니다.

하지만 만약 그 사진에 실제로 비밀스러운 패턴이 있다면 어떨까요? 만약 '머신러닝'이라는 아주 똑똑한 컴퓨터 두뇌를 사용하여 이 수천 장의 흐릿한 사진들을 한꺼번에 살펴본다면, 인간의 눈이 놓치는 형체를 찾아낼 수 있다면 어떨까요? 이것이 과학자들이 던진 질문입니다. 그들은 '일상적으로 수집되는 건강 데이터'(의사들이 기록하는 지루하고 평범한 기록들)가 실제로 위험한 결과를 초래할 사람과 그렇지 않을 사람을 구분할 수 있는 숨겨진 신호를 담고 있는지 알고 싶어 합니다. 만약 답이 "예"라면, 이는 우리가 수정 지도(crystal ball)를 가진 것은 아니지만, 그렇다고 지도를 벌써 버려서는 안 되었다는 것을 의미할 수도 있습니다. 만약 답이 "아니오"라면, 우리는 다른 곳에서 도움을 구해야 한다는 것을 확실히 알게 될 것입니다.

거대한 파라세타몰 퍼즐: 노이즈 속에서 신호를 찾아서

이 연구에서 연구팀은 "데이터는 쓸모없다"는 이론을 검증해 보기로 했습니다. 그들은 자살을 막기 위한 마법의 도구를 만들려고 했던 것이 아니라, 단 하나의 단서를 찾는 탐정처럼 행동했습니다. 그들은 2017년부터 2023년 사이에 파라세타몰 과다 복용으로 NHS 로디언(스코틀랜드) 응급실을 찾은 4,095명의 성인의 의료 기록을 수집했습니다.

이 기록들을 거대한 퍼즐 상자라고 생각해 보십시오. 그 안에는 환자가 병원에 들어서는 순간 의사가 이미 알고 있을 37가지 서로 다른 정보가 들어 있었습니다. 환자의 나이, 거주지(지역의 결핍 정도를 암시함), 이미 복용 중인 약물, 그리고 이전에 정신 건강 전문의를 방문한 적이 있는지 여부 등이 그것입니다. 연구진은 이 퍼즐 조각들을 '엘라스틱 넷 로지스틱 회귀(elastic-net logistic regression)'라고 불리는 똑똑한 컴퓨터 모델에 입력했습니다. 이 모델은 방대한 책 더미를 "나쁜 결과를 맞이할 사람들에 관한 책"과 "그렇지 않은 사람들에 관한 책"이라는 두 개의 더미로 분류하려고 노력하는 매우 엄격한 사서라고 생각하면 됩니다.

연구진은 환자가 퇴원한 후 세 가지 다른 시간대를 살펴보았습니다:

1. 첫 일주일 (0~7일): 사망하거나 정신과 병동에 입원했는가?
2. 다음 한 달 (8~30일): 문제가 지속되었는가?
3. 일 년 전체 (31~365일): 결국 폭풍이 몰아쳤는가?

중대한 발견
결과는 놀라웠습니다. 컴퓨터 모델은 실제로 패턴을 찾아냈습니다. 완벽하지는 않았지만, 동전 던지기보다는 확실히 나았습니다.

• 첫 일주일 동안, 모델은 측정 방식에 따라 약 **65%에서 82%**의 확률로 환자를 정확하게 분류했습니다.
• 8일에서 30일 사이의 기간 동안, 그 수치는 63%에서 90% 사이였습니다.
• 일 년 전체를 대상으로 했을 때는 71%에서 85% 사이였습니다.

통계의 세계에서 50%라는 점수는 그냥 찍는 것과 같습니다. 50%를 넘는다는 것은 모델이 실제로 무언가를 보고 있다는 뜻입니다. 연구진은 모델이 누가 더 높은 위험에 처해 있는지 포착하는 데 능숙하며, 모델이 제시하는 숫자가 실제 결과와 일치하도록 만드는 능력(이를 '보정(calibration)'이라고 합니다)이 매우 뛰어나다는 것을 발견했습니다.

단서들은 어디에서 왔는가?
여러분은 모델이 전형적인 탐정처럼 단순히 나이나 성별만을 보고 있다고 생각할 수도 있습니다. 하지만 연구진은 그것이 주된 이야기가 아님을 발견했습니다. 모델의 진짜 '초능력'은 정신 건강 관련 단서에서 나왔습니다. 모델은 다음과 같은 정보로부터 최선의 추측을 얻었습니다:

• 항정신병 약물이나 불안 해소제를 처방받았는지 여부.
• 정신과 의사를 만난 이력이 있는지 여부.
• 조현병이나 알코올 관련 간 질환 진단 여부.
• 얼마나 다양한 종류의 약물을 복용하고 있는지(다제복용).

나이 또한 모델에 의해 사용되었지만, 결정적인 역할을 하지는 않았습니다. 진짜 신호는 한 개인의 복잡한 정신 건강 여정 속에 숨겨져 있었습니다.

이 논문이 말하는 것 (그리고 말하지 않는 것)

이 연구가 말하고자 하는 바가 무엇인지 이해하는 것이 매우 중요합니다. 저자들은 우리가 이제 어떤 개인이 다음에 자살을 시도할지를 정확히 예측할 수 있다고 주장하는 것이 아닙니다. 또한, 병원에서 치료를 결정하기 위해 내일 당장 이 컴퓨터 모델을 사용해야 한다고 말하는 것도 아닙니다.

사실, 그들은 이 모델의 사용에 대해 명시적으로 경고합니다. 모델의 정확도가 (우연보다는 높지만) 단 한 사람의 운명을 결정짓는 최종 판결로 쓰이기에는 충분하지 않기 때문입니다. 만로 이 도구를 한 개인에게 적용한다면, 여전히 틀릴 수도 있습니다. 이 논문은 "위험 예측 도구를 전혀 사용하지 마라"는 현재 영국의 규칙이 '아이를 목욕물과 함께 버리는 격(중요한 것을 놓치는 격)'일 수 있다고 주장합니다. 그 규칙은 유용한 신호 자체가 존재하지 않는다는 생각에 기반했습니다. 이 연구는 유용한 신호가 존재하지만, 아직 독립적인 수정 구슬로 쓰이기에는 충분히 강하지 않을 뿐이라고 제안합니다.

또한 연구진은 그들이 사용한 '지루한' 구조화된 데이터(37개의 체크박스)에는 한계가 있다고 지적합니다. 그것은 마치 영화의 줄거리를 이해하기 위해 출연진 명단과 상영 시간만 읽는 것과 같습니다. 인물의 감정, 갈등, 대사는 놓치게 됩니다. 한 개인의 위험에 대한 더 깊고 실질적인 단서들—예를 들어 특정 생각, 절망감, 혹은 사회적 지지 체계 등—은 보통 체크박스가 아니라 의사의 기록에 적힌 **자유 텍족(free text)**에 담겨 있습니다. 논문은 만약 우리가 '자연어 처리(Natural Language Processing)'라는 기술을 사용하여 컴퓨터가 이러한 기록들을 읽도록 가르친다면, 훨씬 더 강력한 신호를 찾을 수 있을지도 모른다고 제[]안합니다.

요약

그렇다면 결론은 무엇일까요? 이 논문은 "일상적으로 수집되는 건강 데이터에는 유용한 예측 신호가 포함되어 있지 않다"는 생각은 사실이 아니다라고 결론짓습니다. 데이터에는 신호가 있습니다. 즉, 고위험군과 저위험군 집단을 구분해 낼 수 있습니다. 그러나 이 신호는 현재 단 한 개인의 생사를 결정하는 데 사용하기에는 너무 희미합니다.

저자들은 본질적으로 이렇게 말하고 있습니다: "현재의 장(chapter)이 완벽하지 않다고 해서 이 연구에 대한 책을 덮어버리지 마십시오." 그들은 과학자들이 단순히 체크박스에 의존하는 대신, 컴퓨터에게 의학 기록의 더 복잡하고 인간적인 부분들을 읽도록 가르침으로써 계속해서 탐구해 나가기를 촉구하고 있습니다. 더 나은 예측을 향한 문은 여전히 열려 있으며, 우리는 단지 그 문을 통과하기 위한 더 좋은 도구가 필요할 뿐입니다.