Generalizability of a prediction model for walking ability at discharge in older adults after hip fracture surgery: a multicenter study

위대한 병원 추측 게임

당신이 미래를 예측하려는 의사라고 상상해 보십시오. 구체적으로, 당신은 다음과 같은 질문을 던지고 싶습니다: "이 환자가 고관절 골절 수술을 받은 후, 스스로의 두 발로 병원을 걸어서 나갈 수 있을까?" 이것은 단순한 추측 게임이 아닙니다. 이것은 **임상 예측 모델(clinical prediction model)**이라 불리는 매우 중요한 도구입니다. 이 모델을 당신의 몸을 위한 고성능 기상 예보라고 생각하십시오. 기상학자들이 비를 예측하기 위해 기온, 습도, 풍속을 사용하는 것처럼, 의사들은 환자의 연령, 기억력, 그리고 부상 전의 보행 상태를 사용하여 회복을 예측합니다.

하지만 여기서 까다로운 점이 있습니다. 런던에서 완벽하게 작동하는 일기 예보가 바람의 패턴이 다르다는 이유로 도쿄에서는 전혀 쓸모없을 수도 있다는 것입니다. 의학에서도, 한 병원에서 만들어진 예측 모델은 다른 병원에서 실패할 수 있습니다. 왜냐하면 모든 병원은 저마다의 '개성'—서로 다른 의사들, 서로 다른 재활 루틴, 그리고 성공을 측정하는 서로 다른 방식—을 가지고 있기 때문입니다. 이 논문은 **일반화 가능성(generalizability)**이라는 세계를 파고듭니다. 이는 "이 예측 도구가 어디서나 작동하는가, 아니면 오직 그것이 발명된 곳에서만 작동하는가?"라고 묻는 아주 멋진 표현입니다. 만약 모델이 사용되는 장소에 대해 너무 까다롭다면, 모델은 다양한 지역의 사람들을 돕는 데 있어 그 효용성이 떨어지게 됩니다.

---

거대한 테스트: 하나의 지도가 모든 도시에서 통할 수 있을까?

이 연구에서 연구팀은 특정 예측 모델을 궁극의 시험대에 올리기로 했습니다. 그들은 고령 환자가 고관절 골절 수술 후 다시 걸을 수 있을지를 예측하기 위해 설계된 도구가 일본의 19개 서로 다른 병원에서 작동할 수 있는지 확인하고 싶었습니다. 그들은 사고 전에는 독립적으로 걸을 수 있었으나 고관절 골절 수술을 받은 2,548명의 환자 데이터를 수집했습니다.

테스트를 공정하고 혹독하게 만들기 위해, 그들은 **내부-외부 교차 검증(Internal-External Cross-Validation, IECV)**이라는 영리한 방법을 사용했습니다. 도시의 지도를 가지고 있다고 상상해 보십시오. 보통은 도시 전체의 데이터를 사용하여 지도를 그린 다음 그것이 잘 작동하는지 확인합니다. 하지만 이 팀은 다른 방식을 취했습니다. 18개 병원의 데이터로 지도를 만든 다음, 나머지 1개 병원에서 테스트했습니다. 그러고 나서 순서를 바꾸어, 18개의 다른 병원을 사용하여 새로운 지도를 만들고 제외된 1개 병원에서 테스트했습니다. 그들은 테스트 대상이 되는 병원을 번갈아 가며 이 과정을 반복했습니다. 이것은 마치 비디오 게임 전략을 첫 번째 레벨뿐만 아니라 모든 레벨에서 작동하는지 확인하기 위해 모든 레벨에서 테스트하는 것과 같습니다.

결과: 두 가지 결과의 이야기

연구진은 흥ered한 사실들을 발견했지만, 핵심적인 이야기는 "예, 하지만..."입니다.

좋은 소식:
그들이 환자가 걸을 수 있을지 없을지를 구별해내는 능력(AUC라고 불리는 점수)을 살펴보았을 때, 모델은 평균적으로 꽤 잘 작동했습니다. 평균 점수는 0.81이었습니다. 만약 1.0이 완벽한 수정구슬이고 0.5가 동전 던지기라면, 0.81은 상당히 강력한 추측입니다.

나쁜 소식 (반전):
여기서 이야기는 복잡해집니다. 평균적인 추측은 훌륭했지만, 모델을 특정 병원에 적용했을 때는 결과가 제각각이었습니다. 연구진은 AUC에 대한 95% 예측 구간을 계산했는데, 그 범위는 0.62에서 0.92 사이였습니다.

• 이것이 의미하는 바: 어떤 병원에서 모델은 눈부신 예측 도구(0.92)였지만, 다른 병원에서는 동전 던지기보다 겨우 나은 수준(0.62)이었습니다.
• 교정(Calibration): 모델은 숫자를 맞추는 데도 어려움을 겪었습니다. '교정 기울기'(예측된 위험이 실제 위험과 얼마나 잘 일치하는지)는 0.34에서 1.58 사이로 격차가 컸습니다. '교정 절편'(모델이 너무 낙관적인지 혹은 비관적인지를 나타내는 척도)은 -1.56에서 1.77 사이였습니다.

결과가 병원마다 매우 달랐기 때문에, 연구진은 모델의 일반화 가능성이 제한적이라고 결론지었습니다. 즉, 이 예측 도구를 가져다가 아무 병원에서나 사용한다고 해서 똑같이 작동할 것이라고 기대할 수 없습니다. '병원 간 이질성'(병원들 사이의 차이)이 너무 강했기 때문입니다.

왜 이동하는 데 실패했을까?

저자들은 단순히 "안 된다"라고 말하며 어깨를 으쓱하지 않았습니다. 그들은 왜 그런지 파고들었습니다. 그들은 환자들은 서로 어느 정도 유사했지만, 테스트의 타이밍이 달랐다는 점을 발견했습니다.

• 퇴원 딜레마: 모델은 환자가 퇴원하는 시점에 걸을 수 있는지를 예측하려고 했습니다. 하지만 병원마다 퇴원하는 시점이 다릅니다!
  • A 병원에서는 환자들이 40일 동안 머물 수 있습니다. 그들이 떠날 때쯤이면 회복할 시간이 충분히 주어졌기 때문에, 많은 이들이 걷고 있습니다.
  • B 병원에서는 환자들이 15일 동안만 머물 수 있습니다. 그들은 완전히 회복하기 전에 퇴원할 수도 있으며, 따라서 걷는 사람이 더 적을 수 있습니다.
• 민감도 테스트: 이것이 원인임을 증명하기 위해, 연구진은 "민감도 분석"을 실행했습니다. 그들은 다른 결과물을 살펴보았습니다: 바로 수술 후 단 1주일 시점의 보행 능력입니다. 1주일이라는 시간은 모두에게 동일한 시간이기 때문에, 병원 간의 조건이 대등해졌습니다.
  • 결과: 1주일 시점을 기준으로 보았을 때, 모델은 훨씬 더 일관성을 보였습니다! AUC의 예측 구간은 0.78–0.89로 좁혀졌고, 교정 수치들도 훨씬 안정적이 되었습니다.

이는 모델이 연구 대상인 환자들 때문에 "고장 난" 것이 아니라, 병원들의 서로 다른 일정 때문에 "혼란을 겪은" 것임을 시사합니다. 이것은 마치 러너의 속도를 판단할 때, "당신이 멈출 때까지 얼마나 멀리 달렸습니까?"라고 묻는 것과 같습니다. 만약 한 명은 10분 후에 멈추고 다른 한 명은 30분 후에 멈춘다면, 그들을 공정하게 비교할 수 없습니다. 하지만 "정확히 10분 동안 얼마나 멀리 달렸습니까?"라고 묻는다면, 그 비교는 공정해집니다.

결론

이 연구는 우리가 보행 능력을 예측할 수 있는 모델을 가지고 있긴 하지만, 목표가 '퇴원 시점'의 상태를 예측하는 것이라면 이 모델은 병원 간에 잘 이동하지 못한다고 결론짓습니다. 환자들이 병원에 머무는 기간(그리고 언제 테스트를 받는지)의 차이가 예측을 망쳐놓습니다.

저자들은 이러한 도구들을 진정으로 유용하게 만들기 위해서는, 성공을 측정하는 기준을 (사람마다 다른) '퇴원'이라는 결승선에서 멈추는 것이 아니라, 수술 후 1주일과 같이 고정된 시점에서 측정하기 시작해야 할 수도 있다고 제안합니다. 이러한 타이밍 문제를 해결하기 전까지는, 새로운 병원에 있는 환자의 미래를 예측하는 모델의 능력은 불확실한 상태로 남을 것입니다. 이 논문은 모델이 쓸모없다고 주장하는 것이 아니라, 세심한 조정 없이는 어디서나 똑같이 작동할 것이라고 가정해서는 안 된다고 경고하고 있습니다.