External validation reveals poor calibration despite preserved discrimination for a vasopressin treatment-signal prediction model across ICU databases

중환자실이라는 긴박한 환경에서 환자들은 종종 혈압이 너무 낮아 신체가 주요 장기에 충분한 혈액을 공급하지 못하는 상태로 도착하곤 합니다. 이들을 살리기 위해 의사들은 혈관을 수축시켜 혈압을 높이는 바소프레서(vasopressors)라는 강력한 약물을 투여합니다. 때로는 첫 번째 약물만으로는 충분하지 않아, 의료진은 환자를 안정시키기 위해 바소프레신(vasopressin)과 같은 두 번째 약물을 추가해야 합니다. 환자가 언제 이 두 번째 약물을 필요로 할지 예측하는 것은 매우 복잡한 과제입니다. 이는 단순히 환자의 생물학적 문제뿐만 아니라, 서로 다른 병원들이 의료 행위를 기록하는 방식, 보유하고 있는 약물, 그리고 치료를 격상하기로 결정하는 시점 등과도 관련이 있습니다. 연구자들은 환자의 현재 심박수, 혈액 화학 수치, 현재 약물 투여량과 같은 데이터를 살펴보고, 새로운 약물이 언제 처방될지를 확실하게 예측할 수 있는 컴퓨터 모델을 구축하기를 오랫동안 희망해 왔습니다. 만약 이러한 모델이 완벽하게 작동한다면, 의사들에게 환자의 사례를 조기에 검토하도록 경고하여 위기가 발생하기 전에 이를 방지할 수 있을 것입니다.

한 연구팀은 환자가 바소프레신을 투여받기 직전의 신호를 포착하도록 설계된 특정 예측 모델을 테스트하기 위해 연구를 시작했습니다. 그들은 미국의 한 대형 대학 병원에서 얻은 데이터를 사용하여 모델을 구축했으며, 수천 명의 환자 기록을 분석하여 약물 투여에 앞서 나타나는 패턴을 찾아냈습니다. 모델은 첫 번째 약물의 현재 용량, 심박수, 혈액 내 특정 화학 물질 수치와 같은 15가지의 서로 다른 정보를 살펴보도록 학습되었습니다. 목표는 의사에게 "이 환자는 향후 24시간 이내에 바소프레신이 필요할 위험이 높습니다"라고 알려줄 수 있는 도구를 만드는 것이었습니다. 이 도구가 진정으로 유용한지 확인하기 위해, 연구진은 모델을 만든 동일한 병원의 데이터로만 테스트하지 않았습니다. 그들은 단 하나의 숫자도 바꾸지 않은 채 동일한 모델을 가져다가, 전국에 있는 수십 개의 병원으로 구성된 네트워크의 완전히 다른 데이터 세트에 적용했습니다. 이것은 어떤 의료 예측 도구에도 있어 궁극적인 시험입니다. 즉, 모델이 만들어진 특정 환경에서만 작동하는지, 아니면 서로 다른 환자와 서로 다른 의사들이 있는 새로운 장소에서도 제대로 작동할 수 있는지를 확인하는 것입니다.

이 테스트 결과는 매우 중요하면서도 다소 놀라운 차이점을 드러냈습니다. 모델이 새로운 환자 그룹을 살펴보았을 때, 모델은 여전히 환자들의 순위를 매기는 데 매우 뛰어난 성능을 보였습니다. 만약 모든 환자를 낮은 위험도부터 높은 위험도 순으로 줄 세운다면, 모델은 실제로 약물을 투여받은 환자들을 목록의 상단에 정확하게 배치했습니다. 통계적인 관점에서 볼 때, 모델은 약물을 받을 사람과 받지 않을 사람을 구별하는 능력을 유지했습니다. 하지만 모델은 실제 수치에 대해서는 완전히 틀렸습니다. 원래의 병원에서 모델은 약물이 필요한 환자가 약 14%라고 예측했고 이는 실제와 일치했습니다. 그러나 이 모델을 새로운 병원들에 적용했을 때는, 모델은 16%의 환자가 약물을 필요로 할 것이라고 예측했지만 실제로는 9%만이 필요로 했습니다. 모델은 위험도를 지속적으로 과대평가하고 있었습니다. 이는 마치 비가 오는 날에는 비가 온다고 올바르게 예보하지만, 실제 비가 올 확률이 30%인 날에도 90%의 확률로 비가 올 것이라고 말하는 일기예보와 같았습니다.

순위 매기기와 실제 확률 사이의 이러한 불일치는 이 도구를 어떻게 사용할 것인가를 결정짓는 중요한 발견입니다. 연구진은 모델의 예측이 단순히 약간 어긋난 것이 아니라, 직접적인 의료 결정을 내리기에는 숫자가 신뢰할 수 없을 정도로 왜곡되어 있다는 것을 발견했습니다. 새로운 병원들에서 모델의 예측값은 너무 넓게 퍼져 있었는데, 이는 모델이 극단적인 상황에 대해 지나치게 확신하고 있음을 의미했습니다. 현실은 훨씬 더 완만함에도 불구하고, 모델은 어떤 환자는 약물을 받을 것이 거의 확실하고 어떤 환자는 받지 않을 것이 거의 확실하다고 생각했습니다. 연구진이 단순히 평균 예측값을 새로운 현실에 맞춰 위나 아래로 조정함으로써 모델을 수정하려고 시도했을 때도 문제는 해결되지 않았습니다. 예측값의 형태 자체가 잘못되어 있었기 때문입니다. 이는 각 병원이 의료 행위를 기록하는 방식이나 약물을 투여하기로 결정하는 특정 기준이 매우 다르기 때문에, 하나의 모델을 단순히 복사해서 붙여넣는 식으로는 해결될 수 없음을 시사합니다.

또한 연구는 새로운 데이터를 통해 모델을 개선할 수 있는지 여부도 조사했습니다. 연구진은 모델이 현지 병원들로부터 소량의 새로운 정보를 받아 내부 설정을 조정하는 방법을 테스트했습니다. 그들은 이러한 '현지 학습'을 통해서도 모델이 완벽하게 적응하는 데 어려움을 겪었으며, 특히 전체 그룹이 아닌 개별 병원을 대상으로 할 때 더욱 그러했다는 것을 발견했습니다. 실제로 새로운 네트워크에 속한 많은 개별 병원들은 약물을 투여받은 환자가 매우 적었기 때문에, 각 병원에 맞춘 신뢰할 수 있는 맞춤형 버전을 구축하는 것은 통계적으로 불가능했습니다. 연구진은 모델이 환자를 우선적으로 검토하도록 돕는 유용한 순위 도구로서 기능할 수는 있지만, 환자가 약물을 필요로 할 구체적인 백분율 확률을 제시할 수는 없다고 결론지었습니다. 모델은 의사에게 "이 환자가 바소프레신을 필요로 할 확률은 40%입니다"라고 말할 수 없는데, 그 숫자는 틀릴 가능성이 높기 때문입니다.

궁극적으로 이 연구는 전자 건강 기록을 사용하여 의료 처치를 예측하는 데 있어 근본적인 한계를 보여줍니다. 모델이 예측하고자 했던 결과는 심장마와 같은 생물학적 사건이 아니라, 컴퓨터 시스템에 기록되는 인간의 결정이었습니다. 그 결정은 지역적인 습관, 사용 가능한 약물, 그리고 기록 스타일 등에 달려 있기 때문에, 모델이 감지하는 '신호'는 환자의 생리학과 병원의 문화가 혼합된 것입니다. 모델은 첫 번째 병원의 문화를 너무 잘 학습한 나머지, 새로운 장소로 이동했을 때 환자의 생물학적 특성과 그 문화를 분리해내지 못했습니다. 연구진은 이 도구가 자동으로 치료를 시작하거나 환자의 미래에 대해 확정적인 주장을 하는 데 사용되어서는 안 된다고 강조합니다. 대신, 현지 의료진이 먼저 자신들의 병원 현실에 맞게 수치를 확인하고 조정한다는 전제하에, 고위험 환자를 조용히 표시해 주는 '묵음 모드(silent mode)'로 활용될 수 있습니다. 이 연구는 의학에서 한 곳에서 작동하는 모델이 다른 곳에서도 반드시 작동하는 것은 아니며, 환자의 순위를 매기는 것과 정확한 위험도를 예측하는 것 사이의 차이를 이해하는 것이 안전하고 효과적인 진료를 위해 필수적이라는 점을 상기시켜 줍니다.