Before the Model Comes the Endpoint: Stable-Extubation Adjudication for Cross- Database Prediction in Obstructive Airway Disease

당신이 탐정이 되어 미스터리를 풀려고 한다고 상상해 보십시오. 하지만 범죄 현장은 병원의 컴퓨터 시스템이고, '범죄'는 인공호흡기를 껐을 때 호흡에 어려움을 겪는 환자입니다. 이 과학 분야를 임상 예측(clinical prediction)이라고 부르며, 의사와 데이터 과학자들이 디지털 수정구슬을 만들려고 노력하는 분야입니다. 이 수정구슬은 과거의 환자 데이터를 사용하여, 기계가 멈췄을 때 누가 스스로 숨 쉬는 데 어려움을 겪을지 추측합니다. 핵심 아이디어는 간단합니다. 위험을 조기에 발견할 수 있다면, 환자가 위기에 빠지기 전에 도울 수 있다는 것입니다. 하지만 함정이 있습니다. 병원은 데이터를 매우 무질서하고 인간적인 방식으로 기록합니다. 때로는 환자가 안전을 위해 (안전벨트처럼) 마스크의 도움을 조금 받기도 하고, 때로는 실제로 실패하여 다시 기계의 도움이 필요하기도 합니다. 만약 컴퓨터가 '선제적 조치'와 '응급 구조'를 구별하지 못한다면, 이 수정구슬은 쓸모없게 됩니다. 이는 마치 잔잔한 미풍과 허리케인을 혼동하는 기상 지도를 보고 폭풍을 예측하려는 것과 같습니다.

Tianyi Yu가 작성한 이 논문은 바로 그 무질서를 다룹니다. 저자는 결정적인 질문을 던집니다. 우리가 디지털 수정구슬이 한 병원의 컴퓨터 시스템에서 다른 병원으로 이동할 때도 제대로 작동할 수 있도록 데이터를 정화할 수 있을까? 이 연구는 COPD나 천식 같은 까다로운 호흡 질환을 가진 환자들을 살펴봅니다. 연구진은 '실패'를 세는 기존 방식이 너무 노이즈가 심하다는 것을 발견했습니다. 그들은 무엇이 진짜 실패인지 결정하기 위해 더 엄격하고 새로운 규칙을 고안했습니다. 그들은 이 새로운 규칙이 데이터를 훨씬 더 깨끗하게 만들고 서로 다른 병원 간의 일관성을 높여주었지만, 그들이 만든 컴퓨터 모델은 여전히 오늘날 실제 환자들에게 사용되기에는 준비가 덜 되었다는 것을 발견했습니다. 모델은 패턴을 포착할 수는 있었지만, 침대 옆에서 신뢰할 수 있을 만큼 정확하게 위험을 예측하지는 못했습니다.

노이즈 섞인 신호의 이야기

병원의 전자 건강 기록(EHR)을 거대하고 혼란스러운 녹음실이라고 생각해 보십시오. 간호사가 환자를 체크하거나, 의사가 검사를 처방하거나, 기계가 비프음을 낼 때마다 노래에 새로운 음표가 추가됩니다. 인공호흡기를 사용하는 환자의 경우, 이 노래는 그들이 스스로 노래할 준비가 되었을 때를 우리에게 알려주어야 합니다. 하지만 그 녹음은 정적(static)으로 가득 차 있습니다.

때때로 환자는 기계에서 분리된 후 잠시 동안은 잘 숨을 쉬다가, 단지 안전을 위해 비침습적 마스크(고유량 비강 캐뉼라 같은)의 도움을 조금 받기도 합니다. 또 다른 경우에는 기계에서 분리되자마자 즉시 헐떡거리며 다시 튜브를 끼워야 하는 상황이 발생합니다. 무질서한 데이터 속에서 이 두 사건은 종종 똑같이 보입니다: "환자가 기계에서 분리됨, 그 후 도움을 받음." 만약 당신이 도움이 필요했던 모든 경우를 '실패'로 센다면, 당신은 안전 예방 조치를 재난으로 세고 있는 것입니다. 이는 마치 학생이 과학 실험실에서 안전 헬멧을 썼다는 이유로 선생님이 학생을 낙제시키는 것과 같습니다.

"안정적 발관(Stable Extubation)" 규칙: 새로운 필터

저자 Tianyi Yu는 이 노이즈를 정화하기 위한 필터를 만들기로 했습니다. 그들은 "안정적 발관 판정(stable-extubation adjudication)"이라고 부르는 새로운 규칙을 제안했습니다. 이것을 데이터의 "냉각 기간(cooling-off period)"이라고 생각하십시오.

이 규칙은 다음과 같습니다: 환자가 기계에서 분리된 후, 12시간 동안 편안하게 스스로 숨을 쉬다가 그 후에 문제가 생겨야만 "실패"로 간주됩니다. 만약 문제가 즉시 발생하거나, 단지 안전을 위해 약간의 도움을 받은 것이라면, 이 새로운 시스템에서는 실패로 치지 않습니다. 또한, 만약 문제가 발생했다면, 반드시 최소 2시간 동안 인공호흡기를 다시 사용해야만 실패로 인정됩니다. 만약 48시간 이내에 사망한다면, 이 또한 확고한 실패로 간듭니다.

이 규칙은 클럽 입구에서 12시간 동안 밖에 서 있다가 갑자기 도망치기로 결심한 사람만을 들여보내는 보안 요원과 같습니다. 이는 단순히 주변을 서성거리거나 가볍게 음료를 마시는 사람(예방적 지원)을 걸러내고, 실제로 공포에 질려 도망치는 사람(진짜 실패)만을 잡아냅니다.

위대한 데이터 교환: MIMIC-IV vs. eICU

이 규칙이 효과가 있는지 테스트하기 위해, 저자는 두 개의 거대한 데이터베이스를 가지고 "의자 뺏기 게임"을 했습니다: MIMIC-IV(보스턴의 한 대형 병원)와 eICU-CRD(미국 전역의 여러 병원)입니다. 이 데이터베이스들은 마치 두 개의 서로 다른 도서관과 같습니다. 한 도서관은 매우 구체적이고 상세한 스타일로 책을 쓰는 반면, 다른 도서관은 더 느슨하고 다양한 스타일로 책을 씁니다. 보통, 컴퓨터에게 도서관 A를 읽도록 훈련시키면, 도서관 B를 읽으려고 할 때 혼란을 겪습니다.

저자는 자신의 새로운 "냉각" 규칙이 두 도서관의 책을 더 비슷하게 보이게 만들 수 있는지 알고 싶었습니다.

결과:
새로운 규칙을 적용하기 전, 데이터는 엉망이었습니다. MIMIC-IV 도서관에서는 환자의 **68.5%**가 실패한 것처럼 보였습니다. eICU 도서관에서는 단 **34.8%**만이 실패한 것으로 보였습니다. 이는 33.7 퍼센트 포인트라는 엄청난 차이였습니다. 이는 마치 한 도서관은 "대부분의 사람이 실패한다"고 말하고, 다른 도서관은 "대 대부분의 사람이 성공한다"고 말하는 것과 같았으며, 두 곳 모두 비슷한 환자들을 보고 있었음에도 말입니다.

새로운 규칙을 적용한 후:

• MIMIC-IV에서 실패율은 **25.2%**로 떨어졌습니다.
• eICU-CRD에서 실패율은 **12.5%**로 떨어졌습니다.
• 두 도서관 사이의 차이는 단 12.7 퍼센트 포인트로 줄어들었습니다.

규칙이 작동했습니다! 규칙은 데이터를 정화했고 두 서로 다른 병원을 훨씬 더 유사하게 만들었습니다. 이는 기존의 계산 방식이 안전 조치를 재난으로 오인하여 실패를 과하게 집계하고 있었다는 것을 증명했습니다.

수정구슬: 식별은 잘하지만, 예측은 못 한다

이제 데이터가 깨끗해졌으므로, 저자는 누가 실패할지 추측하는 "수정구슬"(예측 모델)을 만들어 보았습니다. 그들은 한 도서관에서 모델을 훈련시킨 뒤, 아무것도 바꾸지 않고 다른 도서관에서 테스트했습니다.

결과는 "나쁘지 않음"과 "충분하지 않음"이 섞여 있었습니다.

• 모델은 무작위 추측보다 더 나은 수준으로 실패할 환자와 그렇지 않은 환자를 구별할 수 있었습니다. 이 능력(AUROC라고 불림)의 점수는 MIMIC에서 eICU로 갈 때 0.679였고, 반대 방향일 때는 0.672였습니다.
• 하지만 모델은 정확한 위험도를 맞히는 데는 형편없었습니다. 만약 모델이 환자의 실패 확률이 50%라고 말했다면, 그것은 자주 틀렸습니다. (확률의 정확도를 측정하는 척도인) "브라이어 점수(Brier score)"는 한 방향에서 0.471이었는데, 이는 상당히 높은 수치이며 예측이 빗나가고 있음을 의미합니다.

저자는 모델이 문제의 일반적인 형태(식별력, discrimination)는 볼 수 있지만, 문제의 크기를 정확하게 측정(교정, calibration)할 수는 없다고 설명합니다. 이는 날씨 앱이 비가 올 것이라는 점은 알지만, 실제로는 20% 확률인데도 90%라고 계속 말하는 것과 같습니다.

이것이 미래에 갖는 의미

가장 중요한 교훈은 렌즈를 더 화려하게 만든다고 해서 고장 난 수정구슬을 고칠 수 있는 것은 아니다라는 점입니다. 저자는 가장 큰 문제가 컴퓨터 알고리즘(렌즈)이 아니라, 이벤트의 정의(바라보는 대상)였다고 주장합니다. "12시간 안정성" 규칙을 통해 정의를 수정함으로써, 그들은 데이터를 연구에 사용할 수 있게 만들었습니다.

하지만 논문은 매우 명확하게 밝히고 있습니다: 이 모델은 아직 병상에서 사용될 준비가 되지 않았습니다. 이 모델은 의사에게 "이 환자의 튜브를 제거하지 마세요"라고 말할 수 있을 만큼의 수준이 아닙니다. 예측이 환자의 생명을 맡길 수 있을 정도로 정확하지 않습니다. 저자는 어떤 병원이 이 모델을 사용하기 전에, 현지에서 테스트하고, 각 병원의 스타일에 맞게 숫자를 조정하며, 모델이 경로를 벗어나지 않는지 주의 깊게 관찰해야 한다고 제안합니다.

요약하자면, 이 연구는 호흡 실패를 예측하는 문제를 해결한 것이 아니라, 그것을 정의하는 문제를 해결했습니다. 우리는 더 좋은 자동차를 만들기 전에, 모두가 같은 도로 위를 달리고 있는지 확인해야 한다는 것을 보여주었습니다. 도로는 이제 더 명확해졌지만, 고속도로에 안전하게 진입하기 위해서는 자동차가 몇 번의 더 많은 테스트 주행을 거쳐야 합니다.