Evaluating missing-data workflows under hospital-structured missingness: a simulation-calibrated study in eICU and MIMIC-IV

현대 병원에서 환자의 이야기는 종종 기록된 내용뿐만 아니라, 기록되지 않은 공백을 통해서도 전해집니다. 의사가 혈액 검사를 처방하면 그 결과는 전자 기록에 나타납니다. 하지만 만약 검사가 처방되지 않았거나, 기계가 데이터를 전송하는 데 실패했다면, 기록에는 빈 공간이 남게 됩니다. 수십 년 동안 이 거대한 디지털 아카이브를 분석해 온 연구자들은 이러한 공백을 단순히 수정하거나 무시해야 할 오류로 취급해 왔습니다. 그들은 누락된 검사 결과가 환자의 상태나 병원의 관행과는 무관한, 그저 누락된 숫자일 뿐이라고 가정했습니다. 그러나 실제로 누락된 값은 종종 하나의 메시지입니다. 그것은 의사가 특정 검사가 필요하지 않다고 결정했음을 의미할 수도 있고, 특정 병원이 해당 검사를 수행할 장비를 갖추고 있지 않음을 의미할 수도 있습니다. 이러한 공백이 무작위로 발생하는 것이 아니라 병원이나 환자의 배경과 연결된 패턴을 따를 때, 그것들은 데이터가 말하고자 하는 전체 그림을 조용히 왜곡할 수 있습니다.

이것이 바로 새로운 연구에서 탐구한 핵심 과제입니다. 이 연구는 연구자들이 중환자실 데이터베이스의 누락된 정보 조각들을 어떻게 처리하는지를 살펴보았습니다. 연구자들은 정보를 채워 넣는 표준적인 방식들이 실제로 중요한 의학적 질문에 대한 답을 바꾸고 있는 것은 아닌지 알고 싶었습니다. 그들은 특정하고 중대한 시나리오, 즉 서로 다른 인종 및 민족 집단 간의 병원 내 사망 위험을 비교하는 상황에 집중했습니다. 목표는 특정 집단이 생물학적으로 더 취약하다는 것을 증알하는 것이 아니라, 데이터를 정제하는 데 사용된 방법이 존재하지 않는 차이를 존재하는 것처럼 보이게 하거나, 실제로 존재하는 차이를 숨길 수 있는지 확인하는 것이었습니다. 컴퓨터 시뮬레이션으로 만들어진 '알려진 진실'에 대해 이러한 방법들을 테스트함으로써, 이 연구는 누락된 데이터를 처리하는 방식의 선택이 단순한 기술적 세부 사항이 아니라, 누구를 연구하고 있는지와 그 결과가 무엇을 의미하는지를 근본적으로 바꾸는 결정이라는 점을 밝혀냈습니다.

연구진은 미국의 중환자실에서 수집된 두 개의 방대한 실제 데이터 모음을 활용했습니다. eICU로 알려진 한 데이터베이스는 206개의 서로 다른 병원에서 정보를 수집하여, 전국적으로 의료 서비스가 전달되는 다양한 방식을 포착했습니다. 다른 하나인 MIMIC-IV는 규모가 큰 단일 학술 병원의 데이터를 담고 있었습니다. 연구진은 백혈구 수치, 신장 기능, 간 건강 측정값과 같이 입원 첫날에 실시되는 8가지 흔한 혈액 검사에 초점을 맞췄습니다. 현실 세계에서 이러한 검사들은 항상 수행되는 것이 아닙니다. 단일 병원 데이터베이스에서는 환자의 약 24%만이 8가지 결과를 모두 기록하고 있었습니다. 다수 병원 데이터베이스에서는 그 숫자가 36%로 약간 더 높았지만, 공백은 결코 무작위가 아니었습니다. 어떤 병원은 거의 모든 환자에 대한 데이터를 가지고 있었던 반면, 어떤 병원은 거의 모든 환자에 대해 결과가 누락되어 있었습니다. 어떤 경우에는 젖산(lactate)이나 빌리루빈(bilirubin) 같은 특정 검사에 대해 전체 병원이 기록된 값이 없었는데, 이는 누락된 데이터가 무작위적인 오류가 아니라 해당 의료 센터의 구조적 특징임을 시사했습니다.

이 누락이 결과에 어떤 영향을 미치는지 확인하기 위해, 연구팀은 불완전한 기록을 다루는 데 사용되는 다섯 가지 표준적인 방법을 적용했습니다. 한 가지 방법은 단 하나의 검사라도 누락된 환자를 단순히 제외하는 것이었습니다. 또 다른 방법은 데이터의 중간값으로 공백을 채우고 해당 값이 누락되었다는 메모를 남기는 것이었습니다. 세 번째 방법은 제외된 환자들을 대표하기 위해 남은 환자들에게 가중치를 부여하는 것이었습니다. 나머지 두 가지 방법은 가용한 다른 정보를 바탕으로 누락된 숫자를 추측하는 복잡한 컴퓨터 알고리즘을 사용했는데, 한 버전은 환자가 치료받은 특정 병원을 고려하도록 설계되었습니다. 연구진은 이 다섯 가지 버전의 데이터를 사용하여 인종 간 사망률의 차이를 계산했습니다.

결과는 놀라웠습니다. 어떤 방법을 사용하느냐에 따라 집단 간 사망률의 추정치는 크게 요동쳤습니다. 한 사례에서, 단일 병원 데이터베이스에서 아시아인 환자와 백인 환자를 비교했을 때, 불완전한 기록을 가진 환자를 단순히 제외하는 방법을 사용했을 때는 아시아 환자의 사망 위험이 더 낮은 것으로 나타났습니다. 그러나 누락된 숫자를 채워 넣는 다른 방법을 사용했을 때는 아시아 환자의 위험이 더 높은 것으로 나타났습니다. 이 격차는 거의 3% 포인트에 달했으며, 이는 연구의 결론을 완전히 바꿀 수 있을 만큼 큰 차이였습니다. 다수 병원 데이터베이스에서도 결과는 마찬가지로 극적이어서, 히스패닉 환자에 대한 추정치는 워크플로우에 따라 낮은 위험에서 높은 위험으로 바뀌었습니다. 이 연구는 선택된 방법이 단순히 데이터에 노이즈를 더하는 것이 아니라, 발견의 방향 자체를 바꾼다는 것을 보여주었습니다.

왜 이런 일이 발생하는지 이해하기 위해, 연구진은 정확한 진실을 알고 있는 컴퓨터 시뮬레이션을 구축했습니다. 그들은 60개의 병원과 수천 명의 환자가 있는 가상의 세계를 만들고, 실제 세계를 모방하여 특정 패턴으로 누락된 데이터가 나타나도록 프로그래밍했습니다. 시뮬레이션에서는 정답을 알고 있었기 때문에, 각 방법이 얼마나 틀렸는지 정확하게 측정할 수 있었습니다. 그들은 누락된 데이터가 병원 구조와 연관되어 있을 때, 가장 정교한 방법들조차 어려움을 겪는다는 것을 발견했습니다. 병원 맥락을 고려하려 노력한 방법이 다른 방법들보다는 성과가 좋았지만, 완벽하지는 않았습니다. 그 방법 역시 오류를 발생시켰으며, 신뢰할 수 없을 정도로 좁은 신뢰 구간을 생성했습니다. 또한 시뮬레이션은 누락된 데이터가 컴퓨터가 알 수 없는 방식으로 환자의 기록되지 않은 중증도와 관련되어 있다면, 어떤 방법도 문제를 완전히 해결할 수 없음을 보여주었습니다. 누락된 원인이 모델이 알 수 없는 요인들에 의해 발생했을 때, 모든 방법은 여전히 편향되어 있었으며 추정치가 몇 퍼센트 포인트씩 어긋나 있었습니다.

연구진은 또한 연구 결과에 대한 확신도가 어떻게 영향을 받는지 조사했습니다. 과학에서 결과는 보통 불확실성의 범위, 즉 우리가 얼마나 확신하는지를 나타내는 오차 범위를 동반합니다. 연구진은 일부 방법들이 너무 좁은 범위를 생성하여 잘못된 정밀함을 제공한다는 것을 발견했습니다. 시뮬레이션에서 누락된 데이터가 많고 병원별로 구조화되어 있을 때, 일부 방법의 신뢰 구간은 원래 95%를 포함해야 함에도 불구하고 실제 정답을 포함하는 경우가 30% 미만이었습니다. 이는 만약 연구자가 이러한 결함이 있는 방법을 사용했다면, 실제로는 매우 불확실한 결과에 대해 매우 확신한다고 주장하게 된다는 것을 의미합니다. 이 연구는 누락된 데이터가 어떻게 처리되었는지 확인하지 않고 단순히 수치만을 보고하는 것은, 온도에 따라 줄어들거나 늘어나는 자로 방의 크기를 재는 것과 같다고 강조했습니다.

가장 중요한 발견 중 หนึ่ง은 연구자가 사용하는 방법이 연구 대상이 되는 인구 집단을 바꾼다는 것이었습니다. 연구자들이 누락된 데이터가 있는 환자를 단순히 버릴 때, 그들은 원래의 군중과는 다른 모습을 띤 집단이 남게 되었습니다. 실제 데이터에서 모든 검사 결과가 있는 환자들은 그렇지 않은 환자들보다 대개 나이가 많거나 다른 특성을 가지고 있었습니다. 공백을 평균값이나 복잡한 추측으로 채움으로써, 연구자들은 실제 세계에는 존재하지 않을 수도 있는 새로운 합성 인구를 만들어내고 있었던 것입니다. 연구는 계산된 "표준화된" 위험 차이가 질병에 대한 보편적인 진리가 아니라, 데이터를 정제하는 방법에 의해 정의된 특정 집단에 대한 특정 질문에 대한 특정 답변임을 보여주었습니다.

연구진은 병원 기록의 누락된 데이터를 처리하는 단 하나의 마법 같은 해결책은 없다고 결론지었습니다. 더 복잡한 수학적 모델이 자동으로 문제를 해결할 것이라는 생각은 시뮬레이션을 통해 거짓임이 증명되었습니다. 병원 간의 차이를 명시적으로 고려하는 모델조차도 정확한 결과를 보장하지 못했습니다. 이 연구는 연구자들이 누락된 데이터를 단순한 기술적 정제 단계로 취급하는 것을 멈추고, 자신이 던지는 질문의 근본적인 부분으로 다루어야 한다고 주장합니다. 결론을 내리기 전에, 데이터가 정확히 어디서 왜 누락되었는지 지도를 그려야 합니다. 자신들의 결과가 실제로 어떤 집단의 사람들을 대표하는지 솔직해져야 합니다. 그리고 누락된 원인이 숨겨진 요인들에 의한 것이라면 결과가 틀릴 수 있음을 인정하며, 데이터 누락에 대한 다양한 가정에 대해 자신들의 발견을 테스트해야 합니다.

궁극적으로 이 작업은 전자 기록을 사용하는 의료 연구의 미래를 위한 경고이자 가이드 역할을 합니다. 이는 데이터에 있는 공백을 어떻게 처리하느냐가 우리가 가진 데이터만큼이나 중요하다는 것을 보여줍니다. 만약 우리가 누락된 패턴을 무시한다면, 우리는 방법론의 변화에 따라 흔들리는 토대 위에 의학적 지식을 쌓게 될 위험이 있습니다. 이 연구는 문제를 해결할 완벽한 도구를 제시하는 것이 아니라, 함정이 어디에 있는지에 대한 명확한 지도를 제공합니다. 이는 앞으로의 경로가 투명성, 엄격한 테스트, 그리고 데이터가 왜 누락되었는지 먼저 이해할 수 있을 때까지는 건강 격차에 대한 질문이 불확실한 상태로 남을 수 있음을 받아들이는 태도를 필요로 한다는 것을 시사합니다. 목표는 완벽한 숫자를 찾는 것이 아니라, 우리 데이터가 말해줄 수 있는 것의 한계를 이해하는 것입니다.