When high AUROC does not travel: internal-to-external performance differences in machine-learning models for antimicrobial resistance

슈퍼박테리아와의 전쟁에서 의사와 과학자들은 어떤 박테리아가 어떤 항생제에 저항할지를 예측하기 위해 점점 더 컴퓨터에 의존하고 있습니다. 머신러닝을 기반으로 구축된 이 컴퓨터 프로그램들은 고도로 훈련된 패턴 인식 전문가처럼 행동합니다. 이들은 환자 기록, 실험실 검사 결과, 유전 서열과 같은 방대한 의료 데이터를 스캔하여 특정 감염이 표준 약물 치료에서 살아남을지 여부를 추측합니다. 이러한 프로그램들이 만들어진 병원에서 테스트될 때, 이들은 종한 높은 정확도로 내성 박테리아를 식려내며 현대 의학의 기적처럼 보이곤 합니다. 이러한 성공은 연구자들과 임상의들에게 이 도구들이 곧 생명을 구하는 치료 결정을 안내하기 위해 전 세계적으로 배치될 수 있다는 희망을 줍니다.

하지만 한 병원의 데이터로부터 학습한 컴퓨터 프로그램이 다른 병원의 데이터를 읽는 법을 자동으로 알게 되는 것은 아닙니다. 마치 작은 마을의 조용한 거리에서 운전을 배우는 사람이 대도시의 혼잡한 고속도로에서 어려움을 겪을 수 있는 것과 마찬가지로, 이 모델들은 자신의 본래 환경을 떠날 때 숨겨진 도전에 직면합니다. 다른 국가, 다른 시기, 혹은 심지어 인접한 도시에서 마주하는 데이터는 지역적인 박테리아 변종, 실험 장비, 또는 환자군의 차이로 인해 미묘하게 다르게 보일 수 있습니다. 의료 AI의 미래에 대한 핵심적인 질문은 이 모델들이 집(본래 환경)에서 얼마나 잘 수행되는가가 아니라, 새로운 장소의 실제 세상으로 보내졌을 때 그 정확도가 얼마나 떨어지는가 하는 것입니다.

새로운 연구는 정확히 이 성능 저하를 측정하기 위해 시작되었습니다. 연구자 드리프토 로이(Dripto Roy)는 모델을 두 곳에서 테스트하는 데 힘을 쏟았던 기존의 머신러닝 연구들을 수집했습니다. 즉, 먼저 모델이 만들어진 병원에서 테스트한 후, 완전히 독립적인 다른 병원이나 데이터셋에서 다시 테스트한 연구들입니다. 목표는 단순하지만 매우 중요했습니다. 모델의 '집에서의 자신감'과 '해외에서의 실제 성능' 사이의 차이를 확인하는 것이었습니다. 이 쌍을 이룬 테스트의 점수들을 비교함으로써, 연구는 과학 논문에 보고된 높은 성공률이 미래의 성공을 보장하는 신뢰할 만한 약속인지, 아니면 여행을 떠나면 사라져 버리는 환상인지 결정하고자 했습니다.

이 조사는 동일한 모델과 동일한 예측 과제에 대해 내부 점수와 외부 점수를 모두 보고한 특정 연구 그룹에 초점을 맞추었습니다. 총 47개의 서로 다른 비교 사례가 8개의 독립적인 연구 논문에서 추출되었습니다. 이 비교 사례들은 전자 건강 기록, 전장 유전체 서열 분석, 그리고 임상 실험 보고서를 사용하여 MRSA나 약제 내성 폐렴과 같은 위험한 박테리아에 대한 예측을 포함한 광범위한 시나리오를 다루었습니다. 연구자는 각 비교에 대해 내부 점수와 외부 점수의 차이를 계산하여 성능이 얼마나 변했는지 확인했습니다.

결과는 명확하면서도 미묘한 패턴을 드러냈습니다. 47개의 개별 비교 사례 중 대다수인 36개 사례에서, 모델은 학습 데이터에서보다 새로운 외부 데이터로 테스트했을 때 성능이 더 낮았습니다. 평균적으로 정확도의 하락은 눈에 띄었으며, 외부 점수가 내부 점수보다 측정 가능한 차이만큼 낮게 나타났습니다. 이는 개발 환경에서 높은 점수를 보는 '낙관주의'가 실제 현상임을 확인시켜 주었습니다. 즉, 모델은 본래의 환경을 떠날 때 날카로움을 일부 잃는 경향이 있습니다.

하지만 더 큰 그림을 볼 때는 이야기가 더 복렴해집니다. 연구자는 단순히 모든 비교를 동등한 증거로 세는 것이 오해를 불러일으킬 수 있다는 점을 깨달았습니다. 어떤 연구 논문들은 동일한 환자 집단과 동일한 데이터 처리 단계에서 파생된 수십 개의 서로 다른 모델 변형이나 항생제 표적을 보고하기도 합니다. 만약 이 한 논문에서 나온 수많은 결과가 모두 동일하게 취급된다면, 단 하나 혹은 두 개의 비교만을 보고한 다른 논문들의 결과를 압도하게 될 것입니다. 연구자가 각 전체 연구 논문을 하나의 증거 단위로 취급하여, 논문에 포함된 숫자의 개수와 상관없이 모든 논문이 동등한 목소리를 내도록 분석을 조정했을 때, 그림은 크게 바뀌었습니다.

이러한 더 균형 잡힌 관점 아래에서, 성능 저하의 평균치는 상당히 줄어들었습니다. 모델들이 여전히 본래의 환경 밖에서 더 낮은 성능을 보였지만, 그 격차는 처음의 계산보다 훨씬 작았습니다. 실제로 8개의 연구 전체를 놓고 보았을 때, 평균적인 차이는 너무 작아서 거의 0에 가까울 수도 있었습니다. 이는 일부 모델은 이동 시 상당한 정확도 손실을 겪지만, 다른 모델들은 놀라울 정도로 견고하며, 의료 분야 전체가 단일하고 보편적인 페널티를 겪는 것은 아님을 의미합니다. 성능 저하의 크기는 특정 연구, 사용된 데이터, 그리고 결과를 어떻게 집계하느냐에 따라 전적으로 달라집러.

또한 이 연구는 현재의 의료 AI 지형에서 무엇이 결여되어 있는지를 강조했습니다. 검토된 대부분의 논문이 새로운 환경에서 모델을 테스트하려고 시도했지만, 모델이 제대로 '교정(calibration)'되었는지까지 확인한 경우는 매우 드물었습니다. 교정은 단순한 정확도를 넘어선 중요한 개념입니다. 이는 모델이 출력하는 확률 수치가 실제 위험과 일치하는지를 묻는 것입니다. 예를 들어, 모델이 환자의 내성 확률을 20%라고 예측했다면, 실제로 그 환자가 5명 중 1명꼴로 내성을 보이는지가 중요합니다. 검토 결과, 이 필수적인 점검은 거의 보고되지 않았습니다. 더욱이, 박테리아가 진화함에 따라 모델이 여전히 정확한지 확인하기 위해 시간을 두고 테스트하거나, 환자가 병원에 도착할 때 모델이 결과를 예측하는 전향적(prospective) 방식으로 테스트한 연구도 매우 적었습니다.

이 결과는 우리가 의료 AI의 성공을 어떻게 해석해야 하는지에 대한 경고를 담고 있습니다. 연구는 우리가 논문의 높은 정확도 점수를 보고 그것이 어디서나 통할 것이라고 가정해서는 안 된다고 주장합니다. 성능 격차의 겉보기 크기는 증거를 어떻게 세느냐에 따라 매우 민감하게 변합니다. 만약 논문의 모든 모델 변형을 별개의 사실로 센다면 문제는 과장됩니다. 반면, 각 논문을 하나의 이야기로 취급한다면 문제는 더 작아 보이지만 여전히 실재합니다. 연구는 모든 보고된 점수에 적용하여 실제 성능을 예측할 수 있는 단순한 수학적 해결책이나 보편적인 보정 계수는 존재하지 않는다는 결론을 내립니다.

대신, 앞으로 나아갈 길은 더 높은 투명성과 엄격함을 요구합니다. 연구자들은 테스트 단계로 정보가 학습 단계로 유출되지 않도록 데이터를 어떻게 분리했는지 명시해야 합니다. 또한 모델이 환자의 순위를 매기는 능력뿐만 아니라, 그 확률 추정치가 현실과 얼마나 일치하는지도 보고해야 합니다. 무엇보다도, 그들은 진정으로 독립적인 환경에서 모델을 검증해야 하며, 본래의 환경과 새로운 환경 모두에서의 환자 수와 내성 유병률에 대한 구체적인 수치를 보고해야 합니다. 이러한 기준이 규범이 되기 전까지, 문헌에 보고된 높은 점수들은 아직 온전히 지켜지지 못한 약속으로 남을 것이며, 성공적인 컴퓨터 모델에서 의사를 위한 신뢰할 수 있는 도구로 가는 여정은 계속 진행 중인 과제로 남을 것입니다.