Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

의사가 폐렴을 의심할 때, 첫 번째 단계는 종종 폐의 숨겨진 풍경을 드러내는 단순한 영상인 흉부 X-선 촬영입니다. 수십 년 동안 이러한 영상의 해석은 인간의 눈에 의존해 왔으며, 이는 전문가들 사이에서도 차이가 있는 기술입니다. 최근 몇 년 동안, 방대한 의료 영상 라이브러리를 학습한 컴퓨터 프로그램들은 이 작업을 자동화하여 지치지 않는 두 번째 눈 역할을 하겠다고 약속해 왔습니다. 이러한 인공지능 시스템은 감염과 관련된 패턴을 포착하는 법을 배워 신속하고 일관된 진단을 제공하는 것을 목표로 합니다. 그러나 이러한 기술적 질주 이면에는 중요한 질문이 남아 있습니다. 만약 컴퓨터가 한 병원의 X-선을 통해 폐렴을 인식하는 법을 배웠다면, 완전히 다른 병원의 X-선을 보거나 성인이 아닌 아이의 X-선을 볼 때도 진정으로 질병을 이해할 수 있을까요? 이러한 프로그램들이 건강한 폐와 병든 폐를 구별하는 능력은 이야기의 일부일 뿐입니다. 진짜 시험대는 그들이 진단을 내리기 위해 사용하는 특정 규칙과 답변에 대해 표현하는 확신이 주변 환경이 변할 때도 유지될 수 있는지 여부에 달려 있습니다.

연구팀은 다양한 종류의 컴퓨터 모델을 구축하고 테스트함으로써 이 질문에 답하고자 했습니다. 그들은 성인의 흉부 X-선 18,000장 이상의 거대한 컬렉션에서 시작하여, 모델이 일부 이미지로 학습하고 본 적 없는 다른 이미지로 테스트할 수 있도록 데이터를 세심하게 나누었습니다. 그들은 다양한 방법으로 어떤 것이 가장 성능이 좋은지 확인하기 위해 15가지 서로 다른 유형의 신경망(시스템의 디지털 뇌)을 훈련시켰습니다. 일부 네트워크는 처음부터 구축되었고, 다른 것들은 이미 일상적인 사진 속 사물을 인식하도록 학습된 시스템으로부터 변형되었습니다. 연구진은 특히 트랜스포머(transformer)라고 불리는 새로운 유형의 네트워크에 주목했는데, 이는 인간이 장면을 스캔하듯 전체 그림과 그 부분들을 동시에 살펴보는 방식으로 이미지를 처리합니다. 훈련 후, 그들은 단일 최고 성능 모델을 선택했을 뿐만 아니라, 단일 의견보다 집단 결정이 더 신뢰할 수 있기를 바라며 다섯 개의 상위 모델이 함께 투표하는 팀을 만들었습니다.

진정한 시험은 더 이상 학습하거나 변할 수 없는 이 '동결된' 모델들이 완전히 다른 두 집단의 사람들의 X-선을 마주했을 때 찾아왔습니다. 첫 번째 그룹은 폐가 더 작고 질병 패턴이 다른 인구 집단인 수천 명의 어린이 이미지로 구성되었습니다. 두 번째 그룹은 원래의 훈련 데이터보다 폐렴 발생률이 훨씬 낮은, 다른 국가의 일반적인 병원 인구를 대표하는 성인 X-선 컬렉션이었습니다. 결과는 기술이 어떻게 작동하는지에 대한 매혹적인 분열을 보여주었습니다. 모델들은 환자가 어린아이인지 성인인지와 관계없이 단순히 건강한 폐와 병든 폐를 구별하는 데 매우 뛰어난 능력을 입증했습니다. 어린이 그룹에서 모델들은 0.925의 AUC를 달고, 성인 그룹에서는 0.888의 AUC를 달성했습니다. '구별(discrimination)'이라고 알려진 이러한 클래스 구분 능력은 서로 다른 인구 집단 간에도 잘 전달되었습니다.

그러나 연구진이 모델이 실제로 어떻게 결정을 내리는지를 살펴보았을 때 이야기는 급격히 바뀌었습니다. 컴퓨터 모델은 단순히 "아프다" 또는 "건강하다"라고 말하는 것이 아니라, 환자가 아플 가능성을 나타내는 숫자, 즉 확률을 계산합니다. 이 숫자를 진단으로 바꾸기 위해 인간은 무엇이 폐렴인지 결정하는 기준점, 즉 절단점을 설정해야 합니다. 연구진은 원래의 성인 데이터에 완벽하게 작동했던 기준점이 새로운 그룹들에 적용되었을 때 처참하게 실패했다는 것을 발견했습니다. 원래 그룹에서 폐렴 사례의 84%를 잡아냈던 동일한 규칙이 어린이들에게는 59%만을, 새로운 성인 그룹에서는 단 39%만을 잡아냈습니다. 모델들은 여전히 질병을 보고 있었지만, 그것을 질병이라고 부르기에는 너무 조심스러웠던 것입니다. 연구진이 새로운 데이터의 작은 샘ẫu를 가져와 절단점을 재설정하자, 모델들은 즉시 다시 정확해졌으며, 어린이에게는 0.83, 성인에게는 0.79의 AUC를 달성했습니다. 이는 모델의 내부 논리는 타당하지만, 그들의 의사결정 규칙은 경직되어 있으며 처음 훈련된 특정 환경에 묶여 있음을 보여주었습니다.

모델이 답변에 대해 표현하는 확신을 조사했을 때 또 다른 복잡성이 드러났습니다. 원래의 훈련 데이터에서 모델들은 실제 세계의 질병 빈도와 일치하는 확률 점수를 제공하도록 교정(calibration)되었습니다. 하지만 새로운 그룹들을 마주했을 때, 이 교정은 무너졌습니다. 폐렴이 매우 흔한 어린이 그룹에서 모델들은 위험을 크게 과소평z계측하여, 실제 존재하는 위험보다 훨씬 낮은 발병 확률을 예측했습니다. 반면, 질병이 드문 새로운 성인 그룹에서 모델의 확률 추정치는 놀라울 정도로 정확했습니다. 이는 모델이 폐렴의 시각적 특징은 학습할 수 있지만, 특정 환경에서 질병이 얼마나 흔한지에 대한 이해는 취약하며 인구 집단의 변화에 쉽게 무너질 수 있음을 시사합니다.

연구는 또한 모델들이 X-선이 촬영되는 방식에 민감하다는 것을 밝혀냈습니다. 원래 데이터에서 환자 앞에 X-선 기계를 두는 전후방 방식(anteroposterior views)으로 촬영된 이미지는 뒤에서 촬영하는 후전방 방식(posteroanterior views)보다 폐렴을 보일 가능성이 훨씬 높았습니다. 모델들은 이 단서를 사용하는 법을 배웠는데, 모델이 혼란스러워서가 아니라 전후방 방식의 이미지가 읽기에 더 어려웠기 때문에 성능이 저하되었습니다. 연구진이 훈련 중에 모델이 이 단서를 무시하도록 강제했을 때, 모델은 오히려 성능이 더 나빠졌는데, 이는 어려움이 모델이 이용하는 편법이 아니라 이미지 유형 자체에 내재된 실제적인 문제였음을 시사합니다. 더욱이, 연구진은 성인에게 최적의 모델이 반드시 어린이에게 최적인 것은 아니라는 점을 발견했습니다. 어떤 '컴퓨터 뇌'가 우월한지에 대한 순위는 환자의 연령에 따라 변했으며, 이는 성인 병원을 위해 선택된 모델이 소아과에서는 적절한 선택이 아닐 수 있음을 의미합니다.

궁극적으로, 이 연구는 인공지능이 서로 다른 인구 집단에 걸쳐 이동 가능한 높은 수준의 기술로 폐렴을 식별할 수 있다는 것을 보여주지만, 그 기술을 병원에서 사용하기 위한 실질적인 도구들은 그만큼 쉽게 이동하지 않는다는 것을 입증합니다. 질병을 구별하는 능력은 견고하지만, 진단을 내리기 위한 특정 규칙과 시스템이 확신을 표현하는 방식은 국지적인 맥락에 깊이 묶여 있습니다. 이러한 시스템이 현실 세계에서 유용해지려면, 단순히 다운로드하여 그대로 사용할 수 없습니다. 각 새로운 병원의 환자 구성과 질병 유병률에 맞춰 의사결정 규칙을 조정하는 현지 튜닝 과정이 필요합니다. 연구는 이 기술들이 신뢰받기 위해서는 미래의 보고서가 단순히 모델이 건강함과 아픔을 어떻게 구별하는지를 넘어, 모델이 실제 현장에서 사용하는 특정 의사결정 지점에서 어떻게 수행되는지, 그리고 세상이 변할 때 그 확신이 어떻게 유지되는지를 반드시 보여주어야 한다고 결론짓습니다.