Cethraian-X: A Leakage-Clean, Multi-Seed Benchmark of Chest X-Ray Classification Under Weak Labels

컴퓨터에게 수백만 장의 인간 흉부 사진을 보여주며 의사가 되는 법을 가르치려 한다고 상상해 보십시오. 이것이 바로 의료 인공지능의 세계입니다. 기계가 엑스레이를 보는 것만으로 폐렴이나 골절 같은 질병을 찾아내는 법을 배우는 분야죠. 하지만 여기에 까다로운 문제가 있습니다. 컴퓨터는 때때로 부정행위를 하는 매우 관찰력이 뛰어난 학생과 같습니다. 만약 특정 병원의 엑스레이 촬영실에 있는 환자의 팔 사진을 보여준다면, 컴퓨터는 실제로 질병을 찾는 대신 "오, 이 병원에는 항상 폐렴 환자가 있네!"라고 학습할 수도 있습니다. 이를 '데이터 누수(data leakage)'라고 부르는데, 이는 마치 학생이 시험을 보기 전에 정답지를 훔쳐보는 것과 같습니다. 공정한 성적을 받기 위해서 과학자들은 컴퓨터가 시험 문제를 이전에 본 적이 없어야 하며, 우연히 반복되는 픽셀 속의 아주 작고 보이지 않는 패턴을 단순히 암기하는 것이 아니라는 점을 반드시 확인해야 합니다. 이 논문은 바로 이 문제를 파고들며 다음과 같이 질문합니다. 만약 데이터를 정말, 정말 깨끗하게 정리한다면, 컴퓨터의 점수가 실제로 변할까요, 아니면 그저 운이 좋았던 것일까요?

새로운 "클린룸" 실험인 Cethraian-X가 등장했습니다. 이 실험은 컴퓨터가 부정행위 없이 흉부 엑스레이를 읽는 능력을 테스트하기 위해 설계되었습니다. 연구진은 112,120장의 방대한 유명 흉부 엑스레이 컬렉션을 가져와 엄격한 감사를 실시했습니다. 이는 마치 탐정이 범죄 현장을 청소하는 것과 같습니다. 그들은 중복된 사진을 제거했고, 특정 환자가 "연습" 그룹과 "최종 시험" 그룹 모두에 나타나지 않는지 확인했으며, 심지어 디지털 이미지 코드를 스캔하여 두 사진이 비밀리에 쌍둥이처럼 똑같지는 않은지 확인했습니다. 그들은 이러한 교묘한 지름길들이 차단되었을 때 컴퓨터의 성능이 떨어지는지를 보고 싶었습니다.

연구진이 테스트한 컴퓨터는 DenseNet-121이라는 표준적이고 잘 알려진 AI 모델로, 이는 매우 똑똑하지만 기초적인 수준의 학생과 같습니다. 연구진은 이 학생에게 세 가지 다른 "랜덤 시드"(학생의 뇌가 시작되는 서로 다른 출발점이라고 생각하면 됩니다)를 사용하여 세 번의 시험을 치르게 했습니다. 결과가 일관적인지 확인하기 위해서였습니다. 그들은 사진, 규칙, 채점 방식까지 모든 것을 똑같이 유지했습니다.

결과는 다음과 같았습니다. 모든 중복 및 겹치는 이미지를 깨끗이 닦아낸 후에도 컴퓨터의 전체 점수는 거의 변하지 않았습니다. 컴퓨터는 0.80976 ± 0.00027의 macro ROC-AUC를 달려냈습니다. 이를 설명하자면, 약간 "지저분했던" 원래 버전의 시험 점수는 0.81030이었습니다. 그 차이는 단 -0.00054에 불과했습니다. 이는 이 특정 컴퓨터와 데이터셋의 경우, "부정행위"가 점수를 높이는 데 별로 도움이 되지 않았음을 시사합니다. 컴퓨터는 안정적이었습니다. 데이터가 지저도 완벽하게 깨끗하든 상관없이 동일한 결과를 얻었습니다.

하지만 이 논문에는 매우 중요한 "그러나"가 있습니다. 컴퓨터가 질병의 순위를 매기는 데는 유능했지만(예: "이 환자가 저 환자보다 결절이 있을 가능성이 높다"라고 말하는 것), 실제 확률을 제공하는 데는 형편없었습니다. 컴퓨터가 "질병이 있을 확률이 70%"라고 말할 때, 그것은 실제로 70%가 아니었습니다. 연구진은 컴퓨터의 확신도를 조절하는 것과 같은 "온도 스케일링(temperature scaling)" 기법을 사용하여 이를 수정하려 노력했지만, 그 이후에도 수치는 여전히 틀려 있었습니다. 예측이 평균값에 비해 얼마나 좋은지를 측정하는 "브라이어 스킬(Brier skill)" 점수는 깊은 음수(-1.32902)를 기록했습니다. 이는 컴퓨터의 확신 수치가 실제 의료 결정을 내리기에는 무용지물보다 못하다는 것을 의미합니다.

연구는 특정 질병에 대해서도 살펴보았습니다. 흉수(Effusion)(폐에 액체가 고이는 것)와 같이 흔한 질병에 대해서는 컴퓨터가 괜찮은 성적을 냈습니다. 하지만 **탈장(Hernia)**과 같은 희귀한 질병의 경우, 컴퓨터는 0.91302라는 놀라운 점수를 기록했지만, 연구진은 테스트 그룹에 양성 사례가 단 86개뿐이었기 때문에 이 점수가 오해의 소지가 있다고 경고했습니다. 즉, 너무 적은 숫자로 인해 점수가 불안정하고 신뢰할 수 없다는 것입니다. 마찬가지로 **폐렴(Pneumonia)**의 경우, 질병을 찾아내는 능력(평균 정밀도, Average Precision)은 매우 낮아 0.05258 근처를 맴돌았는데, 이는 양성 사례가 매우 드문 테스트 세트의 특성을 고려할 때 무작위 추측보다 겨우 나은 수준입니다.

저자들은 이 논문이 무엇이 아닌지를 매우 명확하게 밝히고 있습니다. 그들은 이것이 의학적 돌파구가 아님을 분명히 했습니다. 그들은 이 컴퓨터가 의사를 대체할 수 있다는 것을 증명하지 않았으며, 실제 병원에서 환자들에게 작동한다는 것도 보여주지 않았습니다. 사실, 그들은 전문가 의사가 모든 이미지를 재검토한 것이 아니라 **영상의학과 보고서(인간이 작성한 것)**로부터 "라벨"(질병 이름)이 왔다는 점을 포함하여 열 가지의 구체적인 한계점을 나열했습니다. 또한 다른 데이터셋에서 테스트하지 않았다는 점도 인정했는데, 따라서 다른 곳에서도 작동할지는 알 수 없습니다.

결국, Cethraian-X는 이 분야에 대한 "현실 자각 타임"입니다. 이는 우리가 데이터를 완벽하게 깨끗하게 만들고 실험을 완벽하게 재현할 수 있다 하더라도, 근본적인 컴퓨터 모델은 여전히 실제 의학을 위한 신뢰할 수 있는 수치를 제공하는 데 어려움을 겪고 있음을 보여줍니다. 컴퓨터는 사진을 분류할 수는 있지만, 의사에게 "이 환자가 아플 확률이 90%라고 확신합니다"라고 말할 수는 아직 없습니다. 현재로서는, 이 연구는 연구자들이 미래의 아이디어를 테스트할 수 있는 견고하고 깨끗한 벤치마크 역할을 하지만, 동시에 명확한 선을 긋고 있습니다. 우리는 아직 이 기계들에게 임상적 결정을 내리도록 맡길 준비가 되지 않았습니다.