Native image geometry and cross-partition patient overlap in a checksum-identified public liver ultrasound release: an audit of SMC-LUD

컴퓨터가 의료 영상 속 질병을 포착하여 의사들의 두 번째 눈 역할을 하도록 교육받는 세상을 상상해 보십시오. 이를 위한 가장 흔한 도구 중 하나는 초음파로, 초음파는 음파를 사용하여 간과 같은 신체 내부의 이미지를 만들어냅니다. 이 기계들은 널리 보급되어 있고 상대적으로 저렴하기 때문에, 과학자들은 인공지능을 훈련시키기 위해 방대한 양의 이미지 모음을 수집해 왔습니다. 희망적인 목표는 이러한 컴퓨터 프로그램이 단순히 사진을 보는 것만으로 간암과 같은 위험한 종양이나 양성 종양과 같은 무해한 혹을 식 발견하는 법을 배우는 것입니다. 이러한 훈련이 제대로 작동하려면, 컴퓨터는 단순히 사진이 촬영된 방식에 대한 무작위적인 세부 사항이 아니라 실제 질병을 인식하는 법을 배워야 합니다. 만약 컴퓨터가 종양의 모양 대신 이미지 파일의 크기와 같은 것을 보고 정답을 추측하는 지름길을 배운다면, 실제 병원에서 새로운 환자를 만났을 때 실패하게 될 것입니다.

최 recent 연구팀은 과학자들이 사용하도록 공개된 유명한 간 초음파 이미지 컬렉션을 면밀히 조사하기로 했습니다. SMC-LUD라고 알려진 이 컬렉션은 이러한 컴퓨터 프로그램들을 테스트하기 위한 골드 스탠다드(표준)가 되어야 했습니다. 원래의 설명에는 이 이미지들이 천 명 이상의 서로 다른 환자들로부터 왔으며, 데이터가 각 그룹에 단 한 명의 환자도 중복되지 않도록 그룹별로 세심하게 나누어져 있다고 되어 있었습니다. 이러한 분리는 매우 중요합니다. 만약 한 환자의 이미지가 훈련 그룹과 테스트 그룹 모두에 나타난다면, 컴퓨터는 질병을 진단하는 법을 배우는 대신 그 특정 개인의 해부학적 구조를 단순히 암기해 버릴 수 있기 때문입니다. 연구진은 전체 컬렉션을 다운로드하여 모든 파일을 꼼꼼히 감사하며, 현실이 약속과 일치하는지 확인했습니다.

그들이 발견한 것은 이 데이터셋을 바라보는 우리의 관점을 바꿔 놓을 일련의 놀라운 사실들이었습니다. 첫째, 연구진은 컴퓨터가 간 내부를 보지도 않고도 단순히 이미지의 형태만을 보고 완벽한 정확도로 질병을 식별할 수 있다는 것을 발견했습니다. 암 종양이 있는 모든 이미지는 완벽한 정사각형이었던 반면, 모든 양성 종양 이미지는 직사각형이었습니다. 마치 파일들이 "암" 또는 "암 아님"이라고 적힌 숨겨진 라벨을 형태에 따라 찍어낸 것과 같았습니다. 이는 컴퓨터 프로그램이 종양의 의학적 내용물은 완전히 무시한 채, 사진이 정사각형인지 확인하는 것만으로 테스트에서 만점을 받을 수 있음을 의미했습니다. 이것은 기계가 의학적 실체가 아닌 데이터 수집 과정의 패턴을 학습하게 되는 전형적인 기술적 지름길(shortcut)의 사례입니다.

또한 이번 감사는 데이터가 주장만큼 분리되어 있지 않다는 사실도 밝혀냈습니다. 원래 보고서에는 환자들이 별도의 그룹으로 유지되었다고 명시되어 있었으나, 연구진이 컴퓨터의 폴더를 직접 세어본 결과 60% 이상의 환자가 훈련, 테스트, 검증 그룹에 흩어져 있었습니다. 실제로 테스트 그룹에 속한 거의 모든 환자가 훈련 그룹에도 이미지를 가지고 있었습니다. 이는 학생에게 숙제 책에서 이미 본 문제들이 포함된 시험지를 주는 것과 같습니다. 연구진이 오직 하나의 그룹에만 등장하는 환자들만을 사용하여 컴퓨터 테스트를 다시 실시했을 때, 컴퓨터의 성능은 떨어졌지만 여전히 꽤 높은 수준을 유지했습니다. 그러나 연구진이 컴퓨터가 이미지 형태를 무시하고 모든 사진을 동일하게 취급하도록 강제했을 때, 성능은 다시 완벽하게 올라갔습니다. 이는 설령 명백한 형태적 단서를 제거하더라도, 이미지를 저장하는 방식에서 비롯된 다른 미묘한 기술적 세부 사항들이 여 still 컴퓨터에게 불공정한 이점을 주고 있었음을 시사했습니다.

연구진은 또한 공식 설명의 숫자와 실제로 다운로드한 파일이 일치하지 않는다는 점도 발견했습니다. 설명에는 천 명 이상의 환자로부터 얻은 5,000개 이상의 이미지가 있다고 주장했지만, 실제 파일은 약간 다른 수치와 다른 수의 환자 폴더를 보여주었습니다. 공식 목록에는 이름이 없는 환자 폴더가 있었고, 어떤 이미지 폴더에는 이름이 없었습니다. 이러한 불일치는 데이터가 공개되기 전에 세심하게 검토되지 않았음을 시사합니다. 이 조사가 원래의 의사들이 의학적 업무에서 실수를 했다는 것을 증명한 것은 아니지만, 그들이 공개한 디지털 패키지가 엉망이었으며 인공지능을 속일 수 있는 숨겨진 단서들을 포함하고 있었다는 점은 보여주었습니다.

이 조사는 우리가 의료 데이터를 공유할 때 얼마나 극도로 주의해야 하는지에 대한 강력한 경고를 전달합니다. 목표는 기계가 특정 카메라의 특이점이나 특정 기술자의 습관을 인식하는 것이 아니라, 질병을 이해하도록 가르치는 것입니다. 연구진은 향후 의료 이미지를 공개할 때 훨씬 더 투명해야 한다고 결론지었습니다. 그들은 데이터를 공개하는 사람이라면 누구나 모든 이미지를 특정 환자와 연결하는 명확하고 변경 불가능한 목록을 제공해야 하며, 어떤 환자도 중복되어 나타나지 않음을 확인해야 한다고 제안합니다. 또한 모든 이미지가 크기와 형식 면에서 동일하게 보이는지 확인하여, 숨겨진 패턴이 몰래 들어오지 못하도록 해야 한다고 권고합니다. 이러한 안전장치가 없다면, 우리가 컴퓨터 테스트에서 보는 높은 점수들은 환상에 불과할 것이며, 이 기술이 실제 세상에서 의사들을 도와 생명을 구출할 준비가 되었는지 확신할 수 없을 것입니다.