Detecting Potential False-Normal Predictions in AI Analysis of Celiac-Related Duodenal Endoscopy Images

현대적인 클리닉에서 의사들은 종종 인간의 몸 내부를 들여다보기 위해 카메라에 의존하며, 질병의 징후를 찾기 위해 소장의 점막을 찍은 정지 영상을 포착합니다. 셀리악 병(celiac disease)과 같은 질환은 장 내의 작은 손가락 모양 돌기들을 평평하고 작게 만드는데, 이러한 변화는 때때로 이 사진들에서 발견될 수 있습니다. 의사는 보통 실험실 테스트를 위해 조직 샘플을 채취함으로써 진단을 확정할 수 있지만, 이미지 속의 시각적 단서들은 그 결정을 내리는 데 매우 가치 있는 역할을 합니다. 최근에는 컴퓨터 프로그램들이 이와 동일한 이미지들을 살펴보고, 이것이 건강한 장인지 아니면 셀리악 병에 영향을 받은 장인지를 결정하도록 훈련되었습니다. 이 프로그램들이 인간이 놓칠 수 있는 미세한 징후를 포착하거나 더 자세히 살펴봐야 할 이미지를 표시해 주는 '두 번째 눈'의 역할을 할 수 있기를 기대하는 것입니다. 하지만 컴퓨터는 완벽하지 않습니다. 때때로 컴퓨터는 라벨에는 질병이 있다고 되어 있음에도 불구하고 이미지를 정상이라고 자신 있게 선언하기도 합니다. 이 기술을 사용하는 사람에게 중요한 질문은 단순히 컴퓨터가 얼마나 자주 정답을 맞히느냐가 아니라, 오류가 발생했을 때 그것이 어떻게 빠져나가지 않도록 특정 이미지들을 찾아낼 것인가 하는 점입니다.

한 연구자가 십이지장(소장의 첫 부분)의 디지털 사진 188장을 모은 컬렉션을 사용하여 이 문제에 대한 실질적인 해결책을 테스트하기로 했습니다. 이 이미지들은 공개 아카이브에서 가져온 것이며, 전문가들에 의해 정상적인 장 또는 셀리악 병이 있는 장으로 이미 라벨이 지정되어 있었습니다. 테스트를 실행하기 전, 연구자는 데이터를 신중하게 정리했습니다. 다른 이미지의 정확한 디지털 복사본인 이미지 5개를 제거하고, 상태가 불분명하여 "의심스러운" 것으로 표시된 이미지 24개를 따로 떼어놓았습니다. 이를 통해 최종적으로 작업에 사용할 수 있는 고유한 이미지는 159장이 남았습니다. 목표는 컴퓨터 프로그램이 자신의 실수를 스스로 찾아낼 수 있는지 확인하는 것이었습니다. 구체적으로, 연구자는 이미지 품질과 안정성에 대한 간단한 점검을 추가하는 것이 단순히 컴퓨터가 스스로 내놓은 답변의 확신도를 보는 것과 비교했을 때, 인간 검토자가 어떤 "거짓 정상(false normal)" 이미지를 먼저 검사할지 우선순위를 정하는 데 도움이 되는지 알고 싶었습니다.

이를 위해 연구자는 두 종류의 이미지를 구별하도록 ResNet-18이라 불리는 일종의 소프트웨어인 표준 컴퓨터 비전 모델을 훈련시켰습니다. 훈련은 모델이 나중에 테스트할 특정 이미지들을 미리 보지 못하도록 하는 방식으로 진행되어, 단순히 정답을 암기하는 것을 방지했습니다. 모델이 준비되자, 모델은 테스트 세트의 모든 이미지를 분류하도록 요청받았습니다. 모델은 대부분의 이미지를 정확하게 식별했지만, 특정한 종류의 오류를 범했습니다. 즉, 원래 전문가의 라벨에는 "셀리악"이라고 되어 있었음에도 13개의 이미지를 "정상"으로 분류한 것입니다. 이 13개의 이미지가 실험의 대상이 되었습니다. 연구자는 인간이 전체 이미지의 아주 적은 부분만을 검토할 수 있는 상황에서, 어떤 방법이 이 13개의 숨겨진 오류를 더 많이 잡아낼 수 있는지 알아보기 위해 두 가지 서로 다른 목록을 만들었습니다.

첫 번째 방법은 가장 단순한 접근 방식이었습니다. 연구자는 컴퓨터가 이미지를 "정상"이라고 불렀을 때 얼마나 확신하고 있는지를 단순히 살펴보았습니다. 만약 컴퓨터가 조금이라도 확신하지 못한다면, 그 이미지는 검토 대상으로 표시되었습니다. 두 번째 방법은 더 똑똑하게 작동하려고 추가적인 신호들을 더했습니다. 연구자는 이미지를 약간 밝게 하거나 어둡게 만들었을 때, 혹은 파일이 약간 낮은 품질으로 저장되었을 때 컴퓨터의 답변이 미세하게 변하는지를 살펴보았습니다. 또한 기술적인 결함, 즉 흐릿함, 극단적인 밝기, 또는 사진 중앙의 눈부심 등을 측정했습니다. 이 세 가지 요소인 약한 확신도, 불안정한 답변, 그리고 낮은 이미지 품질은 하나의 점수로 결합되어 검토할 이미지의 순위를 매기는 데 사용되었습니다. 연구자는 인간이 고정된 수량, 예를 들어 전체의 20%만을 검토할 수 있는 시나리오를 시뮬레이션하여, 어떤 방법이 13개의 놓친 사례를 더 많이 찾아내는지 확인했습니다.

결과는 명확하고 놀라울 정도로 단순했습니다. 연구자가 "확신도만 사용한" 방법으로 표시된 상위 15개 이미지를 검토했을 때, 13개의 놓친 사례 중 3개를 찾아냈습니다. 반면, 더 복잡한 "결합 점수" 방법으로 표시된 상위 15개 이미지를 검토했을 때도, 13개의 사례 중 정확히 3개를 찾아냈습니다. 이미지 품질과 안정성에 대한 추가 점검은 단순히 컴퓨터의 확신도를 보는 것보다 더 많은 오류를 찾는 데 도움이 되지 않았습니다. 실제로, 검토할 수 있는 양이 적은 낮은 검토율 단계에서는 단순한 확신도 방법이 복잡한 방법보다 더 많은 오류를 찾아냈습니다. 연구자는 또한 컴퓨터가 텍스트나 기기 오버레이와 같은 시각적 지름길에 의존하는지 확인하기 위해, 분석 전에 이미지의 가장자리와 테두리를 잘라내는(cropping) 변형을 시도했으나, 이 변화 역시 복잡한 점수 시스템의 성능을 개선하지는 못했습니다.

연구는 이 특정 이미지 세트에 대해, 기술적 품질 점검과 안정성 테스트를 추가하는 것이 컴퓨터의 실수를 잡아내는 능력을 향상시키지 못했다고 결론지었습니다. 추가적인 복잡함이 제 몫을 다하지 못한 것입니다. 이것이 일반적인 상황에서 이미지 품질이나 안정성이 중요하지 않다는 뜻도 아니고, 컴퓨터가 완벽하다는 뜻도 아닙니다. 단지 이 특정 테스트에서, 컴퓨터의 자체적인 확신도가 이미지의 기술적 결함을 측정하려는 더 복잡한 시스템만큼이나 위험한 이미지를 지목하는 데 효과적이었다는 것을 의미합니다. 연구자는 데이터셋이 159장으로 작았고, 라벨이 이미지 카테고리가 아닌 확진된 환자의 생검을 바탕으로 한 것이기에 결과가 제한적이라는 점을 언급했습니다. 이 작업은 직접적인 증거 없이 더 복잡한 안전 점수가 단순한 확신도 체크보다 더 나을 것이라고 가정해서는 안 된다는 것을 보여주는 신중하고 투명한 테스트입니다. 결국, 이 경우에 컴퓨터의 오류를 찾는 가장 효과적인 방법은 이미지 자체를 측정하는 것이 아니라, 컴퓨터 자신의 불확실성을 신뢰하는 것이었습니다.