Detection First, Grading Second: A Secondary Analysis of Stage-Specific Errors in Two-Stage Colon CAD

당신이 아주 작은 조직 블록들로 이루어진 거대하고 북적이는 도시에서 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신의 임무는 두 가지입니다. 첫째, 어떤 건물이 "악당"(암)인지 찾아내는 것이고, 둘째, 만약 악당이라면 그 악당이 얼마나 "나쁜지"(등급)를 결정하는 것입니다.

대부분의 컴퓨터 프로그램은 이 두 가지 일을 한꺼번에 처리하려고 하며, "그것은 3등급 악당이다!"와 같이 단 하나의 정답을 외칩니다. 하지만 이 논문은 그것이 마치 범인을 확정하기도 전에 범인의 키부터 추측하라고 요구하는 것과 같다고 주장합니다. 저자인 Sulav Dahal과 Bipul Bhattarai는 이렇게 말합니다: 확실히 범인을 잡기 전까지는 등급을 추측하지 마라.

2단계 탐정 게임

이 논문은 이미 존재하는 특정 컴퓨터 시스템을 살펴봅니다 (저자들이 직접 만든 것이 아니라, 기존 시스템의 옛 성적표를 재검토한 것입니다). 이 시스템은 실제 병리학자처럼 두 단계로 작동합니다:

1. 1단계 (냄새 맡기): 이 조직이 암인가, 아닌가?
2. 2단계 (등급 매기기): 만약 암이라면, 1등급인가, 2등급인가, 아니면 3등급인가?

저자들은 우리가 단순히 최종 점수만 봐서는 안 된다고 주장합니다. 대신, 각 단계에서 컴퓨터가 저지르는 실수를 따로따로 살펴봐야 합니다.

큰 발견: "아까운 실수(Near-Misses)"가 진짜 문제다

컴퓨터가 2단계에서 등급을 틀렸을 때, 보통 완전히 무작위적인 등급을 고른 것이 아니었습니다. 대부분 "아까운 실수"를 저질렀습니다.

• 사실: 첫 번째 버전의 등급 분류기가 저지른 130개의 실수 중, 107개(즉, 82.3%)는 단순히 1등급을 2등급으로, 혹은 2등급을 3등급으로 착각한 것이었습니다.
• 비유: 당신이 농구 선수의 키를 맞히는 게임을 하고 있다고 상상해 보세요. 실제 키가 6피트 3인치인데 6피트 2인치라고 추측했다면, 그것은 "아까운 실수"입니다. 거의 맞혔으니까요! 하지만 4피트 10인치라고 추측했다면, 그것은 터무니없는 오류입니다. 컴퓨터는 주로 이러한 "아까운 실수"를 저질렀습니다. 아주 작은 종양을 거대한 종양으로 착각하는 일은 드물었습니다. 주로 "중간" 정도의 종양을 "조금 더 큰" 종양으로 착각했습니다.

저자들은 단일 컴퓨터 대신 "팀(앙상블)" 형태의 컴퓨터를 사용했을 때, 전체 실수 횟수가 줄어들었으며, 무서운 실수(3등급 종양을 통째로 놓치는 것)가 42개에서 27개로 감소했다는 것을 발견했습니다. 하지만 팀을 사용했음에도 불구하고, 남은 실수 중 **86.0%**는 여전히 앞서 말한 "아까운 실수"인 등급 교체였습니다.

"균형 잡힌" 함정: 왜 99%의 정확도가 오해를 불러일으킬 수 있는가

여기서 이 논문은 매우 까다롭고 중요한 지점에 도달합니다. 컴퓨터의 성적표에는 암을 포착하는 1단계 정확도가 **99.89%**라고 적혀 있었습니다. 정말 놀라운 수치죠, 그렇지 않나요?

하지만 저자들은 이 수치가 암 이미지와 암이 아닌 이미지가 반반씩 섞인 "균형 잡힌" 데이터 세트에서 계산되었다는 점을 지적합니다. 현실 세계에서 암은 드뭅니다.

• 시뮬레이션: 저자들은 만약 이 컴퓨터를 실제 인구처럼 암 환자가 매우 적은 환경에서 테스트한다면 어떻게 될지 알아보기 위해 빠른 계산(시뮬레이로이션)을 수행했습니다. 만약 인구의 **1%**만이 암을 가지고 있다면 어떨까요?
• 결과: 이 컴퓨터가 암을 발견할 때 여전히 매우 유능하긴 하지만, "양성" 알람이 떴을 때 그것이 진짜일 확률(양성 예측도, Positive Predictive Value)은 **99.78%**에서 **82.12%**로 떨어집니다.
• 교훈: 만약 이 컴퓨터를 도시 전체를 스크리닝하는 데 사용한다면, 암이라고 표시된 1,000명의 사람들 중 약 12명은 가짜 알람(암이 없는데 컴퓨터가 암이라고 판단한 경우)일 것입니다. 이 논문은 우리가 단순히 "완벽한" 테스트 조건이 아니라, 현실 세계의 희귀성을 바탕으로 이러한 수치를 보고해야 한다고 주장합니다.

이 논문이 말하고자 하는 것이 "아닌" 것들

이 논문이 무엇을 하지 않는지 아는 것도 매우 중요합니다:

• 이 논문은 새로운 초지능형 컴퓨터를 만드는 것이 아닙. 저자들은 새로운 모델을 훈련시킨 것이 아니라, 기존의 데이터를 다시 읽었을 뿐입니다.
• 이 논문은 암 탐지를 해결했다고 주장하는 것이 아닙. 저자들은 이 연구가 새로운 환자나 다른 병원을 대상으로 테스트되지 않았음을 명시적으로 밝히고 있습니다.
• 이 논문은 컴퓨터가 완벽하다고 말하지 않습니다. 오히려 "아까운 실수"로 인한 등급 오류가 여전히 큰 문제이며, 인간의 재검토가 필요하다는 점을 강조합니다.

호기심 많은 십 대를 위한 핵심 요약

핵론은 간단합니다: 단계를 섞지 마세요.
만약 당신이 컴퓨터가 대장암을 진단하는 데 얼마나 뛰어난지 알고 싶다면, 단순히 하나의 커다란 점수만 봐서는 안 됩니다. "냄새 맡기" 단계와 "등급 매기기" 단계를 분리해서 봐야 합니다.

• "냄새 맡기"는 암을 찾는 데 탁월합니다(테스트에서 암을 놓친 경우가 0건입니다). 하지만 암이 드문 상황에서는 몇몇 가짜 알람을 울릴 수 있습니다.
• "등급 매기기"는 괜찮은 편이지만, 주로 "어느 정도 나쁜 상태"와 "매우 나쁜 상태" 사이에서 혼동을 일으킵니다.

저자들은 완벽한 "리더보드 점수"를 쫓는 대신, 이러한 구체적인 유형의 오류에 집중해야 한다고 제안합니다. 만약 컴퓨터가 종양을 "2등급"이라고 말했지만 실제로는 "3등급"일 수도 있다면, 그것은 인간 의사가 면밀히 살펴봐야 할 특정한 종류의 실수입니다. 이 논문은 컴퓨터가 어떻게 실패하는지(주로 아까운 실수)를 이해함으로써, 인간에게 도움을 요청할 줄 아는 더 나은 시스템을 구축할 수 있다고 제안합니다.