When Experts Disagree: Characterizing Annotator Variability for Vessel Segmentation in DSA Images

당신이 인간의 머릿속에 있는 작고 뒤틀린 도시의 지도를 그리려고 한다고 상상해 보세요. 하지만 당신은 오직 안개 낀 창문을 통해서만 그 모습을 볼 수 있습니다. 이것이 바로 디지털 감산 혈관 조영술(DSA)이라 불리는 의료 영상 기술의 세계입니다. 의사들은 뇌의 혈관을 촬영하기 위해 DSA를 사용하는데, 이 혈관들은 마치 복잡한 도로망처럼 보입니다. 컴퓨터가 이 지도들을 자동으로 읽는 법을 배우도록 돕기 위해서, 인간은 먼저 도로의 선을 그려야 합니다. 이것을 "세그멘테이션(segmentation, 분할)"이라고 합니다. 보통 우리는 인간 전문가가 선을 그었다면, 그 그림이 완벽한 "정답(truth)"이라고 가정합니다. 하지만 만약 두 명의 전문가가 똑같은 안개 낀 창문을 보고 서로 약간 다른 선을 그린다면 어떻게 될까요? 만약 한 명은 아주 작은 골목길을 발견했는데 다른 한 명은 놓쳤다면 어떨까요? 이 논문은 바로 그 미스터리를 파고듭니다. 이 연구는 단순하지만 까다로운 질문을 던집니다. 전문가들조차 혈관이 어디에 있는지 합의하지 못한다면, 어떻게 컴퓨터에게 정답을 가르칠 수 있을까요? 그 답은 단순히 더 잘 그리는 것에 있지 않습니다. 그것은 "정답"이 다소 모호할 수 있다는 점을 이해하는 것이며, 그것은 괜찮은 일이라는 데 있습니다.

이 연구의 연구진들은 이 뇌 혈관을 그리는 완벽한 방법이 단 하나뿐이라고 가장하는 것을 그만두기로 했습니다. 그들은 환자들로부터 얻은 66개의 실제 뇌 혈관 이미지를 모은 뒤, 두 명의 전문가에게 손으로 직접 혈관을 따라 그리도록 요청했습니다. 한 명은 혈관 시술을 전공하는 수련의였고, 다른 한 명은 컴퓨터에게 보는 법을 가르치는 과학자였습니다. 예상대로, 두 전문가는 정확히 같은 선을 그리지 않았습니다. 때로는 완벽하게 일치하기도 했지만, 특히 폭이 1 또는 2 픽셀 미만인 아주 작고 가는 혈관에서는 자주 의견이 엇갈렸습니다. 누가 "옳은지" 판단하기 위해, 팀은 단순히 승자를 고르는 대신, 11명의 다른 심사위원(의사와 과학자들)으로 구성된 패널을 투입하여 이미지의 작은 조각 100개를 보고 혈관이 존재하는지 여부에 대해 투표하게 했습니다.

결과는 매우 흥-미롭고 다소 놀라웠습니다. 두 명의 원래 전문가가 혈관이 있다고 동의했을 때, 새로운 심사위원들은 90%의 확률로 그들과 의견이 일치했습니다. 하지만 전문가들의 의견이 갈릴 때, 심사위원들의 의견도 나뉘었습니다. 만약 전문가 A는 "혈관 있음"이라고 하고 전문가 B는 "혈관 없음"이라고 했다면, 심사위원들은 76%의 확률로 전문가 A의 손을 들어주었습니다. 그러나 역할이 바뀌어 전문가 A가 "혈관 없음", 전문가 B가 "혈관 있음"이라고 했을 때는, 심사위원들이 전문가 A의 손을 들어준 비율이 16%에 불과했습니다. 이는 "정답(ground truth)"이 단 하나의 단단한 선이 아니라, 마치 가능성의 구름과 같다는 것을 보여주었습니다. 또한 팀은 "clDice"라는 특수한 수학 도구를 사용하여 전문가들의 그림이 얼마나 겹치는지 측정했는데, 이는 그려진 선의 중심이 일치하는지를 확인하는 도구입니다. 그들은 전문가들이 대체로 조화를 이루고 있었지만, 특히 가장 가는 혈관들에 대해서는 눈에 띄는 격차가 있음을 발견했습니다.

이 작고 모호한 선들을 측정하는 문제를 해결하기 위해, 연구진은 새로운 방식으로 점수를 계산하는 방법을 발명했습니다. 기존 방식은 너무 엄격했습니다. 전문가의 선이 다른 전문가의 선과 아주 조금만 어긋나도, 비록 두 사람 모두 동일한 가는 혈관을 보고 있었더라도 점수가 폭락했습니다. 팀은 "선이 충분히 가까운가?"라고 묻는 안전망 역할을 하는 "수정된 clDice(Modified clDice)"를 만들었습니다. 이 방식은 픽셀 단위로 완벽히 일치할 것을 요구하는 대신, 선 주변에 2.5 픽셀의 퍼진 경계선을 두는 것과 같은 "거리 임계값(distance thresholds)"을 사용하여 작동합니다. 이 새로운 방법은 전문가들이 기존의 엄격한 수학이 시사했던 것보다 실제로는 훨씬 더 잘 일치하고 있음을 보여주었습니다.

그렇다면 이 모든 것이 의미하는 바는 무엇일까요? 이 논문은 완벽한 혈관 그리기 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 우리가 컴퓨터를 가르치는 방식을 바꿔야 한다고 제안합니다. 우리는 단지 한 사람의 그림을 보여주며 "이것이 정답이다"라고 말해서는 안 됩니다. 대신, 불확실성을 이해하도록 가르쳐야 합니다. 전문가 간의 불일치를 단서로 사용하여, 컴퓨터에게 "이 영역은 까다로우니, 아마도 더 많은 눈(검토)이 필요할 거야"라고 말하거나, 스스로 주의를 기울여야 할 때를 아는 AI 모델을 구축할 수 있습니다. 연구팀은 또한 자신들의 작업물을 세상과 공유했습니다: 이 모든 다양한 그림들이 담긴 약 2,000개의 이미지 패치 데이터베이스와 불확실성을 측정하는 데 사용한 오픈 소스 소프트웨어를 공개했습니다. 요컨대, 그들은 의료 영상의 복잡한 세계에서 전문가들이 서로 의견이 다르다는 점을 인정하는 것이 더 똑똑하고 신뢰할 수 있는 도구를 만드는 첫걸음임을 증명했습니다.