Understanding Human AI Discrepancy in Breast Cancer TIL Assessment: A Multi-Rater and Perceptual Bias Study

개요: 작은 침입자 세기

유방암 세포를 하나의 요새라고 상상해 보세요. 이 요새의 성벽 안에는 림프구(면역 세포의 일종)라는 작은 "침입자"들이 있습니다. 의사들은 이를 **종양 침윤 림프구(TILs)**라고 부릅니다.

TILs는 암과 싸우는 "착한 편"이라고 생각하면 됩니다. 이들이 많이 보일수록 환자의 생존율과 치료 반응률이 높아집니다. 이를 파악하기 위해 병리학자들(현미경 슬라이드를 관찰하는 전문 의사)은 암 세포 주변 공간에 이 작은 침입자들이 얼마나 채워져 있는지 그 비율을 추정해야 합니다.

문제점: 인간은 군중을 추정하는 데 서툴다

이 연구는 이미 알려진 문제에서 시작되었습니다: 인간은 흩어져 있는 물건의 숫자를 추측하는 데 매우 서툽니다.

당신이 젤리빈이 가득 담긴 병을 보고 있다고 상상해 보세요. 만약 젤리빈들이 한쪽 구석에 뭉쳐 있다면 숫자를 쉽게 맞출 수 있습니다. 하지만 젤리빈들이 병 전체에 고르게 퍼져 있다면, 당신의 뇌는 어려움을 겪을 것입니다. 실제로는 40%인데 20%라고 추측하거나, 그 반대의 상황이 발생할 수 있습니다. 이것이 바로 의사들이 암 슬라이드를 볼 때 일어나는 현상입니다. 엄격한 규칙이 있더라도, 두 명의 의사가 같은 슬라이드를 보고도 서로 다른 답을 내놓는 경우가 많은데, 이는 사람마다 "흩어진 점"을 처리하는 방식이 다르기 때문입니다.

실험: 인간 vs 로봇

연구진은 **인공지능(AI)**이 인간보다 더 잘할 수 있는지 확인하고 싶었습니다. 그들은 세 명의 병리학자와 두 가지 서로 다른 AI 모델(이하 로봇 A와 로봇 B)을 대상으로 한 "맛 테스트"를 설계했습니다.

그들은 모두에게 똑같은 유방암 현미경 슬라이드를 주고, "침입자"(TILs)의 비율이 몇 퍼센트인지 측정하라고 요청했습니다.

결과는 다음과 같았습니다.

1. 인간들은 서로 의견이 일치했다

세 명의 의사가 슬라이드를 보았을 때, 그들은 대체로 서로 일치하는 결과를 보였습니다. 그들의 점수는 매우 유사했습니다.

• 비유: 이는 숙련된 세 명의 요리사가 국물 맛을 보는 것과 같습니다. 사용하는 숟가락은 조금 다를지 몰라도, 국물이 "약간 짠지" 아니면 "매우 짠지"에 대해서는 모두 동의합니다.

2. 로봇은 인간과 의견이 달랐다

연구진이 의사와 로봇을 비교했을 때, 일치도가 크게 떨어졌습니다. 로봇과 인간은 자주 매우 다른 숫자를 제시했습니다.

• 반전: 로봇들이 단순히 "무작위로" 틀린 것이 아니었습니다. 그들에게는 특정한 습관이 있었습니다. 바로 침입자의 수를 지속적으로 과소평가한다는 점이었습니다.
• 비유: 의사들이 "이 병은 젤리빈으로 40% 차 있다"라고 말할 때, 로봇들은 "아니요, 25%만 차 있습니다"라고 말하는 것과 같습니다. 로봇들은 같은 병을 보고 있었지만, 인간보다 적은 양의 젤리빈을 보고 있었습니다.

3. 로봇은 "순위 매기기"에는 강했지만, "숫자 세기"에는 약했다

로봇들이 틀린 숫자를 제시했을지라도, 사실 순서를 이해하는 데는 꽤 능숙했습니다.

• 비유: 만로 젤리빈이 들어있는 세 개의 병(작은 것, 중간 것, 큰 것)이 있을 때, 로봇은 어떤 병이 가장 작고 어떤 병이 가장 큰지를 정확하게 구별해 낼 수 있었습니다. 하지만 각 병에 젤리빈이 정확히 몇 개 들어있는지 묻는다면, 로봇은 오차가 매우 컸습니다.
• 데이터: 연구에 따르면 로봇과 인간이 정확한 퍼센트는 일치하지 않았지만, 어떤 사례에 림프구가 더 많고 어떤 사례에 적은지에 대해서는 의견이 일치했습니다.

4. 왜 차이가 나는가? ("붐비는 방" 효과)

연구진은 왜 로봇과 인간이 의견이 다른지 알고 싶었습니다. 로봇이 고장 난 것일까요? 아니면 인간의 뇌가 결함이 있는 것일까요?

이를 알아내기 위해 그들은 특별한 사이드 실험을 진행했습니다. 의사들에게 검은 배경에 흰색 점들이 흩어져 있는 단순한 흑백 사진(림프구를 모사함)을 보여주었습니다. 그리고 사진에서 흰색이 차지하는 비율이 얼마인지 맞히게 했습니다.

• 결과: 이 단순한 점들을 가지고 있음에도 불구하고, 의사들은 정확한 퍼센트를 맞히는 데 어려움을 겪었습니다. 그들의 추측치는 실제 숫자와 큰 차이를 보였습니다.
• 결론: 불일치는 단지 로봇이 나쁘기 때문만이 아닙니다. 인간의 뇌가 흩어진 점을 시각적으로 추정하는 데 어려움을 겪기 때문입니다. 로봇은 실제로 매우 정밀한 "픽셀 계산"을 수행하는 반면, 인간은 오류가 발생하기 쉬운 "시각적 추측"을 사용하고 있는 것입니다.

시사점

이 연구의 결론은 다음과 같습니다:

1. 인간은 서로 일치합니다: 의사들은 일반적으로 슬라이드의 "분위기"에 대해 동의합니다.
2. 로봇은 정밀하지만 인간의 지각에는 "무디다": 로봇은 모든 점을 완벽하게 세지만, 인간이 흩어진 점을 보는 방식과 다르기 때문에 인간과 다른 총합을 얻게 됩니다.
3. 현재 로봇은 과소평가하고 있습니다: AI 모델은 의사들이 생각하는 것보다 면역 세포가 더 적다고 판단하는 경향이 있습니다.

핵-심 요약:
현재 AI는 해변의 모래알 하나하나를 세는 초정밀 계산기와 같고, 인간 의사는 해변을 바라보며 그 부피를 짐작하는 사람과 같습니다. 둘 다 같은 해변을 보고 있지만, 서로 다른 숫자를 내놓고 있습니다. AI가 인간을 대체할 수 있을 만큼 신뢰받기 위해서는, AI가 인간의 눈이 흩어진 세포를 어떻게 인식하는지 이해하도록 "교정(calibration)"되거나, 의사들이 자신의 시각적 추측보다 로봇의 정밀한 계산을 더 믿도록 배워야 합니다.

참고: 이 논문은 이 연구가 AI가 병원에서 바로 사용될 준비가 되었는지에 대한 테스트가 아니라, AI가 인간 의사와 얼마나 잘 일치하는지를 확인하는 테스트임을 강조합니다. 실제 환자 진료에 사용되기 전에는 "과소평가" 문제를 해결하기 위한 추가적인 작업이 필요합니다.