Discrimination transfers but calibration does not:1prevalence-dominated miscalibration of diabetic2retinopathy screening across fundus cameras

로봇에게 하늘의 특정 구름을 포착하는 법을 가르치고 있다고 상상해 보세요. 당신은 완벽한 렌즈를 가진 첨단 기상 관측소에서 찍은 수천 장의 사진을 로봇에게 보여줍니다. 로봇은 "저것은 폭풍 구름입니다!"라고 아주 자신 있게 말하는 법을 배웁니다. 하지만 여기서 까다로운 점이 있습니다. 구름을 '포착'하는 것과 비가 올 '확률'을 아는 것은 다르다는 것입니다. 만약 로봇이 "이것이 폭풍일 확률이 90%라고 확신합니다"라고 말한다면, 그것은 실제로 90%의 확률로 맞아야 합니다. 만약 로봇이 틀렸는데도 당신이 그 말을 너무 믿어버린다면, 당신은 비 오는 날 우산을 챙기는 것을 잊어버리거나, 하늘이 아주 맑은데도 우산을 들고 나가는 상황이 생길 수 있습니다.

이 논문은 컴퓨터가 의사들을 도와 당뇨망막병증이라는 안질환을 찾아내는 세상을 다룹니다. 이 논문은 매우 실질적인 질문을 던집니다. 만약 우리가 병원의 크고 비싼 카메라로 찍은 사진으로 컴퓨터를 훈련시킨다면, 마을에 가서 작은 휴대용 카메라를 사용할 때도 여전히 신뢰할 수 있을까요? 답은 컴퓨터가 질병을 '볼' 수 있는지(그것은 할 수 있습니다)뿐만 아니라, 그 '확신(confidence)'이 새로운 환경에서도 타당한지에 달려 있습니다. 연구진은 컴퓨터의 '눈'은 여전히 날카롭지만, 자신이 얼마나 확신하는지에 대한 '직감(gut feeling)'은 완전히 뒤섞여 버린다는 것을 발견했습니다. 이는 주로 새로운 장소에서 해당 질병이 기존보다 더 흔하기 때문입니다.

---

혼란에 빠진 눈 전문의 로봇 이야기

당신에게 "Dr. AI"라는 이름의 아주 똑똑한 로봇 안과 의사가 있다고 상상해 보세요. 당신은 고급스럽고 온도가 조절되는 병원에서 거대하고 비싼 탁상용 카메라를 사용하여 Dr. AI를 훈련시켰습니다. Dr. AI는 눈 사진을 보고 당뇨망막병증이라는 질환을 찾아내는 법을 배웠습니다. Dr. AI는 아픈 눈을 보면 이렇게 점수를 매깁니다. "이 눈이 아플 확률이 95%라고 확신합니다!" 건강한 눈을 보면 "건강할 확률이 99%라고 확신합니다"라고 말하죠.

이제, 대형 병원에 접근하기 어려운 마을의 사람들을 돕기 위해 Dr. AI를 마을로 데려가려 합니다. 하지만 마을에서는 그 거대한 카메라를 들고 갈 수 없습니다. 대신 배낭에 들어갈 정도로 작고 손에 들 수 있는 휴대용 카메라를 사용해야 합니다. 이 작은 카메라로 찍은 사진은 병원 사진과 조금 다르게 보일 수 있습니다. 예를 들어, 병원 사진에 비해 더 밝거나, 더 어둡거나, 약간 흐릿할 수도 있습니다.

핵심 질문: Dr. AI가 이 새로운 마을의 사진들을 볼 때, 여전히 좋은 의사가 될 수 있을까요?

연구진은 Dr. AI를 시험대에 올렸습니다. 그들은 두 가지 서로 다른 결과를 발견했습니다.

1. 눈은 여전히 날카롭다 (판별력 - Discrimination): Dr. AI는 여전히 아픈 눈과 건강한 눈을 구분해 내는 데 탁월했습니다. 추가 훈련 없이도, Dr. AI는 마을 사진에 특화되어 훈련된 로봇만큼이나 아픈 눈을 건강한 눈보다 높은 순위로 분류해 낼 수 있었습니다. 즉, 문제를 '보는' 능력은 잃지 않았습니다.
2. 확신이 뒤섞였다 (교정 - Calibration): 바로 이 지점에서 문제가 발생했습니다. Dr. AI는 자신의 확신에 대해 거짓말을 하기 시작했습니다. 만약 Dr. AI가 "이 눈이 아플 확률이 90%라고 확신합니다"라고 말했다면, 실제로 그 말이 90%의 확률로 맞는 것은 아니었습니다. Dr. AI의 확신 점수는 망가져 있었습니다. 마을에서 로봇은 건강한 눈에 대해 지나치게 확신하거나, 혹은 아픈 눈에 대해 충분히 확당하지 못할 수 있습니다. 이는 위험한데, 왜냐하면 의사들이 누가 즉시 인간 전문의를 만나야 하는지 결정할 때 이 확신 수치에 의존하기 때문입니다.

왜 확신이 깨졌을까?

당신은 이렇게 생각할지도 모릅니다. "아, 휴대용 카메라가 문제겠지! 사진이 너무 다르게 보이잖아!" 연구진은 실제로 이 가설을 테스트해 보았고, 놀라운 사실을 발견했습니다.

그들은 카메라 자체가 문제의 아주 작은 부분(약 20%)일 뿐이라는 것을 발견했습니다. 진짜 악당은 바로 **'군중(the crowd)'**이었습니다.

이렇게 생각해 보세요. Dr. AI가 훈련받은 병원에서는 20명 중 1명꼴(5.7%)로 질병이 있었습니다. 하지만 마을에서는 6명 중 1명꼴(17.6%)로 질병이 있었습니다. 또 다른 테스트 그룹에서는 거의 절반에 가까운 사람들(40.6%)이 질병을 가지고 있었습니다.

Dr. AI는 질병이 드문 세상에서 훈련되었습니다. 그래서 매우 신중하도록 학습되었습니다. 질병이 흔한 마을로 이동했을 때, Dr. AI는 자신의 '직감'을 어떻게 조정해야 할지 알지 못했습니다. 이는 마치 사막에서 자란 기상 예보사와 같습니다. 그 기상 예보사가 열대우림으로 옮겨가서 "비가 올 확률은 10%뿐입니다"라고 말한다면, 그것은 그들의 눈이 나빠서가 아니라 비가 드문 세상에 익숙하기 때문에 틀린 것입니다. 연구진은 이 혼란의 약 80%가 카메라의 문제가 아니라, 질병의 유병률 변화에서 왔다는 것을 보여주었습니다.

로봇을 고치는 방법

그렇다면 Dr. AI의 망가진 확신을 어떻게 고칠 수 있을까요? 연구진은 몇 가지 방법을 시도했습니다.

• "온도(Temperature)" 기법: 그들은 "온도 스케일링(temperature scaling)"이라는 간단한 수학적 조정을 시도했습니다. 이것은 로봇의 답변을 조금 더 부드럽게 혹은 더 강하게 만드는 다이얼을 돌리는 것과 같습니다. 하지만 이것은 잘 작동하지 않았습니다. 로봇의 문제는 단순히 답변이 얼마나 '부드러운가'의 문제가 아니라, 질병이 더 흔해졌기 때문에 기준점(baseline) 자체를 옮겨야 했기 때문입니다.
• "재학습(Re-Training)" 해결책: 그들은 **플랫 스케일링(Platt scaling)**과 **아이소토닉 스케일링(isotonic scaling)**이라는 두 가지 다른 방법을 시도했습니다. 이것은 로봇에게 아주 짧고 빠른 레슨을 주는 것과 같습니다. 로봇에게 마을에서 가져온 단 100~200장의 새로운 사진(사람이 라벨을 붙인 것)을 보여주고 확신 수치를 조정하도록 요청했습니다.
  • 결과: 성공했습니다! 아주 적은 양의 새로운 데이터만으로도 Dr. AI의 확신은 다시 신뢰할 수 있게 되었습니다. Dr. AI는 터무니없이 틀린 상태에서 벗어나, 마을 사진으로 처음부터 학습된 로봇만큼이나 훌륭한 수준이 되었습니다.

"작은 뇌" 문제

한 가지 반전이 더 있었습니다. 저렴한 휴대용 기기에서 Dr. AI를 실행하려면, 종종 컴퓨터 프로그램을 축소해야 합니다. 이를 "양자화(quantization)"라고 합니다.

• 반정밀도 (FP16): 이것은 사진을 약간 압축하는 것과 같습니다. 프로그램의 크기를 줄였지만 Dr. AI의 '눈'이나 '확신'에는 해를 끼치지 않았습니다. 안전했습니다.
• 8비트 정수 (INT8): 이것은 사진을 너무 많이 압축해서 픽셀이 깨지게 만드는 것과 같습니다. 연구진은 이것이 Dr. AI의 '눈'과 '확신'을 모두 망가뜨린다는 것을 발견했습니다. 설령 "재학습" 기법으로 확신을 고치려 해도, '눈(판별력)'에 생긴 손상은 완전히 복구할 수 없었습니다. 로봇은 정확도가 떨어졌고, 어떤 빠른 수학적 기술로도 그 손상을 되돌릴 수 없었습니다.

핵심 요약

이 연구의 주요 교훈은, AI가 현실 세계에서 안전하게 작동하려면 단순히 질병을 '찾아낼' 수 있는지뿐만 아니라, 그 '확신'이 새로운 장소에서도 타당한지를 반드시 확인해야 한다는 것입니다.

만약 당신이 부유한 병원의 의료 AI를 가난한 마을로 가져가려 한다면, 그 AI가 똑똑하다는 이유만으로 당연히 잘 작동할 것이라고 가정해서는 안 됩니다. 그곳에서는 질병이 더 흔할 수 있으며, 이는 로봇의 확신을 혼란스럽게 만들 것입니다. 하지만 좋은 소식은, 이를 고치기 위해 수백만 장의 새로운 사진이 필요하지 않다는 것입니다. 단지 작은 규모의 저렴한 레슨(약 100~200개의 사례)과 올바른 수학적 기법만 있다면, 로봇이 자신의 느낌을 다시 신뢰하도록 가르칠 수 있습니다. 그리고 만약 프로그램을 아주 작은 기기에 맞추기 위해 크기를 줄이고 있다면 주의하세요. 너무 많이 줄이면 쉽게 고칠 수 없는 방식으로 로봇을 망가뜨릴 수 있습니다.